Mutzli Posted November 20, 2023 Share Posted November 20, 2023 Hallo zusammen! Nachdem wegen "Hitzetod" von einem SAS2008-8i auf ein SAS2907-8i (IT-Mode) umgestiegen bin, wurde die Performance nicht besser! Der Paritätscheck dauert mit beiden Karten nach wie vor 11h; das Preclear läuft immer noch etwa 30h. Die 9207-8i wird mit einem Chip LSI SAS2308 erkannt. Müsste also auf PCI-E 3 laufen. Die Karte steckt in einem PIC-E 3 Slot (Supermicro X11SCL-IF), mit einem Xeon (E-2146G). Habe ich etwas in unRAID übersehen oder muss ich noch was aktivieren um den PCI-E auf 3 zu aktivieren? Oder könnte beim brennen des IT-Mode was schiefgegangen sein (falsches File, ...). Vielen Dank für eure Hilfe! Gruss, Guido Quote Link to comment
hawihoney Posted November 20, 2023 Share Posted November 20, 2023 3 hours ago, Mutzli said: Nachdem wegen "Hitzetod" von einem SAS2008-8i auf ein SAS2907-8i (IT-Mode) umgestiegen bin, wurde die Performance nicht besser! Der Paritätscheck dauert mit beiden Karten nach wie vor 11h; das Preclear läuft immer noch etwa 30h. Der HBA hat einen PCIe 3.0 x8 Anschluss, das Board hat einen PCIe 3.0 x16 Slot. Diese HBAs sind von Hause aus im IT Modus. Da muss man üblicherweise nix konfigurieren. Solche x8 HBAs haben im Zusammenspiel mit der genannten CPU genug Bums um eine komplette Backplane mit 24 Platten ausreichend zu versorgen (2x 4 Lanes). Es bedarf mehr Details von Deiner Seite: Wie groß sind die Platten und wie viele hängen am HBA? 1x oder 2x Parity - viele vergessen das die zweite Parity kein Duplikat der ersten ist sondern eine weitere binäre Kalkulation erfordert, Quote Link to comment
Mutzli Posted November 20, 2023 Author Share Posted November 20, 2023 Hi hawihoney Es sind 7x Platten zu 6TB. 2 Sind Parität, da mir Sicherheit wichtig ist. Einen Slot halte ich noch frei (Preclear etc.). Anzahl und Grösse der HDD sollten aber keinen Einfluss haben, da Geschwindigkeit ja GLEICH ist. Es sollte sich nur der Einfluss ob PCI-E 2 oder 3 auswirken. Wenn man so die Geschwindigkeiten anschaut, sollte ein Einfluss von PCI-E 3 (7.8 GByte/s) gegenüber PCI-E 2 (4 GByte/s) schon merkbar sein. Eine Steigerung von gegen 50% hätte ich erwartet... Gruss Quote Link to comment
hawihoney Posted November 20, 2023 Share Posted November 20, 2023 (edited) 1 hour ago, Mutzli said: 6TB 5 hours ago, Mutzli said: 11h Ich betrachte das als durchaus normal. Hier 12 TB Platten: Hier 18 TB Platten: Meine Historien zeigen die Realität an aktueller Server-Hardware. Ein dritter Server mit 6 TB Platten liegt bei 13 Stunden. Das kann um ein Dutzend MB/s rauf oder runter variieren - aber es passt wie Du siehst. Die Grenze ist wohl eher der Parity-Check mit zwei Parity-Platten sowie den genutzten Festplatten-Modellen und deren Anbindung (SATA/SAS 6/12), als die Differenz zwischen PCIe 2.0 vs. 3.0. Edited November 20, 2023 by hawihoney Quote Link to comment
jj1987 Posted November 20, 2023 Share Posted November 20, 2023 1 hour ago, Mutzli said: Platten zu 6TB Wie alt oder neu sind die denn? Bei noch recht jungen HDDs könnte es sich dann auch um SMR handeln?! Ansonsten kann der Parity Check auch nur maximal so schnell sein wie die langsamste HDD im System, da ja von allen HDDs gleichzeitig gelesen wird. Egal ob der Controller mit pcie2, 3 oder (fiktiv) 5 angebunden ist Quote Link to comment
Mutzli Posted November 20, 2023 Author Share Posted November 20, 2023 @hawihoney Das kann absolut sein, dass dann die HW bzw. das unRAID die Grenzen sind. Dann wäre aber die Investition in PCIe 3 sinnlos, bzw. es spielt eine untergeordnete Rolle, ob PCIe 2 oder 3. Muss wohl eine genauere Betrachtung der ganzen Sache machen... @jj1987 Die sind von 2021 bis 2023; alles Seagate. Welche CMR bzw. SMR habe ich nicht so geschaut. Aber dass es keine Rolle spielt, welches PCIe zum Tragen kommt, keine Rolle spielt, dämmert mir langsam... Danke euch beiden! Gruss Quote Link to comment
hawihoney Posted November 20, 2023 Share Posted November 20, 2023 (edited) 36 minutes ago, Mutzli said: Aber dass es keine Rolle spielt, welches PCIe zum Tragen kommt, keine Rolle spielt, dämmert mir langsam PCIe 2.0 hat meines Wissens 5 Gb/s pro lane. Ich gehe davon aus, dass Du SAS/SATA mit <= 6 Gb/s pro lane im Einsatz hast. Was PCIe 3.0 theoretisch kann sind dann "nur" noch 20 % oben drauf bezogen auf Deine weitere Hardware. Das ändert sich rapide mit 12 Gb/s SAS bei entsprechender Hardware. Soweit die Theorie. Ob 11 Stunden oder 13, spielt das wirklich eine Rolle? Zumal man ja weiter arbeiten kann. Ich verhandle gerade mit mir selbst einen 17 % Rückgang in der Performance bei Parity-Checks bzw. -Rebuilds. Denn nur dabei spielt es wirklich eine Rolle. Ich könnte ~ 20 W einsparen - was nicht so wichtig wäre. Aber ich würde 2 sinnvoll zu nutzende PCIe 3.0 x8 Slots freimachen können - weiß nur noch nicht wofür 🤔 Edited November 20, 2023 by hawihoney Quote Link to comment
DataCollector Posted November 21, 2023 Share Posted November 21, 2023 8 hours ago, Mutzli said: Nachdem wegen "Hitzetod" von einem SAS2008-8i auf ein SAS2907-8i (IT-Mode) umgestiegen bin, wurde die Performance nicht besser! Der Paritätscheck dauert mit beiden Karten nach wie vor 11h; das Preclear läuft immer noch etwa 30h. Die 9207-8i wird mit einem Chip LSI SAS2308 erkannt. Müsste also auf PCI-E 3 laufen. Der (3Ware/LSI/Avago) Broadcom SAS2008 ist ein Chip auf der jeweiligen Trägerplatine. technische Daten: 8x SAS/SATA; PCIe 2.0 x8 (=4GByte/s) Der (3Ware/LSI/Avago) Broadcom SAS2308 ist ein Chip auf der jeweiligen Trägerplatine. technische Daten: 8x SAS/SATA; PCIe 3.0 x8 (=8GByte/s) Technisch ist der neuere Chip in der Lage schneller über den PCIe Port zu kommunizieren. Das ändert aber nichts daran, daß bei Parität oder so die Festplatten/SSDs an dem Kontroller der begrenzende Faktor sind. Wenn der Kontroller gleichzeitig 8 Festplatten dran hat und jede rund 250MByte/s gleichzeitig transferiert sind das 8 x 250Mbyte/s = 2GByte/s. (vergleiche oben, schon der alte Kontroller könnte das Doppelte wegschaffen) Da ist es dann egal ob der Kontroller selber 2 oder 4 fach so flott mit dem Mainboard sprechen kann, die Festplatten sind eben nicht schneller. Interessant sind die schnellern Anbindungen erst, wenn man an einen -8i Kontroller entweder durchgehend flotte SATA/SAS SSD anschließt oder per Expander eben weit mehr als 8 Festplatten nimmt. Bei 28 Festplatten an einem SAS Expander Intel RES3TV360 (=RES3CV360 =RES3TV360) kommt der PCIe Anschluß so richtig ins "Schwitzen". Wenn man die Expander dann noch kaskadiert (also mehrere hintereinander schaltet) sind je nach Kontroller bis zu 64, 128, 256 oder weitere Größeneinheiten an Festplatten pro Kontroller möglich. Dann ist aber auch der PCIe 3.0 x8 Bus der Karte bei gleichzeitigem Zugriff hoffnungslos unterdimensioniert. Quote Link to comment
DataCollector Posted November 21, 2023 Share Posted November 21, 2023 5 hours ago, Mutzli said: Es sind 7x Platten zu 6TB. 2 Sind Parität, da mir Sicherheit wichtig ist. Anzahl und Grösse der HDD sollten aber keinen Einfluss haben, da Geschwindigkeit ja GLEICH ist. Grundlegend: Doch haben sie. Die ganz neue X24 Festplatte mit eben 24TB von Seagate wird mit Peak rund 285 MByte/s angegeben. Deine 6TB schaffen das nicht. Die 6TB mit ihren vermutlich maximal ca. 200 MByte/s sind selbst bei 8 Stück weitaus weniger Daten als beider Kontroller abtransportieren können. 5 hours ago, Mutzli said: Es sollte sich nur der Einfluss ob PCI-E 2 oder 3 auswirken. Nur, wenn Du wirklich PCIe2.0 schon ausgenutzt hättest. 5 hours ago, Mutzli said: Wenn man so die Geschwindigkeiten anschaut, sollte ein Einfluss von PCI-E 3 (7.8 GByte/s) gegenüber PCI-E 2 (4 GByte/s) schon merkbar sein. Worin? Das sie Phantomdaten transportieren, die von den Festplatten gar nicht angeliefert werden? Über den PCIe Bus wird das transportiert, was gelesen/geschrieben wird (plus minimale Verwaltungsinformationen/Header). Wenn die Festplatten das aber nicht schaffen, kann PCie auch nichts nützliches Transprotieren. Hinkender Vergleich: Eine Murmel (Festplatte) aus dem 10 Stockwerk im Treppenhaus fallen gelassen ist eben nur so schnell wie es physikalisch (Luftreibung etc...) möglich ist. Wenn Du das Treppenhaus verbreiterst (breiteren/schnellern PCIe Bus) oder gar die selbe Kugel gar von der Eiger Nordwand (noch viel breiterer/schneller PCie Bus) fallen läßt ist die Murmel immer noch maximal genau so schnell. Egal wieviel breiter Platz (leistungsfähig der PCie Bus) neben ihr vorhanden ist. Du merkst die Breite des Treppenhauses (Geschwindigkeit des PCIe Bus) eben nur, wenn Du mehrere Murmeln (Festplatten) gleichzeitig nebeneinander fallen lassen willst oder gar mehrere Medizinbälle (leistungsfähigere SSD) nimmst. Dann schaffst Du irgendwann die Breite des Treppenhauses zu sättigen, so dass nicht alle nebeneinander fallen gelassen werden können und sie komen sich in die Quere und treffen unten dann nacheinander und nicht mehr alle gleichzeitig auf. (Warnung: Liebe Kinder, das war ein Beispiel zur Verdeutlichung. Bitte nicht nachmachen, da die Nachbarn einerseits ob der Geräuschentwicklung von rasant aufklatschenden Medizinbällen oder zerspringenden Murmeln bestimmt irritiert werden. Ganz abgesehen von der Unfallgefahr 😁 ) Ich kann das Beispiel auch gerne auf einen schmalen und breiten Anhänger abändern. Egal ob man nun 8kg Kartoffeln in einem schmalen Anhänger oder einem breiten Anhänger transportiert. Es sind identisch 8 kg Kartoffeln die zeitgleich ankommen. Erst wenn der Anhänger zu schmal ist (altes PCI und nicht PCIe) muß man die nacheinander transportieren und braucht mehr Zeit, oder wenn man mehr Kartoffeln transportieren will, als auf einen schmalen Anhänger passen, wird es relevant, einen Breiteren zu benutzen. 5 hours ago, Mutzli said: Eine Steigerung von gegen 50% hätte ich erwartet... Bei nur bis zu 8 normalen Festplatten wäre das ein Wunder. Quote Link to comment
Mutzli Posted November 21, 2023 Author Share Posted November 21, 2023 Guten Morgen! Also habe ich den Upgrade auf PCIe 3 vergebens gemacht! Egal, ist kaum teurer aber für die Zukunft gerüstet... Habe viel davon gelesen, wie doch der PCIe 3 schneller sei; mindestens wenn man die Theorie anschaut. Aber dass dazu die HDD zu langsam sind um den PCIe 2 an seine Grenzen zu bringen... Na ja, aber war die Erfahrung wert! Gruss Quote Link to comment
DataCollector Posted November 21, 2023 Share Posted November 21, 2023 4 hours ago, Mutzli said: Also habe ich den Upgrade auf PCIe 3 vergebens gemacht! Egal, ist kaum teurer aber für die Zukunft gerüstet... Habe viel davon gelesen, wie doch der PCIe 3 schneller sei; mindestens wenn man die Theorie anschaut. Aber dass dazu die HDD zu langsam sind um den PCIe 2 an seine Grenzen zu bringen... Wenn das Upgrade auf PCIe nur deswegen stattgefunden hätte: ja, dann wäre es unnötig gewesen. Aber ich hatte es so verstanden, daß der vorherige Kontroller verstorben sei. In sofern wolltest Du ja wohl sowieso ersatz haben. Nebenbei: Das SAS Kontroller in der Regel mehr Strom benötigen als SATA Kontroller sollte bekannt sein. Wenn es Dir nur um 7 SATA Festplatten geht kann man überlegen vielleicht dahingehend etwas zu optimieren und Strom zu sparen. An einem aktuell sinnvollen SATA Kontroller sind zwar nur max 6 SATA Festplatten möglich, aber die meisten Mainboards haben ja auch noch OnBoard Anschlüsse. Für die Zukunft gerüstet: Solltest Du performante SATA SSDs anschließen magst Du in den Bereich kommen, der über PCIe 2.0 x8 hinaus geht. Aber solange Du maximal aktuelle 8 Festplatten (bis 24TB pro Stück) daran verwendest, ist da nichts, was "in Zukunft" erforderlich ist. Der PCIe 3.0 Kontroller ist in der Regel eben bis zu doppelt so schnell, wie die PCIe 2.0 Variantemit gleich viel Lanes. Interessant ist das eben, wenn man mehr Festplatten oder eben SSDs nutzt. Ich habe an einem meiner PCIe 3.0 x8 SAS-(Raid-)Kontroller in einer WIndowsmaschien 3 SAS Expander und in Summe sind da dann >70 Festplatten möglich. Da ist PCIe 3.0 dann doch bei Vollast der Flaschenhals. Aber das kommt eher selten vor. Quote Link to comment
Mutzli Posted November 21, 2023 Author Share Posted November 21, 2023 Hi DataCollector Die SSD sind eine zukünftige Option, aber im Moment noch zu teuer in anständigen Grössen (>= 6 GB). Mein MB hat schon noch 4 SATA, aber 2 werden (momentan) für SSD gebraucht. Und wie gesagt, ich hatte mehr erwartet von PCIe 3. Aber da hat mir noch die Erfahrung gefehlt... 1 Quote Link to comment
domrockt Posted November 21, 2023 Share Posted November 21, 2023 (edited) 2 hours ago, Mutzli said: Und wie gesagt, ich hatte mehr erwartet von PCIe 3. Aber da hat mir noch die Erfahrung gefehlt folgendes scenario du hast HDDs die schaffen 200mb/s und davon 10stk das macht eine theoretische Bandbreite von 2000mb/s (im Raid0 in einer perfekten Welt) du hast 3 LSI Karten 1x PCIE 1.0 8x (2000mb/s) 1x PCIE 2.0 8x (4000mb/s) 1x PCIE 3.0 8x (8000mb/s) im Grunde reicht dir 1x PCIE 1.0 8x (2000mb/s) du musst erst auf die PCIE 2.0 8x umsteigen wenn du mehr als 10 Platten anschließt. Anderes scenario du hast nur SSDs die schaffen 500mb/s und davon hast du auch 10stk das macht eine theoretische Bandbreite von 5000mb/s (im Raid0 in einer perfekten Welt) du hast 3 LSI Karten 1x PCIE 1.0 8x (2000mb/s) 1x PCIE 2.0 8x (4000mb/s) 1x PCIE 3.0 8x (8000mb/s) jetzt brauchst du schon die PCIE 3.0 8x um die 5000mb/s auch abrufen zu können (in einer perfekten Welt) jetzt hättest du noch "puffer" für weitere 6 SSDs 16x500mb/s = 8000mb/s Edited November 21, 2023 by domrockt Quote Link to comment
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.