Brauche Hilfe zum Thema: HBA-Expander 6gbps vs. 12gbps (30 HDD)

[Vaultboy_Gary]

Hallo,

 

leider komme ich nicht weiter und finde online nicht die korrekte Antwort. Hoffe jemand kann mir helfen.

Das Ziel soll sein, ein NAS mit möglichst 30 HDD´s.

 

Dabei stehe ich zwischen zwei Lösungen.

 

1. HBA-Karte mit 6gbps (z.B. lsi 9207-8i) + Expander Intel res2cv360 (6gbps)

2. HBA Karte mit 12gbps(z.B. lsi 9300-8e) + Expander Intel res3tv360 (12gbps)

 

Ich betreibe daran nur Sata III HDDs. Dazu habe ich gelesen, dass diese nur 6gbps unterstützen.

 

Meine Frage ist nun, ist Option 2 schneller als Option 1? Da (in meiner Vorstellung) die Verbindung zwischen Mainboard-HBA-Expander schneller ist als in Option 1. Oder spielt dies keine Rolle, da somit alles auf 6gbps eingebremst wird wegen Sata3?

Speziell hierbei der Anwendungsfall z.B. Paritätscheck, Oder Transfer von Cache-SSD auf HDD etc.

 

Als Cache möchte ich 2 SSD verwenden, diese aber seperat ankoppeln. (seperate PCI-E Karte etc).

 

Welche Option ist die Bessere/Sinnvollere?

Ist hiermit ein "staggered Spinup" möglich?

 

Vielen Dank für eure Unterstützung.

 

Sofern Ihr bessere Lösungen habt gerne

Edited April 19, 2021 by Vaultboy_Gary

[Ford Prefect]

Der Unterschied des HBA, ob 6 oder 12Gbps Platten unterstützt werden hat nix mit dem Durchsatz zum Mainboard zu tun.

Die "alten" HABs mit 6Gbps-SAS/SATA haben in der Regel einen PCIe-2.x Interface, die "neuen" mit 12Gbps SAS/SATA haben ein PCIe-3.x Interface.

Siehe: https://en.wikipedia.org/wiki/PCI_Express#History_and_revisions

Bei einem HBA mit x8-er Anbindung im Slot schafft PCIe-2.x einen Durchsatz von 4 GB/s (Giga-BYTE, nicht -Bit) und PCIe 3.x entsprechend fast das Doppelte (7.87 GB/s).

 

Diese Bandbreite kannst Du auf die DIsks verteilen.

Wobei eine SATA-III HDD mit 6Gbps Interface aber nicht 6Gbps Durchsatz schafft, sondern etwa 1-3gbps, je nach Bauart, Cache usw....eine SSD kann da rankommen.

 

Edit2: Ein PCIe-3.x HBA in x8 Anbindung schafft also etwa 78Gbps am Slot (1GBps = 10Gbps)....wenn der Slot direkt an einer potenten CPU hängt.

Bei 2.0 Gbps realer Datenrate von einer HDD schafft der also 78/2.0 = 39 HDDs in "Full-Speed" am PCIe

Ein HBA mit x16 schafft das Doppelte, zB. der: https://geizhals.de/broadcom-hba-9405w-16i-05-50047-00-a2133026.html

 

Mit einem Expander verteilst Du die Bandbreite wiederrum auf mehr Ports.

Der HBA hat 4 Kanäle pro Port. Schliesst Du also den Expander an einen Port an, ist das der Bottleneck.

Edit: Diese Bandbreite (4x 6 oder 12 Gbps) pro Port kannst Du auf die DIsks verteilen.

Schliesst Du den Expander mit 2 Ports an hängt es vom System ab, ob beide Ports parallel oder nur als Fallback funktionieren.

Bei LSI/Broadcom/Intel Chipsets geht das wohl parallel (aber keine Garantie). Wobei Du bei unRaid dies nur mit Turbo-Write wirklich erleben könntest.

 

Im Übrigen gibt es auch Gehäuse mit Backplanes, wo der Expander schon drauf ist, zB von Supermicro.

 

Die LSI HBAs konnen staggered Spinup, über sogenannte Spinup-Groups.

Die kannst Du im BIOS des HBA konfigurieren.

Allerdings wirkt das meiner Erfahrung nach nur beim cold-boot / echtem Neustart.

Software staggered spinup, wie unraid es "braucht" hängt von der Backplane und den Disks ab....nicht alle können das.

Du solltest das NT also ausreichend für einen gleichzeitgen Start aller Disks auswählen. Moderne NT sind auch bei niedriger Last, heutzutage nicht mehr ganz so ineffizient.

 

Übrigens ist der oben genannte 9300-8e ein HBA mit externem Anschluss, für ein externes Storage Array....anders als ein 9300-8i mit internen Anschlüssen.

Edited April 20, 2021 by Ford Prefect
Klarstellung bandbreite HBA und Ports

[Ford Prefect]

11 hours ago, Vaultboy_Gary said:

Sofern Ihr bessere Lösungen habt gerne

...wenn Du maximale Performance für 30 HDDs und 2xSSD (evtl. noch 2x NMVE) sicherstellen willst, nimm keinen Expander, sondern sowas: https://www.ebay.de/itm/LSI-SAS9305-24i-9305-24i-PCIe-x8-6x-SFF-8643-12G-SAS3-S-ATA-HBA-for-HDD-SSD-Stor/324468475012?hash=item4b8bd40484:g:Pr4AAOSwzHNgeF6y

 

24 HDDs direkt am HBA möglich (wie oben erklärt reicht der x8er Slot dafür (Edit: etwa 180MB/s und Disk wenn alle 24 "rennen")

Dann noch 8x SATA am MB = 32 Total (30xHDD + 2xSSD)...plus evtl. 2x NVME -PCIe-x4

Edited April 20, 2021 by Ford Prefect

[Vaultboy_Gary]

Super Klasse Antwort! Hab es verstanden und finden nun die Variante mit der 24Port HBA-Karte deutlich interessanter. Vielen Dank!!!

[Ford Prefect]

...ich würde auf jeden Fall einen Gebrauchten, von einem renommierten Verwerter kaufen (inkl. Garantie usw). Fast alle Neuen aus China sind wahrscheinlich Fakes/Nachbauten.

 

Edit: mit dem richtigen MB kannst Du auch 2x HBA in 16i nehmen  Achte aber darauf ob PCIe-3.x oder 2.x.

Du willst PCIe-3.x  ... dann geht noch mehr pro HDD durch, bzw es gibt auf jeden fall Puffer, zB: https://www.ebay.de/itm/Broadcom-SAS-Controller-9305-16i-SAS-12G-4x-SFF-8643-PCI-E-03-25703-02/393147324872?hash=item5b896819c8%3Ag%3ALX4AAOSwVrtgM5JQ&LH_ItemCondition=4

Edit2: oder: https://www.ebay.de/itm/LSI-SAS-9400-16i-PCIe-x8-4x-SFF-8643-12G-SAS3-NVMe-HBA-HDD-SSD-NVMe-JBOD-Tri-Mod/224139937438?hash=item342fc8069e:g:hdAAAOSw7klgfteD

...und Du willst einen HBA, keinen Raid Controller, aber das weisst Du wahrscheinlich schon

 

Edit3: oder PCIe-3.x in x16...damit kann man es so richtig krachen lassen  https://www.broadcom.com/products/storage/host-bus-adapters/sas-nvme-9405w-16i

Edited April 20, 2021 by Ford Prefect

[Vaultboy_Gary]

Hiho,

 

danke dir für deine guten Antworten.

 

Das Ding ist, ich brauche erst einmal eine vernünftige Plattform, welche meinen Vorstellungen entspricht.

Ich wollte eigentlich einen NAS-Server (möglichst Stormsparen) für gelegentlich PLEX-Stream auf ein Gerät... also nichts großes...

 

Nun dachte ich mir...ok...schauste zu das du ein Server Mainboard (viele PCIe Lanes) nimmst und packst das ganze in den Sleep-Mode (S3) bei nicht gebrauch.

Habe mir dann ein Supermicro X10 Bord mit nem Xeon E5 geholt. Blöd nur, dass Ding macht keinen S3 (obwohl laut Handbuch da was von drinne steht) und für einen 24/7 Betrieb ist mir die Plattform doch zu stromhungrig.

 

Kannst du einen Plattform empfehlen, mit welcher ich a.)die PCIe 3.0. für die HBA + zusätzliche Graka für den Stream verbauen kann. Möglichst mit S3 (suspend to ram) support.

Dachte eventuell an eine Ryzen 3 2200g (ist Stromsparend) + eine günstige Nvidia Grafikkarte. Nur ist bei den Board die Laneverteilung nicht so pralle...

oder reicht das doch?

 

Danke dir für deine Hilfe.

 

MFG Gary😀

[Ford Prefect]

34 minutes ago, Vaultboy_Gary said:

Ich wollte eigentlich einen NAS-Server (möglichst Stormsparen) für gelegentlich PLEX-Stream auf ein Gerät... also nichts großes...

Ich bin da nicht der Experte, aber was man so hört ist da Plex im Docker mit einer Intel iGPU die erste Wahl...auch was den Stromverbrauch angeht und "Verbrauch" von PCIe Steckplätzen sowieso.

 

34 minutes ago, Vaultboy_Gary said:

Kannst du einen Plattform empfehlen, mit welcher ich a.)die PCIe 3.0. für die HBA + zusätzliche Graka für den Stream verbauen kann. Möglichst mit S3 (suspend to ram) support.

Willst Du ECC, weil Server Plattform?

Ich denke eine S1151v2 CPU, für das bisschen Plex reicht sogar ein Pentium G, ein i3 sowieso.

Meine Wahl wäre das Gigabyte C246M-WU4, in mATX....aber kaum zu kriegen, aktuell...evtl hat @mgutt da was an der Hand?

 

[mgutt]

8 minutes ago, Ford Prefect said:

evtl hat @mgutt da was an der Hand?

Sind bestellt und sollen in ca 2 Wochen kommen. Ich bin gespannt.

[Ford Prefect]

...hier ist es immer noch gelistet: https://www.amazon.de/Gigabyte-C246M-WU4-Support-2xPCIEx16-Motherboard/dp/B07PDNRSWB/ref=sr_1_1?__mk_de_DE=ÅMÅŽÕÑ&dchild=1&keywords=c246m-wu4&qid=1619099337&sr=8-1

Wird aber auch dauern, bis es da ist...und hoffentlich nicht DOA

 

@mgutt Weisst Du ob das MB die x16 -> x8+x8 Bifurcation "sauber" unterstützt?

Dann könnte man 2x x8er HBA und 1x x8er 10GBE einbauen....welcher Riser wäre dafür das Beste?

Edited April 22, 2021 by Ford Prefect

[mgutt]

15 minutes ago, Ford Prefect said:

Weisst Du ob das MB die x16 -> x8+x8 Bifurcation "sauber" unterstützt?

Dann könnte man 2x x8er HBA und 1x x8er 10GBE einbauen....welcher Riser wäre dafür das Beste?

Nein, scheinbar gar kein Bifurcation möglich:

https://forums.unraid.net/topic/103831-gigabyte-c246m-wu4-pcie-bifurcation-support/?tab=comments#comment-968127

 

Aber wozu brauchst du x8 für 10G? Da reicht doch schon x2 für.

[Vaultboy_Gary]

17 minutes ago, Ford Prefect said:

...hier ist es immer noch gelistet: https://www.amazon.de/Gigabyte-C246M-WU4-Support-2xPCIEx16-Motherboard/dp/B07PDNRSWB/ref=sr_1_1?__mk_de_DE=ÅMÅŽÕÑ&dchild=1&keywords=c246m-wu4&qid=1619099337&sr=8-1

Wird aber auch dauern, bis es da ist...und hoffentlich nicht DOA

 

@mgutt Weisst Du ob das MB die x16 -> x8+x8 Bifurcation "sauber" unterstützt?

Dann könnte man 2x x8er HBA und 1x x8er 10GBE einbauen....welcher Riser wäre dafür das Beste?

Muss ja nicht unbedingt das mATX sein. Das ATX passt auch bei mir rein. Ich hatte derweilen das "ASUS WS C246 PRO" entdeckt. Sollte ähnliches MB sein. Dazu ein Intel® Core™ i3-9100 müsste doch für UNRAID+ Plex Docker ausreichen....

Edited April 22, 2021 by Vaultboy_Gary

[mgutt]

2 minutes ago, Vaultboy_Gary said:

ASUS WS C246 PRO

Das hat leider M.2 x2 und M.2 x4. Also im RAID wird der zweite Slot gedrosselt. Ansonsten gibt es bei ATX auch diverse Einschränkungen. Vom Prinzip hat man nur mehr Platz, aber nicht mehr Steckplätze als bei mATX, da irgendwas die Bandbreite teilt bzw die Slots deaktiviert. Lies mal dazu die Anleitung. Beim Gigabyte das selbe. Und klar, der Stromverbrauch bei ATX ist größer als bei mATX, falls das wichtig ist.

[Ford Prefect]

7 minutes ago, mgutt said:

Nein, scheinbar gar kein Bifurcation möglich:

https://forums.unraid.net/topic/103831-gigabyte-c246m-wu4-pcie-bifurcation-support/?tab=comments#comment-968127

Jaaahhh, also das habe ich so noch nicht gefressen. das BIOS bietet wohl "Auto" und "x8/x8" an (nicht nur im Manual!) ....im Thread wird nach x4/x4/x4/x4 gesucht und der Support ist da auch nicht immer der Hellste, wenn es um englisch/deutsch/chinesisch geht.

Für @Vaultboy_Gary würde ja x8/x8 reichen.

 

7 minutes ago, mgutt said:

Aber wozu brauchst du x8 für 10G? Da reicht doch schon x2 für.

eigentlich sind x1 bei PCIe-3.x schon 0.985GByte/s (brutto)  aber welche Karte hat unraid Support mit x2...ich kenne x4 und x8er.

Sind die Slots des C246M-WU4 hinten offen? dann könnte man wenigsten in einen x1er eine einstechen und mal sehen was geht. 

[mgutt]

1 minute ago, Ford Prefect said:

Sind die Slots des C246M-WU4 hinten offen?

Leider nein. Muss man mit dem Dremel dran:

 

Warum verbauen die eigentlich geschlossene Slots. Versteh das mal einer.

[Vaultboy_Gary]

Na so wie ich es jetzt sehe/verstehe. Passt das Board doch zu meinen Anforderungen. Würde da einen Intel i3 9700 igpu nehmen. Da spare ich mir ggf. die Graka.

In den PCI 3.0 16x kommt so eine nette 24Port HBA rein, welche du mir oben empfohlen hattest. Die Sata III kann ich nutzen um auf 28HDDs aufzufüllen. Und die 2Cash-SSD (Raid1) mach ich entweder mit den SATA  oder m.2 Ports. Eine 10GB Ethernetkarte wäre auch noch Platz. Nun muss ich nur noch rausfinden ob das Ding Sleep S3 beherscht. Ansonsten sehe ich hier keinen Haken....

 

DANKE EUCH BEIDEN VIELMALS!!! 🥳

[Ford Prefect]

1 hour ago, Vaultboy_Gary said:

Na so wie ich es jetzt sehe/verstehe. Passt das Board doch zu meinen Anforderungen. Würde da einen Intel i3 9700 igpu nehmen. Da spare ich mir ggf. die Graka.

OK, ja...

 

Quote

In den PCI 3.0 16x kommt so eine nette 24Port HBA rein, welche du mir oben empfohlen hattest.

Wie gesagt, da ist nicht soooo viel Luft nach oben bei 24HDDs am x8 PCIe-3.x....150-180MB/s sollten rechnerisch drin sein, aber ausprobiert hab ich das nicht

 

Quote

Die Sata III kann ich nutzen um auf 28HDDs aufzufüllen.

das MB hat 8x SATA III, nicht 6

 

Quote

Und die 2Cash-SSD (Raid1) mach ich entweder mit den SATA  oder m.2 Ports. Eine 10GB Ethernetkarte wäre auch noch Platz. Nun muss ich nur noch rausfinden ob das Ding Sleep S3 beherscht. Ansonsten sehe ich hier keinen Haken....

...das kann es: 

Edit: ...und einen netten Gehäuser-Tümmer für 30-32 HDDs musst Du auch noch finden, hmmmm 🤔

Tower oder 19-Zoll?...schonmal nachgedacht?

Edited April 22, 2021 by Ford Prefect

[Vaultboy_Gary]

4 hours ago, Ford Prefect said:

Wie gesagt, da ist nicht soooo viel Luft nach oben bei 24HDDs am x8 PCIe-3.x....150-180MB/s sollten rechnerisch drin sein, aber ausprobiert hab ich das nicht

Was wäre denn ein Version mit Luft nach oben? Ich denke da sind wir im Customer Bereich schnell raus...

Und im Serverbereich stört mich der fehlende S3 Modus. Ich will den Server nur online haben wenn ich ihn mal brauche.... nicht 24/7....

in deinem genannten Forumpost ist der S3 aber auch nicht gerade einfach....aber seit Unraid 6.9 läuft der WakeonLan bei meinem alten Build auch nicht 😕

Verstehe auch nicht warum das von den Unraidmachen nicht standardmäßig mit reinkommt, und nur die Krücke über ein Plugin geht...(beziehungsweise nicht geht )

 

Für den Gehäusetrümmer habe ich schon eine Idee. Hatte ein altes 5u 19Zoll Gehäuse gemoddet (siehe Bild)

 

 

 

Ähnlich dem Konzept von Backblaze/Storagepod. Momentan etwas rudimentär. Probiere aber gerade mit dem 3 Drucker eine Lösung bei der ich die HDD werkzeuglos austauschen kann... so bekomme ich 28hdd ins Gehäuse ohne Backplanes etc. direkt angebunden an den HBA. 2 Reihen mit 14 HDD im 19 Zoll.

[Ford Prefect]

3 minutes ago, Vaultboy_Gary said:

Was wäre denn ein Version mit Luft nach oben? Ich denke da sind wir im Customer Bereich schnell raus...

Tja, wie gesagt, ich weiss es auch nicht....hier mal die Hochrechnung:

 

MB-Link, PCIe-3.x - Performance: 7.8GBps = 78Gbps.

HBA 9305-24i, 24x SAS 12Gbps = 288Gbps -> Bottleneck ist der PCIe-Bus Anschluss.

Performance je HDD am Bus: 78Gbps / 24 = 3.25Gbps

...jetzt noch ein bischen "Puffer" für Overhead usw, analog einer Netzwerk-Karte (ein NIC in x1 PCIe-3.x könnte 9.8Gbps...zu finden sind max. NICs mit 5Gbps) -> Faktor 0.5 😪

Also 0,5 x 3.25Gbps = 1.62Gbps .... 1Gbps = 112MByte / sec -> 1,62 Gbps liefert dann 112 x 1.62 = 182MByte/sec.

 

...soweit klar?

Allerdings denke ich nicht, dass Du aufgrund des Raid-Mechanismus von unRaid die Performance eine 6 oder 12Gbps HDD (heute etwa 250MByte/sec bei den Schnellen) erreichen kannst...wenn Du überhaupt solche HDDs einbaust.

 

Also, ich denke es ist vom P/L her das Beste, was Du finden kannst.

Alternative wären eben 2x HBA mit zB PCIe-3.x in 16i...dann hast Du das Doppelte. 

 

3 minutes ago, Vaultboy_Gary said:

Und im Serverbereich stört mich der fehlende S3 Modus. Ich will den Server nur online haben wenn ich ihn mal brauche.... nicht 24/7....

in deinem genannten Forumpost ist der S3 aber auch nicht gerade einfach

Der Faden ist nicht einfach, aber letztendlich läuft das MB mit WoL mit den "neuen" Plugin.

Wenn Du kein ECC willst, nimm ein Desktop MB (aber nur 6x SATA III), mit 2 NVMe dann dieses: https://geizhals.de/asrock-b365m-pro4-90-mxb9t0-a0uayz-a1963468.html?hloc=at&hloc=de ... da wird WoL besser funktionieren.

 

3 minutes ago, Vaultboy_Gary said:

....aber seit Unraid 6.9 läuft der WakeonLan bei meinem alten Build auch nicht 😕

Verstehe auch nicht warum das von den Unraidmachen nicht standardmäßig mit reinkommt, und nur die Krücke über ein Plugin geht...(beziehungsweise nicht geht )

Weil das kein Server Szenario ist und Strom in USA nix kostet.

Ich habe meinen unRaid mit 24er Case auch mit WoL schlafen und habe einen zweiten mit 2x 2,5 1TB HDD und den Dockern mit 12W im 24/7.

Dank grosser PV Anlage ist mir das fast egal ... zumindest kommerziell kein Problem mehr.

 

3 minutes ago, Vaultboy_Gary said:

Für den Gehäusetrümmer habe ich schon eine Idee. Hatte ein altes 5u 19Zoll Gehäuse gemoddet (siehe Bild)

 

 

 

Ähnlich dem Konzept von Backblaze/Storagepod. Momentan etwas rudimentär. Probiere aber gerade mit dem 3 Drucker eine Lösung bei der ich die HDD werkzeuglos austauschen kann... so bekomme ich 28hdd ins Gehäuse ohne Backplanes etc. direkt angebunden an den HBA. 2 Reihen mit 14 HDD im 19 Zoll.

Wow, OK!. 😍

Dann bist Du fein. SFF8643 (Mini SAS HD) forward Kabel gibt es ja, dann kannst Du direkt den 24eer HBA 1:4 verbinden.

Wobei ohne Backplane noch die Stromversorgung der HDDs zu lösen ist. Selbst das grösste NT hat keine 30x SATA, fürchte ich.

Hat Dein Umbau da schon was...ist schwer zu erkennen?

[Vaultboy_Gary]

Ja habe ein 1000W Netzteil...Vorsichtshalber sofern staggered Spinup nicht funktioniert. Dabei habe ich alle nicht benötigten Stromausgänge 12v (Graka etc.) abgenommen und umgeswitch zu den Platten. Pro Strang können somit 5 HDDs betrieben werden. Anleitung dazu findet man bei Backblaze. Bei meinem neuen Build will ich die SFF8643 Kabel direkt an den HDD-Slot bringen. Somit brauche ich in Theorie die Grüne 1ner Backplane nicht mehr. Und das würde dann in ein 4u Gehäuse passen. Somit könnte man mit einen 130EUR Inter-Tech Gehäuse und 2KG PLA einen 28-Bay Case basteln. Wenns konktrete wird Poste ich mal ein Foto. Muss nur jetzt erstmal die Hardware/Plattform schaffen.

 

 

[Ford Prefect]

10 minutes ago, Vaultboy_Gary said:

Ja habe ein 1000W Netzteil...Vorsichtshalber sofern staggered Spinup nicht funktioniert. Dabei habe ich alle nicht benötigten Stromausgänge 12v (Graka etc.) abgenommen und umgeswitch zu den Platten. Pro Strang können somit 5 HDDs betrieben werden. Anleitung dazu findet man bei Backblaze.

OK, ich denke mal Du weisst schon was Du tust und das da auch gezeigt wird, wie man neben 12V auch 5V da hinbringt

 

Quote

Bei meinem neuen Build will ich die SFF8643 Kabel direkt an den HDD-Slot bringen.

...auf jeden Fall gute Kabel kaufen...1m wirst Du evtl brauchen und das ist ganz schön lang.

Seit NAS mit HBA boomt spriessen China Fakes der HBAs und SAS-Billigkabel aus dem Boden....

 

Quote

Somit brauche ich in Theorie die Grüne 1ner Backplane nicht mehr. Und das würde dann in ein 4u Gehäuse passen. Somit könnte man mit einen 130EUR Inter-Tech Gehäuse und 2KG PLA einen 28-Bay Case basteln. Wenns konktrete wird Poste ich mal ein Foto. Muss nur jetzt erstmal die Hardware/Plattform schaffen.

...Sehr spannend Dein Projekt...Hut ab!

 

Edited April 22, 2021 by Ford Prefect