Jump to content

FAQ - Grundlagen Zusatzkarte für SATA-Ports v1.4 Stand 22.04.2024


Recommended Posts

Hallo Allerseits.

 

Die Wahl der PCIe basierten SATA Kontroller für unraid (Stand April 2024).

 

Ist zwar schon (sehr) oft durchgekaut worden, aber da immer wieder entsprechende Fragen auftauchen hier einmal ein paar Grundlagen. (Diese spiegeln meine aktuelle Meinung und Erfahrung wieder. Verbesserungsvorschläge willkommen.)

 

Hier incl. PCIe und SATA Grundlagen, damit man hier ggf. drauf verweisen kann und es nicht immer wieder neu tippen muß.

 

 

Zuerst die übliche Schnittstelle auf dem Mainboard, die diese Kontroller versorgt - PCIe:

Zuerst ist es interessant, welchen PCIe Standard das Mainboard bei den zu benutzenden Slots unterstützt, damit man auch abschätzen kann, was ein SATA Kontroller darauf maximal leisten kann:

 - PCIe 1.0 ist stark veraltet und liefert pro Lane rund 250MByte/s. Das ist nicht zu empfehlen.

 - PCIe 2.0 ist veraltet und liefert pro Lane rund 500MByte/s. Wenn es nicht anders geht, kann man es nutzen. PCIe SAS-Kontroller mit PCIe 2.0 sind aber oft etwas stromsparender als PCIe 3.0.

 - PCIe 3.0 ist aktuell (&) gut und liefert pro Lane knapp unter 1Gbyte/s.

 - PCIe 4.0 oder gar 5.0 sind zu neu. Speziell dafür sind mir aktuell keine SATA Kontroller bekannt.

 

Da PCIe abwärtskompatibel ist, kann man in einem sehr neuen Mainboardslot mit Standard 4.0 oder gar 5.0 dennoch auch Kontroller verwenden, welche beispielsweise nur PCIe 2.0 oder 3.0 beherrschen. Leider ist man dann aber eben auch auf die Geschwindigkeit von PCIe 2.0 oder eben 3.0 pro Lane reduziert. Dafür wird bei der langsamen Taktung oft auch etwas weniger elektrisch Energie benötigt.

 

 

Dann ist es relevant welche PCIe Steckplätze das Mainboard hat.

 - Einerseits gibt es die normalen PCIe Slots in verschiedenen Längen und intern unterschiedlich viel belegbaren (elektrisch verbundenen) Lanes. Mechanisch lange Slots (bis x16) können so ausgeführt sein, daß sie elektrisch dennoch nur weniger Lanes verbinden (x1, x4, x8).

 - Andererseits gibt es seit einiger Zeit M.2 Steckplätze (alt auch NGFF bezeichnet), die entweder selber nur einen einzigen SATA Anschluß bieten oder evtl. (zusätzlich oder exklusiv) den NVMe Standard beherrschen und dadurch auch PCIe Lanes haben. Diese sind mit 1, 2 oder 4 Lanes zu finden. Diese sind mechanisch nicht ganz so robust/stabil, aber mit etwas Vorsicht immer noch gut nutzbar.

 

 

Nun zu SATA:

Der aktuelle SATA-3 Standard kann Datenträger mit bis zu ca. 600MByte/s (6GBit/s) ansprechen.

 - Große und schnelle Festplatten mit der Drehzahl von ca. 7200 Rpm schaffen heutzutage in der kurzzeitigen Spitze etwas mehr als 280MByte/s von ihrem Scheiben. Im normalen Dauerbetrieb sackt diese Geschwindigkeit über die Festplatte hinweg ab, so daß ich pauschal pro Festplatte von ungefär 250MByte/s ausgehe.

 - SATA-SSD hingegen schaffen aufgrund ihres Aufbaus in der Spitze durchaus weit höhere Geschwindigkeiten. 550MByte/s sind keine Seltenheit und da kommt man so langsam an die SATA-3 Limitierung ran. Weniger Peformante SATA-SSD sacken nach sehr kurzer Spitze auch gerne schon mal auf 300 MByte/s oder sogar viel weniger ab.

 

 

Hier nun zu den Kontrollern für SATA-Festplatten und SATA-SSD:

Die Kontroller sind in der Regel mit einem (oder mehreren) Chip bestückt, welcher den PCIe Slot (Eingang) nutzt und dann SATA Ports für Festplatten/SSD (Ausgang) bereit stellt.

Die Leistungsfähigkeit (und Kompatibilität zu unraid) eines Kontrollers hängt stark von dem verwendeten Chip auf dem Controller ab, weshalb es meist egal ist, wer der Kartenhersteller ist, da dieser meist nur die Funktion des Chips nach außen anbindent. (Deshalb werde ich im weiteren eher von Chiptypen, als von Kontrollerherstellern schreiben).

 - Einerseits gibt es SATA Kontroller, welche meist nicht so viel Strom verbrauchen, dafür aber auch nur wenige SATA-Anschlüsse (bis 6) haben und passiv gekühlt werden (bei einfachen Chips ist nicht einmal ein Kühlkörper nötig).

 - Andererseits gibt es SAS Kontroller, welche auch zu SATA kompatibel sind. Diese benötigen mehr elektrische Energie, gibt es aber dafür auch mit hoher SAS/SATA-Portzahl (bis 28). Aufgrund des hohen Stromverbrauches sind bei SAS Kontrollern mindestens Kühlkörper nötig und diverse Hersteller sehen eine zwingende Belüftung mit vorgegebener Luftmenge als notwendig an. Hier sind HBA Kontroller im IT Mode für Unraid in der Regel kompatibel. Raid Kontroller ohne IT Modus sind bei Unraid nicht anzuraten.

 - Dann gibt es noch eher exotische Lösungen, bei denen verschiedene Chips mit SATA-Multipliern hinter dem eigentlichen SATA Chip oder gar PCIe-Switche dem SATA Chip vogeschaltet sind. (Beide Varianten sind nicht optimal!)

Deshalb ganz kurz zu diesen beiden Zusatzkomponenten:

 - SATA Multiplier sind Verteiler, die die maximalen 600MByte/s eines SATA (Eingangs-)Ports auf bis zu 5 SATA (Ausgangs-)Ports verteilen. Man hat also weitaus mehr Ports gleichzeitig zur Verfügung um Datenträger anzuschließen, aber wenn man alle Datenträger gleichzeitig ansprechen will, teilen sie sie die maximale Bandbreite des einen Ports. Somit schafft man dann pro SATA Port theoretisch maximal ca. 120MByte/s. In der Praxis kommen noch ein paar bremsende Details hinzu.

 - PCIe-Switche sind vergleichbar mit Netzwerkswitchen. Man hat auch hier einen Eingang (evtl. mit mehr als einer Lane), der versucht die zu transportierenden Datenpakete auf mehrere Ausgänge zu verteilen. Da PCIe weitaus performanter ausgelegt ist und so auch mehrere Eingangslanes gleichzeitig auf verschiedene daran angeschlossene SATA Kontroller mit je einer Lane gesplittet werden können, ist das eine interessante Methode mehrere stromsparende SATA Chips performant an einen breiteren PCIe Slot (beispielsweise mit 4 Lanes) anzubinden. Leider hat die Sache einen großen Haken: die PCIe Switches selber sind auch Stromschlucker und damit macht man die Energiebilanz des nachgeschalteten sparsamen SATA Chips wieder zunichte. Dann kann man gleich überlegen einen SAS Kontroller oder mehrere einfache SATA Kontroller zu nehmen.

 

Und endlich: die SATA Chips auf den Kontrollerkarten (egal ob Standardbauweise oder M.2).

Aktuell steht auf dem Markt folgendes zur Verfügung (was auch in unraid gut funktioniert, aber ggf. die  vom Mainboard erreichbaren Stromsparzustände (C-States) verändern/verschlechtern kann):

 

ASM1062 Chip – Eingang PCIe 2.0 x2; Somit hat man also rund 1GByte/s Bandbreite (wenn dieser Chip eben zum Mainboard mit mindestens PCIe 2.0 x2 Lanes angebunden ist), die hier auf bis zu 2 SATA Ports verteilt werden. Bei gleichzeitige Nutzung aller 2 Ports sind knapp unter 500MByte/s pro Port nutzbar, wodurch sich dieser Kontroller sich gut anbietet bei älteren PCIe 2.0 basierten Mainboards bis zu 2 SATA Festplatten oder aus SATA-SSD gleichzeitig zu betreiben.

Diese Kontroller sind aber auch auf PCIe Steckkarten mit nur einer (x1) Lane Anbindung zu finden. Hier stehen dem Chip also nur maximal rund 500MByte/s zur Verfügung und damit würde es bei 2 guten SATA-SSD gleichzeitig schon wieder zu eng mit der Gesamtbandbreite.

 

JMB582 Chip - Dieser hat baulich 1 eine PCIe 3.0 Lane. Dieser Chip bietet 2 SATA Ports, die sich dann die maximale Bandbreite von rund 1GByte/s teilen, wodurch dann bei gleichzeitiger Nutzung knapp unter 500MByte/s pro SATA Port drin sind. Das reicht auch für gute SATA SSDs.

Diese 582 Chips werden sehr gerne für die Nischenlösung der M.2 Key A/E Steckkarte eingesetzt um in solch kurzen A oder E Slots, welche eigentlich für WiFi Karten gedacht sind und auch PCIe 3.0 x1 enthalten, einen zusätzlichen SATA Kontroller einzusetzen. In reinen CNVI M.2 Slots funktionieren diese Kontroller nicht.

Nicht unerwähnt sollte sein, daß die JMB 582 (und siehe unten auch 585) kein vernünfitiges ASPM beherrschen und somit der PC in der Regel nicht mehr in tiefere Stromsparmodi wechseln kann. Das kann dann schon einmal einen Unterschied von ein paar Watt im einstelligen Bereich ausmachen.

 

ASM1064 Chip – Eingang PCIe 3.0 x1; Somit hat man also rund 1GByte/s Bandbreite, die hier auf bis zu 4 SATA Ports verteilt werden. Bei gleichzeitige Nutzung aller 4 Ports sind knapp unter 240MByte/s pro Port nutzbar, wodurch sich dieser Kontroller gut anbietet bis zu 4 SATA Festplatten gleichzeitig zu betreiben. Bei performanten SATA-SSD sollten nicht mehr als 2 Stück gleichzeitig benutzt werden, da diese sonst ggf. ausgebremst werden.

Edit: Diese Chips haben aber gezeigt, daß Sie beim Einsatz von Powertop im auto tune Modus ggf. die SATA Links verlieren. Diese sind ebenfalls keine gute Empfehlung mehr für unraid.

 

ASM1164 Chip – Eingang PCIe 3.0 x2; Somit hat man also rund 2GByte/s Bandbreite, die hier auf bis zu 4 SATA Ports verteilt werden. Bei gleichzeitige Nutzung aller 4 Ports sind fast 500MByte/s pro Port nutzbar, wodurch sich dieser Kontroller gut anbietet bis zu 4 SATA-SSD gleichzeitig zu betreiben. Steckkarten mit diesem Kontroller sind aber sehr selten, weil sie preislich vergleichbar dem unten erwähnten ASM1166 liegen und dieser sogar 6 SATA Ports bietet. Auch dieser Kontroller ist vereinzelt auch auf x1 Steckkarten zu finden, wobei er sich von der Geschwindigkeit her dann nicht mehr von der ASM1064 Variante unterscheidet. Nicht unerwähnt sollte sein, daß es für die ASM11.. Chips ein Firmweareupdate gibt, welches bei einigen Zusatzsteckkarten evtl. vorhandene Probleme mit den Energiesparmodi verringern. Ob dieses Firmwareupdate bei allen ASM11.. basierten Steckkarten funktioniert kann ich nicht sagen.

 

JMB585 Chip - Dieser hat baulich 2 Stück PCIe 3.0 Lanes, wodurch man seine maximale Bandbreite nur in einem Slot 3.0 mit x2 Lanes (oder mehr) erreichen kann. Dieser Chip bietet 5 SATA Ports, die sich dann die maximale Bandbreite von rund 2GByte/s teilen, wodurch dann bei gleichzeitiger Nutzung knapp unter 400MByte/s pro SATA Port drin sind. Das ist mehr als die aktuell flotteste SATA HDD schafft und auch nicht übel, wenn man SATA SSD verwenden will. Es wird dann bei gleichzeitiger Nutzung performanter SATA-SSD zwar immer noch etwas Transfergeschwindigkeit beschnitten, aber das muß man selber entscheiden, ob man das akzeptieren kann und ob die SSD soweiso nicht selber schon langsamer ist.

Auch hier der Hinweis: 

daß die JMB 585 (und siehe oben auch 582) kein vernünfitiges ASPM beherrschen und somit der PC in der Regel nicht mehr in tiefere Stromsparmodi wechseln kann. Das kann dann schon einmal einen Unterschied von ein paar Watt im einstelligen Bereich ausmachen.

 

ASM1166 Chip – Auch dieser hat baulich 2 Stück PCIe 3.0 Lanes und somit auch maximal 2GByte/s. Er verteilt dies auf bis zu 6 SATA Ports, wodurch dann bei gleichzeitiger Nutzung rund 330MByte/s drin sind. Immer noch mehr als eine Festplatte und auch bei SATA-SSD für den einen oder anderen User interessant. Wenn man nur 4 Ports beschaltet hat man eigentlich das Selbe wie bei einen ASM1164 Chip (siehe oben) nur eben für ggf. zukünftige Erweiterungen oder Umplanungen 2 SATA Ports mehr.

Hier gilt auch der Hinweis zu der Firmware bei Stromsparproblemen.

EDIT: in den letzten Monaten sind aber auch viele (billige) ASM1166 basierte Zusatzkontroller auf den Markt gekommen, die zwar nicht (wie der ASM1064) die Links verlieren, aber dennoch in den Stromsparmodi (selbst mit angepaßter Silverstone Firmware) nicht mehr so ganz gut mit den Mainboards harmonieren und somit die C-States negativ beeinflußen.

Selbst, wenn der Kontroller selber nur so um die 2W schluckt, kann es sein, daß das Mainboard (incl. CPU) dann von sich aus einiges mehr an Energie benötigt. Es ist also hier ein bisschen Glückssache.

 

 

Diverse LSI Chips (des aktuellen Inhabers Broadcom) – Das sind dann die SAS Chips. Hier gibt es sehr viele Varianten. Am verbreitetsten sind die Chips, welche PCIe x8 zum Mainboard hin anbinden und daraus 8 oder mehr SAS/SATA-Ports machen. Wie schon geschrieben: im IT Mode sind diese für unraid gut nutzbar, aber aufgrund des höheren Strombedarfes, aktiver Kühlung und zur Verfügung stehender PCIe Slots des Mainboard muß man abschätzen, ob man lieber einen SAS Kontroller mit 4, 8 oder mehr Ports oder einen oder mehrere SATA Kontroller mit jeweils weniger Ports einsetzt um die gesamt gewünschte SATA-Portanzahl zu erreichen.

Es gibt solche SAS Kontroller die gerne Spitzenwerte von 20-30Watt erreichen. Die aktive Kühlung ist dabei definitiv zwingend!

Hier sei ergänzt, daß es auch neuere SAS-Chipentwicklungen gibt, die durch komplett neues Design und Reduzierung ihrer SAS Fähigkeiten wieder etwas weniger Energie benötigen sollen. Aber das Zeugs ist eben noch recht neu und kostet somit einiges mehr.

Hier sei ein Broadcom 9500-8i genannt, welcher auch auf der Deviceseite NVMe/PCIe beherrscht und laut Broadcom mit unter 6W angegeben ist.

https://www.broadcom.com/products/storage/host-bus-adapters/sas-nvme-9500-8i

oder sein größerer Bruder:

HBA 9500-16i mit 8.9W

Hier sei angemerkt: Man hat die Steckverbinder zu den Vorgängern wieder einmal geändert SFF-8654 (SlimSAS).

EDIT: Anscheinend hat Broadcom die Angaben in den Specs geändert. Nun ist der 9500-8i Kontroller auch mit 1024 Festplatten (SAS/SATA) angegeben. Früher waren es weniger.

 

Kleine Randnotiz zu den Kontrollern, welche PCIe 3.0 x2 verwenden:

Es gibt im breiten Markt keine Standard PCIe x2 (mechanisch) Slots. Aus dem Grund sind diese Kontrollerkarten für maximale Performance immer in Slots einzusetzen, welche länger sind und ggf. sogar mehr Lanes bieten. Ob man nun wirklich bei einem PCIe x4 Slot eine x2 Karte einsetzen will und somit x2 Lanes unbenutzt bleiben, muß jeder User für sich selber entscheiden.

 

EDIT (früher waren ASM1064 vorgeschlagen, aber die sind nicht mehr empfehlenswert):

Wenn es um 5-6-SATA Ports geht bevorzuge ich 2 Stück PCIE 3.0 x1 ASM1166 (oder wenn billig zu haben ASM1164)  in gesamt 2 PCIe x1 Slots eines Mainboards einzusetzen, als nur einen JMB585 (PCIe 3.0 x2) oder ASM1166 (PCIe 3.0 x2) zu verwenden, wodurch ein ganzer PCIe x4 (oder mehr) Slot ver(sch)wendet wird.

Aber das ist sehr individuell und nur meine persönliche Meinung.

 

Aufgrund der oben erwähnten stromsparenderen Firmware mag man auch einen oder mehrere ASM1166 oder ASM1164 (ggf. sogar nur als x1 Steckkarte) bevorzugen und darauf hoffen, daß sie sich bei dem eigenen Kontroller einspielen läßt und den Kontroller gesamt noch etwas sparsamer macht. Natürlich sollte man dennoch mit Bedacht überlegen wieviele SATA Ports man dann belegt und gleichzeitig nutzen wird. An der PCIe Bandbreite der Steckkarte ändert sich nichts.

 

Edited by DataCollector
C-States erwähnt; Typos, 1164 neu dazu
  • Like 9
  • Thanks 8
Link to comment
  • DataCollector changed the title to FAQ - Grundlagen Zusatzkarte für SATA-Ports v1.4 Stand 22.04.2024

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
×
  • Create New...