Hardwarevorschläge für mäßig leistungsfähige Plattenstapel mit flotter Anbindung gesucht

[DataCollector]

Hallo.

 

Zum 6 SATA Port Kontroller mit ASM1166 (PCIe 3.0 x2 Chip)

 

6 hours ago, mgutt said:

Stimmt. Dann ist die nur mechanisch, also von der Breite, x4.

Ja, warum gibt es das nicht. Komisch.

 

Das frage ich mich auch. Eine solche Karte mit 10 oder 12 Ports und voll genutztem PCIe 3.0 x4 Slot bei dem geringen Striomverbrauch von eben 2 dieser Chips, das wäre wohl eine sehr empfehlenswerte Lösung. Aber entweder ist die Nachfrage zu gering oder die Mehrfachnutzung von PCIe Lanes stellt da ein Problem dar. Das ist ja auch ein Thema im Zusammenhang mit preisgünstiger Nutzung von PCIe x16 Slots und bis zu 4 NVMe SSD.

 

[Ford Prefect]

...ich vermute, der Chip wird das nicht hergeben. Doppelte Lanes sind zwar da, aber eben nur eine Adressleitung.

Um zwei der Chips anzusteuern müsste halt ne Logik davor, die diese zwei wie einen aussehen lässt...eine Art Multiplexer oder Switch (wie bei SAS).

Die wird auch wieder Strom und Performance verbrauchen.

 

Aber es gibt solche 10er Karten mit 1x ASMedia und 1x JMicron: https://www.amazon.de/dp/B08L7W8QFT/ref=sspa_dk_detail_0?pd_rd_i=B08L7W8QFT&pd_rd_w=qngTo&pf_rd_p=b9377742-1edc-4d5e-b680-070f2360d891&pd_rd_wg=pzCqZ&pf_rd_r=3ZTQ62EGD7FC605J0TQP&pd_rd_r=0dc33fd0-3ed8-449e-92b5-504319636a34&spLa=ZW5jcnlwdGVkUXVhbGlmaWVyPUExNVQ5RVA0R0NORUZIJmVuY3J5cHRlZElkPUEwMDE3ODUzM0xYWVc5VlUxT0QwRiZlbmNyeXB0ZWRBZElkPUEwNTIwNTk3MUdVQTMwU1Q1UjdCVCZ3aWRnZXROYW1lPXNwX2RldGFpbCZhY3Rpb249Y2xpY2tSZWRpcmVjdCZkb05vdExvZ0NsaWNrPXRydWU&th=1

 

...teuer...Verbrauch und Performance unbekannt?

 

[DataCollector]

Hallo @Ford Prefect

 

Quote

...ich vermute, der Chip wird das nicht hergeben. Doppelte Lanes sind zwar da, aber eben nur eine Adressleitung.

Deshalb ja mein Hinweis auf die gleich gelagerte Problematik bei mehreren NVMe SSD in einem PCIe Slot.

Entweder unterstützt das Mainboard PCIe Bifurcation (aufsplitten der PCIe Lanes in bestimmten Rastern) oder man muß mit PCIe Switches arbeiten.

Diese Switches sind noch selten, stromhungrig und teuer. Ich habe mir einen aus Frankreich kommen lassen um mit 4 NVMe SSD zu experimentieren.

Deshalb machen diese Switches auch nur bei NVMe oder vergleichbaren Anwendungen Sinn, da es dort eben eher um Performance geht und weniger um Stromsparen.

 

Aber schön fände ich es schon, wenn man sowieso schon eine PCIe SATA Bridge wie den ASM 116x entwickelt, daß man sich etwas näher an der existierenden Realität orientiert. PCIe x2 Slots mechanisch und elektrisch sind eben eher exotisch bis selten. PCIe mit elektrisch x1 oder x4 hingegen sind weiter verbreitet.

Für PCIe 3.0 x1 hat man ja auch den ASM1064 entwickelt und der klingt sinnvoll. Habe von 2 unterschiedlichen Händlern je einen zu Testzwecken bestellt. Mal sehen, was die 4 SATA Ports wirklich in einem PCIe 3.0 x1 Slot bringen.

Bei x4 scheint aber noch eine PCIe SATA Bridge zu fehlen, die das ausnutzt. PCIe 3.0 x4 sollte aktuell für 10-12 Festplatten über SATA genug Bandbreite bieten. Wenn man hingegen viele SATA SSD anbinden will wäre PCIe 4.0 x4 schon wirklich interessant.

Ryzen und neuere Intel gehen ja den Schjritt zu PCIe 4.0. Ist nur blöd, daß es noch kaum PCIe 4.0 Karten gibt, so daß solche Erweiterungen dennoch maximal mit PCIe 3.0 oder gar 2.0 laufen und eventuell dort bremsen.

Und wenn eine x4 PCIe SATA Bridge doch schon (vgl. ASM116x) in "Chip"-Bauweise gegossen wäre, sollten passende Kontrollerkarten schnell und günstig verfügbar und weniger Stromhungrig als diverse SAS Kontroller sein. Die Adressierung eines solchen Chips dürfte dann auch kein Problem mehr darstellen.

Und für die Zukunft kann man das für PCIe 3.0 oder 4.0 mit x8 oder x16 weiter denken: 1 Kontrollerkarte mit 20 - 48 diskreten SATA Ports (von mir aus wieder über SFF zusammengefasst). Ist ja nicht so, als wäre so ein Boardlayout so neu (3Ware 9650SE-24M8 hatte eben nur damals aktuelle Technik und ist heute hoffnungslos veraltet und energiehungrig. Davon habe ich noch ein paar hier rumliegen.)

 

 

Quote

Um zwei der Chips anzusteuern müsste halt ne Logik davor, die diese zwei wie einen aussehen lässt...eine Art Multiplexer oder Switch (wie bei SAS).

Die wird auch wieder Strom und Performance verbrauchen.

 

Ja, leider. Siehe die Switchinfo oben.

 

Quote

 

Aber es gibt solche 10er Karten mit 1x ASMedia und 1x JMicron: https://www.amazon.de/dp/B08L7W8QFT/ref=sspa_dk_detail_0?pd_rd_i=B08L7W8QFT&pd_rd_w=qngTo&pf_rd_p=b9377742-1edc-4d5e-b680-070f2360d891&pd_rd_wg=pzCqZ&pf_rd_r=3ZTQ62EGD7FC605J0TQP&pd_rd_r=0dc33fd0-3ed8-449e-92b5-504319636a34&spLa=ZW5jcnlwdGVkUXVhbGlmaWVyPUExNVQ5RVA0R0NORUZIJmVuY3J5cHRlZElkPUEwMDE3ODUzM0xYWVc5VlUxT0QwRiZlbmNyeXB0ZWRBZElkPUEwNTIwNTk3MUdVQTMwU1Q1UjdCVCZ3aWRnZXROYW1lPXNwX2RldGFpbCZhY3Rpb249Y2xpY2tSZWRpcmVjdCZkb05vdExvZ0NsaWNrPXRydWU&th=1

Kontrollerkarte ASM1166 (PCIe Gen3 x2 - 6SATA3)+ 575 (1 to 5 port SATA 6Gb/s Port Multiplier)

Das ist grundlegend eine etwas neuere Variante der von mir schon erwähnten DELOCK 89384 mit 10Port SATA3. EIn 2 Port Chip (ASM1062) mit zwei nachgeschalteten Multipliern (JMB575). Die Performance der Delock war mehr als nur enttäuschen, wenn man schon 3 Festplatten ansprechen will (hab ich 2016 getestet).

Ich bin seit dem kein großer Freund von SATA Multipliern.

Bei der Karte oben verlinkten Karte mit dem ASM1166 und 575 vermute ich, daß 5 Ports direkt vom ASM1166 herausgeführt sind und einer weiter zum 575 geht. Dadurch teilen sich die 5 Port des 575 die Bandbreite eines SATA Ports. Ich hege Zweifel, daß diese Ports auch nur für Festplatten sehr performant sind.

Auch hat die Karte zwar einen mechanischen PCIe x4 Anschluß, doch da der ASM1166 eben nur PCIe x2 beherrscht teilen sich nun 10 Ports die geringere Bandbreite. Vielleicht hat man x4 gewählt im die Karte stabiler in Slots einzusetzen, aber möglicherweise will man auch die Leute nicht direkt mit der Nase auf den PCIe Engpaß stoßen.

'Täuschen und Tarnen'

 

Quote

...teuer...Verbrauch und Performance unbekannt?

Ja vor allem, wenn ich einen 8 Port SAS Kontroller gebraucht schon ab ca. 50 Euro bekommen kann.

PCIe 2.0 x8 = ca. 4 GByte/s

https://www.ebay.de/itm/184848985093

Ein billiger SAS Expander

https://www.ebay.de/itm/133335491742

(die wurden schon vor Jahren in Mengen ausgemustert und waren da sogar schon ab rund 20 Euro zu haben).

Wenn das Mainboard keinen passenden PCIe Slot fuer den Expander hat, kann man ihn bestimmt auch mit einem Minerriser (20Euro) fremdspeisen, da der Expander wohl nur den Strom aus dem Slot zieht.

Dazu ein paar SFF Kabel zum Verbinden (30 Euro) und ein paar Fanout Kabel für die Festplatten (50 Euro).

In Summe ähnlich teuer und vermutlich auch stromschluckend wie die ASM1166+575 Karte, aber weitaus mehr Ports (6 SFF mit je 4 SAS/SATA = 24 Ports).

Diese Ports sind dann zwar nur SAS6G bzw. SATA3G, aber die bis unter 300MByte/s von Festplatten sollten dennoch auf rund 13-14 Ports problemlos zum PCIe 2.0 x8 durch gehen.

 

Ich seh in der aktuellen ASM1166+575 Karte 8abgesehen von baulicher Platzersparnis) irgendwie keinen echten Mehrwert gegenueber der etablierten SAS Technik von vor ca. 10 Jahren (LSI 9240-8i  + HP SAS Expander Card).

Erst wenn man SAS in aktueller ausprägung einsetzen will (SAS 12G) wird es wirklich teuer.

 

Edited June 9, 2021 by DataCollector
Aussage PCIe 2.0 x8 = ca. 4 GByte/s war in falsche Zeile gerutscht

[mgutt]

Interessant wäre evtl auch noch eine Karte mit Marvell 88SE1475. Das ist ein 16 Port SATA Controller, der neuesten Generation. Gibt allerdings keine Karten soweit ich weiß. Zwei verbrauchen dann allerdings auch zwei x8 Slots. Auch doof ^^ Wobei, wenn man die in x4 steckt, hätte man ~250MB/s pro HDD.

[Ford Prefect]

4 hours ago, DataCollector said:

Ja, leider. Siehe die Switchinfo oben.

...eben...ein Trauerspiel...wobei ich gestern irgendwo ein review einer ähnlichen Karte (marvell Controller + JM Multiplexer geshen hatte, wo ein test auf allen Ports simultan noch gut war.

 

4 hours ago, DataCollector said:

Ja vor allem, wenn ich einen 8 Port SAS Kontroller gebraucht schon ab ca. 50 Euro bekommen kann.

https://www.ebay.de/itm/184848985093

Ja, ich habe die umgeflashten IBM M1015 immer noch im Einsatz.

4 hours ago, DataCollector said:

Ein billiger SAS Expander PCIe 2.0 x8 = ca. 4 GByte/s

https://www.ebay.de/itm/133335491742

(die wurden schon vor Jahren in Mengen ausgemustert und waren da sogar schon ab rund 20 Euro zu haben).

Wenn das Mainboard keinen passenden PCIe Slot fuer den Expander hat, kann man ihn bestimmt auch mit einem Minerriser (20Euro) fremdspeisen, da der Expander wohl nur den Strom aus dem Slot zieht.

Ich habe in einem grossen 24er/4HE einen der LSI SAS und einen 24 Port Intel Expander.

Die Combo läuft einwandfrei und die Intels konnte man immer fremdspeisen, auch die Version mit PCIe-Slot

 

Von HP Karten und Expandern halte ich nicht viel.....gab oft Ärger mit Treibern.

 

Aktuell tauchen viele dieses Modells https://www.ebay.de/itm/284325668102?hash=item4233216506:g:B3cAAOSwx6Jgvihm auf.

Leider nur PCIe-2.0 und dann sind Neue in der Regel China-Fakes.

 

Das Beste ist es wahrscheinlich doch auf SAS zu setzen.

Dann Aber gleich ein Super-Chassis mit Expander, wo dann auch zwei+ SAS Pfade anschliessbar sind.....und den Stromverbrauch mit ner Guerilla PV-Anlage kompensieren 🤣

[mgutt]

2 hours ago, mgutt said:

Gibt allerdings keine Karten soweit ich weiß.

Ich korrigiere. Eine gibt es doch:

https://www.amazon.com/QNAP-Systems-QXP-1600ES-Plug-External/dp/B086M64DPR

 

Allerdings mindestens 190 Dollar und die Kabel, die vermutlich noch mal so viel kosten, müsste man wieder ins Gehäuse zurückführen ^^

 

Dummerweise wird x2 mit PCIe 4.0 und 5.0 völlig ausgeblendet. Ich hatte zB bereits bei 4.0 erwartet, dass es doppelt so viele x2 M.2 Slots auf den Boards geben würde. Stattdessen bringen die M.2 NVMe mit 7000 MB/s raus, die kaum einer wirklich braucht. Ich für meinen Teil hätte jedenfalls lieber 4 x2-Slots mit 4000 MB/s pro Stück. Schuld ist hier allerdings Intel und AMD. Die müssen ja erst mal so eine Aufteilung erlauben (also statt x16 dann 8x x2). Tun sie aber nicht. Intel erlaubt nur x8 x8 oder x8 x4 x4. AMD erlaubt zusätzlich wenigstens noch x4 x4 x4 x4. Daher funktionieren diese M.2 Bifurcation Karten auch nur mit AMD Boards (oder eben Intel X Boards, aber wer will die Stromschlucker schon haben).

 

Zum Teil ist Chia auch ein Glück für uns. Denn die Hersteller werden denke ich nun vermehrt neue SATA Controller mit mehr Ports rausbringen. Danach darf die Chia Blase aber gerne platzen. ^^

 

 

[DataCollector]

Hallo @mgutt

 

4 hours ago, mgutt said:

Interessant wäre evtl auch noch eine Karte mit Marvell 88SE1475. Das ist ein 16 Port SATA Controller, der neuesten Generation.

 

Ich sah, daß die Marvell 88SE14xx Raid5/6 Kontroller sind. Ob die in unraid sinnvoll als HBA betrieben werden können hängt wohl stark von der Firmware des Herstellers ab.

Auch habe ich irgendwo im Rahmen meiner Recherchen mal von Problemen zwischen Unraid und Marvelhardware gelesen.

 

4 hours ago, mgutt said:

Gibt allerdings keine Karten soweit ich weiß. Zwei verbrauchen dann allerdings auch zwei x8 Slots. Auch doof ^^ Wobei, wenn man die in x4 steckt, hätte man ~250MB/s pro HDD.

Dann könnte man vielleicht zwei solche Chips auf eine x16 verbauen.

Oder vielleicht entwickelt Marvel gleich einen PCIe 4.0 x4 Nachfolger?

Doch ca. 250MB/s reichen für Festplatten heutzutage ja eigentlich aus.

Die Mainboards müssten dann aber offene x4 Slots haben.

Ich habe mal versucht einen PCIe Slot auf zu dremeln. Dafür war ich nicht gut genug.

 

[DataCollector]

Hallo @Ford Prefect

 

3 hours ago, Ford Prefect said:

Ich habe in einem grossen 24er/4HE einen der LSI SAS und einen 24 Port Intel Expander.

Ich habe eigentlich auch fast nur Intel Expander im Einsatz.

einige RES2CV360 und RES3TV360 (die passen besser in die 4HE Gehäuse in den Luftstrom)

eine RES3FV288 aka Adaptec 82885T

und einen RES2SV240.

Ich hatte die HP SAS Karte nur mal gekauft und hier erwähnt, weil es wohl der guenstigste SAS-Expander mnit hohem Portcount ist und trotz nur SATA II (3G) für Festplatten immer noch ausreichend ist.

Für ein aktuelle SSD Array würde ich den HP auch nicht nehmen. Aber sein 12G Nachfolger kligngt hingegen schon wieder sehr interessant HP 761879-001 727250-B21 (weil gebraucht recht guenstig).

 

3 hours ago, Ford Prefect said:

Die Combo läuft einwandfrei und die Intels konnte man immer fremdspeisen, auch die Version mit PCIe-Slot

Ja, das ist eine bequeme Lösung um den Expander fern der PCIe Slots zu positionieren.

Ich habe die meist zwischen HDD Hotswap in der Front und der Lüfterphalanx eingebaut. Da zieht es immer schön und die Kabel zur passiven Backplane sind kurz.

 

3 hours ago, Ford Prefect said:

Von HP Karten und Expandern halte ich nicht viel.....gab oft Ärger mit Treibern.

HP Karten nutze ich keine. Bei dem HP SAS-Expander brauchte ich bei Tests keine Treiber. Er lief problemlos, aber eben von der Bauform ungünstig groß und eben leider nur durch PCIe gespeist.

Damals wusste ich noch nichts von Mining Riser Lösungen für PCIe Speisung und wollte keinen PCIe Slot für reine Stromversorgung verlieren. Lanes waren damals noch knapper als heute. Irgendwo in meinem Stapel fliegt mindestens einer dieser HP Expander noch rum.

 

3 hours ago, Ford Prefect said:

Aktuell tauchen viele dieses Modells https://www.ebay.de/itm/284325668102?hash=item4233216506:g:B3cAAOSwx6Jgvihm auf.

Leider nur PCIe-2.0 und dann sind Neue in der Regel China-Fakes.

Auch weiß ich nicht ob diese Raidkontroller sich auf IT umflashen lassen.

 

 

3 hours ago, Ford Prefect said:

Das Beste ist es wahrscheinlich doch auf SAS zu setzen.

Zumindest, wenn man hohen Portcount und einfache Verkabelung will und Stromverbrauch und Preis hinten anstellt.

Beides hat seine Vor- und Nachteile.

Ich bin keiner Variante abgeneigt, doch ist die Verkabelung bei SAS mit Backplanes einfacher.

 

[DataCollector]

Hallo @mgutt

 

1 hour ago, mgutt said:

Ich korrigiere. Eine gibt es doch:

https://www.amazon.com/QNAP-Systems-QXP-1600ES-Plug-External/dp/B086M64DPR

 

Mit großem Kühlkörper und Lüfter. Der wird auch nicht wirklich stromsparend sein.

 

1 hour ago, mgutt said:

Allerdings mindestens 190 Dollar und die Kabel, die vermutlich noch mal so viel kosten, müsste man wieder ins Gehäuse zurückführen ^^

 

So eine Idee 'ext wieder auf int führen' hatte ich bei der erwähnten Adaptec 78165 auch schon mal. Die Kabel und Adapter bekommt man bei ebay zu akzeptablen Preisen .

Aber ich habe schon genug Kabelhenkel aussen an meinen Gehäusen.

 

 

1 hour ago, mgutt said:

Dummerweise wird x2 mit PCIe 4.0 und 5.0 völlig ausgeblendet. Ich hatte zB bereits bei 4.0 erwartet, dass es doppelt so viele x2 M.2 Slots auf den Boards geben würde.

Ja, man will wohl lieber noch schneller, weil es im Marketing besser klingt, auch wenn der wirkliche Nutzen von M.2 7,x GByte/s gegenueber M.2 3,x GByte/s NVMe SSD mit hundertausenden IOPS bei den meisten Nutzern nicht wirklich groß ist.

 

1 hour ago, mgutt said:

Ich für meinen Teil hätte jedenfalls lieber 4 x2-Slots mit 4000 MB/s pro Stück.

 

Ja, das war auch der gedanke hinter meinem PCIe Switch. Doch auch da teilen sich die 4 NVMe SSD im Endeffekt nur den einen PCIe 3.0 x8 Slot. Aber ich brauche selten alle gleichzeitig in maximaker Geschwindigkeit.

 

1 hour ago, mgutt said:

Schuld ist hier allerdings Intel und AMD. Die müssen ja erst mal so eine Aufteilung erlauben (also statt x16 dann 8x x2). Tun sie aber nicht.

Naja, bei vielen Mainboards sind die ersten und zweiten x16 Slots shared. Wenn beide besetzt sind, wird je x8 gefahren.

So betreibe ich aktuell meine Systeme. Im GPU x16 Slot steckt ein SAS-Kontroller als x8 und im zweiten Slot entweder eine 10GLan oder der PCIe x8 Switch (je nach System).

 

1 hour ago, mgutt said:

Intel erlaubt nur x8 x8 oder x8 x4 x4. AMD erlaubt zusätzlich wenigstens noch x4 x4 x4 x4. Daher funktionieren diese M.2 Bifurcation Karten auch nur mit AMD Boards (oder eben Intel X Boards, aber wer will die Stromschlucker schon haben).

 

Der Wunsch hängt vom Anwendungszweck ab. Für 24/7 unraid und NAS sind die Stromschlucker weniger gut.

Für Workstation oder Gaming hingegen mit nur zeitweisem Betrieb ist das weniger problematisch.

 

1 hour ago, mgutt said:

Zum Teil ist Chia auch ein Glück für uns. Denn die Hersteller werden denke ich nun vermehrt neue SATA Controller mit mehr Ports rausbringen. Danach darf die Chia Blase aber gerne platzen. ^^

 

Wir werden sehen, was passiert.

ich bin skeptisch.

[mgutt]

16 minutes ago, DataCollector said:

Für Workstation oder Gaming hingegen mit nur zeitweisem Betrieb ist das weniger problematisch.

Ja, aber was bringt PCIe 4.0 x16 für einen Gamer? Gar nichts. Die GPUs sind genauso schnell. Und vorher konnten die Leute auch mit PCIe 3.0 x8 leben, wenn eine zweite Karte verbaut wurde. Ich wette die meisten wussten nicht mal, dass sie dann nur noch x8 auf der GPU hatten.

 

Und wenn ich jetzt an PCIe 5.0 denke... da reicht ja x4 für die GPU.

 

22 minutes ago, DataCollector said:

Mit großem Kühlkörper und Lüfter. Der wird auch nicht wirklich stromsparend sein.

Ja vermutlich.

 

Bleibt nur noch eine Option (JMB585):

http://iocrest.com/index.php?id=2070

 

Habe ich auch schon verwendet. Ein Board mit 2x M.2 wären dann schon mal 10 extra Buchsen. Nur leider ist der Adapter mit 50 € pro Stück (vor Chia) auch nicht gerade günstig.

 

[DataCollector]

Hallo @mgutt

 

22 minutes ago, mgutt said:

Ja, aber was bringt PCIe 4.0 x16 für einen Gamer? Gar nichts.

 

Aussage von einigen Gamern, das Nachladen der Grafiken geht erheblich flotter.

 

22 minutes ago, mgutt said:

Die GPUs sind genauso schnell.

Aber der Speichertransfer in die GPU Karte mit ihren heutzutage vielen GB geht eben flotter.

 

22 minutes ago, mgutt said:

Und vorher konnten die Leute auch mit PCIe 3.0 x8 leben,

 

Wenn das Argument gilt, sehen wir als Datenlagerer (Datahorder) nicht besser aus.

Wir konnten sogar mal mit Floppy leben und brauchten auch nicht immer TB Kapazitäten oder 4stellige MB/s Geschwindigkeiten.

 

[mgutt]

34 minutes ago, DataCollector said:

Aussage von einigen Gamern, das Nachladen der Grafiken geht erheblich flotter.

Das Nachladen der Grafiken dürfte der Gamer eigentlich gar nicht sehen, da diese in den Grafikspeicher vorausgeladen werden. Dann hat er einfach einen zu kleinen Speicher / NVMe.

 

Manchmal ist sogar das ganz neue SAM mit PCIe 3.0 schneller:

https://www.pcgameshardware.de/Radeon-RX-6800-Grafikkarte-276952/Specials/Smart-Access-Memory-Benchmarks-1361997/

Quote

Das PCI-E 3.0 indes bei einigen Spielen zumindest bei niedrigen Auflösungen als Sieger hervorgeht, ist stark kontraintuitiv.

 

Bei Reddit hatte das auch mal jemand erklärt (ich meine irgendwas mit größerem Overhead bei PCIe 4.0), aber ist zu lange her.

 

Jedenfalls spielt sich das alles unter 5% ab, was man mit PCIe 4.0 und einer 4.0 GPU gewinnen kann. Wobei das natürlich für einen Gamer schon durchaus als Argument reichen kann. Keine Frage.