16, 20 oder 24 Port SATA Karte


Recommended Posts

Hallo @DataCollector,

 

ja Unraid ist bei mir nur als Hypervisor im Einsatz. Meine Festplatten habe ich in einer Synology VM welche sich Xpenology nennt und dort reiche ich den LSI 9211-8i im IT mode durch an dem die 8 Sata Platten hängen. Der Plan ist es den HBA gegen die beiden JMB585 zu tauschen um die o.g. Vorteile zu bekommen. Frage ist nur ob dann ein RAID rebuild notwendig sein wird. Try and error würde ich sagen. Habe mir eben das Teil bestellt.

 

Das Unraid Array nutze ich gar nicht. In einem SSD Pool laufen nur die ganzen Docker um VM's

Edited by WowaDriver
Link to comment
1 minute ago, WowaDriver said:

ja Unraid ist bei mir nur als Hypervisor im Einsatz. Meine Festplatten habe ich in einer Synology VM welche sich Xpenology nennt und dort reiche ich den LSI 9211-8i im IT mode durch an dem die 8 Sata Platten hängen.

Deiner weiter unten stehenden Beschreibung entnehme ich, daß Du die Festplatten alle in einem Pool drin hast und nicht in einem Array und dort im Pool Raid5 nutzt.

 

In jedem Fall wmpefhele ich: Backup von wichtigen Daten ist anzuraten!

 

1 minute ago, WowaDriver said:

Der Plan ist es den HBA gegen die beiden JMB585 zu tauschen um die o.g. Vorteile zu bekommen. Frage ist nur ob dann ein RAID rebuild notwendig sein wird.

Wenn Du jetzt alles m Pool und als raid5 hast: Unraid sollte es wiederfindne und direkt ohne Probleme weiter nutzen können.

 

1 minute ago, WowaDriver said:

Try and error würde ich sagen. Habe mir eben das Teil bestellt.

Viel Erolg.

Ich befürchte, daß schon die x4x4 Splittung ein Problem werden kann. Aber Du meinst ja, daß Dein Board das kann.

Zumindest verschwendest Du 2x2x Lanes. Aber wenn es Dir darauf nicht ankommt: Viel Erfolg! :)

 

1 minute ago, WowaDriver said:

Das Unraid Array nutze ich gar nicht.

Du hast also 8 SATA Festplatten in einem unraid Pool drin und der Pool läuft jetzt schon als Raid5?

Eine Konstellation, welche möglich, aber gelinde gesagt, wohl ungewöhnlich ist.

In dem Fall sollte es unraid möglich sein auch weiterhin das Raid5 wieder zu finden und zu nutzen, ohne daß etwas verloren geht.

 

Ich dachte gelesen zu haben, daß bei Unraid immer irgendetwas im Array laufen muß.

1 minute ago, WowaDriver said:

In einem SSD Pool laufen nur die ganzen Docker um VM's

So langsam versztehe ich Deinen Aufbau nicht.

 

In unraid gibt es Array, da platziert man in der Regel die Festplatten und das kann kein Raid5.

In unraid gibt es auch Pools, dan kann man auch Festplatten platzieren, ist aber eher für SSD als schneller Cache und Dockerplatz gedacht, dort ist Raid5 möglich.

Du hast aber Festplatten im Raid5 unter unraid? Sorry, das verstehe ich nicht. Da kann Dir vielleicht jemand helfen, der Deine Konstellation durchblickt.

Link to comment
On 3/15/2022 at 7:59 PM, mgutt said:

Bei einer Syno ist ja die Reihenfolge sehr wichtig. Keine Ahnung was passiert, wenn man auf SATA Controller wechselt und dann auch noch von einem zu zwei Controllern. 🤔

Soweit bin ich erst gar nicht gekommen. Wie schon geschrieben, unterstützt mein Board (Gigabyte Z590 Aorus Master) in den beiden ersten mechanischen x16 Slots, die auch direkt an die CPU gebunden sind mit 16 Lanes folgende Modi: x16, x8/x8 und x8/x4+x4:

image.thumb.png.12287d62b212bf534a5a96bf01514003.png

 

Nur wenn ich letztere Einstellung setze wird in Unraid unter den PCI Devices auch tatsächlich beide M.2 to 5x Sata Adapter JMB585 erkannt...

1223214474_Bildschirmfoto2022-03-17um00_30_14.thumb.png.3be98da88e9bc6e10475fe7f6dc86f15.png

 

Was jedoch komisch ist, dass die daran angesteckten Platten nicht erkannt werden, sowohl in Unraid nicht, in einer Baremetal Windows Installation nicht,

und die beiden Karten lassen sich auch keiner VM durchreichen. Es kommt wieder der Fehler: internal error: Unknown PCI header type '127' for device '0000:02:00.0'

 

Wenn man sich die PCIe Karte selbst anschaut leuchtet diese mit zwei grünen LED's für die beiden NVMe M.2 Steckplätze mit grüner LED, somit sollte da alles tutti sein. Werden ja auch beide in Unraid grundsätzlich erkannt.

1026900906_Bildschirmfoto2022-03-17um00_39_51.thumb.png.795db79d0ad6196415e446bc20dde6a2.png

 

Betrachtet man aber die LED's auf den JMB585 Adaptern sind diese aus und müssten eigentlich leuchten. Irgendwo ist da der Wurm... Habe da jetzt meine 8 Platten dran welche aus 2 Festplatten Käfigen kommen. Diese wurden mit einem SFF-8087 zu 4x Sata Kabel angeschlossen. Vielleicht ist da der Wurm teste das morgen mal mit Normelen Sata Kabeln. Hatte diese aber damals als ich noch keinen LSI 9211-8i im Einsatz hatte in Verwendung und direkt am Mainboard angeschlossen. Das lief!

image.thumb.png.771b3612780bdf930f51932eab487898.png

 

Hatte es sowohl in UEFI als auch Lagency Boot versucht. Mit Passthrough und Blacklisting in der Syslinux Configuration beim Boot. CSM war jedesmal an.

Berichte morgen weiter. Für heut ist Feierabend.

Edited by WowaDriver
Link to comment
5 hours ago, WowaDriver said:

Nur wenn ich letztere Einstellung setze wird in Unraid unter den PCI Devices auch tatsächlich beide M.2 to 5x Sata Adapter JMB585 erkannt...

Was ja auch logisch ist, weil wenn du dem ersten Slot 16 Lanes zuweist, sind ja keine mehr für die anderen beiden Slots ubrig. Du hast ja nur 16 insgesamt.

 

5 hours ago, WowaDriver said:

PCIe Karte ... beiden NVMe M.2 Steckplätze

Das könnte dein Problem sein. Du kannst zwar im BIOS X8X4X4 auswählen, aber das heißt noch lange nicht, dass du X4X4 auf einem einzigen PCIe Slot verwenden darfst. Normalerweise ist die Einstellung ja dafür da X4 und X4 auf die beiden PCIe Slots zu verteilen.

 

Vermutlich wird eine Dual Karte also nicht funktionieren.

  • Like 1
Link to comment
5 hours ago, mgutt said:

Normalerweise ist die Einstellung ja dafür da X4 und X4 auf die beiden PCIe Slots zu verteilen.

Das bezieht sich denke ich nicht auf alle drei mechanischen Ports die am Board vorhanden sind. Die ersten beiden Ports sind an die CPU gebunden und auch nur für diese beiden lassen sich diese Bifrucation Settings auch einstellen. Jedenfalls verstehe ich das so, korrigiert mich wenn ich mich irre. Der dritte mechanische Port am Board hängt am Chipsatz und ist immer x4 fach angebunden. 

 

1797255832_Bildschirmfoto2022-03-17um12_31_41.thumb.png.d386bca6282a46a3316b3b7d5f374d6f.png

 

 

Link to comment
5 hours ago, mgutt said:

Ah ok, dachte die wären alle CPU. Dann sollte das gehen. Die Frage ist ob der Adapter läuft. Welcher ist das bzw hast du mal an einem normalen M.2 Slot getestet?

Also anscheinend hast du Recht @mgutt, die PCIe zu M.2 Platine läuft. Meine NVMe wird darin sauber erkannt. Die beiden M.2 zu 5x Sata sind anscheinend defekt. Ich habe Sie auf die beiden Onbard M.2 Steckplatze meines z590 Board gesteckt. UNraid erkennt diese zwar als JMB585 Device an, zeigt aber keine einzige angeschlossene Platte. Oder aber es liegt an den verwendeten 4xSATA zu SFF-8087 Kabeln welche an den Raidsonic HDD Käfigen angeschlossen sind. Versuche gleich nochmal direkt Platten via Sata zu verbinden.

 

Also ich habe die Fehlerquelle lokalisieren können. Sowohl die PCIe zu M.2 Adapterkarte läuft sauber, als auch die M.2 zu 5x Sata JMB585 Karten (hier sowohl auf der Adapterkarte als auch auf dem Mainboard direkt) Meine Fehlerquelle sind die SFF-8087 Kabel. Hier habe ich folgende in Verwendung:

YIWENTEC Mini SAS 36p SFF-8087 zu 4 SATA Target Festplatte Connector Daten kabel 0.75m

 

Diese sind an Rackmaxx bzw. Raidsonic RM324 Backplanes angeschlossen, welche eben einen MiniSAS Anschluss haben. 

image.thumb.png.72c47a2b276a34c7b4445a324e7f7b64.png

 

Es scheint so, dass die Kabel nur in eine Richtung funktionieren. "SFF-8087 zu 4 SATA Target" Heißt es ja in der Beschreibung. Das habe ich auch 100% überprüft und auch direkt versucht vom Mainboard an die SAS HDD Käfige zu gehen, auch hier werden keine Platten erkannt.

 

Jetzt heißt es Hausaufgaben machen und hoffen, dass es "4x Sata (Host) zu SFF-8087 (Target)" Kabel gibt.

 

//EDIT: Bzw. such ich morgen mal das Handbuch der RM324 raus und hoffe man kann mit den vielen Pins auf der Rückseite irgendwelche configs einstellen. Denke aber das waren alles nur PINS für die Lüftersteuerung, Pipser usw

 

//EDIT 2: Habe eben bei Amazon tatsächlich die benötigten Kabel finden können. Hätte nicht gedacht das es da einen Unterschied machen würde. Samstag geht es dann an das weitere Testen. Hoffe bekomme dann nicht wieder den Fehler: internal error: Unknown PCI header type '127' for device '0000:02:00.0' beim durchreichen an die VM.

CableCreation [umgekehrtes Kabel Mini SAS 36 Pin (SFF-8087) Stecker auf 4 SATA 7-polige Buchse, Mini SAS (Target) auf 4 SATA (Host) Kabel, 0,5 m

Edited by WowaDriver
Link to comment
10 hours ago, WowaDriver said:

Also ich habe die Fehlerquelle lokalisieren können. Sowohl die PCIe zu M.2 Adapterkarte läuft sauber, als auch die M.2 zu 5x Sata JMB585 Karten (hier sowohl auf der Adapterkarte als auch auf dem Mainboard direkt) Meine Fehlerquelle sind die SFF-8087 Kabel. Hier habe ich folgende in Verwendung:

YIWENTEC Mini SAS 36p SFF-8087 zu 4 SATA Target Festplatte Connector Daten kabel 0.75m

 

Ja, diese Krakenkabel gibt es normal (Forward) und eben umgekehrt (Reverse).

Die sind nicht "drehbar".

 

10 hours ago, WowaDriver said:

Es scheint so, dass die Kabel nur in eine Richtung funktionieren.

Das wollte ich Dir schon schreiben, dachte aber in einem Deiner Beitraege gelesen zu haben, daß Du diese Kabel schon mal von SATA Kontroller zu SAS-backplane benutzt hattest. Deshalb habe ich meinen Beitrag dann doch niucht abgesetzt.

 

10 hours ago, WowaDriver said:

Jetzt heißt es Hausaufgaben machen und hoffen, dass es "4x Sata (Host) zu SFF-8087 (Target)" Kabel gibt.

Du suchst"Reverse" Kabel. Ja, die gibt es    und nein, denen sieht man nicht von aussen an, wie rum sie nutzbar sind.

 

Link to comment

Danke habe ich schon bestellt kommen morgen an. Werde heute dennoch mal mit 3 single Platten die noch frei sind mal mit dem LSI 9211-8i ein raid5 in der vm aufbauen und anschließend gehen die beiden JMB585 tauschen und die Platten verstreut über beide Controller durchreichen.

 

Hier gilt es dann zwei Hürden zu schlagen. 
 

1. den Fehler ‘127‘ zu vermeiden beim durchreichen der Controller 

 

2. hoffen das der Synology VM für das RAID5 die Laufwerks Reihenfolge und Aufteilung egal sind.

 

35 minutes ago, DataCollector said:

Das wollte ich Dir schon schreiben, dachte aber in einem Deiner Beitraege gelesen zu haben, daß Du diese Kabel schon mal von SATA Kontroller zu SAS-backplane benutzt hattest. Deshalb habe ich meinen Beitrag dann doch niucht abgesetzt.

Das habe ich vielleicht missverständlich ausgedrückt. Als ich meinen Server vor drei Jahren aufbaute hatte, waren die Backplanes noch nicht vorhanden. Somit hatte ich den LSI 9211-8i direkt an den sata Platten mit den o.g. Kabeln im Einsatz. Als dann später die Backplanes kamen, mussten SFF zu SFF Kabel her. Jetzt wo ich das hier gerade schreibe fällt mir ein, das ich mir damals schon die Frage der Reihenfolge in den Backplanes gestellt hatte. Damals aber via Try and Error einfach ausprobiert und es hat geklappt. Also entweder hatte ich Glück und habe in beiden Backplanes die Reihenfolge korrekt erwischt oder dem raid ist es egal in welcher Reihenfolge die Platten kommen.

Link to comment
  • 10 months later...

Es gibt von Syba eine SATA Karte, die durch einen ASM2806 PCIe Switch insgesamt 4x ASM1064 mit Bandbreite versorgt und die wiederum jeweils 16 SATA Ports:

https://www.sybausa.com/index.php?route=product/product&product_id=1087

SD-PEX40164.PT01-500x500.jpg.892186dcf04c7b2eea62c28eb6c3ffcd.jpg

SD-PEX40164.PT02-500x500.jpg.a169de799afd03e9e830ee5ea4611b58.jpg

 

Diese gibt es auch als Delock Re-Brand:

https://www.delock.de/produkt/90073/merkmale.html

 

 

Das wäre im Gegensatz zu vielen anderen SATA-Karten, die bei mehr als 6 Ports nur mit langsamen Port Multipliern arbeiten, eine denkbare Alternative, wäre da nicht ein Haken: Der ASM1064 ist eigentlich ein PCIe 3 X1, aber laut Beschreibung nur mit PCIe 2 X1 angebunden. Und ich vermute genau deswegen kann die Karte insgesamt, also für alle 16 Ports, nur 850 MB/s liefern (oder eben 50 MB/s pro HDD bei paralleler Belastung). Denn eigentlich ist der ASM2806 mit PCIe 3.0 X2 angebunden, also grob 2000 MB/s. Und laut hier liefern 4-Port SATA Karten mit ASM1064 normalerweise bis zu 1000 MB/s (4x 250 MB/s bei parallelem Zugriff). Aber selbst wenn ich die nun auf PCIe 2 X1 halbiere, blieben ja immer noch 500 MB/s pro Controller und damit wieder ingesamt 2000 MB/s. 🤔

 

@DataCollector Was meinst du was bei der Karte falsch läuft? 😅 Vielleicht ist der ASM2806 auch nur mit PCIe 2 angebunden? Das wäre ja echt der totale Fail.

Link to comment
  • mgutt changed the title to 16, 20 oder 24 Port SATA Karte
6 hours ago, mgutt said:

Es gibt von Syba eine SATA Karte, die durch einen ASM2806 PCIe Switch insgesamt 4x ASM1064 mit Bandbreite versorgt und die wiederum jeweils 16 SATA Ports:

https://www.sybausa.com/index.php?route=product/product&product_id=1087

 

Diese gibt es auch als Delock Re-Brand:

https://www.delock.de/produkt/90073/merkmale.html

 

Bei der Beschreibung von Syba-USA gehen die wenigstens ehrlich damit um, daß die Karte nur PCIe x2 des x4 Slots/Steckers nutzt. Bei Delock wird das geflissentlich unter den Tisch fallen gelassen, auch wenn es auf den Bildern zu erahnen ist.

 

6 hours ago, mgutt said:

Das wäre im Gegensatz zu vielen anderen SATA-Karten, die bei mehr als 6 Ports nur mit langsamen Port Multipliern arbeiten, eine denkbare Alternative,

Aber meiner Meinung nach im Array nur für maximal 8 moderne Festplatten oder 4 performante SSD.

 

6 hours ago, mgutt said:

wäre da nicht ein Haken: Der ASM1064 ist eigentlich ein PCIe 3 X1, aber laut Beschreibung nur mit PCIe 2 X1 angebunden.

Dann wäre der immer noch gut für 2 SATA Ports gleichzeitig (zu je 250MByte/s).

Aber irgendwie sehe ich diese Einschraenkung in der Beschreibung nicht.

 

Wäre auch unlogisch (aber möglich), da der zugrunde liegende ASM2806 PCIe 3.1 beherrscht und die ASM1064 3.0 können. Wer oder was sollte da auch 2.0 reduzieren?

Der ASM2806 kann 2 Lanes zum Mainboard und 4 Lanes für Anbindungen verwenden und das geht mit den 4 Kühlkörpern für 4 ASM1064 einher. Aber wie gesagt, der ist damit vergleichbar gut/schlecht geeignet wie ein Intel Mainboardchipsatz (bei dem Du ja auch mal die 2GByte/s Limitierung bei Deinen SSD Experimenten erkannt hast). Mehr als 8 SATA Ports gleichzeitig sollte man bei modernen Festplatten nicht nutzen.

(ich gehe weiterhin von rund 250MByte/s pro Festplatte aus)

Nur schluckt der ASm2806 eben zusätzlich Strom.

 

6 hours ago, mgutt said:

Und ich vermute genau deswegen kann die Karte insgesamt, also für alle 16 Ports, nur 850 MB/s liefern (oder eben 50 MB/s pro HDD bei paralleler Belastung).

Von der Technik her sollten 16 Festplatten zu gleichzeitig je ca.120MByte/s möglich sein, bei ebem erhöhtem Stromverbrauch (4xASM1064 + 1x ASM2806).

 

6 hours ago, mgutt said:

Vielleicht ist der ASM2806 auch nur mit PCIe 2 angebunden? Das wäre ja echt der totale Fail.

ASM2806 = PCIe Gen3x2 = 2GByte/s = bis zu 8 moderne Festplatten gleichzeitig benutzen oder 4 performante SSD gleichzeitig. Viel mehr gibt die Bandbreite nicht her.

EIne Anbindung (intern) nur mit PCIe 2.0 habe ich bisher nicht in den Beschreibungen erkennen können. Aber eien Anbindung mit PCIe 3.0 (oder genauer PCIe 3.1) x2 Lanes ist klar.

 

Dieser PCIe Swithcing-Chip (und auch andere) werden im Miningbereich schon länger verwendet um sogar PCIe x1 Slots auf 4 PCIe x1 Anbindungen zu verteilen, weil beim Mining die vole Bandbreite aller 4 Slots eher selten gleichzeitig benötigt wird.

https://www.ebay.de/itm/203339349198

Jetzt hat das nur eben einer auf einer Karte zusammen gebastelt. (Wobei es diese und ähnliche Karten mit PCIe-Switching schon länger gibt).

Aber das ganze für gleichzeitige Festplattennutzung für Vollbestückung zu verwenden ist schon grenzwertig.

(Ich sehe bei Festplatten weiterhin 250MByte/s und bei SSD 500MByte/s als aktuell an.)

 

Wie ich beim Thema PCIe Switch schon mehrfach erwähnte: PCIe Switching schluckt einiges an Strom.

Wieviel dieser ASM 2806 frisst weiß ich nicht, aber 2 Stück ASM1064 oder ein ASM1166 schlucken weniger als die Karte und bieten auch 8 respektive 6 SATA Ports an summiert 2x PCIe 3.0 Lanes.

Wenn man mehr anschließen will, sollte man die benutzen Ports so wählen, daß nicht mehr als 8 gleichzeitig benutzt werden.

 

Ich sehe den Einsatzbereich dieser Karte nur in ganz speziellen baulichen Erfordernissen:

Wenn man wirklich nur einen PCIe x4 Slot noch frei hat und genau daran 8 SATA Ports gleichzeitig für moderne Festplatten braucht oder mehr, aber erheblich weniger performante Festplatten betreiben will (vielleicht will sich ja jemand ein Array aus vorhandenen alten 0,5 bis 6TB Festplatten aufbauen und damit Strom für den PCie Switch und die vielen 'winzigen' Festplatten verschwenden).

 

 

Ich habe die Tage meine Lager mal durchforstet und geschätzt 10 Festplatten zwischen 300MB und 3TB entsorgt. Die heutzutage einzusetzen ist wegen SSD und Stromverbrauch nicht mehr wirklich sinnvoll.

Link to comment
2 hours ago, DataCollector said:

EIne Anbindung (intern) nur mit PCIe 2.0 habe ich bisher nicht in den Beschreibungen erkennen können

Das steht komischerweise auch nur im Text vom Foto:

Screenshot_20230211_082441.png.4fd4d6e2d70f55d203f4947ebceafb9e.png

 

Aber selbst wenn das so wäre, hätte man ja theoretisch 500 MB/s pro ASM1064 und könnte so bis zu 250 MB/s erreichen, wenn man nur 2 HDDs pro Controller anklemmt. Nur diese Theorie passt dann nicht zu dem Satz:

Screenshot_20230211_082826.png.093f0b42f8a2e470af6b995d920c2a71.png

 

Das klingt dann eher so, als sei die komplette Karte nur PCIe 2.

Link to comment
1 hour ago, mgutt said:

Das klingt dann eher so, als sei die komplette Karte nur PCIe 2.

Du meinst PCIe 2.0 Standard.

Irgendwie weiß ich nicht, wie die die Direktverbindung auf der Karte zwischen dem ASM2806 und den ASM1064 drosseln sollten. Das würde vermutlich eine zusätzliche Schaltungslogik erfordern, die ja noch mehr Strom verbaruche würde.

Es bliebe wohl nur kaufen und ausprobieren, aber irgendwie ist mir (auch diesen Monat) mein Geld dafür zu schade.

 

Rein aus Neugier habe ich mal die Frage an den Support gesendet:

"I do not understand your design and the mentiones speeds and internal connections on the card.

The ASM2806 is a PCIe 3.x Switch.
The ASM1064 are PCIe 3.x SATA Kontroller.
You write in the Pictures 850MB/s total and PCIe 2x1 connection to the ASM1064.
Did you slow down the PCIe 3.x capabilities and so slow down the possible PCIe 3.x x2 lanes speed of the card?

Normally PCIe 3.0 x2 lane should be good for around 2000MB/s over all and so with todays HDDs it should be possible to use up to 8 HDD at the same time with max Speed of around 250MB/s."

 

Mal schauen ob/wann da etwas zurück kommt.

 

Edited by DataCollector
Ergänzung Anfrage an Anbieter
Link to comment
  • 1 month later...

Hallo zusammen,

 

Euren Thread über SATA Multi Port Karten habe ich mir nun ein paar Tage mit langem suchen und lesen im Netz zu Gemüte geführt.

Ihr hattet Karten mit 1 x ASM1812 und N x ASM1064. Zumindest die meistenController mit 20+ Ports haben diese Chips. 16 Port Controller hatten meist 1xASM1064 oder 1xASM1166 und N x JMB575.

 

Da der ASM1812 PCIe Gen2 ist, war mein Gedanke eher zum ASM1064/1166 zu greifen, weil diese Gen3 sind. Mein Host Port ist ein Gen3x4. Womit erst ein ASM2812 die volle Bandbreite ausnutzen könnte.

 

Mein Ziel ist es nicht extreme viele Platten und jede Platte mit ihrer vollen Geschwindigkeit anzusprechen. Das Ziel ist ein NAS wo 1 oder 2.5 GBit/s Netzwerk der limitierende Faktor ist.

Die Syba/Delock Karte welche ihr erwähnt habt, https://www.sybausa.com/index.php?route=product/product&product_id=1087, hat ja den ASM2806 Chip, welcher auch nur Gen3x2 ist.

 

Karten mit ASM2812 habe ich nicht gefunden. Meine Wahl ist wohl der ASM2824 und @DataCollector hatte ja eine Karte mit 4 M.2 Ports erwähnt. 

Ich habe noch 3 weitere Karten gefunden, welche einen ASM2824 verbauen. Diese dann mit JMB585 M.2 5 Port Karten kombinieren.

https://www.amazon.de/dp/B08FM5MCZ5

https://www.amazon.de/-/en/Adapter-ASM2824-Express-Bifurcation-Compatible/dp/B07KFX8287

https://www.amazon.de/Ableconn-PEXM2-130-Dual-Carrier-Adapter/dp/B07PRN2QCV

 

Seht ihr damit Probleme in einem Gen3x4 Slot?

Mein Gedanke ist auch, das es mit einem einem ASM2824 nicht am Limit läuft und somit etwas mehr Stabilität gegeben ist.

 

Cheers,

Marco

Link to comment
On 3/19/2023 at 10:53 PM, TheMachine said:

Da der ASM1812 PCIe Gen2 ist, war mein Gedanke eher zum ASM1064/1166 zu greifen, weil diese Gen3 sind. Mein Host Port ist ein Gen3x4. Womit erst ein ASM2812 die volle Bandbreite ausnutzen könnte.

Nur zur Klarstellung:

Der ASM1184e ist ein PCIe 2.0 x1 Switch (maximal 0,5GByte/s)

Der ASM1812 ist ein PCIe 2.0 x4 Switch (maximal 2GByte/s)
Der ASM2812 ist ein PCIe 3.0 x4 Switch (maximal 4GByte/s)

Der ASM2824 ist ein PCIe 3.0 x8 Switch (maximal 8GByte/s)
Der ASM1064 ist ein PCIe 3.0 x1 SATA Kontroller (maximal 1GByte/s)
Der ASM1166 ist ein PCIe 3.0 x2 SATA Kontroller (maximal 2GByte/s)

PCIe Switches sind recht energiehungrig (nicht selten durch die dicken Kühlkörper erkennbar).
SATA Kontroller sind recht energieeffizient.

 

On 3/19/2023 at 10:53 PM, TheMachine said:

Mein Ziel ist es nicht extreme viele Platten und jede Platte mit ihrer vollen Geschwindigkeit anzusprechen. Das Ziel ist ein NAS wo 1 oder 2.5 GBit/s Netzwerk der limitierende Faktor ist.

Solange keine Parity- oder warzungsfunktion alle Festplatten gleichzeitig anspricht ist das ja auch ausreichend.

 

On 3/19/2023 at 10:53 PM, TheMachine said:

Karten mit ASM2812 habe ich nicht gefunden.

PCIe Switche werden eigentlich auch eher zum Switchen von PCIe Devices benutzt, weshalb sowas eher mit NVMe Slots in Verbindung gebracht wird.

Daß hier jemand die mit nachgeschalteten SATA Kontrollern und SATA Multipliern auf einer Platine zusammengepackt hat ist eher schon ein Kuriosum.

Man kann aber selber eine ASM2812 PCIe Switchkarte nehmen und auf allen der möglichen M.2 Plätzen dann ASM1166 mit je 6 SATA Ports anschließen, wodurch man ein Konstrukt hat, welches eines Portstarken Kontroller entspricht. Aber das ist weder energieeffizient noch billig und ein ziemlicher Kabelbaum.

 

On 3/19/2023 at 10:53 PM, TheMachine said:

Meine Wahl ist wohl der ASM2824 und @DataCollector hatte ja eine Karte mit 4 M.2 Ports erwähnt.

Ja, da wären dann 4 ASM1166 möglich = 24 SATA Ports.

 

Bei AliExpress sind diverse PCIe Switchkarten aktuell im Preis recht weit gefallen.

https://de.aliexpress.com/item/1005004637573408.html

https://de.aliexpress.com/item/1005004552873583.html

 

On 3/19/2023 at 10:53 PM, TheMachine said:

Ich habe noch 3 weitere Karten gefunden, welche einen ASM2824 verbauen. Diese dann mit JMB585 M.2 5 Port Karten kombinieren.

Kann man auch machen.

 

On 3/19/2023 at 10:53 PM, TheMachine said:

Bei der karte ist aber die Erwähnung von PCIe Bifurkation irritierend. Aber die Amazon Titel sind bei sowas oft sehr 'kreativ'. 8)

 

On 3/19/2023 at 10:53 PM, TheMachine said:

Hier macht der ASM2824 nur begrenzten Sinn, wenn man nur 2 Slots anbinden will.

 

Aber auch PCie x4 Dual NVMe Karten sind bei Ali weit im Preis gefallen. Ich habe mir vor kurzem eine für unter 60 Euro geholt  (aktuell minimal drüber), aber noch nicht ausprobiert.

 

On 3/19/2023 at 10:53 PM, TheMachine said:

Seht ihr damit Probleme in einem Gen3x4 Slot?

Alle von Dir gelistete Karten passen nur in PCIe x8 oder größere Slots.

In mechanisch nur PCIe x4 Slots fehlen da bei den Karten die Einkerbungen.

Wenn Du wirklich nur einen mechanischen PCIe x4 Slot hast, kannst Du keine dieser Karten direkt einsetzen.

Und an der Kontaktleiste oder dem PCIe Slot rumzu'dremeln' würde ich nicht machen.

Vielleicht hilft Dir eine passende Riserkarte dazwischen, wenn Du wirklich eine PCIe x8/x16 Karte in einem mechanisch nur PCIe x4 Slot einsetzen willst.

 

Aber bevor vielleicht naheliegende Ideen verloren gehen: wieviele SATA Ports willst Du durch ein solches Konstrukt überhaupt erzielen?

 

Vielleicht reicht Dir ja schon eine ASM2812 und damit per 2x ASM1166 max. 12 SATA-Ports?

https://de.aliexpress.com/item/1005003801173466.html
https://de.aliexpress.com/item/1005003339129405.html

 

Wie gesagt: nicht wirklich energieeffizient.

 

Edit 2: Und Achtung! Wie ich heute bei Ali gesehen habe werden Karten dieser Bauform optisch sehr ähnlich aussehend auch mit ASM1812 (=max 2GByte/s) angeboten, sodurch man vor einer Beschaffung genau lesen sollte, was da wirklich verbaut ist.
ASM1812 = mit PCIe 2.0 eigentlich etwas alt und Langsam für 2x heutige NVMe

ASM2812 = mit PCIe 3.0 dem weit verbreiteten heutigen Standard mit 4GByte/s entsprechend.

PCIe 4.0 Switche sind mir noch nicht unter gekommen, aber vermutlich werden die dann wohl irgendwann ASM3812 oder so heißen.

Edited by DataCollector
EDIT ASM2812 Karten von Ali ergänzt
Link to comment
15 hours ago, DataCollector said:

Solange keine Parity- oder warzungsfunktion alle Festplatten gleichzeitig anspricht ist das ja auch ausreichend.

Eine oder mehrere Platten für Parität werden sicher ins Spiel kommen. Da mein Plan ist ein "wachsendes" ZFS zu betreiben. Erst einmal nur eine Platte, aber falls es wirklich mal sehr viele Datenplatten werden, dann denke ich werden es auch mehrere für Parität da sein.

Wenn man tatsächlich 20+ Platten mit Parität bereiben würde und in Summe immer noch bis zu 320MB/s über alles erreicht werden kann, dann wäre das für meinen Einsatz immer noch ok.

 

15 hours ago, DataCollector said:

Bei der karte ist aber die Erwähnung von PCIe Bifurkation irritierend. Aber die Amazon Titel sind bei sowas oft sehr 'kreativ'. 8)

Das BiFurcation in der Beschreibung hatte mich auch erst irritiert. Aber in den Details steht explizit, dass das Mainboard es nicht haben muss. In machen Videos hatte ich auch schon gehört wie einer das Wort für Karten mit PCIe Switches erwähnt hat. Ich glaube manche nutzen das Wort so um zu sagen, dass die Karte mit der Logik/Switches die BiFurcation/Verzweigung macht.
 

15 hours ago, DataCollector said:

Alle von Dir gelistete Karten passen nur in PCIe x8 oder größere Slots.

In mechanisch nur PCIe x4 Slots fehlen da bei den Karten die Einkerbungen.

Wenn Du wirklich nur einen mechanischen PCIe x4 Slot hast, kannst Du keine dieser Karten direkt einsetzen.

Und an der Kontaktleiste oder dem PCIe Slot rumzu'dremeln' würde ich nicht machen.

Vielleicht hilft Dir eine passende Riserkarte dazwischen, wenn Du wirklich eine PCIe x8/x16 Karte in einem mechanisch nur PCIe x4 Slot einsetzen willst.

Mein PCIe Slot ist ein M.2 Slot. Eine Riserkarte M.2 auf PCIe x16 werde ich dort benutzen. Ich wollte gern mit den Kartengrößen flexibel sein.

 

15 hours ago, DataCollector said:

Aber bevor vielleicht naheliegende Ideen verloren gehen: wieviele SATA Ports willst Du durch ein solches Konstrukt überhaupt erzielen?

Ein genaue Zahl gibt es nicht. Im Moment wären es 3 + 1 Parität. Ich hatte früher einmal ca. 10 Platten. Aber mittlerweile alles auf 18TB verlagert. Da kommt sicher wieder eine hinzu. Aber mein Ziel ist es nicht unbedingt 20 Platten (unabhängig der Größe) zu haben. Mehr als 10-12 werden es nicht werden. Wenn es soweit ist, dann gibt es sicher auch noch größere zu einem normalen Preis und dann reduziert es sich wieder.
 

15 hours ago, DataCollector said:

Vielleicht reicht Dir ja schon eine ASM2812 und damit per 2x ASM1166 max. 12 SATA-Ports?

https://de.aliexpress.com/item/1005003801173466.html
https://de.aliexpress.com/item/1005003339129405.html

Ich denke das ist sehr guter Tip. Da der ASM1166 6 und nicht nur 5 Ports wie der JMB585 hat, reicht das denke ich. Ich hatte an mehr Ports als 12 gedacht, weil ich gern sehr flexibel bin. Aber realistisch reichen 12 für den aktuellen Stand aus. Bei dem Preis der 2 Port Karte gibt es da eigentlich auch gar keine Frage.

 

Mal schauen ob ich irgendwie noch einen Unterschied der beiden Karten herausfinden kann und ob es Berichte gibt, dass der eine oder andere eventuell mehr zu empfehlen ist.
 

Link to comment
1 hour ago, TheMachine said:

Eine oder mehrere Platten für Parität werden sicher ins Spiel kommen. Da mein Plan ist ein "wachsendes" ZFS zu betreiben

Ich bin mir nicht ganz sicher, aber ich meine zfs ist in erster Linie für Pools?! Mag sein dass man ins Array auch zfs formatierte Disks schmeißen kann, aber das ändert ja nichts an der grundlegenden Funktionsweise des Parity-geschützten Arrays. Was wiederum heißt 

 

1 hour ago, TheMachine said:

Wenn man tatsächlich 20+ Platten mit Parität bereiben würde und in Summe immer noch bis zu 320MB/s über alles erreicht werden kann

 

Wird so nicht klappen 

Edited by jj1987
Link to comment
9 hours ago, TheMachine said:

Eine oder mehrere Platten für Parität werden sicher ins Spiel kommen. Da mein Plan ist ein "wachsendes" ZFS zu betreiben.

Parity im Array bedeutet, daß alle Festplatten bei Checks gleicheztig laufen. Da ist es zu empfehlen die Festplatten nicht zu weit in der SATA/PCIE Bandbreite einzugrenzen.  Ich rechne pro moderner Festlatte ab ca. 10TB mit rund 250MByte/s. Das würde ich pro Port rechnerisch dann nicht unterschreiten wollen.

Zur Verdeutlichung: an einem PCIe3.0 x1 Anschluß (=ca. 1GByte/s in Summe) sehe ich 4 SATA Ports somit noch als gut brauchbar an. 5 oder mehr Ports an 1GByte/s würde schon bei gleichzeitiger Nutzung die geschwindigkeit pro Port auf nur noch ca. 200MByte/s senken. Das wäre bei mir ein 'No Go'.

 

Bei ZFS laufen eigentlich beim Schreibzugriff alle enthaltenen Festplatten, somit ist das vergleichbar kritisch zu sehen.

Außerdem ist ZFS eigentlich in den Pools vorgesehen. Da ist der 'in unraid klassiche Begriff von Paritätsfestplatten" aber nicht so angedacht.

Ausnahme: Soweit ich gelesen habe sind Single-Drive ZFS Devices im Array vorgesehen.

 

9 hours ago, TheMachine said:

Erst einmal nur eine Platte, aber falls es wirklich mal sehr viele Datenplatten werden, dann denke ich werden es auch mehrere für Parität da sein.

Redest Du von dem unraid Array oder Pools?

 

9 hours ago, TheMachine said:

Wenn man tatsächlich 20+ Platten mit Parität bereiben würde und in Summe immer noch bis zu 320MB/s über alles erreicht werden kann, dann wäre das für meinen Einsatz immer noch ok.

Ich betreibe 26 Festplatten im Array (24 Daten + 2P ; XFS enc).

Bei einem Paritycheck erreicht jede Festplatte nur das maximal mögliche ihrer eigenen Geschwindigkeit (ich erwähnte schon die ca. 250MByte/s, die ich als notwendiges Peak ansehe).

Natürich erreicht das Array dann lesend im Paritycheck so um die 6 GBYte/s, doch das ist eben nur, weil das Array überall nur linear/sequentiell die Sektoren liest und nicht eine losgische Datei abliefetn muß.

 

Sobald man im klassichen unraid Array eine Datei aufruft liegt diese Datei eben nur auf einer Festplatte und somit limitiert hier die Festplatte.

Bei ZFS ist es ja eher Raidähnlich und dort arbeiten dann mehrere Festplatten gleichzeitig, was einmal im Array wieder das Problem der SATA Portlimitierung bei Überbeanspruchung der Anbindung (PCie) auslöst, wenn man so konstruiert/aufbaut und andererseits ist der für unraid gewünschte Effekt des Tromsparend durch schlafende Festplatten futsch.

Wenn man also eigentlich nur ein klassiches Softwareraid (hier mit ZFS) aufbauen will und die Stromsparvorteile von urnaid über Bord wirft, weiß ich nicht ob man da wirklich dann unraid für nehmen sollte.

Bei einem reinen SSD Array mag das noch etwas bringen, weil sich SSD selber sehr schnell schlafen legen könne und nicht erst auf ein Spindown des OS warten müssen, aber bei Festplatten bin ich skeotisch ob das wirklich dem Sinn und Zweck von unraid entspricht.

 

9 hours ago, TheMachine said:

Das BiFurcation in der Beschreibung hatte mich auch erst irritiert. Aber in den Details steht explizit, dass das Mainboard es nicht haben muss. In machen Videos hatte ich auch schon gehört wie einer das Wort für Karten mit PCIe Switches erwähnt hat. Ich glaube manche nutzen das Wort so um zu sagen, dass die Karte mit der Logik/Switches die BiFurcation/Verzweigung macht.

Und genau das machen die PCIe Switche nicht.

Nifurcation ist dei permanente Trennung eines Slots auf mehrere unterbereiche ohne Wechsel der Zuordnung im laufenden Betrieb.

PCIe Switche arbeiten aber vergleichbar einem Ethernet Switch, der die Lanes/Wege nicht fest in einer Richtung schaltet, sondern sich die enthaltenen Datenpakete ansieht und diese zielgerichtet dynamisch verteilt.

 

9 hours ago, TheMachine said:

Mein PCIe Slot ist ein M.2 Slot. Eine Riserkarte M.2 auf PCIe x16 werde ich dort benutzen. Ich wollte gern mit den Kartengrößen flexibel sein.

Dann würde mich das Ergebnis interesseiren, weil man dann ja das Ganze auch noch irgendwo im Gehäuse pklatzieren/fixieren muß und sich dann einige gutzend SATA Kabel etwas 'störrisch' auswirken können. :)

 

9 hours ago, TheMachine said:

Ein genaue Zahl gibt es nicht. Im Moment wären es 3 + 1 Parität.

Da würde ich dann bisher erst einmal zu einem normalen M.2 ASM1166 Kontroller raten.

 

9 hours ago, TheMachine said:

Ich hatte früher einmal ca. 10 Platten. Aber mittlerweile alles auf 18TB verlagert. Da kommt sicher wieder eine hinzu.

Mit dem ASM1166 sind bis zu 6 SATA Ports gut für Festplatten nutzbar.

 

9 hours ago, TheMachine said:

Ich denke das ist sehr guter Tip. Da der ASM1166 6 und nicht nur 5 Ports wie der JMB585 hat, reicht das denke ich.

Sehe ich auch (bisher) so. Vermutlich hat Dein Mainboard ja auch noch ein paar OnBoard SATA Ports, wodurch Du dann zu sogar in Summe zu mehr als 6 SATA Ports kommst und es dann weitaus energiesparender gestalten kannst, als wenn Du von M.2 PCIe x4 über Riser zu PCIe x16, dann auf PCIe Switch und dann mit mehreren SATA Kontrollern zu SATA konevrtierst.

 

Edited by DataCollector
Single Drive ZFS erwähnt
Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.