Plattendefekt beim initialen Sync der zweiten Parity Platte

[paulinus]

Ich habe jetzt eine Lösung gefunden, die mir gefallen könnte: das QNAP TL-D800S JBOD Festplatten Array mit acht Slots ist für einen akzeptablen Preis zu bekommen. Dazu gibt es eine Slotkarte QNAP QXP-1600eS-A1164. Dabei steht dann folgendes: "Only support Ubuntu version 18.04.2 (Kernel 4.18) or older version with Kernel 3.10 ~ 4.18.0-15 Driver required.". Das könnte dann mit Unraid zu Problemen führen, sehe ich das richtig?

Die Folgefrage betrifft natürlich alle eSATA und SAS Lösungen. In jedem Fall muss dann eine Slotkarte rein und die braucht vermutlich Treiber... Gibt es da Erfahrungswerte?

[DataCollector]

2 hours ago, paulinus said:

Dazu gibt es eine Slotkarte QNAP QXP-1600eS-A1164. Dabei steht dann folgendes: "Only support Ubuntu version 18.04.2 (Kernel 4.18) or older version with Kernel 3.10 ~ 4.18.0-15 Driver required.". Das könnte dann mit Unraid zu Problemen führen, sehe ich das richtig?

Die Folgefrage betrifft natürlich alle eSATA und SAS Lösungen. In jedem Fall muss dann eine Slotkarte rein und die braucht vermutlich Treiber... Gibt es da Erfahrungswerte?

Du brauchst eine simple SAS HBA karte Unraid erkennt die üblichen verdächtigen mit LSI Chips recht zuverlässig.

(Wie schon erwähnt: SAS ist nicht unbedingt stromsparend.)

So um die 80 Euro sind bei ebay oder so sehr viele SAS HBA Karten mit 2x4 SFF Anschlüssen zu haben, doch die sind oft interne SFF Anschlüsse.

Hierfür gibt es dann Adapterbleche, die die Internen auf externe umwandeln.

 

[Ford Prefect]

3 hours ago, paulinus said:

Ich habe jetzt eine Lösung gefunden, die mir gefallen könnte: das QNAP TL-D800S JBOD Festplatten Array mit acht Slots ist für einen akzeptablen Preis zu bekommen. Dazu gibt es eine Slotkarte QNAP QXP-1600eS-A1164. Dabei steht dann folgendes: "Only support Ubuntu version 18.04.2 (Kernel 4.18) or older version with Kernel 3.10 ~ 4.18.0-15 Driver required.". Das könnte dann mit Unraid zu Problemen führen, sehe ich das richtig?

 

1 hour ago, DataCollector said:

Du brauchst eine simple SAS HBA karte Unraid erkennt die üblichen verdächtigen mit LSI Chips recht zuverlässig.

 

@paulinus: kein schlechter Fund, aber evtl. was QNAP-Spezifisches.

Basierend auf dem hier: https://www.qnap.com/de-de/product/tl-d800s ist diese Karte mit 2 ASMEDIA 1164 bestückt....ist also kein SAS-HBA, sondern "nur" SATA.

Daher auch nur 1m maximale Länge, des Kabels. https://www.qnap.com/de-de/product/series/for-pc-workstations

Ob es mit einem "normalen" HBA funktioniert - wie @DataCollector schon sagt -  käme auf einen Versuch an...Evtl. hat es auch schon jemand getestet.

Ich vermute aber stark, dass es mit einem SAS-HBA nicht geht (weil keine SAS, sondern SATA Backplane in dem Gehäuse ist). QNAP nutzt nur die physische SFF8088 Schnittstelle, also die Kabel.

Den ASMEDIA 1164 Treiber für die Karte, wenn nicht eh schon vorhanden, für unraid könnte sicher @ich777 beisteuern.

Vermutlich muss man das System einmal, beim booten in den JBOD Modus versetzen. Das QNAP-Tool, JBOD-Manager, wird nicht nativ laufen....evtl. möglich über ein Plugin.

Klingt jetzt zunächst nicht plug&play für mich....

Edit: so wie das hier aussieht, wird JBOD der Standard sein und man braucht das xSW-Tool nur für Raid-Konfigurationen...dann könnte es mit unraid tatsächlich out-of-the-box funktionieren, wenn Treiber für den ASMEDIA 1164 da sind.

Hier steht aber auch, auf S.26 oben, dass andere Schnittstelelnkarten (SAS HBA) nicht damit funktionieren.

 

 

Edited July 3, 2023 by Ford Prefect

[DataCollector]

2 hours ago, Ford Prefect said:

Basierend auf dem hier: https://www.qnap.com/de-de/product/tl-d800s ist diese Karte mit 2 ASMEDIA 1164 bestückt....ist also kein SAS-HBA, sondern "nur" SATA.

 

Ob es mit einem "normalen" HBA funktioniert - wie @DataCollector schon sagt -  käme auf einen Versuch an...Evtl. hat es auch schon jemand getestet.

Ich vermute aber stark, dass es mit einem SAS-HBA nicht geht (weil keine SAS, sondern SATA Backplane in dem Gehäuse ist). QNAP nutzt nur die physische SFF8088 Schnittstelle, also die Kabel.

Das dort 2 ASM1164 verbaut sind find eich auf der Seite zwar nicht, aber die Typenbezeichnung spricht dafür. Grundlegend wäre das ja auch eien stromsparende SATA Idee, wenn da nicht der PCIe Bus wäre. Ein ASM1164 kann nur 2 Lanes benutzen. 2 Stück brauche je 2 Lanes und um das in einem PCIe Bus zu realisieren ist dann noch ein Chip zum Umwandeln derc PCIE Hos in 2x2Lanes für die ASM nötig. Also wird auch da wohl ein extra stromschluckender PCIe Switch zwischengeschaltet sein.

 

Da die ASM1164 reines Standard 'SATA' ausgeben und SAS Kontroller grundsätzlich (fast) alle auch SATA "sprechen" ist es vom Protokoll her kein Problem.

Es könnte höchstens sein, daß QNAP gehässigerweise die Kabelbeschaltung an den Buchen auf der Karte und passend im ext. Gehäuser verändert hat und somit ein normal beschalteter SAS-Kontrollerausgang keine SATA-Links findet. Aber meiner geringen Erfahrung mit QNAP nach haben die sich mit ihren Erweiterungen bisher recht oft an die üblichen Standards gehalten.

 

Das ext. Gehäuse selber erscheint mir technisch nicht mehr als 2 Wechselrahmen mit je 4 Einschüben für SATA, die per Kabel auf die SFF Buchsen verbunden sind und eine Aufbereitung der eingehendne Stromversorgung. (Eigentlich sowas wie eben multiple eSATA auf einmal, nur, daß man eben nicht die eSATA Spazifikationen nutzt. Theoretisch könnte man bestimmt auch die SATA des Mainboard dafür nutzen.)

Sowas ähnliches habe ich mir mal mit alten SCSI ext. Gehäuse, 2 Wechselrahmen und ein paar SATA2SFF Adaptern gebastelt.

Da passten dann 6x 3,5inch und 2x 2,5 inch rein. Steht wohl noch immer unter meinem Homeofficeschreibtisch, weil ich noch immer eine einfache Lösung suche/bastele aus 12V ausreichend leistungsfähige und stabile 5V abzuzweigen um dioe Dinger anzutreiben.

 

Achja und zu der Treiberfrage der ASM1164: das sind die kleinen Brüder der ASM1166. Die ASM1166 laufen out of the Box gut in urnaid (Firmwareupdate könnte man da machen), somit sollten die ASM1164 auch sofort laufen.

 

Edited July 3, 2023 by DataCollector
Edit ASM1164 zu 1166 Verwandschaft

[Ford Prefect]

8 minutes ago, DataCollector said:

Das dort 2 ASM1164 verbaut sind find eich auf der Seite zwar nicht, aber die Typenbezeichnung spricht dafür.

...weiter unten gibt es dieses Schaubild/Diagramm:

9 minutes ago, DataCollector said:

Ein ASM1164 kann nur 2 Lanes benutzen. 2 Stück brauche je 2 Lanes und um das in einem PCIe Bus zu realisieren ist dann noch ein Chip zum Umwandeln derc PCIE Hos in 2x2Lanes für die ASM nötig. Also wird auch da wohl ein extra stromschluckender PCIe Switch zwischengeschaltet sein.

...guter Hinweis!

[DataCollector]

3 hours ago, Ford Prefect said:

...weiter unten gibt es dieses Schaubild/Diagramm:

Danke, ich hatte nur den Text überflogen und dann zur Sicherheit auf der Seite nochmal im Brower nach 1164 gesucht. Auf die Bilder zu schauen... habe ich versäumt.

Aber da ist ja auch in rot der PCIe Switch dargestellt. Ich lag also nicht falsch mit meiner technischen Annahme.

Ich vermute, daß man da keinen extra PCIe Switch für "2x2 in 1x4 Lanes" entwickelt hat, sondern wird das vermutlich der gleiche Chip sein, der auf vielen "2x NVMe SSD M.2 PCIe Adapterkarten" steckt, die dann elektrosch mit x4 an den PC angebunden sind (PCIe Switchkarten).

 

Damit erklärt sich auch der recht groß wirkende Kühlkörper auf den Abbildungen. Der sitzt vermutlich auf dem PCIe Switch und die beiden kleinen ASM1164 sind dann nahe der SFF Steckbuchsen zu sehen.

 

Und nur um noch einmal darauf hinzuweisen: 8xSATA 600MByte/s (4,8GByte/s) passen unmöglich gleichzeitig durch eine PCIe 3.0 x4 (= ca. 4GByte/s) Verbindung. Wie üblich wird in den Marketingdarstellungen ein technischer Flaschenhals nicht erwähnt.

 

Aber bei Festplatten sind wir sowieso weit davon entfernt 600MByte/s auszuschöpfen. Selbst SATA SSD werden gerne mit niedrigeren Werten benannt. Somit sollte man keine realen Einbußen spüren (vor allem nicht, wenn man nichht absolut gleichzeitig alle SATA Lanes maximal befeuert.

Edited July 3, 2023 by DataCollector
Typos

[paulinus]

Wow, das ist jetzt ne Menge Input, für mich auch viel Neues dabei. Vielen Dank für die vielen Infos.

Neben dem Qnap Gerät würde auch das SilverStone SST-TS821S sehr gut passen. Das hat ja nun eine SAS Schnittstelle und wenn ich es recht verstanden habe, gibt es dabei weniger Kompatibilitätsprobleme, SAS scheint performanter und robuster zu sein als SATA, braucht aber mehr Strom. Habe ich das richtig verstanden? Das Gerät hat wohl einen Mini-SAS-SFF-8088-Anschluss. Jetzt muss ich nur noch checken, was genau eine SAS HBA Karte ist und ob es passende gibt oder passende Kabel, die eine solche Karte mit dem Mini-SAS-SFF-8088 Anschluss verbinden. 

Was würdet Ihr mir raten, das QNAP (obwohl teurer) oder das Silverstone. Ich frage mich dabei auch, ob der höhere Strombedarf von SAS bei einem Unraid überhaupt so stark ins Gewicht fällt, denn die Hauptverbraucher sind ja sicher die drehenden Platten. Und kann man ja in Unraid wenn sie nicht genutzt werden sehr gut schlafen schicken. Ich verteile meine Daten auf den Platten auch jetzt schon so, dass die häufig gebrauchten Daten auf einer einzigen Platte sind und der Rest die meiste Zeit gar nicht dreht. Wenn ich da falsch liege, gebt mir bitte auch einen Hinweis.

 

Edit: Habe bei Ebay die Avago LSI SAS 9201-16e SATA / SAS HBA Controller extern 6Gbps PCIe x8 SFF-8088 gefunden für 89,90 Euro. Die hat sogar SFF-8088 Anschlüsse im Slotblech. Müsste also ideal geeignet sein, oder?

Edited July 3, 2023 by paulinus

[Ford Prefect]

19 minutes ago, paulinus said:

Neben dem Qnap Gerät würde auch das SilverStone SST-TS821S sehr gut passen.

...sieht gross aus, auf den Bildern, ist aber nur für 2.5" HDDs....reicht Dir das?

 

19 minutes ago, paulinus said:

Das hat ja nun eine SAS Schnittstelle und wenn ich es recht verstanden habe, gibt es dabei weniger Kompatibilitätsprobleme, SAS scheint performanter und robuster zu sein als SATA, braucht aber mehr Strom.

SAS ist abwärtskompatibel zu SATA...SAS ist bi-, SATA ist uni-direktional...SAS Verbindungen reichen weiter als SATA. Mehr Strom ziehen die Controller, im Vergleich zu SATA. Edit: gehe mal von etwa 15W für so nen 8-Fach Controller aus, egal ob die Disks drehen oder nicht.

Ein HBA (Host-Bus-Adapter) ist ein Controller, der mit Firmware im sogenannten IT-Mode, also kein Raid, rennt. Ideal für ein NAS mit Software-raid, wie FreeNAS oder unraid.

Meist gibt es für SAS Controller beide Firmware-Varianten. Früher wurden Server ab Werk mit einem kleinen SAS Raid-Controller ausgeliefert, aber 90% der Kunden haben den rausgeschmissen und grössere reingebaut. Die "kleinen" landeten in der Bucht und man konnte die eben günstig schiessen, dann mit einer IT-Firmware Cross-Flashen (das waren noch Zeiten). Heute gibt es die aber fertig.

Ich empfehle einen gebrauchten, denn neue sind meist China-Fakes....achte darauf, dass das passende Slotblech dabei ist, so wie hier

 

Edited July 3, 2023 by Ford Prefect

[paulinus]

Oh, danke für den Hinweis. Bei Caseking steht ganz fett in der Überschrift Externes 3,5 Zoll Gehäuse 8 Bay. Im Text steht dann aber, dass es für 2,5 Zoll Laufwerke ist. Das kommt dann nicht in Frage, schade.

Edit: Dann kommt wohl doch das Qnap in die engere Wahl. Wenn ich die letzten Beiträge richtig deute, gibt es ja doch eine gute Chance, dass es mit unRaid direkt läuft. Eine kleine Verständnisfrage habe ich noch: Wenn SAS abwärtskompatibel zu SATA ist, müsste doch eine zweite Chance bestehen, dass das Qnap Gerät sich auch mit einer SAS HBA Karte ansprechen lässt. In der oben verlinkten Anleitung steht zwar "Third-party host bust adapters may not be compatible with QNAP JBOD enclosures.", aber das liest sich für mich wie "Du kannst es versuchen - wenn's nicht geht ist es nicht unsere Schuld".

Edited July 4, 2023 by paulinus

[DataCollector]

On 7/4/2023 at 2:36 AM, paulinus said:

Wenn SAS abwärtskompatibel zu SATA ist, müsste doch eine zweite Chance bestehen, dass das Qnap Gerät sich auch mit einer SAS HBA Karte ansprechen lässt. In der oben verlinkten Anleitung steht zwar "Third-party host bust adapters may not be compatible with QNAP JBOD enclosures.", aber das liest sich für mich wie "Du kannst es versuchen - wenn's nicht geht ist es nicht unsere Schuld".

Ja, wie ich schon andeutete, gib es die realistische (in meinen Augen sehr hohe) Chance, dass es mit einem SAS HBA angesprochen werden kann.

Wie gesagt: Wenn QNAP da nicht in der Verkabelung etwas herumgepfuscht hat, sind die SATA Laufwerke darin direkt als verlängerte Kabelverbindung zum HBA zu sehen.

 

Ich nutze auch unter unraid einen SAS Kontroller mit dem ich per Kabel über eine rein durchreichende Backplane meine SATA Laufwerke anspreche.

 

Ich kann nicht für jede kranke Entwicklungsvariation in der Welt sprechen, aber alle mir untergekommenen SAS Kontroller waren bisher SATA kompatibel.

 

QNAP will sich mit den Satz grundlegend nur absichern.

Kaufe einfach beides und teste es zusammen innerhalb der Widerrufsfrist.

Wenn es nicht klappt, ueberlege was Du amchen willst und ob Du es behalten willst.

Du darfst nur keines davon beschädigen und solltest die OVP pfleglich und vorsichtig behandeln.

 

Edited July 5, 2023 by DataCollector
Typo

[paulinus]

Danke für die Tipps und Hinweise bis hierhin. Ich habe das QNAP TL-D800S JBOD Festplatten Array bestellt, die Karte QXP-1600eS-A1164 ist bei dem Modell schon im Lieferumfang enthalten. Wenn es mit diesre Karte nicht klappt, bestelle ich noch eine SAS Karte dazu. Sofern dieser Thread bis dahin nicht geschlossen wurde, werde ich hier über Erfolg oder Misserfolg kurz berichten.

[paulinus]

Hallo und guten Abend. Die gute Nachricht: Das QNAP Festplattenarray mit dem QXP-1600eS-A1164 Controller haben auf Anhieb mit Unraid funktioniert.

Die schlechte Nachricht ist, ich bekomme jetzt einen Fehler: VM Autostart disabled due to vfio-bind Error.  Hat jemand eine Idee?
Entwarnung: Klappt alles wieder. Die Grafikkarte hatte sich deaktiviert. 
Edit: Sorry, der Fehler mit dem vfio-bind error besteht tatsächlich noch. Die Windows VM lässt sich aber starten und funktioniert einwandfrei.
Edit: Auch das Problem ist behoben.

Inzwischen habe ich auch die deaktivierte Disk wieder eingebunden und der Parity Sync der zweiten Parity Platte läuft erneut. Vielen Dank für die hilfreichen Tipps, das hat mir sehr geholfen. Das Problem ist erledigt und der Thread kann geschlossen werden.

Edited July 7, 2023 by paulinus