Mehrere technische Fragen und Probleme

[JOBU]

Hi ich habe hier in meinem Unraid System so einige Probleme bei denen ich Hilfe benötige.

 

( Z390 Asus Prime, I7 8700, 700W BQ, LSI HBA & Multiplier von 8 auf 16 Ports 16GB DDR4, Fantec 24 Slot SAS Backplane Servergehäuse)

 

1. Streaming bei Filmen hakt sehr stark, wird immer wieder durch langes Buffering unterbrochen (Infuse auf Apple TV Kodi Jellifin wurde getestet), die interne vermute die interne UHD630 des Asus Z390 Grafik ist Schuld bin aber nicht sicher.

 

2. ich würde gerne eine neue Parity Disk aufbauen, ohne alte Restinfos, hierzu die Frage wie genau ich vorgehen muß, um die alte zu deaktivieren, um dann eine andere Platte, oder die selbe zu benutzen um neu aufzubauen (es geht nicht um vergrößern) 

 

3. Hier schliesst direkt Frage 3 an, wenn ich ohne Parity laufen lasse, habe ich null Probleme mit dem System alle HDD weisen keine Fehler auf und überstehen Smartchecks fehlerfrei, binde ich eine Parity ein und starte den Check, hab ich den Eindruck, es resettet die SAS Karte ständig, im 10-20 Sekunden Takt (die HDDS laufen dann neu an und  das immer wieder) und hört nach kurzer Zeit auf weiterzuprüfen, zudem bekommen meine 10TB Ironwolf regelmässig sehr viele Fehlermeldungen, obwohl sie 100% in Ordnung sind. Ebenso einige 8TB WD Red.

Bei den Seagate habe ich bereits hier einen Tipp gefunden, den ich breits getestet hatte, indem ich die Werte per CMD geändert habe die ich hier im Forum gefunden habe.

 

4. Hierzu die Frage ob es mit der Stromversorgung zu tun haben kann, wie man die Platten ansteuert, (am besten einzeln an die SAS Backplane, oder gehen auch Molexverteiler, oder ob das egal ist, ich habe 6 Molex Anschlüsse an der Backplane, weiss aber garnicht wieviele überhaupt versorgt werden müssen, denn wenn ich welche weglasse, läuft das System trotzdem auch der unverstromte Bereich.

 

5. hat wieder mit 1. zu tun ich brauche vermutlich eine Grafikkarte, habe aber keinen Steckplatz mehr frei, 3. x16 Slot ist mit 10Gbit Mellanox belegt, kann ich die LSI HBA Karten, oder die 10 Gbit an Risern betreiben, an x1 PCI-e Slots, oder brechen die Schreib Lese Werte damit ein.

 

6. der Cache führt das Movern nicht aus obwohl es eingestellt ist stattdessen muss ich es immer manuell machen weil er vollläuft.

 

#EDIT

7. (und letztens) ich habe eine gekaufte auf einem anderen USB Stick mit der alten Config, aufgrund von zuvielen unlösbaren Problemen nun erneut ein Unraid zu Testzwecken mit Testlizenz gebaut, kann ich die Daten von dem neuen auf das alte übertragen bzw. reicht es die UUID zu ändern und zum UUID noch die Frage könnte dies evtl auch das Parity Problem lösen wenn ich den benutzten Parity eine neue UUID verpasse, weil es für mich so aussieht, als ob das System sich immerwieder auf die mit der 1. Parity Disk erstellten Daten beruft, egal was ich tue. Hier gehen z.B. die Fehlerzahlen der 4 Ironwolf Disks fast synchron auf über 8 Mio Fehler, was hier im neuen System nicht mehr passiert.

 

Danke

 

Edited June 17, 2022 by JOBU

[JOBU]

Hallo hat hier echt keine Antworten auf eine oder mehrere Fragen, das kann doch nicht sein?

Wäre schon wenn das ein oder andere erläutert würde damit ich weiterkomme.

[DataCollector]

Hallo.

 

Zuerst zu Deinem zweiten Beitrag. Deine Fragestellungen sind etwas komplex, deswegen hat wohl keiner etwas geschrieben um sich nicht die Finger zu verbrennen.

Auch kann bei einigen Stellen nur jemand etwas sagen, der es vielelicht schon gemacht hat.

 

Damit Du Dich aber nicht ignoriert fühlst, kann ich mal schreiben, was ich dazu meine.

 

On 6/17/2022 at 8:21 AM, JOBU said:

( Z390 Asus Prime, I7 8700, 700W BQ, LSI HBA & Multiplier von 8 auf 16 Ports 16GB DDR4, Fantec 24 Slot SAS Backplane Servergehäuse)

Nette, aber nicht gerade stromsparende Zusammenstellung.

 

On 6/17/2022 at 8:21 AM, JOBU said:

1. Streaming bei Filmen hakt sehr stark, wird immer wieder durch langes Buffering unterbrochen (Infuse auf Apple TV Kodi Jellifin wurde getestet), die interne vermute die interne UHD630 des Asus Z390 Grafik ist Schuld bin aber nicht sicher.

Ich streame nicht. Mir reichen bisher SMB Freigaben. Somit kann ich hierzu nichts sagen.

Infuse kenne und nutze ich nicht, Apple sowieso nicht, Jellifin nutze uind kenne ich auch nicht.

Ich glaube Jellifin ist die kostenlose Alternative zu Plex. Mit Plex kennt sich mgutt aus (soweit ich diese Beiträge von ihm verstanden haben glaube).

 

 

On 6/17/2022 at 8:21 AM, JOBU said:

2. ich würde gerne eine neue Parity Disk aufbauen, ohne alte Restinfos, hierzu die Frage wie genau ich vorgehen muß, um die alte zu deaktivieren, um dann eine andere Platte, oder die selbe zu benutzen um neu aufzubauen (es geht nicht um vergrößern) 

Da immer etwas schief gehen kann: aktuelles Backup haben/erstellen!!

 

Neue Parity = es gibt schon eine und Du willst die austauschen

oder es gibt noch keine Parity und Du willst die erste Parity einbauen

oder es gibt eine Parity und Du willst eine zweite Parität zufügen?

 

Ich gehe mal vom letzten Fall aus - 1 Parity ist vorhanden  und 2. Parity soll zugefügt werden:

Array stoppen, (falls 2.Paritäts Festplatte noch physikalisch eingebaut werden muß, schlage ich vor: PC auszuschalten und das nun zu machen. Einige HBA erlauben das auch im laufenden Betrieb, aber wenn man sowieso nun für den Partitätsaufbau einige Zeit wartet, ist das kaum zusätzlicher Zeitverlust).

Neu booten (ohne Array zu starten),

die zweite ParityDisk ins Array als eben 2.Parität eintragen,

Array starten,

unraid erstellt die Parität automatisch (war bei mir zumindest mal so)

und wenn es fertig ist, sollte unraid wieder so performant wie vorher nutzbar sein.

 

On 6/17/2022 at 8:21 AM, JOBU said:

3. Hier schliesst direkt Frage 3 an, wenn ich ohne Parity laufen lasse, habe ich null Probleme mit dem System alle HDD weisen keine Fehler auf

...

Sofern Du keine weiteren Sicherungsmaßnahmen vorgenommen hast, kann unraid nur ein Problem finden, wenn es eine zweite Information hat um eine Differenz zu finden.

Bei Deinen SMARTtests findet die jeweilige Festplatte also keine Verkabelungsfehler (UDMA CRC) und (noch) keine Oberflächen/Sektorfehler, aber ob die Dateien auf den Festplatten noch dem Original entsprechen kann damit nicht geprüft werden. Man nimmt nur an, daß die Daten noch stimmen, weil eben SMART nichts meldet.

Dafür wurde beispielsweise das Plugin "File Integrity" geschaffen (mit dem ich aber so meine Bauchschmerzen habe). Aber das findet ggf. auch nur Fehler.

 

Ein (externes) Backup ist sehr anzuraten!

 

On 6/17/2022 at 8:21 AM, JOBU said:

binde ich eine Parity ein und starte den Check, hab ich den Eindruck, es resettet die SAS Karte ständig, im 10-20 Sekunden Takt (die HDDS laufen dann neu an und  das immer wieder) und hört nach kurzer Zeit auf weiterzuprüfen, zudem bekommen meine 10TB Ironwolf regelmässig sehr viele Fehlermeldungen, obwohl sie 100% in Ordnung sind. Ebenso einige 8TB WD Red.

Das kann sein, aber ist dann ein spezielles Problem, daß wohl bisher hier keiner berichtete.

Wieviele Festplatten hast Du denn überhaupt dran? Welcher HBA ist es denn (LSI hat alte Kontroller mit SATA und später SAS/SATA Technik hergestellt)?

Ist dahinter wirklich ein Multiplier (SATA) oder ein Expander (SAS)?

SATA Multiplier sind in unraid nicht wirklich gut zu gebrauchen. SAS Expander hingegen sollten funktionieren.

 

On 6/17/2022 at 8:21 AM, JOBU said:

4. Hierzu die Frage ob es mit der Stromversorgung zu tun haben kann,

In der Theorie kann es sein, da dabei ja alle Platten (fast) maximal beansprucht werden.

Was für ein Netzteil und wieviele (welche) Festplatten nutzt Du da?

 

On 6/17/2022 at 8:21 AM, JOBU said:

(am besten einzeln an die SAS Backplane, oder gehen auch Molexverteiler, oder ob das egal ist, ich habe 6 Molex Anschlüsse an der Backplane, weiss aber garnicht wieviele überhaupt versorgt werden müssen, denn wenn ich welche weglasse, läuft das System trotzdem auch der unverstromte Bereich.

um hier etwas sagen (vermuten) zu können, macht es Sinn die Hardware und deren Verkabelung genauer aufzulisten.

 

On 6/17/2022 at 8:21 AM, JOBU said:

5. hat wieder mit 1. zu tun ich brauche vermutlich eine Grafikkarte, habe aber keinen Steckplatz mehr frei,

Um hier Ideen zu entwickeln wäre es auch hier sinnvoll mehr ins Detail zu gehen.

 

On 6/17/2022 at 8:21 AM, JOBU said:

3. x16 Slot ist mit 10Gbit Mellanox belegt,

Ich habe das Board jetzt nicht recherchiert, aber 3 Stück 16x mechanisch bedeutet nicht viel. Fraglich, wie die Slots elektrisch angebunden sind (wieviele Lanes) und ob die Slots Abhängigkeiten zueinander haben und ob die Bifurcation können. Auch gibt es Mellanox mit Doppelanschlüssen.

Und ob 3 Mellanox    oder    eine Mellanox und ein Switch vioelleicht sogar sinnvoller sind?

Somit wäre es sinnvoll zu erfahren, warum es 3 Mellanox sind um zu vermuten wie man die substituieren könnte.

Achja, da Umbau der Hardware evtl. Kosten nach sich zieht, wäre ein zur Verfügung stehendes Budget interessant.

 

On 6/17/2022 at 8:21 AM, JOBU said:

kann ich die LSI HBA Karten, oder die 10 Gbit an Risern betreiben,

Das hängt stark vom Board, Adaptern und deren Fähigkeiten ab.

Wenn Du bitte erst einmal mehr/genauere Details zur Hardware und em jeweiligen Sinn der Hardware lieferst, macht es Sinn im Handbuch zu schmökern.

 

On 6/17/2022 at 8:21 AM, JOBU said:

an x1 PCI-e Slots, oder brechen die Schreib Lese Werte damit ein.

PCIe x1 (v3.0) schafft 1GByte/s.

Eine Mellanox 10G Karte kann 10GBit/s = ca. 1,1GByte in eine Richtung übertragen benötigt also für Vollduplex (in beide Richtungen gleichzeitig) etwas mehr als PCIe x2 (v3.0), weshalb die ja als PCIe x4 ausgeführt werden.

Wenn man eine Mellanox 2x 10GBit/s nimmt und die in einem X16 Slot per x8 anbindet hat man vielleicht einen anderen X16 (der wohl mit mindestens x4 angebunden sein dürfte) wieder frei haben.

Oder man nimmt eben eien Riserkarte mit Bifurcation, wenn das Mainboard das beherrscht.

Oder man nimmt eien Karte (teuer!!) die selber als PCIe Switch fungiert. Sowas kenne ich zwar nur für NVMe SSD, aber das sind grundsätzlich ja auch "nur" M.2 PCIe x4 und da kann man dann wieder adaptieeren.

Aber dazu fehlen mir eben weitere Detailts.

 

On 6/17/2022 at 8:21 AM, JOBU said:

6. der Cache führt das Movern nicht aus obwohl es eingestellt ist stattdessen muss ich es immer manuell machen weil er vollläuft.

Dazu müßte man mehr zu den Movereinstellungen (Scheduling) wissen.

 

On 6/17/2022 at 8:21 AM, JOBU said:

#EDIT

7. (und letztens) ich habe eine gekaufte auf einem anderen USB Stick mit der alten Config, aufgrund von zuvielen unlösbaren Problemen nun erneut ein Unraid zu Testzwecken mit Testlizenz gebaut, kann ich die Daten von dem neuen auf das alte übertragen bzw. reicht es die UUID zu ändern und zum UUID noch die Frage könnte dies evtl auch das Parity Problem lösen wenn ich den benutzten Parity eine neue UUID verpasse, weil es für mich so aussieht, als ob das System sich immerwieder auf die mit der 1. Parity Disk erstellten Daten beruft, egal was ich tue. Hier gehen z.B. die Fehlerzahlen der 4 Ironwolf Disks fast synchron auf über 8 Mio Fehler, was hier im neuen System nicht mehr passiert.

Dazu kann ich nichts sagen, weil ich es noch nicht gemacht habe und auch noch unsicher bin was die USB-Sticks und die Dateien angeht.

 

[DataCollector]

Ich habe jetzt doch schon mal nach einem Handbuch gesucht.
Z390 Asus Prime
gibt es als Variante A und P.

 

Aber anscheinend habe ich da etwas mit den Mellanox falsch verstanden, da beide Boards gar keine 3 Stück x16 Slots haben.

Ich hatte es so verstanden, daß aktuell 3 Mellanoxkarten, je eine in einem x16 sitzen.

Bitet also genauer ausführen, damnit ich verstehe, was Sache ist und wie es aufgebaut ist.

[mgutt]

On 6/17/2022 at 8:21 AM, JOBU said:

Streaming bei Filmen hakt sehr stark, wird immer wieder durch langes Buffering unterbrochen (Infuse auf Apple TV Kodi Jellifin wurde getestet

Infuse und Kodi laden nur den Film und transcodieren dann auf dem Client (falls nötig). Soll heißen die iGPU deines Servers wird nicht verwendet. Demnach kommen die Daten also nicht schnell genug von der Disk (unwahrscheinlich, sind ja nur ein paar Mbit/s) oder etwa stimmt nicht mit deinem Netzwerk.

 

On 6/17/2022 at 8:21 AM, JOBU said:

. ich würde gerne eine neue Parity Disk aufbauen, ohne alte Restinfos

Bau die alte aus, bau die neue ein und weise sie als Ersatz zu. Die Parität wird dann komplett neu berechnet. Muss ja, weil die alten Paritätsinfos dann ja weg sind.

 

On 6/17/2022 at 8:21 AM, JOBU said:

binde ich eine Parity ein und starte den Check, hab ich den Eindruck, es resettet die SAS Karte ständig

Überhitzt die SAS Karte evtl, also ist die Kühlung in Ordnung? Bei einem Check wird ja von allen parallel gelesen. Also maximale Arbeit für die Karte. Eventuell ist sie auch einfach defekt?!

 

On 6/17/2022 at 8:21 AM, JOBU said:

ich habe 6 Molex Anschlüsse an der Backplane, weiss aber garnicht wieviele überhaupt versorgt werden müssen

Ich denke die Backplane ist so ausgelegt, dass eine Hälfte über Netzteil 1 und die andere über Netzteil 2 versorgt wird und wenn ein Netzteil ausfällt, dass dann alles über eines versorgt werden kann. Im Enterprise Bereich geht es ja meist um Ausfallsicherheit. Ist jetzt aber nur eine Vermutung.

 

 

[Ford Prefect]

On 6/17/2022 at 8:21 AM, JOBU said:

LSI HBA & Multiplier von 8 auf 16 Ports

...wie oben schon mal gefragt, ist es wichtig zu verstehen was für eine Karte und "Multiplier" das ist.

 

On 6/17/2022 at 8:21 AM, JOBU said:

wenn ich ohne Parity laufen lasse, habe ich null Probleme mit dem System alle HDD weisen keine Fehler auf und überstehen Smartchecks fehlerfrei, binde ich eine Parity ein und starte den Check, hab ich den Eindruck, es resettet die SAS Karte ständig,

Wenn Fehler auftreten bei einer SAS Karte mit SAS Expander hier der Hinweis, dass auch SAS Expander eine Firmware haben. Ich kenne da bei älteren Intel (zB RES240SV/CV) Inkompatibilitäten mit SATA Platten, die erst durch ein FW-Update dann behoben waren.

[JOBU]

Hi, vielen Dank erstmal an alle Beteiligten, einige hilfreiche Tipps dabei bin momentan mit wenig Zeit geesegnet um was zu tun.

Trage mal alles zusammen und teste weiter.

 

@DataCollector

Danke zunächst das du trotz aller Bedenken und Mitleid geantwortet hast, wenn einer den Anfang mach kommen wie du siehst, die anderen auch raus und trauen sich.

 

Was ich schon beantworten kann, die Strom Sache ist kein Problem, das fängt die PV Anlage ab, ich habe mehrere, auf HBA geflashte Karten LSI 9201, 9211, Fujitsu2008, alle diese sind 8i Sas Karten, der Xtender ist ein 16i, näheres weiter unten, der aber ja die 8 Ports der anderen Karte benötigt somit eigentlich auch kein Gewinn denn 2x8i Karten machen ja daselbe und brauchen den selben Platz auf dem Board, was sicher mehr Sinn machen würde, wäre eine 16i Karte, aber die ist ja preislich schon arg weit entfernt, von den anderen, Lüftung der Karten, war auch meine erste Idee, darum habe ich einen fetten Backplane Lüfter von oben über die Karten gebastelt auf die Karten ausgerichtet, der kühlt und das scheint zu helfen.

Aktuell hängen alle 16 Platten 15 Array bzw unassigned (ein Mix aus 4x10,8,6,5und ein paar 3 TB Platten) & 1 M2 auf dem Board & 1 Sata SSD als Cache an den Karten dran dazu noch 4 per Sata intern angeschlossen.

 

Es existiert eine begonnene Parity, die aufgrund der HDD Errors nie zuende gebracht werden konnte, trotzdem sieht es so aus als würde die Parity Disk immer wieder nach dem alten gespeicherten Zeugs suchen, darum die Frage nach der UUID änderung damit das System denkt es sein eine neue und ich damit versuchen kann eine saubere neue Parity aufbauen kann.

 

 

@mgutt

Das mit dem Streaming ist mir im Grunde klar, auch das die Clients dekodieren, darum meine Verwunderung über die Abbrüche, hab mein Netzwerk mal neu aufgebaut und neu verkabelt, mal schauen was es bringt bisher noch ungetestet aber bei normalem Streaming bei Netflix und Co. lief es alles problemlos, wenn muss intern was sein, beim Netzwerkstreaming entstehen schon hohe Lasten wenn man volle UHD'S mit Atmos oder anderen HD Tonformaten streamt, ich mache das ja auch schon seit Jahrzehnten und nie hatte ein Gerät ein Problem damit, weder die verschiedenen  Synology DS + Series, noch der Raspberry Pi oder andere Tests, an den Clients kann es eigentlich auch nit liegen, da ich da wirklich nur die hochwertigen Geräte habe die es gut beherrschen wie Nvidia Shield Pro, Apple TV und ein High End PC, und einen AVR Yamaha Avantage 3080, haken tut es bei allen wenn ich vom Unraid abspiele.

 

@Ford Prefect

Zu den verbauten Karten aktuell befinden sich an den Kartenslots des Mainboards 1x LSI 8i 9211 an P1 1x der Extender an P2 und die 1x Melanox Karte auf P3 wobei ich 10 Gbit Leistungsmässig noch nit getestet hatte.

 

Das ist die Xpander Card Lenovo 03X3834 LSI 6Gbps 16 Port PCI-E SAS Expander Card 9240-8i 9261-8i 11407-1 die im Bios der LSI Card mit angezeigt wird und auch alle HDD erkennt.

 

Die Stromversorgung in der Backplane klingt absolut logisch und kann gut sein.

 

 

Soweit erstmal ein kleines Zwischefazit alles andere folgt nachdem ich Zeit finde weiterzumachen.

 

 

 

 

Edited June 29, 2022 by JOBU

[Ford Prefect]

9 minutes ago, JOBU said:

Das ist die Xpander Card Lenovo 03X3834 LSI 6Gbps 16 Port PCI-E SAS Expander Card 9240-8i 9261-8i 11407-1 die im Bios der LSI Card mit angezeigt wird und auch alle HDD erkennt.

OK, das ist also wirklich ein SAS HBA plus Expander Karte.

Das die HDDs erkannt werden ist nicht das Problem....sondern die Kommunikation mit Daten.

SAS und SATA sind eigentlich kompatibel, wobei SAS bi- und SATA unidirektionale Schnittstellen sind.

Die Intel Expander sind auch LSI basiert....und die hatten ein Problem mit der FW.

Welche FW hat der LSI Expander? -> https://forums.servethehome.com/index.php?threads/lenovo-03x3834-lsi-6gbps-16-port-pci-e-sas-expander-card-13-88.31756/page-2

[mgutt]

15 minutes ago, JOBU said:

beim Netzwerkstreaming entstehen schon hohe Lasten wenn man volle UHD'S mit Atmos oder anderen HD Tonformaten streamt

Nö gar nicht. Das sind ja nur popelige 100 MBit/s. Da lacht doch jeder Gbit Switch drüber.

 

Der einzige der in dem Moment arbeitet ist der Prozessor von zb dem Nvidia Shield.

 

Wenn das wieder auftritt, dann führe in Unraid bitte "top" aus und schau mal ob a) ein Prozess ausrastet und b) ob bei IO Wait was anderes als 0 steht.

[DataCollector]

5 hours ago, JOBU said:

auf HBA geflashte Karten LSI 9201, 9211, Fujitsu2008, alle diese sind 8i Sas Karten, der Xtender ist ein 16i,

Wenn ich es richtig lese hast Du eine Lenovo 03X3834 als Expander.

Wenn Investition möglich ist und Du den PCIe Slot frei bekommen willst: Karte raus und Intel RES2SV240 oder so nehmen (siehe unten).

Dann bekommst Du einen PCIe Slot frei.

 

Ich habe extra bei mir (nicht unraid) INTEL RES2CV360 und INTEL RES3TV360 (bauaehnlich RES3CV360 & RES3TV360) eingesetzt weil ich damit mehr Ports erreiche und diese direkt im Luftstrom hinter dem 19" Festplattenkäfig platzieren konnte. Damit ver(schw)ende ich keinen PCIe Slot für die Expander.

 

5 hours ago, JOBU said:

was sicher mehr Sinn machen würde, wäre eine 16i Karte, aber die ist ja preislich schon arg weit entfernt,

Ja, aber eine "HBA 8i + 16i Expander" Kombination ist kaum teurer (wenn man keine Gebrauchtschnäppchen erwischt)

https://www.ebay.de/itm/304478267445

Controleur PCIe SATA SAS 16 ports - OEM 9201-16i - SAS

226,90 Euro + Versand

 

5 hours ago, JOBU said:

der kühlt und das scheint zu helfen.

Also meien LSI/AVAGO/Broadcom HBA haben extra den Hinweis im handbuch und auf der Platine, daß man einen gewissen Luftstrom einhalten muß.

 

5 hours ago, JOBU said:

15 Array bzw unassigned (ein Mix aus 4x10,8,6,5und ein paar 3 TB Platten) & 1 M2 auf dem Board & 1 Sata SSD als Cache an den Karten dran dazu noch 4 per Sata intern angeschlossen.

Solltest Du Geld investieren können: Wenn Du je 3 Stück 3TB Festplatten durch eine 10TB Festplatte ersetzt, gewinnst Du jeweils 2 freie Ports und etwas freien Platz.
Wenn Du es schaffst die kleinsten Festplatten durch größere zu ersetzen reduzierst Du Deine benötigten Ports vielelicht genug, so daß nur eine SAS/SATA 8i HBA Karte notwendig ist und diese mit den Onboard SATA dann ausreicht.

 

5 hours ago, JOBU said:

 darum die Frage nach der UUID änderung damit das System denkt es sein eine neue und ich damit versuchen kann eine saubere neue Parity aufbauen kann.

Ich würde einfach die Paritätsfestplatte ausbauen, in einem anderen PC oder in UD Nullen/Preclearen, dann wieder als Parity zuordnen und Parity neu aufbauen lassen.

 

5 hours ago, JOBU said:

@Ford Prefect

Das ist die Xpander Card Lenovo 03X3834 LSI 6Gbps 16 Port PCI-E SAS Expander Card 9240-8i 9261-8i 11407-1 die im Bios der LSI Card mit angezeigt wird und auch alle HDD erkennt.

Hier hätte ich lieber eine Intel RES2SV240 genommen. Die funktioniert auch standalone ohne PCIe Slot. Die kann man dann irgendwo im Gehäuse oplatzieren (sie braucht etwas Luftbewegung). Strom kann man dort oben mittig per 4Pol Molex (12V) einspeisen.

Der Expander erkennt Upstream/Downstream automatisch.

 

[JOBU]

22 hours ago, Ford Prefect said:

@Ford Prefect Danke für den Tipp, die Firmware des Expanders ist die letzte verfügbare, es ist ja nicht generell ein Problem des Expandaers, denn den habe ich erst gekauft als ich mit 2x 8i LSI HBA Karten, oder auch mit einer Fujitsu auf LSI HBA geflasht die identischen Probleme hatte, wie gesagt die Kühlung schien hier eines der Hauptprobleme zu sein, aber das zeigt sich final dann erst wenn die Parity neu und unvorbelastet aufgebaut wird, denn ohne Parity läuftz das System ja perfekt und fehlerfrei, die Probleme treten erst beim Parity Check auf hier hatten wie in anderer Frage beschrieben die Seagate Ironwolf mit je 8 Mio fehler gecheckt trotz der deaktivierten Einstellungen aus den Hilfethreads.

 

[JOBU]

@mgutt

das top im Terminal ausführen?

wenn je teste ich das auch gerne und berichte.

[mgutt]

26 minutes ago, JOBU said:

das top im Terminal ausführen?

Jo

[JOBU]

@DataCollector

 

zu 1. 

Danke, den Tipp mit dem Intel Teil werde ich definitv testen

 

zu 2. 

naja ich habe die Karten als nicht HBA gekauft und selbst geflasht falls nötig im Ebay habe ich gebraucht 30-50€ bezahlt, selbst der Expander kostete nur 59€ also schon weit entfernt.

 

zu 3.

Handbuch hab ich nur bedingt gelesen aber anhand von fast Verbrennungen auf eine erforderliche Kühlung getippt und einen Lüfter mit hohem Luftstom auf die Karten gelegt was nun den Kühler angenehm runterkühlt.,

 

zu 4.

die Investition ist garnit nötig und das Problem denn vor dem Unraid Umstieg hatte ich ne Synology DS2419+ (12 Slots)  incl. der Expansion Einheit 1219+ (weitere 12 Slots) der Verkauf während der Lieferengpässe hat soviele Kohle eingespielt das ich trotz aller Investitionen für Unraid noch sehr weit im Plus bin, aber ich habe bereits

1x 12TB WD RED, 4 x10TB Seagate Iron Wolf Pro und  10x 8TB WD Red neben dem Kleinkram wie 3,4 und 5 und 6TB um das Gehäuse zu füllen.

Der Speicher reicht mir dicke bis ans Lebensende, sodass ich den Rest der "kleinen" die 3,4,5,6er auch rausschmeissen kann, ohne Platzmangel zu bekommen.

Komme aber mit den großen immernoch auf 15 Stück + die Cache SSD aber intern sind ja auch 4 frei wenn ich ne M2 verbaue ansonsten sogar 6,

darum 16Slots ist benötigtes minimum, denn 8 gegen 10 zu Tauschen macht sowohl finanziell, als auch platzmässig, wenig bis keinen Sinn und die ganz großen wie 16, 18 +  selbst wenn ich die Exos nehmen würde sind mir persönlich aktuell wieder zu teuer für den Mehrwert.

Natürlich bekomme ich für die 8er noch immer gut Kohle beim Verkauf, aber im Moment hab ich andere Prioritäten.

 

zu 5.

mit der Parity hatte ich das auch genau so vor, hoffe das hilft dann. 

 

 

 

 

 

 

 

 

 

 

[JOBU]

Danke an alle der Parity Neuaufbau nach Preclear, hat schon mal fehlerfrei funktioniert, das ist schon mal viel wert zwei  Ergänzungsfragen.

Da das die wichtigste Sache war widme ich mich dem Rest dann nach und nach. Aber all Eure Tipps waren für mich sehr hilfreich und wertvoll um das System nach und nach zu verstehen.

 

Die Parity stellt nur Array Daten beim Crash wieder her, oder auch von den unassigned Devices oder Pools, wenn was abschmiert, wie macht ihr das habt ihr alles im Array oder anders verteilt, wenn verteilt wie und warum?

 

Dann noch zum neuen USB Stick, mit Testlizenz, kann ich den alten Stick mit der bezahlten Vollversion mit den Daten des nun funktionierenden Systems befüllen und die gekaufte Lizenz verwenden, denke schon oder da die Lizenz ja Stick bzw. UUID basierend ist, oder muss ich umkopieren etwas beachten, oder genügt sogar eine UUID Änderung des Sticks und lediglich kopieren der Lizenzdaten.

 

zuletzte noch eine Frage @DataCollector wenn ich das richtig verstanden habe ist die 

Intel RES2SV240 sowohl PCI als auch Molex-Powered Standalone tauglich?

Das wäre echt geil denn der kostet bei Ebay nur 115-150€ zwar muss man dabei immer die verlorenen 8 Ports bedenken somit eigentlich nur 16 Ports rest aber sehr guter Tipp aufgrunde des freien Ports im PC echt Gold wert.

Edited July 2, 2022 by JOBU

[hawihoney]

2 hours ago, JOBU said:

Die Parity stellt nur Array Daten beim Crash wieder her, oder auch von den unassigned Devices oder Pools

 

Die Parity Platten sind nur für das Array zuständig (Ausfallsicherheit). Um Unassigned Devices musst Du Dich, wenn notwendig, selbst kümmern. Pools können als RAID angelegt werden. Derzeit mit Bordmitteln nur mit dem BTRFS Dateisystem. Noch nicht komplett integriert wäre ZFS, das erfordert aber die Installation von Plugins und ein wenig Handarbeit. Letzteres soll wohl im nächsten Release in Unraid komplett integriert sein.

 

Als Randnotiz: Alle o.g. RAID Systeme außer das Unraid Array erfordern, dass alle Platten immer aktiv bleiben.

 

[mgutt]

3 hours ago, JOBU said:

habt ihr alles im Array oder anders verteilt, wenn verteilt wie und warum?

Ich sichere alle 8 Stunden von der NVMe inkrementell auf eine Platte im Array. Damit also bis zu 8 Stunden möglicher Datenverlust bei Defekt. Bei BTRFS RAIDs liest man immer wieder von Problemen. Da muss einfach alles passen. Schon ein kleiner Übertragungsfehler beim SATA Kabel oder der NVMe Verbindung und schon steht man erstmal vor einem kaputten Pool. Ich würde zb ausschließlich Samsung NVMe in einem RAID1 betreiben, wenn ich das bräuchte. Die machen am wenigsten Probleme unter Linux und ein RAID1 stirbt einem nicht einfach komplett weg wie zb ein RAID5.

[hawihoney]

4 hours ago, JOBU said:

wie macht ihr das habt ihr alles im Array oder anders verteilt, wenn verteilt wie und warum?

 

Hatte ich überlesen.

 

1.) 2x XFS formatierter Single-Disk Pool für Docker, VMs und Nextclouds Datenverzeichnis (die Daten die in Nextcloud stecken sind sogenannte Externe Speicher und liegen auf dem Array). Die beiden Pools halte ich mit einem Haufen User Skripte regelmäßig synchron. Es gibt Docker Container/VMs die werden nur einmal pro Woche synchronisiert, andere täglich. Vor dem Sichern werden z.B. die Docker Container in den User Skripten heruntergefahren und anschließend wieder gestartet.

 

Nach dem Synchronisieren der beiden Pools erfolgt ein Backup des Backup-Pools ins Array.

 

2.) Unassigned Devices sind hier nur 3 Backup-Platten die regelmäßig und rotierend angesteckt, befüllt und wieder abgesteckt werden. Weiterhin eine SSD für NZBGet. Für NZBGet will ich nicht durchgängig einen Spinner laufen lassen. Bei angeblich 600 TB (o.ä.) Laufzeit mache ich mir über die Abnutzung auch keine Gedanken.

 

Edited July 2, 2022 by hawihoney

[DataCollector]

5 hours ago, JOBU said:

zuletzte noch eine Frage @DataCollector wenn ich das richtig verstanden habe ist die 

Intel RES2SV240 sowohl PCI als auch Molex-Powered Standalone tauglich?

Es ist eine Karte, die man auch in PCIe Slots stecken kann, aber das ist nicht erforderlich.

Entwdeer man steckst die in einen PCIe Slot, dann bekommt sie ihre Versorgungsspannung/-strom darüber.

Wenn man aber keinen PCIe slot dafür ver(sch)wenden will, dann kann man sie auch irgendwo anders im gehäuse platzieren und die Karte über den 4pol MolexStecker versorgen.

Habe ich schon gemacht, läuft wunderbar.

Aber auch schon wie Dein SAS HBA Adapter, der Kühlkörper braucht Luftbewegung.

Ich hänge mal ein Datenblatt von Intel zu der Karte hier dran.

 

Nebenbei: es gibt auch viele andere SAS Expander die ohne PCI(e) Slot funktionieren, da in der Regel die Karten nur Strom und die SAS/SATA Verbindungen brauchen. Weitere Datenverbindungen aus einem PCIe Slot sind meist nicht notwendig.

Ausnahme ich Dein Modell, welches wohl exklusiv für PCIe designt wurde.

 

Edit: Nur zur Sicherheit. Solltest Du eine Karte (hier SAS Expander) wie/wo anders montieren und eben alternativ mit Molex oder so speisen, achte darauf, daß der dann freie PCIe slot nicht irgendwo gegen etwas leutendes stößt. Ein Kurzschluß könnte Folgen haben. Wenn ich nichts besseres hatte, ahbe ich die Kontaktleiste mit einem Stück Papier, Gummi, nicht leitendem Material, ... abgedeckt und dieses dann mit einem Streifen Klebeband fixiert.

 

5 hours ago, JOBU said:

Das wäre echt geil denn der kostet bei Ebay nur 115-150€

Ja, das ist einer der günstigeren. Deshalb habe ich damit auch angefangen, aber weil ich mehr Ports brauchte dann später (in meinen Windows Hardwareraid Systemen) die 32 bzw. 36 Port Versionen verbaut. RES3TV360, RES3CV360, RES3FV288. Aber auch die waren ab und zu bei ebay günstig (150-250) zu haben.

 

5 hours ago, JOBU said:

zwar muss man dabei immer die verlorenen 8 Ports bedenken

Du kannst den Expander auch mit 1 SAS SFF input versorgen und die restlichen SFF alle als Ausgang verwenden. Dann hat man aber bei gleichzeitiger Nutzung (wegen SAS 6G) natürlich nicht mehr 250MByte/s pro Port übrig.

SAS-raid-expander-res2sv240-brief.pdf

Edited July 2, 2022 by DataCollector
Ergänzung PCIe Isolierung

[mgutt]

1 hour ago, DataCollector said:

6 hours ago, JOBU said:

zuletzte noch eine Frage @DataCollector wenn ich das richtig verstanden habe ist die 

Intel RES2SV240 sowohl PCI als auch Molex-Powered Standalone tauglich?

Es ist eine Karte, die man auch in PCIe Slots stecken kann, aber das ist nicht erforderlich.

Entwdeer man steckst die in einen PCIe Slot, dann bekommt sie ihre Versorgungsspannung/-strom darüber.

Was verbraucht dieser SAS Expander und gibt es auch eine aktuellere Version (effizienter)?

[DataCollector]

1 hour ago, mgutt said:

Was verbraucht dieser SAS Expander und gibt es auch eine aktuellere Version (effizienter)?

Ich finde in den mir vorliegenden technical Data keine ausreichend genau benannten Verbrauchswerte.

(ich habe aktuell aber nur den HWUG (siehe hier angehängt) und den Product Brief (hatte ich an eine der frueheren Antworten angehängt) schnell griffbereit)

 

Mein Vorschlag bezieht sich darauf, daß er ja schon einen 8 Port SAS HBA + 1 SAS Expander verwendet und jeder einen seiner wertvollen PCIe Slot belegt.

Wenn es sparsamer und billiger (als der ebay Intel Expander) werden soll (mit weiterer Verschwendung eines PCIe Slots) sind die alten HP-24-Bay Expander 468406-B21 einen Blick wert. Dafür können die SATA nur 3G (aber SAS 6G). Das reicht aber auch noch für heutige Festplatten.

 

Intel hat die 6G SAS Expander schon länger 'End of Life' bezeichnet, weil sie eben die neueren und 'leistungsfähigeren' 12G und noch neuer verkaufen wollen.

Wenn man also auf Bandbreite und Ports schaut, gibt es teurere und effizientere (pro Port und Durchsatz gerechnet) Expander.

Aber ich mutmaße eben, daß hier auch Beschaffungskosten eine Rolle spielen, denn es waren sogar schon 2x 8Port SAS HBA mal erwähnt worden.

 

Ich setze bei mir teilweise auch SAS 12G ein, weil ich damit mit nur 4 Verbindungen zu je 12G meine neueren Expander mit bis 32 SATA Festplatten bei je mehr als 250MByte/s gleichzeitig nutzen kann. Aber er sucht ja nur eine Möglichkeit 16 Ports zu benutzen.

und da ist es eben eng.

Einzelne (um nicht mehr PCIe Slots zu verschwenden) stromsparende SATA Kontroller für ca. 16 Ports mit gleichzeitiger Nutzung für Festplatten (=250MByte/s oder mehr) sind eben nicht auf dem Markt.

Aber das Dilemma wurde ja schon mehrfach angeschnitten.

SAS-e93121003_res2sv240_hwug.pdf

[mgutt]

52 minutes ago, DataCollector said:

Wenn es ... billiger 

Das wäre jetzt nicht mein Fokus. Ich habe überlegt ob man einen Broadcom 9500-16i mit so einem SAS Expander erweitern sollte oder eher zwei 9500 kaufen sollte?!

[DataCollector]

1 hour ago, mgutt said:

Das wäre jetzt nicht mein Fokus. Ich habe überlegt ob man einen Broadcom 9500-16i mit so einem SAS Expander erweitern sollte oder eher zwei 9500 kaufen sollte?!

Okay. ich hatte bei der Erwähnung von 115-150 Euro für den Expander wirklich keinen 700+ Euro neuen Kontroller der PCIe 4.0 12G Klasse im Auge habe ich wohl zu kurz gedacht, bzw. eher eine weniger gut gefüllte Kriegskasse vermutet.

Mir waren schon meine (nicht in unraid eingesetzten) Megaraid 9361-16i und HBA 9300-8i fast zu teuer.

[mgutt]

Just now, DataCollector said:

700+ Euro neuen Kontroller der PCIe 4.0 12G

Ich kann die denke ich gut über die Arbeit kaufen. Und ich würde den auch versuchen als PCIe 4.0 X4 oder PCIe 3.0 X8 zu nutzen. Da dann 16 SATA SSDs dran. Ich verspreche mir dann einen Leerlaufvebrauch von 5W, weil die ja mit 8W im Maximum ausgewiesen ist. Aber auch nur Theorie im Moment. 

[DataCollector]

12 minutes ago, mgutt said:

Ich kann die denke ich gut über die Arbeit kaufen.

Wie weit runter kämst Du denn mit dem Preis?

Ich schätze mal selbst die 230 Euro für den -16i bei ebay waren wohl eine Hausnummer für Jobu.

Und wenn er 2 Kontroller des 9500-8i nimmt, hat er eigentlich das gleiche PCIe Slot Belegungsproblem, welches er mit den schon mal angedachten IT geflashten 8i Kontrollern hat.

 

Wenn man genug Geld hat und das ausprobieren will, gerne.

Ist sehr verlockend und bestimmt rasend schnell (vor allem, da die 9500 ja TriMode sind). Aber mit begrenztem Budget als normale Endkunden sehe ich das nicht für Jobu oder mich als Alternative Möglich seines Problemes an.

 

12 minutes ago, mgutt said:

Und ich würde den auch versuchen als PCIe 4.0 X4 oder PCIe 3.0 X8 zu nutzen. Da dann 16 SATA SSDs dran.

DAS sähe ich bei einem so teuren TriMode Adapter aber wirklich als Verschwendung an. Wenn schon dann 8 auf Dual lane verbundene NVMe SSD.

Da sollte die Performance eines Pools oder Arrays (auch ohne Trim) einem das Grinsen ins Gesicht zaubern.

 

Aber ich glaube, daß es Jobu eher um Festplatten geht und schon wären wir beide mit diesen Ideen im Bereich 'Overkill' unterwegs.

 

12 minutes ago, mgutt said:

Ich verspreche mir dann einen Leerlaufvebrauch von 5W, weil die ja mit 8W im Maximum ausgewiesen ist. Aber auch nur Theorie im Moment. 

Vielleicht findet die Lottogesellschaft ja diesen Monat meine Zahlen. 😁

Edited July 2, 2022 by DataCollector