Hallo liebe Community,

 

ich habe einen Unraid Server auf einen Gigabyte Brix Extreme Barebone (GB-BER7HS-5700) eingerichtet. Leider hängt sich das System alle ein bis zwei Tage auf, und ich bin nach einigen Wochen des googlens, Foren und Reddit durchsuchens leider noch nicht wirklich auf die Ursache gestoßen.

 

Nun hoffe ich, dass eventuell die hier versammelte Schwarmintelligenz mir weiter helfen kann.

 

Wenn das Problem auftritt hilft nur noch das System Stromlos zu machen und neu durchzubooten. Nach dem Neustart wird jedes mal die Parität überprüft, auch meistens noch funktioniert und irgendwann im Anschluss hängt sich das System wieder auf. Ich dachte zuerst, dass nur das Netzwerk sich aufgehängt hat weil ich zwei Container mit statischen Adressen gestartet hatte und ich von Problemen in der Vergangenheit mit statischen Adressen gelesen hatte. Das Phänomen tritt aber auch auf wenn keine Container installiert sind. Ich habe auch die Config schon mehrfach vom Stick gelöscht und nach einem Neustart alles neu eingerichtet aber keine Container installiert. Sprich das System an sich mit allen Platten, Cache und Parität ohne eine weitere Funktion und das Array nur gestartet. Auch hier hängt sich das System auf. Als der Fehlerzustand einmal erreicht war, habe ich einen Monitor angeschlossen, habe aber keine Anzeige bekommen, so gehe ich davon aus, dass sich alles aufhängt und nicht nur die NIC. Obwohl ich die WLAN Option nicht genutzt hatte, habe ich sie zusätzlich ausgebaut, um zu prüfen ob hier ein Problem vorliegt, hat aber auch keine Änderung ergeben.

 

In den Logs findet sich beim booten immer eine Warnung zu einem Bug, eine neuere Bios Version gibt aber nicht und das System fährt immerhin normal hoch und läuft etwa einen ganzen Tag oder mutmaßlich solange bis die Parität Erstellung abgeschlossen ist.

 

Um Probleme mit der Hardware auszuschließen habe ich einen MemTest Durchgang ausführen lassen, welcher ohne Fehler verlief. Aktuell hab ich Ubuntu in der aktuellen LTS Version installiert und der Barebone läuft nun seit gut 5 Tagen ohne einen Zwischenfall durch. Auch einen CPU Stresstest mit allen 16 Kernen über 5 Minuten auf Maximal Last konnten das Gerät nicht in die Knie zwingen. Ich würde vermuten, dass die Hardware an sich funktioniert.

 

Jedes mal wenn ich die Verbindung geprüft habe und der Server sich aufgehängt hatte habe ich einen Syslog vom Stick gespeichert, zusätzlich auch einmal am Anfang die Diagnostics Informationen. Die Dateien sind Anbei.

 

Ich würde mich freuen wenn jemand die Logs ansehen könnte und eventuell mehr entdeckt als ich.

 

Vielen Dank im voraus

 

unraid Logs.zip

1 hour ago, sarotar said:

Ich würde mich freuen wenn jemand die Logs ansehen könnte und eventuell mehr entdeckt als ich.

 

mal vorne angefangen, du hast einen bond eingerichtet mit eth0 - 3, sind alle angeschlossen ?

 

 

wenn ja, ok, wenn Nein, dann bond = no und nur die passende NIC einbinden.

 

dann bist du wohl Fritz User, was das o.g. ziemlich sicher obsolet macht

 

hast du in den Docker Einstellungen ipvlan oder macvlan gewählt, ipvlan verursacht unter Fritz das Dienste nicht oder nur marginal zu erreichen sind da sich alles eine mac Adresse teilt und die Fritz dann durcheinander kommt ... da für diese die mac das führende Element ist und nicht die IP.

 

abgesehen davon, Server sollten besser eine fixe IP nutzen und nicht auf DHCP angewiesen sein, würde ich auch umstellen.

 

abschließend, dein single drive cache ist btrfs, suche einfach kurz danach und du wirst sehen das bei single immer xfs empfohlen wird.

obwohl mehrere nvme (3x) verbaut sind ? wie sind die eingerichtet ?

 

ganz abschließend, AMD Systeme sind (leider) immer etwas anfälliger ... BIOS auch keine Stromspar Mechanismen aktiviert ?

 

wenn doch, diese dann auch mal wieder auf Standard setzen falls obiges nichts bringt.

Hallo Alturismo,

 

vielen Dank für das sehr schnelle prüfen der Logs und deiner Antwort.

 

23 hours ago, alturismo said:

mal vorne angefangen, du hast einen bond eingerichtet mit eth0 - 3, sind alle angeschlossen ?

Nein, es gibt nur einen Ethernet Anschluss, aktiv habe ich es nicht so eingestellt. 

 

23 hours ago, alturismo said:

dann bist du wohl Fritz User, was das o.g. ziemlich sicher obsolet macht

Wie ist dieser Satz zu verstehen?

 

23 hours ago, alturismo said:

hast du in den Docker Einstellungen ipvlan oder macvlan gewählt, ipvlan verursacht unter Fritz das Dienste nicht oder nur marginal zu erreichen sind da sich alles eine mac Adresse teilt und die Fritz dann durcheinander kommt ... da für diese die mac das führende Element ist und nicht die IP.

Laut meiner Erinnerung stand dieser Punkt immer auf macvlan und das habe ich auch nicht geändert.

 

23 hours ago, alturismo said:

abgesehen davon, Server sollten besser eine fixe IP nutzen und nicht auf DHCP angewiesen sein, würde ich auch umstellen.

Hier stimme ich dir voll zu, nach einer Testlauf Phase hätte ich das System ohnehin noch einmal neu aufgesetzt und mit fixer IP in einem anderen Netz untergebracht. Für den Test hatte ich DHCP an gelassen und den Router angewiesen immer die selbe IP an dieses Gerät zu vergeben.

 

23 hours ago, alturismo said:

abschließend, dein single drive cache ist btrfs, suche einfach kurz danach und du wirst sehen das bei single immer xfs empfohlen wird.

obwohl mehrere nvme (3x) verbaut sind ? iew sind die eingerichtet ?

Dankeschön für den Hinweis, auch dies werde ich alsbald ändern. Die anderen NVME Platten sind ganz normal als Daten Platten ins Array eingebunden, einfach weil die alle ins Gehäuse eingebaut werden können und ich sie rumliegen hatte. Warum also nicht so nutzen?

 

23 hours ago, alturismo said:

ganz abschließend, AMD Systeme sind (leider) immer etwas anfälliger ... BIOS auch keine Stromspar Mechanismen aktiviert ?

Das Bios hatte ich initial schon durchsucht, schon alleine um sicherzustellen, dass etwaige Einstellungen für Virtualisierung an sind.

 

Noch einmal vielen Dank für die schnellen neuen Ansätze.

Sobald ich alles umsetzen konnte das System einige Tage stabil gelaufen ist, werde ich auf jeden Fall hier eine Rückmeldung geben.

 

Gruß

Sarotar

1 hour ago, sarotar said:

Nein, es gibt nur einen Ethernet Anschluss, aktiv habe ich es nicht so eingestellt. 

 

mein screenshot oben mit den 4 NICS ist aus deiner diagnostics ... schau dir bitte die Netzwerk Einstellungen an

 

1 hour ago, sarotar said:

Wie ist dieser Satz zu verstehen?

 

das mit einer Fritz ein Ethernet Verbund ziemlich sicher nicht Bestandteil deines Netzwerkes ist, ne Fritz kann es nicht und wer sowas macht hat normal keine Fritzbox.

 

1 hour ago, sarotar said:

Warum also nicht so nutzen?

absolut, nur meist kommen die nicht ins array sondern als separate pools um nicht von der parity gebremst zu werden, alles gut.

 

Viel Erfolg, nur bitte schau dir deine Netzwerk Konfiguration an.

Hallo nochmal,

 

verzeihung für das sehr späte Feedback.

ich habe die Konfiguration des Gigabyte Brix wie oben stehend überarbeitet, aber kein stabiles Ergebnis erzielt, ich habe dazu auch noch viele Logs gesammelt aber es ist nun nicht mehr nötig diese zu analysieren.

 

In der Zwischenzeit konnte ich einen anderen PC als Basis testen mit einem Intel i7 der 10. Generation. Ich habe zwar dort noch nicht alle Festplatten angeschlossen, aber dieses Setup läuft erst einmal seit 14 Tagen stabil. Somit komme ich zu dem Schluss, dass ein Gigabyte Extreme mit AMD Prozessor nicht tauglich ist für unraid.

 

Da meine uralt NAS nun in der Zwischenzeit ganz den Löffel abgegeben hat, habe ich noch einige normale Platten dazu bekommen.

Die Speicher Konfigturation habe ich mir so gedacht:

4x 2TB NAS HDD in einem QNAP TR-004 Gehäuse als einzel Laufwerke für das Array. -- der neue Basis PC hat nur 2 NVME und einen 2,5" HDD Platz.

2x 4TB USB HDD als Paritätsplatten

je 1x 1TB und 2TB NVME SSD als Cache Pool

übrig bleiben aktuell 2x 1TB Storejet USB SSD Laufwerke. Meine Frage wäre nun ob ein 2. SSD Cache Pool Sinn ergibt?

 

Danke noramls für die initial schnell erfolgte Hilfe.

 

Viele Grüße

Sarotar

31 minutes ago, sarotar said:

4x 2TB NAS HDD in einem QNAP TR-004 Gehäuse als einzel Laufwerke für das Array. -- der neue Basis PC hat nur 2 NVME und einen 2,5" HDD Platz.

 

1. USB im Array: Keine gute Idee

2. 4 Festplatten als einzelne Laufwerke über eine einzige USB 3.0 Verbindung: auch keine gute Idee und dazu Performancebremse.

 

31 minutes ago, sarotar said:

2x 4TB USB HDD als Paritätsplatten

 

Und wieder USB im Array: wirklich keine gute Idee.

 

31 minutes ago, sarotar said:

je 1x 1TB und 2TB NVME SSD als Cache Pool

 

hoffentlich diese direkt per PCIe angebunden und nicht auch noch per USB-Gehäuse.

 

31 minutes ago, sarotar said:

übrig bleiben aktuell 2x 1TB Storejet USB SSD Laufwerke. Meine Frage wäre nun ob ein 2. SSD Cache Pool Sinn ergibt?

 

Noch mehr an USB.

 

Und ich dachte Du hattest Probleme mit Stabilität und willst Dir deswegen was Stabiles zusammenbauen.

Und dann setzt Du alles auch instabile USB Verbindungen und quetschst dann auch noch die Daten von anscheinend mindestens 6 Festplatten durch den vermutlich einzigen USB Kontroller.

 

Wenn das langzeitstabil läuft hast Du Glück, ansonsten: viel Spaß mit weiteren Instabilitäten und Problemen.

 

Wenn ich so sehe, was Du da zusammenbauen willst: 4x2TB SATA = maximal 8TB Nutzdaten + 2x 4TB parity + 3TB NVMe SSD.

Ich kenne Dein Gehäuse nicht, aber warum nicht einfach 2x 8TB SATA Festplatten 3,5inch und ein oder 2 NVMe SSD?

Das sollte sich schnuckelig und klein realisieren lassen. Wenn es nicht mal besonders Rechenpower braucht sollte ein ASRock N100M Mainboard + Netzteil reichen.

 

Hallo DataCollector,

 

vielen Dank für deine Antwort.

Das Hauptproblem mit dem ersten PC war das komplette Aufhängen alle ein bis zwei Tage. Mit der jetzigen Basis passiert das zumindest schon einmal nicht mehr.

In den jetzigen PC passen wie schon erwähnt physich nur 2 NVME SSDs und eine 2,5" HDD. Zudem war es auch ein Ziel die schon gegebenen Dinge zu nutzen anstatt alles neu anzuschaffen. Gleichwohl ist mir bewusst, dass USB böse und schlecht ist bzw. unter umständen sein könnte. Zu dem Thema warum nicht 2 NVME SSDs im Array, steht in den Unraid Dokumentationen immerhin "SSD support in the array is experimental", daran hatte ich mich gehalten.

 

Ich werde erst einmal mit dem USB Risiko und Flaschenhals leben, bis ich die Zeit habe alles noch einmal zu überdenken. Natürlich dann wie von dir vorgeschlagen direkt mit PCIe und SATA und nicht mehr mit vielen USB Platten.

 

Viele Grüße

Sarotar

5 hours ago, sarotar said:

Hallo DataCollector,

 

vielen Dank für deine Antwort.

Das Hauptproblem mit dem ersten PC war das komplette Aufhängen alle ein bis zwei Tage.

 

Und wenn Du Pech hast wird mit der neuen Konstellation Dein neues Problem sein, daß Dir das Array mit USB Datenträgern immer wieder Datenträger auswirft oder es zumindest bei Partycheck/Erstellung/etc... schnarchlangsam wird.

 

5 hours ago, sarotar said:

In den jetzigen PC passen wie schon erwähnt physich nur 2 NVME SSDs und eine 2,5" HDD.

 

...und Du willst nun 6 SATA Datenträger über 1 USB Kontroller mit 5GBit/s anbinden.

 

Warum jemand auf die Idee kommt für ein NAS einen MiniPC zu verwenden und dessen geringe Baugröße mit externen USB Gehäusen zu kompensieren erschließt sich mir nicht.

- Die zusätzlichen Steckernetzteile machen es weniger effizient, als der MiniPC, weil jedes ext. Netzteil eigene Verluste hat,

- der Kabelverhau wird recht groß und unansehnlich,

- die USB Verbindung über nur einen verbauten USB Kontroller ist ein Flaschenhals (vor allem, wenn man hier für mehrere Datenträger maximal USB3.0/5GBit/s gemeinsam hat),

- es wird dadurch auch nicht wirklich viel kleiner als ein ordentliches Gehäuse (vor allem, wenn man die zusätzlcihe Steckdosenleiste und Netzteile mit betrachtet),

- und nicht zu letzt ist USB in einem unraid Array nicht wirklich empfohlen, weil es doch des öfteren zu Instabilitäten kommen kann und dann Datenträger aus dem Array fallen.

 

Wenn zumindest die Raidfunktion des TR-004 genutzt würde, dann wären nur 1/4 der Daten über USB zu transferieren.

 

5 hours ago, sarotar said:

Zudem war es auch ein Ziel die schon gegebenen Dinge zu nutzen anstatt alles neu anzuschaffen.

 

4x 2TB 3,5inch schluckt 4x soviel Strom wie 1x 8TB 3,5 inch. Mit der Zeit werden die Stromkosten des 4fach Gehäuses mit den 4 Festplatten sich weit summieren.

Das ist weder finanziell zu unterschätzen, noch vom Umweltgedanken bis zu ende Gedacht.

 

5 hours ago, sarotar said:

Gleichwohl ist mir bewusst, dass USB böse und schlecht ist bzw. unter umständen sein könnte. Zu dem Thema warum nicht 2 NVME SSDs im Array, steht in den Unraid Dokumentationen immerhin "SSD support in the array is experimental", daran hatte ich mich gehalten.

 

Ich weiß nicht, wieso Du nun auf NVMe im Array kommst.

 

 

Wenn es wirklich bei USB im Array bleibt: Have fun, aber bitte nicht beschweren, wenn es schief geht. USB im Array ist nicht die beste Idee.

1 hour ago, DataCollector said:

Und wenn Du Pech hast wird mit der neuen Konstellation Dein neues Problem sein, daß Dir das Array mit USB Datenträgern immer wieder Datenträger auswirft oder es zumindest bei Partycheck/Erstellung/etc... schnarchlangsam wird.

Ja wenn ich Pech habe wird es so sein und, dass ich erstmal keine Perfomancepreise gewinne ist ok. Ob die Platten nun immer ausgeworfen werden in meiner Konstellation ist auch noch nicht gewiss. Ist ja auch nur ein kleiner Homeserver, bei dem was ich alleine damit mache brauchts auch keine fetten Übertragungsraten.

 

1 hour ago, DataCollector said:

...und Du willst nun 6 SATA Datenträger über 1 USB Kontroller mit 5GBit/s anbinden.

 

Warum jemand auf die Idee kommt für ein NAS einen MiniPC zu verwenden und dessen geringe Baugröße mit externen USB Gehäusen zu kompensieren erschließt sich mir nicht.

- Die zusätzlichen Steckernetzteile machen es weniger effizient, als der MiniPC, weil jedes ext. Netzteil eigene Verluste hat,

- der Kabelverhau wird recht groß und unansehnlich,

- die USB Verbindung über nur einen verbauten USB Kontroller ist ein Flaschenhals (vor allem, wenn man hier für mehrere Datenträger maximal USB3.0/5GBit/s gemeinsam hat),

- es wird dadurch auch nicht wirklich viel kleiner als ein ordentliches Gehäuse (vor allem, wenn man die zusätzlcihe Steckdosenleiste und Netzteile mit betrachtet),

- und nicht zu letzt ist USB in einem unraid Array nicht wirklich empfohlen, weil es doch des öfteren zu Instabilitäten kommen kann und dann Datenträger aus dem Array fallen.

 

Wenn zumindest die Raidfunktion des TR-004 genutzt würde, dann wären nur 1/4 der Daten über USB zu transferieren.

Der PC hat 2 Controller, einen 10Gb/s und einen 5Gb/s. Die Last verteilt sich also etwas.

Warum viele Steckernetzteile? der PC ist ein Anschluss, das TR-004 ist ein weiterer. Die 2 4TB Platten sind 2,5" und brauchen keine externe Strom Versorgung. Die 2 NVME Platten sind intern verbaut. Die zwei Storejet SSDs sind auch USB und brauchen ebenfalls keine externe Stromversorgung. Es sind also 2x Strom, einmal Ethernet, 3x oder 5x USB Kabel je nach dem. Ich finde den Kabelsalat überschaubar....

 

1 hour ago, DataCollector said:

4x 2TB 3,5inch schluckt 4x soviel Strom wie 1x 8TB 3,5 inch. Mit der Zeit werden die Stromkosten des 4fach Gehäuses mit den 4 Festplatten sich weit summieren.

Das ist weder finanziell zu unterschätzen, noch vom Umweltgedanken bis zu ende Gedacht.

Wenn ich das TR-004 auf Raid umschalte dann müssen immer alle vier Platten drehen und verbrauchen Strom. In der Stellung, dass alle Platten als einzelne Laufwerke behandelt werden, sollte zumindest in der Theorie nur die Platte anlaufen, welche auch benötigt wird. Der Umweltgedanke zielte auch eher weniger auf den Stromverbrauch (In meinem Fall steht mehr als genug Solarstrom zur Verfügung), als darauf, die vorhandenen Komponenten zu nutzen solange es geht. Wenn ich nun eine 8 TB Festplatte kaufe und einbaue, und die 4x 2TB nicht nutze, werfe ich dann 4 noch gute Festplatten weg weil ich sie nicht mehr benötige.

1 hour ago, DataCollector said:

Ich weiß nicht, wieso Du nun auf NVMe im Array kommst.

Wegen deiner Aussage von vorhin: "Ich kenne Dein Gehäuse nicht, aber warum nicht einfach 2x 8TB SATA Festplatten 3,5inch und ein oder 2 NVMe SSD?"

Stand halt nicht dabei für was genau dann die NVME SSDs.

 

1 hour ago, DataCollector said:

Wenn es wirklich bei USB im Array bleibt: Have fun, aber bitte nicht beschweren, wenn es schief geht. USB im Array ist nicht die beste Idee.

Jop, ich werde mich hüten jemals wieder hier ein Topic aufzumachen für mein aktuelles Setup, ist ok.