Guten Tag zusammen!

Ich habe gestern in meinem Unraid Server (7.2.0) eine 10g NIC eingebaut. Eine mit Intel X520 Chip, der ja eigentlich super für Unraid laufen sollte
Es hat alles gebootet und ich hab auch gesehen, dass ich aufs WebUI komme ... also hab ichs über Nacht dann einfach so gelassen weil ich dachte "Fiber Switch ist eh noch nicht im Rack ... der Server hängt eh auch noch am 1g Ethernet ... mach ich morgen weiter"
Und heute morgen hab ich gemerkt, dass ich nicht mehr ins WebUI komme. SSH ging auch nicht mehr .. nicht mal pingen

Ich hab dann herausgefunden, dass Unraid irgendwie die Ethernets vertauscht hat, aus dem RJ45 Ethernet auf einmal eth1 gemacht hat und aus der SFP+ 10g NIC auf einmal eth0

Also das im Safe Mode alles wieder umgedreht und immerhin gings dann wieder. Bevor ich das bemerkt habe, hab ich zur Sicherheit auch Docker und VM abgedreht, damit das nicht mehr automatisch startet.

Als ich das gefixt hatte und Unraid endlich wieder normal gebootet hat (das WebUI ging für ein paar Sekunden, dann wars aus und auf einmal waren die eth vertauscht), habe ich Docker und VM wieder aktiviert.

Dann gings wieder los mit den Problemen. Unraid bootet, und mitten im Boot Prozess bleibts stecken und nichts geht mehr. Also wieder in den abgesicherten Modus und Docker und VM wieder deaktiviert. Dann gings wieder.
Dann mal nur Docker aktiviert, weil das Problem hatte ich schon Mal nach einem Update auf eine neuere Unraid Version, dass auf einmal libvirt Probleme gemacht hat.

System hat normal gebootet
Dann waren auf einmal alle Docker Container weg. Also via Apps-Previous Apps wieder alle reinstalliert und dann habe ich gemerkt, dass der LanCache container nicht starten will

Ins Error Log geschaut und dort gesehen, dass er einen "Hab keinen Platz" Fehler wirft. Der hat grad mal 2TB/8TB belegt dachte ich ... wie kann das sein?

Ich schau also in die Main Übersicht und dort ist mir aufgefallen, dass der Cache Pool auf einmal weg war.

Man muss dazu sagen.

Ich hab 2 NVMEs eingebaut die zusammen im RAID0 (ja das ist Absicht) via ZFS als zpool eingebunden waren. Hat immer funktioniert.

Die Drives werden auch beide erkannt, also liegts nicht am Mainboard, dass da was blockieren könnte, weil da jetzt noch ein PCIe Slot belegt ist.

Ich kann den Pool auch importieren via zpool import -f cache und ich seh ihn dann auch in der WebUI Übersicht, aber ich kann es nicht mehr als Cache Pool nutzen.

Sobald ich "Add Pool" klicke, ihn cache benenne und 2 Slots auswähle habe ich in der Übersicht "Cache" und "Cache 2" stehen
Ich könnte die NVMEs dann adden, aber dann habe ich nur 2 einzelne Drives, die als "Unmountable: wrong or no file system" drin stehen.
Falls jemand fragen oder sich denken sollte "Warum ZFS?"
Naja ... BTRFS mag Docker nicht ... damit hatte ich mit meinen Docker Containern SO unglaublich viele Probleme, dass ich das halt nicht nutzen konnte.
Und mit XFS konnte ich kein richtiges RAID0 aus den beiden NVMEs machen

Die Shares haben z.B teilweise noch Cache->Array drinnen stehen aber jene shares, die Cache only gewesen sind (wie z.B. der LanCache share) die haben als free space 64.9 GB stehen. Wo auch immer diese 65GB herkommen. Der Flash-Drive kanns nicht sein weil der ist nur 16GB groß

Ich weiß nicht mehr was ich mit dem Ding machen soll. Es funktioniert so gut wie gar nix mehr und ich hab da noch nicht mal wieder libvirt aktiviert. Denn das ist dann die nächste Baustelle, denn sobald ich das aktiviere, schmiert Unraid unmittelbar beim booten ab.

Hat irgend jemand nen Rat?

Edited November 8, 2025Nov 8 by ratzeputz

16 hours ago, ratzeputz said:

Hat irgend jemand nen Rat?

schwer ...

du sprichst hier 2 Themen an

1/ eth0 + eth1, das hängt am BIOS welche Karte wie beim boot initialisiert wird, aber das weist man nach dem boot fix zu und sollte damit erledigt sein, Netzwerk Konfiguration nicht vergessen, ob die im bond (Verbund, sinnfrei bei 1G + 10G) laufen sollen oder single (entscheiden welche und die 1G evtl. im BIOS deaktivieren wenn nicht benötigt)

2/ voller cache, ja, wenn der "voll" ist oder "offline" ist dann haben die Dienste ein Problem (no space left), warum es jetzt deinen zfs raid zerschossen hat kann ich nicht beurteilen, ich nutze kein zfs (und erst recht kein btrfs) hier, das gilt es zu lösen dass die Dienste auch wieder laufen.

Da zfs auch gerne mal "destroy and redo" erfordert, neu machen und backup einspielen testen ...

oder starten mit array und diagnostics hier bereitstellen, dann könnte man ggf. etwas in den logs sehen.

Das klingt mir etwas nach "Hardware Kollision".

Werf mal einen genauen Blick ins Manual Deines Motherboards, da stehen manchmal so böse Fußnoten drin wie "Wenn Sie diesen Slot benutzen, wird NVMe2 abgeschaltet".

Es kann also recht gut sein, dass Du zwar einen freien Slot für die 10G Karte hast, diesen aber nicht benutzen darfst.

Die Karte hat sicherlich den Bedarf für 4 Lanes, also kommen meist nur der GraKa Slot und sein Nachbar in Frage. Wobei bei einfachen Boards der "Nachbar" eben sehr häufig eingeschränkt ist.

3 hours ago, MAM59 said:

Das klingt mir etwas nach "Hardware Kollision".

Werf mal einen genauen Blick ins Manual Deines Motherboards, da stehen manchmal so böse Fußnoten drin wie "Wenn Sie diesen Slot benutzen, wird NVMe2 abgeschaltet".

Es kann also recht gut sein, dass Du zwar einen freien Slot für die 10G Karte hast, diesen aber nicht benutzen darfst.

Die Karte hat sicherlich den Bedarf für 4 Lanes, also kommen meist nur der GraKa Slot und sein Nachbar in Frage. Wobei bei einfachen Boards der "Nachbar" eben sehr häufig eingeschränkt ist.

Hab ich gemacht ... das ist kein Problem bei dem Board (Asus B550-Prime Plus)

Mittlerweile hab ich auch viel wieder hinbekommen ... ich musste aber in /boot/config/network.cfg und auch in /boot/config/network-rules.cfg alles manuell reinschreiben weil Unraid nachdem es gebootet hat immer die eth Zuweisungen verrtauscht hat und serltsamerweise, obwohl deaktiviert und noch kein Uplink auf der 10g Karte, immer versucht hat ein Bonding zwischen eth0 (1g) und eth1 (10g) zu machen.

Und auch die VMs laufen wieder. Ich habe ein neues libvirt.img erstellt und die alten VMs aus den XML Files importiert.

Nur eine VM wo die GPU durchgereicht wurde ging nicht. Dann hab ich gecheckt, dass ich in Tools-System Devices einmal "Acknowledge all PCi changes" klicken musste, damit Unraid den "Hardwaretausch" kapiert. Wahrscheinlich war das auch der Grund warum Unraid immer ein Bonding zwischen den Ethernet interfaces machen wollte.
Die GPU ist jetzt nämlich auf nem anderen Bus wiewohl auch die 10g NIC in der IOMMU Group nun neu ist ... und das hat virsh wohl ausm Konzept gebracht.

Mein letztes Problem ist jetzt eigentlich nur, dass in der Arrayübersicht die beiden NVMEs als "Unmountable: wrong or no filesystem" eingestuft werden.

In der Share Übersicht passt es insofern, dass alle Shares, die Cache only sind (wie z.B die Daten vom LanCache Container) mit der Restgröße passen.

Und ich muss jedes Mal, wenn ich das System neu starte (was natürlich nur vorkommt wenns notwendig is) recht schnell via SSH einloggen und dort zpool import -f machen muss, damit das auch alles richtig erkannt wird bvevor das System "da" ist und die Docker Container startet