Keine VMs und Docker Container mehr plötzlich

[zw3ist3in]

Hallo zusammen, ich habe folgendes Problem: Nachdem mein Passwortmanager (Vaultwarden Docker) nicht mehr ging, startete ich den Server neu. Nach dem Start stelle ich fest: 

und

 

Docker und VMs, alles weg, 

 

 

Habt ihr irgend eine Idee wo ich ansetzen kann? 

Danke!!

 

 

 

EDIT: 

Ich bin unsicher ob das schon vor dem Neustart so gewesen ist oder ob Vaultwarden deshalb nicht funktionierte. Vor einigen Stunden funktionierte alles noch normal, da die Home Assistant Szenen noch getriggert haben. 

 

speicher-diagnostics-20231125-2107.zip

Edited November 25, 2023 by zw3ist3in

[zw3ist3in]

Ich vermute es liegt an der Cache SSD

 

Kann ich das beheben? Wie komme ich hier weiter? 

[DataCollector]

12 minutes ago, zw3ist3in said:

Ich vermute es liegt an der Cache SSD

 

Sehe ich auch so, weil vermutlich dort die relevanten Verzeichnisse/Shares drauf sein sollten und wenn die SSD nicht mehr gelesen werden kann, sind natuerlich auch die darauf enthaltenen Dateien für Docker und Vm auch nicht mehr zu lesen.

 

12 minutes ago, zw3ist3in said:

 

Kann ich das beheben? Wie komme ich hier weiter? 

 

Wenn Du links auf Cache klickst, solltest Du eine Analyse/Reparaturoption bekommen. Wie erfolgreich die ist, wird sich dann zeigen.

Falls die Daten nicht repararabel sind, kannst Du noch versuchen die Cache SSD neu zu formatieren und Dein Backup der Daten dort wieder einzuspielen.

Kleiner Hinweis: solche berichteten probleme mit btrfs sind der Grund, warum ich btrfs nicht mehr einsetze.

Bei Single Datenträgern habe ich schon immer xfs verwendet und bei mehreren Datenträgern, die zusammengefaßt werden sollten (Raid oder so) hatte ich ursprünglich btrfs und bin nun mit der neueren unraidversion zu zfs gewechselt.

 

Da hier mutmaßlich ein btrfs problem vorliegt, wäre das spätestens jetzt für mich der Zeitpunkt (wenn die Reparartur erfolgreich ist) die Daten des Cache in Sicherheit zu bringen (falls kein aktuelleres Backup vorliegt) und dann den Cache auf xfs umzuformatieren.

 

[zw3ist3in]

@DataCollectordank dir für die Antwort!

Ich habe in diversen älteren Forenbeiträgen schon gesehen, dass es repair Optionen gibt. Allerdings denke ich nicht, dass diese hier angezeigt werden. 

Oder übersehe ich was (hoffentlich)?

 

Was ein Backup angeht, ich habe plugins für Appdata und VM Backups, wie ich die auf eine neu formatierte SSD einspiele, muss ich mir noch aneignen, ich hatte das noch nicht. 

Habt ihr da Wege in die richtige Richtung habet bin ich dankbar!

 

 

Was du @DataCollector über BTFS sagst ist sehr interessant, ich denke, wenn dieses Problem behoben ist, werde ich lernen und zwei SSD mit derselben Größe kaufen und ein ZFS Pool machen als Cache (falls das Sinn ergibt)

 

[DataCollector]

1 hour ago, zw3ist3in said:

 

Ich habe in diversen älteren Forenbeiträgen schon gesehen, dass es repair Optionen gibt. Allerdings denke ich nicht, dass diese hier angezeigt werden. 

Oder übersehe ich was (hoffentlich)?

 

Wie schon angedeutet nutze ich btrfs nicht mehr, deswegen wird es bei mir sowieso nicht angezeigt.

Als ich es noch benutzte, glaubte ich, entsprechendes gesehen zu haben.

https://forums.unraid.net/topic/118974-btrfs-errors/?do=findComment&comment=1088370

 

1 hour ago, zw3ist3in said:

Was ein Backup angeht, ich habe plugins für Appdata und VM Backups,

 

Das verstehe ich nicht. Hast Du Plugins, welche Backups der beiden genannten verzeichnisse/Shares irgendwohin gesichert haben?

Dann wäre es jetzt Zeit sich damit zu beschäftigen wo diese Backups liegen.

Solltest Du Deinen Cache nicht in irgendeiner Form reparieren können bleibt nur neu erstellen und da wären Backups hilfreich.

 

Sollten die Backups am Zielort im Klartext vorliegen kannst Du sie einfach mit mc auf einen neuen Cache zurückkopieren.

Sollten die Plugins die Daten vorher komprimiert oder so haben, mußt Du Dich damit beschäftigen, wie Du die wieder in den Originalzustand bekommst.

 

Ich mache als Backup einfach ab und zu Kopien der Verzeichnisse mit mc an eine andere Stelle.

 

1 hour ago, zw3ist3in said:

Habt ihr da Wege in die richtige Richtung habet bin ich dankbar!

 

Dazu müsste man wissen, wie die 'plugings' da gesichert haben. Weißt Du welche Plugins/Programme Du dafür genommen hast und wohin die das Backup geschrieben haben?

 

1 hour ago, zw3ist3in said:

Was du @DataCollector über BTFS sagst ist sehr interessant, ich denke, wenn dieses Problem behoben ist, werde ich lernen und zwei SSD mit derselben Größe kaufen und ein ZFS Pool machen als Cache (falls das Sinn ergibt)

 

Ein ZFS Pool mit 2 Disks anzulegen hilft gegen Harwareausfall einer Disk, ist aber nicht erforderlich (und würde bei einem von mir hier vermuteten Softwareausfall von btrfs nicht helfen), wenn man eben ab und zu Backups macht (von denen man auch weiß wie man da wieder ran kommt 😁 ).

Wenn Du die bestehende SSD einfach mit xfs formatierst (und dadurch alle Datenrettungsmöglichkeiten darauf verlierst), brauchst Du eigentlich nur Dein Backup zurück zuspielen und danach  unraid neu starten. Dann sollten alle Docker+VM wieder da sein (mit den Datenstand, den sie zum Zeitpunkt des Backups hatten).

Die beiden anderen (noch fehlenden) Systemverzeichnisse kannst Du ja von Hand anlegen.

[zw3ist3in]

45 minutes ago, DataCollector said:

Als ich es noch benutzte, glaubte ich, entsprechendes gesehen zu haben

danke, Ich habe es herleiten können, es ging nur über das zentrale Terminal nicht in der GUI den Repair zu starten, da der an einer y/N Frage hängen bleibt. Dennoch: Leider erfolglos:

 

Also Fokus auf die Recovery:

48 minutes ago, DataCollector said:

Hast Du Plugins, welche Backups der beiden genannten verzeichnisse/Shares irgendwohin gesichert haben?

Dann wäre es jetzt Zeit sich damit zu beschäftigen wo diese Backups liegen

Ja, ich bin dabei das Konstrukt zu verstehen, daher ist mir noch nicht klar, wie ich die Backups der Folder wieder in ein funktionierenden Stand versetze. Ich nutze für AppData: 

 

und für VMs:

 

 

Bedeutet es also ich formatiere die Cache SSD als xfs und kopiere die zwei Verzeichnisse da drauf? Wie Erkläre ich dann Docker und VMs dass das wieder geht? Entschuldigt die blöden Fragen, das ist gerade Lernstoff für mich..

 

 

 

 

 

[zw3ist3in]

Ehrlich, ich verstehe nicht ganz weshalb: 

Nachdem ich das Array nachdem ich im Maintenance Mode die repair durchgeführt hatte (und den vorherigen Beitrag geschrieben hatte), stoppte und startete ich das Array im Standardmodus um mich mit dem Löschen der SSD zu beschäftigen. Plötzlich: SSD erkannt.. Docker und VMs da. 

Scheinbar war trotz abort Meldung die Reparatur erfolgreich. 

Dennoch: Da ich nicht weiß wie lange das hält: Ich möchte das gerne auf xfs umsteigen und deinen Backup/Restore weg verstehen @DataCollector, im besten Fall sogar raffen, wie ich mit meinem Backup den Restore geschafft hätte. 

[alturismo]

10 hours ago, zw3ist3in said:

Dennoch: Da ich nicht weiß wie lange das hält: Ich möchte das gerne auf xfs umsteigen und deinen Backup/Restore weg verstehen @DataCollector, im besten Fall sogar raffen, wie ich mit meinem Backup den Restore geschafft hätte. 

deine Backups liegen in dem von Dir angegebenen und (hoffentlich) erstellten Pfad ...

 

Dann wäre nur zu hoffen dass der Share "Backup" nicht auf dem cache liegt sondern Array only läuft ... sonst wäre das "sinnfrei"

 

Sollte auch alles in "Klartext" vorliegen, sprich, könnte man einfach retour kopieren so ...

 

 

[zw3ist3in]

vielen dank!

ja, es liegt auf dem Array. 

Bedeutet das, die einzige Voraussetzung ist, dass die Folder inkl. Inhalt wieder an der richtigen Stelle sind, dann erkennt Docker und VMs den Inhalt? 

[alturismo]

12 minutes ago, zw3ist3in said:

Bedeutet das, die einzige Voraussetzung ist, dass die Folder inkl. Inhalt wieder an der richtigen Stelle sind, dann erkennt Docker und VMs den Inhalt? 

exakt, nur bitte innerhalb Unraid mit beispielsweise dem File Manager verschieben dass die Berechtigungen erhalten bleiben.

[DataCollector]

18 hours ago, zw3ist3in said:

Also Fokus auf die Recovery:

Ja, ich bin dabei das Konstrukt zu verstehen, daher ist mir noch nicht klar, wie ich die Backups der Folder wieder in ein funktionierenden Stand versetze.

...

Bedeutet es also ich formatiere die Cache SSD als xfs und kopiere die zwei Verzeichnisse da drauf?

Wie Erkläre ich dann Docker und VMs dass das wieder geht?

 

Ich kenne beide Plugins nicht, lese aber in den Screenshots:
in beiden Plugineinstellungen als Zielverzeichnis:
   /mnt/user/Backup
Ich hoffe das wird nicht durch den Cache gepuffert, der auf dem selben Datenträger liegt. Wenn ja, sind die Backups vielleicht auch weg.

 

Bei dem Plugin für VM hast Du eingestellt, daß Du nicht alle VMs sichern willst und auch keine VM zur Sicherung ausgewählt.
Kann es sein, daß Du gar keine Sicherung der VMs hast?

 

Vielleicht schaust Du mal in das Verzeichnis /mnt/user/Backup rein, ob es und was da überhaupt vorhanden ist.

 

Zur Wiederherstellung:

Vorausgesetzt Du hast den Originalzustand der beiden Verzeichnisse

'appdata' (enthält Daten der Docker) und

'domains' (Images der VMs) 

kannst Du die auf einen (leeren) Datenträger im Pool 'cache' einfach aufkopieren.

Die beiden noch fehlenden Verzeichnisse 'system' (für Docker VDisk) und 'isos' kann man manuell anlegen.

Wenn Du danach unraid neu startest, sollte unraid die Verzeichnisse an der korrekten Stelle wieder finden und nutzen. Die Docker vDisk sollte unraid selber wieder aufbauen können.

 

Ich kam noch nicht in die Verlegenheit dies in der praxis durchzuexzerzieren, aber so sollte es klappen.

[zw3ist3in]

Vielen Dank für eure Mühe, heute ist genau das gleiche wieder passiert, die repair ließ die Cache SSD wieder mounten aber die Priorität das Ding neu zu fromatieren ist sehr stark nach oben gerutscht auch wenn ich mir dafür mehr Zeit lassen wollte.. 

 

On 11/26/2023 at 8:09 PM, DataCollector said:

Ich hoffe das wird nicht durch den Cache gepuffert, der auf dem selben Datenträger liegt. Wenn ja, sind die Backups vielleicht auch weg.

nein der Backup share ist ohne cache, aber guter Punkt! Sollte vermutlich zu den "never dos" gehören. 

 

On 11/26/2023 at 8:09 PM, DataCollector said:

Kann es sein, daß Du gar keine Sicherung der VMs hast?

ich denke schon, das war auf dem Screenshot nicht zu sehen: 

mir gehts aktuell nur um die HASS VM die anderen sind nur temporäre Spielereien zum lernen momentan. 

 

 

 

 

On 11/26/2023 at 8:09 PM, DataCollector said:

Zur Wiederherstellung:

Vorausgesetzt Du hast den Originalzustand der beiden Verzeichnisse

Ich versuche gerade ein rsync um den gesamten Zustand noch mal zu sichern inklusive des docker.img (das wurde glaube ich nicht gesichert).

Das Log spuckt dabei auch schon wieder spannende Fehler aus: 

 

Sollte das klappen halte ich mich an deine Anleitung und versuche den Transfer. Alternativ könnte man vermutlich alle shares so einstellen dass sie den Cache leer räumen und die Docker/VMs abschalten und den moover laufen lassen (geht dann aber nur wenn die SSD so lange durchhält). 

 

Wenn beides nicht klappt muss ich mich damit beschäftigen, wie ich das Docker Image wieder neu generiere. 

 

[DataCollector]

38 minutes ago, zw3ist3in said:

Vielen Dank für eure Mühe, heute ist genau das gleiche wieder passiert,

 

urks.

Ich habe schon so öfters über btrfs Probleme gelesen, aber Dich trifft es jetzt ja in sehr kurzer Folge.

 

38 minutes ago, zw3ist3in said:

Das Log spuckt dabei auch schon wieder spannende Fehler aus: 

 

Gehe davon aus, daß das nun aktuellste Backup ggf. auch schon leicht beschädigt ist.

 

 

Tja, die Screenshots deuten ja wirklich gewaltig viele btrfs Probleme an.

Wenn Dein Backup fertig (und hoffentlich fehlerfrei!) ist: Cache/Pool platt machen und mit einem geeigneten Filesystem neu erstellen wäre jetzt wirklich mein erster Rat.

 

Nur ein Datenträger im Cache/Pool: xfs

Mehrere Datenträger im Cache/Pool als Raid verbunden: zfs (sofern die unraidversion das schon beherrscht).

[zw3ist3in]

Nun, ich warte jetzt seit merhrern Stunden auf den Mover. Habe die Shares so eingestellt in der Hoffnung, der Mover bewegt alles auf das Array:

 

Nachdem ich VM/Docker abgeschaltet und Mover erzwungen habe, passiert seit Stunden nichts. Es zeigt an Mover is running aber das Array  geht nach einigen Mionuten in den SpinDown (passt ja nicht zusammen). Liegt das an falschen Einstellungen oder ist da was anderes im Argen?

 

[zw3ist3in]

Nun bin ich leider völlig verwirrt. 

Nachdem der Mover nicht wollte habe ich mich für die Löschen, XFS Formatieren und Backup einspielen-Lösung entschieden. 

Ich habe Das Array gestoppt, die SSD mit preclear behandelt (das hat sich zwei mal aufgehängt, konnte dann aber fortgesetzt werden nach einem Server Neustart). Das Preclear wurde schlussendlich abgeschlossen angeblich ohne Fehler. 

Nach der Formatierung auf XFS sah die Platte allerdings so aus:

 

wenn ich diese dann wieder als Cache Drive hinzufüge, verlangt sie unten eine Formatierung und hat dann einfach, ochne dass ich was einstellen kann, wieder BTRFS:

 

Ist die Platte selbst vielleicht doch hin? SMART sagt nichts auffälliges..

[Patty92]

Sorry, ich habe mal dein Screenshot entwendet

 

Stop mal das Array, dann geh auf die Platte und dann solltest du das File System auswählen können.

 

Anschließend das Array wieder starten und nochmal formatieren, wenn ich mich recht entsinne.

 

[zw3ist3in]

Danke @Patty92, das hat geklappt mit dem Umformatieren. 

Jetzt stehe ich leider vor dem nächsten Problem: Nach dem Zurückkopieren ist mein Docker Tab trotzdem leer, auch wenn die Daten wieder auf dem Cachdrive sind.. Welchen Schritt muss ich machen um die Container wieder "zuzweisen"?

[Patty92]

Hey,

 

deine Docker Templates sollten ja noch da sein.

 

Mach mal: "Docker" - "Add Container" - "Template" -> "Select a Template".

Hier sollten deine Container Template zu sehen sein.

Einen auswählen und erstellen lassen.

[zw3ist3in]

ok danke, ich sehe da sind noch einige Einstellungen aber das scheint nicht alles zu sein, ich hatte z.b. so ein extra docker netzwerk das scheint weg zu sein. Muss man sowas neu erstellen oder wie kann ich das finden? Sorry bin gerade echt lost. 

[Patty92]

Bitte nicht auf die Pfade 100 prozentig festlegen, aber sollte so passen:

 

Solche Konfig Sachen stehen unter:

system/docker/docker.img

 

oder in dem entsprechenden Verzeichnis, welches du dafür konfiguriert hast.

 

Da dein Pool „Platt“ gemacht wurde muss das neu aufgebaut werden.

 

Da sind dann auch solche Sachen drin wie dein eigen erstelltes Netz für Docker.

Deshalb an der Stelle, ja, das Netz müsstest du im Vorfeld wieder anlegen, wie du es schon mal gemacht hast.

[zw3ist3in]

ok das hatte ich mir gedacht und die gesicherte docker.img wieder da hinkopiert. Was übersehe ich da?

 

und docker Einstellungen:

 

und der AppData Share

[Patty92]

Puhhhhh, das ist jetzt eine gute Frage.

Schon einmal versucht nach dem kopieren der „docker.img“ einmal docker zu deaktivieren und dann wieder zu aktivieren?

 

Bzw. Docker deaktivieren, die Datei kopieren, Docker wieder aktivieren.

Wenn ja, und das klappt nicht, kann ich an der Stelle leider nicht weiterhelfen und du müsstest warten bis dazu jemand anderes etwas sagen kann.

 

Ich kenne die Prozedur nur so, das man appdata wiederherstellt, Docker startet und auf Basis seiner Templates die Container wieder erstellt.

 

 

[zw3ist3in]

Vielen Dank dir! Es hilft mir schon, dass ich es theoretisch richtig gemacht habe. Es kann sein, dass die docker.img durch das kaputte Dateisystem auf der cache Platte kaputt war als ich es sicherte.. Nachdem ich wieder ein custom Docker Netzwerk erstellt habe, klappt auch das neu Erstellen der Container nach und nach aus den Templates. Das ist schon mal gut. 

 

Die schlechte Nachricht ist, scheinbar hat das Heruntersichern der einen wichtigen Home Assistant VM auch nicht richtig geklappt. Aber darum kümmere ich mich, wenn ich Docker hinbekommen habe.

[Patty92]

9 minutes ago, zw3ist3in said:

Es kann sein, dass die docker.img durch das kaputte Dateisystem auf der cache Platte kaputt war als ich es sicherte..

Entweder das oder vielleicht geht es auch wirklich nicht ohne weiteres, wie gesagt, vielleicht weiß jemand anderes mehr. ☺️

 

10 minutes ago, zw3ist3in said:

Nachdem ich wieder ein custom Docker Netzwerk erstellt habe, klappt auch das neu Erstellen der Container nach und nach aus den Templates. Das ist schon mal gut.

👍🏻👍🏻👍🏻

 

11 minutes ago, zw3ist3in said:

Die schlechte Nachricht ist, scheinbar hat das Heruntersichern der einen wichtigen Home Assistant VM auch nicht richtig geklappt.

Dann drücke ich dir mal die Daumen das der Rest sauber ist und nicht noch mehr Probleme auftreten.

 

Weiterhin viel Erfolg.

 

Gruß Patty

[zw3ist3in]

Noch ein gutes Update. Das VM Backup Plugin hat tatsächlich funktioniert. Speziell die Home Assistant VM nutzt keine .img, sondern .qcow2 files. Wenn mich nicht alles täuscht, bin ich auf einem guten Weg.