Unraid + ZFS Plugin und plötzlich unsichtbare Datasets und leeren Datasets

[Murdock83]

Hallo zusammen,

 

einmal zur Vorgeschichte, ich habe seit Jahren mittlerweile ein Unraid Server am laufen, in diesem ein Adaptec HBA und eine SAS Expander von HP wo wiederum derzeit 8 Festplatten dran sind. Das ganze lief auch sehr schön über die Zeit. Hatte ein Raidz1 und einem Pool gehabt welcher dann mit den Daten befüllt wurde in laufe der Zeit. Wie gesagt lief auch sehr schön. Diesen besagten Pool hatte ich damals in /mnt/Raid-Z1-1 gepackt. Hatte in dem Logs immer mal wieder drinne stehen gehabt das es zu Problemen führen könnte. Was mir aber erst später aufgefallen ist.

Vorherige Tage fingen die ersten Probleme an, erst waren hier und da Dateien betroffen die Fehlerhaft gewesen sind, wurden immer mehr mit der Zeit. Hatte alle Festplatten durchchecken lassen, war aber alles in Ordnung. Gestern morgen dann allerdings, wurde dieser Pool als degraded angezeigt, zu viele Fehlern bei einer Festplatte. Hatte diese Festplatte dann überprüft, war aber alles in Ordnung, Hatte den Unraid Server mal neustartet, zpool clear durchgeführt, scrub durchlaufen lassen, alles in Ordnung. Pool war wieder Online und Healthy.

Zum Mittag hin, dachte ich mir dann, ja denn kannste mal bei gehen und diesen Pool aufräumen. Gesagt getan.

Hatte im Vorfeld nur ein Pool gehabt und da die Ordner erstellt und daten rein kopiert. Hatte mir dann gedacht och denn kannste eigentlich gleich Datasets bilden und die Daten entsprechend da reinschieben. Gesagt getan. Datasets erstellt, Daten aus den Ordner dort rein geschoben, Ordner gelöscht. Hatte alles auch funktioniert. Zugrrif war möglich und Daten waren da.

Dann hatte ich mir gedacht ok, damit das im Logs mit diesem Fehler da raus ist, weil ich dann auch gesehen hatte das da immer mal wieder was von Quota drin stand das er kein Zugriff hätte und dieses auch vom ZFS kommen würde und wohl im gleichen zusammen stehen, habe ich den Mountpoint für die Datasets schon mal geändert, Dataset unmount, neuen Mountpoint mitgegeben, Dataset mount. Das habe ich mit allen gemacht, hatte auch funktioniert, Daten waren dann am neuen einhängepunkt vorhanden.

Denn kam aber komischerweise ein anderer Fehler, irgendwas mit ereport. Hab das aber nicht mehr im Kopf und zeigt der gerade nichts mehr von an.

Hatte mir dann gedacht, ok, der läuft schon so lange durch, startest den einfach mal neu. Nur für den Fall der Fälle.

Nach dem neustart aber, waren mit einmal nur ein ein paar Datasets da, diese aber komplett leer. Die anderen Datasets sind schlicht nicht da, auch nicht über die Konsole zu sehen. Unter Unraid/Main wird bei ZFS-Master dieser Pool als Online angezeigt und eingehangen. Alle erstellten Datasets ebenfalls, sogar mit den korrekten Größen angaben in MB, GB und TB.

Bei Oracle hatte ich denn mal gelsen das man den Pool reimportieren soll, also einmal exportieren und dann wieder importieren.

 

Mit dem befehl zpool export Raid-Z1-1 wollte ich dieses denn auch machen, spuckt der mir aber dann den Fehler aus das Raid-Z1-1/Drivers nicht gefunden wurde, Drivers ist eins der Datasets.

 

Hat da jemand so auf anhieb eine Idee wie man die Daten wiederhestellen kann? Ein mount der Datasets funktioniert nicht, da bereits gemounted wie er sagt und ein unmount geht auch nicht weil der dann rum meckert von wegen wie weiter oben das Raid-Z1-1/Drivers nicht gefunden wurde.

 

Habe eigentlich von diesen ganzen Daten noch ein Backup gehabt, dieses habe ich letzte Woche allerding am Nas Platt machen müssen und hatte mir dann noch so gedacht, naja Server läuft ja, da wird wohl schon nichts passieren.

 

Hat da Vielleicht jemand eine Idee wie man die Datasets wieder sichtbar machen kann bzw. an die Daten in den Datasets ran kommen könnte?

 

 

Gruß und ein schönes Wochenende

 

[mgutt]

Nur Text hilft ja denke ich nicht weiter. Kopiere die Meldungen und was in den Logs an Fehlern kommen. 

 

Schon das versucht?

zdb -ul <pool_name>

 

Und dann:

zpool import -F -T <id> <pool_name>

 

Aber Achtung. Wenn das fehlschlägt sind die Daten weg vom Fenster. Daher besser alle Platten 1:1 auf andere Platten spiegeln / mit dd in raw images sichern:

https://forum.proxmox.com/threads/import-convert-export-raw-images-to-zfs-volume.21241/

 

[Murdock83]

Guten Morgen,

 

danke erstmal für die Antwort. Ja Bilder wollte ich noch miit hinzupacken, war mir aber gestern nicht mehr möglich gewesen das ich welche machen konnte und die dem Post mit beizufügen.

 

Bild unraid1.png:

     Zeigt die Ansicht die ich zu sehen bekomme wenn ich im Tab Main bin, so soll es auch sein.

 

Bild unraid2.png:

    Ist ebenfalls im Tab Main, die Festplatten die in diesem besagten Pool sind. So sieht die ansicht nun aus. Das sah vorher auch anders aus, das weiß ich, aber wie das

    genau aussah weiß ich nicht mehr. Davon hab ich auch kein Bild mehr gefunden.

 

Bild unraid3.png:

    Zeigt den momentanen Log Output von Unraid.

 

Bild unraid4.png:

    Zeigt die Ausgabe von zpool status.

 

Bild unraid5.png:

    Zeigt diesen Pool und dessen Datasets die ich erstellt habe, wie es sein sollte und wie es auch erst gewesen ist.

 

Bild unraid6.png:

    Zeigt den Output von dem was ich im ersten Post geschrieben habe. Diese bzw. die gleiche Ausgabe bekomme ich wenn ich die Datasets unmounten möchte die Angeblich nicht

    vorhanden sind.

 

Bild unraid7.png:

    Zeigt die vorhandene Dataset Struktur wie diese derzeit ist. Alle Datasets sind aber laut dem leer, ohne Daten.

 

 

Ich habe die besagt ereport meldung wieder gefunden im Syslog von der ich gesprochen hatte:

 

MESSAGE="Diagnosis Engine: error event 'ereport.fs.zfs.checksum'" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="Diagnosis Engine: solving fault 'fault.fs.zfs.vdev.checksum'" PID=11629 PROGRAM=zed SOURCE=s_network_udp

 

Zu diesem habe ich noch folgendes gefunden in dem Syslog:

MESSAGE=#012zed_fault_event: PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="#011uuid: a8fae875-b1ee-4a77-8798-38f26a2b7a3d" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="#011class: fault.fs.zfs.vdev.checksum" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="#011code: ZFS-8000-GH" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="#011certainty: 100" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="#011scheme: zfs" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="#011pool: 14978089883232013460" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="#011vdev: 8381043120248848128 " PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="Diagnosis Engine: case solved (a8fae875-b1ee-4a77-8798-38f26a2b7a3d)" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="Retire Agent: zfs_retire_recv: 'list.suspect'" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="Retire Agent: matched vdev 8381043120248848128" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="Retire Agent: zpool_vdev_degrade: vdev 8381043120248848128 on 'Raid-Z1-1'" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="Diagnosis Engine: error event 'ereport.fs.zfs.checksum'" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="Diagnosis Engine: solving fault 'fault.fs.zfs.vdev.checksum'" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE=#012zed_fault_event: PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="#011uuid: aba503b4-a86b-48c6-84da-99096bb930a3" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="#011class: fault.fs.zfs.vdev.checksum" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="#011code: ZFS-8000-GH" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="#011certainty: 100" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="#011scheme: zfs" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="#011pool: 14978089883232013460" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="#011vdev: 9774360953520613697 " PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="Diagnosis Engine: case solved (aba503b4-a86b-48c6-84da-99096bb930a3)" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="Diagnosis Engine: error event 'ereport.fs.zfs.checksum'" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="Diagnosis Engine: solving fault 'fault.fs.zfs.vdev.checksum'" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE=#012zed_fault_event: PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="#011uuid: 767177c0-b18c-4e6a-ba71-dc78bd74eb27" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="#011class: fault.fs.zfs.vdev.checksum" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="#011code: ZFS-8000-GH" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="#011certainty: 100" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="#011scheme: zfs" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="#011pool: 14978089883232013460" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="#011vdev: 14053600970079752107 " PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="Diagnosis Engine: case solved (767177c0-b18c-4e6a-ba71-dc78bd74eb27)" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="Diagnosis Engine: error event 'ereport.fs.zfs.checksum'" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="Diagnosis Engine: solving fault 'fault.fs.zfs.vdev.checksum'" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE=#012zed_fault_event: PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="#011uuid: 161ddec4-5838-4471-98d6-c7b10f55352e" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="#011class: fault.fs.zfs.vdev.checksum" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="#011code: ZFS-8000-GH" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="#011certainty: 100" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="#011scheme: zfs" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="#011pool: 14978089883232013460" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="#011vdev: 11530017615438585428 " PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="Diagnosis Engine: case solved (161ddec4-5838-4471-98d6-c7b10f55352e)" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="Diagnosis Engine: error event 'ereport.fs.zfs.checksum'" PID=11629 PROGRAM=zed SOURCE=s_network_udp
MESSAGE="Diagnosis Engine: solving fault 'fault.fs.zfs.vdev.checksum'" PID=11629 PROGRAM=zed SOURCE=s_network_udp

   

Naja das ist alles was ich iom moment so sehe.

Was mir gerade noch eingefallen ist, ich hatte gelesen gehabt das OpenZFS mittlerweile auch die autoreplace und autoexpand Funktion unterstützt.

Die autoreplace funktion ist ja dafür da, das wenn jetzt eine Platte ausfallen sollte, das wenn diese gegen eine neue ausgetauscht wird, das dieser dann beigeht und die Festplatte entsprechend behandelt (Formatiert usw.) und diese dann in dem Pool automatisch einbindet.

Diese Funktion hatte ich mit zfs set autoreplace=on Raid-Z1-1 eingeschaltet.

 

Beim anlegen von Datasets habe ich mal versehentlich einen schreibfehler gehabt weshalb ich diesen wieder löschen wollte via zpool destroy Raid-Z1-1/Sharad oder zpool destroy -f Raid-Z1-1/Sharad. Das löschen ging des Datasets ging aber erst nach mehrmaligem neustart des ganzen Unraid Servers.

 

Mehr fällt mir gerade tatsächlich aber auch nicht ein. Werde ich aber nachtragen sobald mir was einfällt.

 

 

Gruß und Danke nochmal für die Antwort

[ich777]

24 minutes ago, Murdock83 said:

Mehr fällt mir gerade tatsächlich aber auch nicht ein. Werde ich aber nachtragen sobald mir was einfällt.

Und was ist mit dem Output von:

zpool status -v

 

Un die 78 Fehler zu sehen wie in deinem Screenshot ersichtlich?

 

Dort steht auch klar und deutlich das ein Datenträger einen Fehler hat bzw. hatte und du sollst die Daten wiederherstellen.

 

24 minutes ago, Murdock83 said:

OpenZFS

Warum brauchst du eigentlich ZFS?

 

Ich verstehe bei vielen den move zu ZFS nicht…

ZFS ist gerade wirklich populär aber irgendwie ist sich fast niemand bewusst welcher Aufwand das ist alles am laufen zu halten und solche Sachen zu vermeiden usw…

 

ZFS ist auch nicht immer die Eierlegende Wollmilch Sau…

 

…das ist nur meine eigene Unpopuläre Meinung. 😂

[Murdock83]

Quote

Und was ist mit dem Output von:

zpool status -v

 

Un die 78 Fehler zu sehen wie in deinem Screenshot ersichtlich?

 

Dort steht auch klar und deutlich das ein Datenträger einen Fehler hat bzw. hatte und du sollst die Daten wiederherstellen.

Mit zpool status -v listet der die 78 Dateien auf die beschädigt sein sollten. Das waren Sie aber nicht. Also diese Dateien waren voll funktionstüchtig. Das konnte ich berstätigen weil ich auch bei gegangen bin diese Dateien auf meinem Rechner gezogen habe und dort kontrolliert hatte auf Fehler.

 

Die Festplatte hat keine Fehler, die Festplatte die angemeckert wurde war die letzte von Toshiba aus dem Screenshot mit der Ausgabe von zpool status.

Diese Festplatte meldet auch keine Smartfehler oder sonstiges. die habe ich mit dem 2 anderen Rechnern und unterschiedlichen Adapter USB => Sata oder direkt am Sata Port des Rechners überprüft. Das einzige was auffäälig gewesen ist, war das diese Festplatte mit 46°C zu der Zeit 1°C wärmer war als die anderen.

Ich denke aber mal eher das diese Fehler eventuell durch das SAS Kabel gekommen sind. Diese sind zumindest nun nicht mehr vorhanden das bei zpool status gestanden hatte danach "too many errors"

 

 

Quote

Warum brauchst du eigentlich ZFS?

 

Ich verstehe bei vielen den move zu ZFS nicht…

ZFS ist gerade wirklich populär aber irgendwie ist sich fast niemand bewusst welcher Aufwand das ist alles am laufen zu halten und solche Sachen zu vermeiden usw…

 

ZFS ist auch nicht immer die Eierlegende Wollmilch Sau…

 

…das ist nur meine eigene Unpopuläre Meinung.

Naja der Grund warum ich das ZFS-Plugin genutzt habe bisher war zum einen der Enorme Performance zuwachs bei den Festplatten. Unter Unraid als Array hatte ich im besten Fall immer so maximal 80 - 90MB/s gehabt. Bei ZFS hatte ich im geringsten Falle mal so um die 200 - 250MB/s gehabt. Zwar nicht über durchgehend über Stunden hinweg, aber immerhin.

Derr andere Grund war gewesen weshalb ich ZFS nutze, ich hatte die Festplatten zuvor unter Unraid im Array gehabt, da ist mir dann eine Festplatte ausgefallen und dadurch sind dann auf der Festplatte befindliche Daten verloren gegangen, trotz das ich eine Parity gehabt hatte. Damals hatte ich aber auch nur 4 Festplatten insgesammt in dem Array gehabt. Unter ZFS ist mir bisher eine Festplatte gestorben, diese habe ich dann Offline genommen, gegen eine neue ausgetauscht und wieder eingebunden. Während dessen ganz normal weiter gearbeitet mit dem Pool ohne das Daten verloren gegangen sind. Gut die Performance ist in rebuild vorgang zwar schlechter gewesen, aber Daten sind keine verloren gegangen.

Diese beiden Gründe sind die weshalb ich zu ZFS gegangewn bin und bisher dabei geblieben bin.

Derzeit habe ich in dem Unraid Array auf dem einem Unraid Server 3 SSD's und auf dem anderem 4 SSD's im Array am laufen. Bisher aber auch noch keine Ausfälle gehabt was das anging.

[ich777]

2 hours ago, Murdock83 said:

Derr andere Grund war gewesen weshalb ich ZFS nutze, ich hatte die Festplatten zuvor unter Unraid im Array gehabt, da ist mir dann eine Festplatte ausgefallen und dadurch sind dann auf der Festplatte befindliche Daten verloren gegangen, trotz das ich eine Parity gehabt hatte. Damals hatte ich aber auch nur 4 Festplatten insgesammt in dem Array gehabt. Unter ZFS ist mir bisher eine Festplatte gestorben, diese habe ich dann Offline genommen, gegen eine neue ausgetauscht und wieder eingebunden.

Das hatte ich ehrlich gesagt noch nie.

Mir sind jetzt schon in verschiedensten Servern mit Parity geschütztem Array Festplatten weggebrochen und mit der Parity hab ich immer alles wiederherstellen können, kann dir leider nicht sagen was bei dir schief gegangen ist aber wäre echt der erste Fall (außer es stirbt natürlich unter dem Rebuild noch eine Platte) von dem ich höre das Daten verloren gehen.

 

2 hours ago, Murdock83 said:

Naja der Grund warum ich das ZFS-Plugin genutzt habe bisher war zum einen der Enorme Performance zuwachs bei den Festplatten. Unter Unraid als Array hatte ich im besten Fall immer so maximal 80 - 90MB/s gehabt. Bei ZFS hatte ich im geringsten Falle mal so um die 200 - 250MB/s gehabt. Zwar nicht über durchgehend über Stunden hinweg, aber immerhin.

Kommt drauf an ob du das auch im Array brauchst.

Das Array von Unraid war bis jetzt immer so gedacht das du dort Daten ablegst die nur gelesen und nicht dauernd geändert werden, schreiben ist nicht das schnellste da gebe ich dir vollkommen Recht aber lesend hast du die volle Leistung, das ändert sich aber vermutlich in nächster Zeit wenn ZFS direkt in Unraid integriert wird. Ich selbst weiß aber nicht wirklich was ich davon halten soll.

ZFS ist ja gut und schön aber auch, meiner Meinung nach Wartungsintensiv (zumindest teilweise).

 

Ich hab immer meinen Cache und die Shares die darauf waren immer so benutzt das dort die dauernd zu ändernden Daten dort liegen und somit hab ich auch keine Verluste beim Lesen/Schreiben, ich weiß das ist nicht für jeden möglich...

 

2 hours ago, Murdock83 said:

Mit zpool status -v listet der die 78 Dateien auf die beschädigt sein sollten. Das waren Sie aber nicht. Also diese Dateien waren voll funktionstüchtig. Das konnte ich berstätigen weil ich auch bei gegangen bin diese Dateien auf meinem Rechner gezogen habe und dort kontrolliert hatte auf Fehler.

Hast du dir schon mal durchgelesen was die weiteren Schritte sind, steht auch im Screenshot: https://openzfs.github.io/openzfs-docs/msg/ZFS-8000-8A/

 

Quote

Damaged files may or may not be able to be removed depending on the type of corruption. If the corruption is within the plain data, the file should be removable. If the corruption is in the file metadata, then the file cannot be removed, though it can be moved to an alternate location. In either case, the data should be restored from a backup source. It is also possible for the corruption to be within pool-wide metadata, resulting in entire datasets being unavailable. If this is the case, the only option is to destroy the pool and re-create the datasets from backup.

 

[Murdock83]

Gelesen hatte ich das ja, bzw. gesehen.

Aber da steht auch nur das man wenn möglich die Dateien ersetzen soll aus einem Backup oder wenn das nicht geht halt den ganzen Pool wiederherstellen soll. Jenachdem wie sich dieser Fehler auf den Dateien äußert.

Das merkwürdige ist ja, der sagt mir ja welche Dateien beschädigt sein sollen. Die waren es aber nicht, zumindest wo ich noch drauf zugreifen konnte. Nun sind die ganzen Datasets ja nicht mehr "vorhanden".

Die Dateien die da angemerkert wurden sind ja auch nicht so schlimm wenn die tatsächlich kaputt wären, diese kann ich ja mit einigermaßen wenig aufwand wiederbekommen.

Aber da sind leider ganze Datasets verschwunden mit einmal, wo ich zwar eine Datensicherung von hatte, dank dem NAS diese aber letzte Woche killen durfte.

 

[hawihoney]

3 hours ago, Murdock83 said:

Unter Unraid als Array hatte ich im besten Fall immer so maximal 80 - 90MB/s gehabt. Bei ZFS hatte ich im geringsten Falle mal so um die 200 - 250MB/s gehabt.

 

Das kommt, weil Unraid in einem anderen Modus läuft. Wenn Du das Unraid Array auf "Turbo Mode (reconstruct write)" umstellst, bekommst Du nahezu die gleiche Performance wie ZFS. Bei ZFS sind immer alle Platten im Betrieb, beim Unraid Array im Standardmodus nur die eine, zu beschreibende Datenplatte sowie die Parity Disks (--> Stromsparmodus). Wenn Du das Unraid Array auf Turbo Mode umstellst, verbrauchst Du genau soviel Strom wie ZFS und hast mehr oder weniger die gleiche Performance.

 

[Murdock83]

Ah OK, das hatte ich noch gar nicht gesehen gehabt oder gar gelesen gehabt das Unraid diese Funktion hat.

Gut zu wissen, danke 🙂

 

Nichts desto trotz bringt mich das gerade nicht weiter das ich den Pool mit den Daten wieder ans laufen bekomme.

Muss mir da auch sonst erstmal was dd angeht entweder eine Platte organisieren das ich dort ein 14,5TB Image drauf bekomme oder noch weitere Festplatten an den Server bekomme das ich sonst diese im Verbund laufen lassen kann um dort das Image dann drauf speichern zu können.

 

 

[mgutt]

Was ist mit der Ausgabe von:

zdb -e RAID-Z1-1 -ul

 

Du erhältst eine Solche Ausgabe mit Zeitstempeln:

https://serverfault.com/a/1002891/44086

 

Man kann dann wohl die einzelnen txg durchprobieren und wiederherstellen:

https://serverfault.com/a/1083138/44086

 

Wobei auch der erstmal den Pool auf neue Platten gesichert hat.

[Murdock83]

Quote

Was ist mit der Ausgabe von:

Quote

zdb -e RAID-Z1-1 -ul

 

Wenn ich das in die Konsole eingebe, erhalte ich folgendes:

 

root@xCS-Host:~# zdb -e RAID-Z1-1 -ul
failed to find device RAID-Z1-1, try specifying absolute path instead

 

[Murdock83]

hab gerade gesehen, war die falsche Schreibweise.

Habe es nochmal richtig geschrieben und die Ausgabe in eine Datei umgeleitet die ich nun hier mit angehangen habe

 

zdb-output.txt

[mgutt]

Hier siehst du nun die verschiedenen txg mit den Zeitstempeln:

 

Wenn ich das richtig verstehe, kannst du nun mit folgendem Kommando prüfen ob dieses txg in Ordnung ist:

zdb -dG -o zfs_max_missing_tvds=1 -T <txg> <pool>

 

Dh du probierst jetzt die txg absteigend nach Datum durch.

 

Natürlich ohne Gewähr. Ich mag es nicht sowas ohne Backup zu machen.

[Murdock83]

Guten Morgen,

 

Ja das habe ich auch gelesen gehabt. und anschließend mit dem Befehl im gleichen Post darunter kann man dieses denn wiederherstellen. Da habe ich auch schon mit angefangen zu gucken welches in Ordnung ist

 

 

Ohne Backup mach ich sowas auch sehr ungerne, bin gerade auch am gucken wo ich entweder eine Festplatte mit min 14,5 TB freien speicher herbekomme, oder noch Festplatten in ausreichender menge. Den SAS Controller den ich im Einsatz habe, den habe ich nochmal hier irgendwo als Reserve rum liegen gehabt. denn würde ich vorher auch via dd sicherheitshalber ein Backup davon machen.

[Murdock83]

Ich habe mal bevor ich gleich los muss ein paar (10) Probiert gehabt.

mit folgenden Ergebnis. Hab ein par mit den höchsten und ein paar mal mit den niedrigsaten txg's probiert:

 

root@xCS-Host:/# zdb -deG -o zfs_max_missing_tvds=1 -t 4339967 Raid-Z1-1
zdb: can't open 'Raid-Z1-1': File exists

ZFS_DBGMSG(zdb) START:
ZFS_DBGMSG(zdb) END
root@xCS-Host:/# zdb -deG -o zfs_max_missing_tvds=1 -t 4339966 Raid-Z1-1
zdb: can't open 'Raid-Z1-1': File exists

ZFS_DBGMSG(zdb) START:
ZFS_DBGMSG(zdb) END
root@xCS-Host:/# zdb -deG -o zfs_max_missing_tvds=1 -t 4339965 Raid-Z1-1
zdb: can't open 'Raid-Z1-1': File exists

ZFS_DBGMSG(zdb) START:
ZFS_DBGMSG(zdb) END
root@xCS-Host:/# zdb -deG -o zfs_max_missing_tvds=1 -t 4339964 Raid-Z1-1
zdb: can't open 'Raid-Z1-1': File exists

ZFS_DBGMSG(zdb) START:
ZFS_DBGMSG(zdb) END
root@xCS-Host:/# zdb -deG -o zfs_max_missing_tvds=1 -t 4339963 Raid-Z1-1
zdb: can't open 'Raid-Z1-1': File exists

ZFS_DBGMSG(zdb) START:
ZFS_DBGMSG(zdb) END
root@xCS-Host:/# zdb -deG -o zfs_max_missing_tvds=1 -t 4339962 Raid-Z1-1
zdb: can't open 'Raid-Z1-1': File exists

ZFS_DBGMSG(zdb) START:
ZFS_DBGMSG(zdb) END
root@xCS-Host:/# zdb -deG -o zfs_max_missing_tvds=1 -t 4339961 Raid-Z1-1
zdb: can't open 'Raid-Z1-1': File exists

ZFS_DBGMSG(zdb) START:
ZFS_DBGMSG(zdb) END
root@xCS-Host:/# zdb -deG -o zfs_max_missing_tvds=1 -t 4339960 Raid-Z1-1
zdb: can't open 'Raid-Z1-1': File exists

ZFS_DBGMSG(zdb) START:
ZFS_DBGMSG(zdb) END
root@xCS-Host:/# zdb -deG -o zfs_max_missing_tvds=1 -t 4339968 Raid-Z1-1
zdb: can't open 'Raid-Z1-1': File exists

ZFS_DBGMSG(zdb) START:
ZFS_DBGMSG(zdb) END
root@xCS-Host:/# zdb -deG -o zfs_max_missing_tvds=1 -t 4339969 Raid-Z1-1
zdb: can't open 'Raid-Z1-1': File exists

ZFS_DBGMSG(zdb) START:
ZFS_DBGMSG(zdb) END
root@xCS-Host:/#

[DataCollector]

4 hours ago, Murdock83 said:

Ohne Backup mach ich sowas auch sehr ungerne, bin gerade auch am gucken wo ich entweder eine Festplatte mit min 14,5 TB freien speicher herbekomme,

https://geizhals.de/?cat=hde7s&xf=13810_16000

https://www.ebay.de/sch/i.html?_fsrp=1&rt=nc&_from=R40&_nkw=16tb&_sacat=0&_sop=1&LH_PrefLoc=1&LH_ItemCondition=1000|1500|2500|3000

 

Ich habe die Tage bei ebay mehrere ext WD Mybook ersteigert, geprüft und geshuckt. Sind zwar nur 5400 RPM aber als Backup/für Notfallauslagerung ausreichend.

 

[mgutt]

8 hours ago, Murdock83 said:

zdb: can't open 'Raid-Z1-1': File exists

Hattest du nicht was wegen der Schreibweise gesagt?

 

EDIT: Ich glaube du musst erst den Mount entfernen, damit der Pool nicht "doppelt" offen ist oder so?!

[Murdock83]

Guten Morgen,

 

Quote

  23 hours ago, Murdock83 said:

zdb: can't open 'Raid-Z1-1': File exists

Hattest du nicht was wegen der Schreibweise gesagt?

 

EDIT: Ich glaube du musst erst den Mount entfernen, damit der Pool nicht "doppelt" offen ist oder so?!

den Pool kann ich leider ja nicht unmounten. Denn bringt er mir immer die Meldung wie im Bild was ich angehangen habe. Das dieser Raid-Z1-1/Treiber nicht finden konnte.

 

 

 

[Murdock83]

Ach was mir gerade aufgefallen ist, Das was ich da gepostet hatte, war der Output von

zdb -deG -o zfs_max_missing_tvds=1 -t 4339967 Raid-Z1-1

 

Wenn ich jeddoch: zdb -deG -o zfs_max_missing_tvds=1 -t 4339967 Raid-Z1-1 verwende dann erhalte ich eine ausgabe von:

 

root@xCS-Host:~# zdb -dG -o zfs_max_missing_tvds=1 -t 4339967 Raid-Z1-1
Dataset mos [META], ID 0, cr_txg 4, 148M, 2023 objects
Dataset Raid-Z1-1/Skripte [ZPL], ID 110519, cr_txg 4274475, 9.34M, 342 objects
Dataset Raid-Z1-1/Cloud [ZPL], ID 109820, cr_txg 4274709, 40.2M, 3663 objects
Dataset Raid-Z1-1/Programme [ZPL], ID 110889, cr_txg 4274608, 2.45T, 1839970 objects
Dataset Raid-Z1-1/Streams [ZPL], ID 110168, cr_txg 4274388, 188G, 1348 objects
Dataset Raid-Z1-1/Spiele [ZPL], ID 108973, cr_txg 4274435, 927G, 20736 objects
Dataset Raid-Z1-1/Music [ZPL], ID 2465, cr_txg 4335219, 36.5K, 6 objects
Dataset Raid-Z1-1/FTP [ZPL], ID 110531, cr_txg 4274689, 36.5K, 6 objects
Dataset Raid-Z1-1/Scans [ZPL], ID 108980, cr_txg 4274581, 4.05M, 13 objects
Dataset Raid-Z1-1/Series [ZPL], ID 110183, cr_txg 4274576, 2.24T, 6330 objects
Dataset Raid-Z1-1/Shared [ZPL], ID 110764, cr_txg 4274602, 209G, 523896 objects
Dataset Raid-Z1-1/Movies [ZPL], ID 110251, cr_txg 4274676, 1.91T, 589 objects
Dataset Raid-Z1-1/Treiber [ZPL], ID 110511, cr_txg 4274343, 76.0G, 121230 objects
failed to hold dataset 'Raid-Z1-1/Downloads': Input/output error
failed to hold dataset 'Raid-Z1-1/Profiles': Input/output error
Dataset Raid-Z1-1/Camera [ZPL], ID 111617, cr_txg 4274714, 173M, 18 objects
Dataset Raid-Z1-1/Media [ZPL], ID 110200, cr_txg 4274681, 36.5K, 6 objects
Dataset Raid-Z1-1/Server-Programme [ZPL], ID 105710, cr_txg 4274490, 5.66G, 348 objects
Dataset Raid-Z1-1 [ZPL], ID 54, cr_txg 1, 864K, 21 objects
MOS object 109686 (DSL directory) leaked
MOS object 109687 (DSL props) leaked
MOS object 109688 (DSL directory child map) leaked
MOS object 109689 (zap) leaked
MOS object 109690 (DSL dataset snap map) leaked
MOS object 109691 (DSL deadlist map) leaked
MOS object 110191 (DSL directory) leaked
MOS object 110192 (DSL props) leaked
MOS object 110193 (DSL directory child map) leaked
MOS object 110194 (zap) leaked
MOS object 110195 (DSL dataset snap map) leaked
MOS object 110196 (DSL deadlist map) leaked
Verified large_blocks feature refcount of 0 is correct
Verified large_dnode feature refcount of 0 is correct
Verified sha512 feature refcount of 0 is correct
Verified skein feature refcount of 0 is correct
Verified edonr feature refcount of 0 is correct
userobj_accounting feature refcount mismatch: 16 consumers != 18 refcount
Verified encryption feature refcount of 0 is correct
project_quota feature refcount mismatch: 16 consumers != 18 refcount
Verified redaction_bookmarks feature refcount of 0 is correct
Verified redacted_datasets feature refcount of 0 is correct
Verified bookmark_written feature refcount of 0 is correct
Verified livelist feature refcount of 0 is correct
Verified zstd_compress feature refcount of 0 is correct

ZFS_DBGMSG(zdb) START:
spa.c:5164:spa_open_common(): spa_open_common: opening Raid-Z1-1
spa_misc.c:418:spa_load_note(): spa_load(Raid-Z1-1, config trusted): LOADING
vdev.c:152:vdev_dbgmsg(): disk vdev '/dev/disk/by-id/ata-WDC_WD20EFRX-68AX9N0_WD-WMC1T2609583-part1': best uberblock found for spa Raid-Z1-1. txg 4339967
vdev.c:152:vdev_dbgmsg(): disk vdev '/dev/disk/by-id/ata-WDC_WD20EFRX-68AX9N0_WD-WMC1T2609583-part1': label discarded as txg is too large (4340056 > 4339967)
vdev.c:152:vdev_dbgmsg(): disk vdev '/dev/disk/by-id/ata-WDC_WD20EFRX-68AX9N0_WD-WMC1T2609583-part1': failed to read label config. Trying again without txg restrictions.
spa_misc.c:418:spa_load_note(): spa_load(Raid-Z1-1, config untrusted): using uberblock with txg=4339967
spa_misc.c:418:spa_load_note(): spa_load(Raid-Z1-1, config trusted): performing a complete scan of the pool since extreme rewind is on. This may take a very long time.
  (spa_load_verify_data=1, spa_load_verify_metadata=1)
spa_misc.c:418:spa_load_note(): spa_load(Raid-Z1-1, config trusted): spa_load_verify found 0 metadata errors and 3 data errors
spa.c:8363:spa_async_request(): spa=Raid-Z1-1 async request task=2048
spa_misc.c:418:spa_load_note(): spa_load(Raid-Z1-1, config trusted): LOADED
ZFS_DBGMSG(zdb) END

 

Was ansich schon mal nicht schlecht aussieht. Diese Ausgabe erhalte ich bei allen txg die ich probiert habe.

Downloads und Profiles, da meldet er failed to hold dataset was mich ein wenig beunruhigt, Im Dataset Profiles, liegt meine Arbeit die noch nicht im Backup lag. Der Rest ist nich gaaaaanz so wichtig, das kann man alles im schlimmsten ja Reorganisieren

 

Gruß und einen Guten Morgen

 

[mgutt]

Was geben die Kommandos aus:

 

df -h

 

findmnt | grep zfs

 

zfs list -o name,mounted,mountpoint

[Murdock83]

Quote

df -h

Bild unraid1.png

 

 

Quote

findmnt | grep zfs

Bild unraid2.png

 

 

Quote

zfs list -o name,mounted,mountpoint

Bild unraid3.png

 

 

Beim ausführen dieser Befehle wird mir denn das was ich als Screenshot angefügt habe angezeigt.

 

 

 

Meinen langen Post, den über dein letzten Post, ich habe mittlerweile alle txg durch, bei allen zeigt er im Grunde das gleiche an.. Profile und Downloads mit den Input/Output IO Error. Im gleichen Post auf einer anderen Webseite wo dieser Befehl stand, hatte da jemand mit dem befehl "zpool import -o readonly=on -T 5102201 vault" sein Pool wiederherstellen können, was genau macht dieser Befehl? Ich habe versucht draus schlau zu werden um zu sehen wie es sich bei mir auswirken könnte, hinsichtlich dessen was er bei mir anzeigt an 2 Datasets mit dem IO Error.