2 Datenträger nach neustart deaktiviert

[ViRtualRealitY]

Nachdem der Server ganz normal lief hatte ich den Server neugestartet und dann war Disk 5 Deaktiviert und der Inhalt wurde emuliert.

Danach wollte ich einen anderen Slot für die festplatte probieren (Supermicro 3U Servergehäuse mit HotSwap HDDS vorne)

hatte ich die DIsk6 erwischt anstatt Disk 5 und seitdem sind beide Deaktiviert und ich bekomme sie nicht wieder aktiviert.

Laut einem schnellen Smart Test stand bei beiden, dass beide keine Fehler haben.

 

Vielleicht noch kurz zur Info ich habe seit ca 3 Wochen kein Internet dementsprechend wurde solange nichts geupdatet.

 

 

vtworld-diagnostics-20220924-1835.zip

[vakilando]

Ich habe keine Erfahrung mit der Analyse der System diagnostics, aber mir fällt auf, dass (wenn ich das richtig interpretiere)

• beide HHDs (disk5 und disk6) nun als Unassigned Devices auftauchen müssten
• disk5 voll ist 

relevante Stellen im syslog:

Sep 24 09:13:05 VTWorld emhttpd: Device inventory:
(...)
Sep 24 09:13:05 VTWorld kernel: mdcmd (6): import 5 sdi 64 15625879500 0 ST16000NM001G-2KK103_WL20951K
Sep 24 09:13:05 VTWorld kernel: md: import disk5: (sdi) ST16000NM001G-2KK103_WL20951K size: 15625879500 
Sep 24 09:13:05 VTWorld kernel: mdcmd (7): import 6 sde 64 15625879500 0 ST16000NM001G-2KK103_ZL2J32KY
Sep 24 09:13:05 VTWorld kernel: md: import disk6: (sde) ST16000NM001G-2KK103_ZL2J32KY size: 15625879500 
(...)
Sep 24 09:15:35 VTWorld kernel: xfs filesystem being mounted at /mnt/disk5 supports timestamps until 2038 (0x7fffffff)
Sep 24 09:15:35 VTWorld emhttpd: shcmd (187): xfs_growfs /mnt/disk5
Sep 24 09:15:35 VTWorld root: xfs_growfs: XFS_IOC_FSGROWFSDATA xfsctl failed: No space left on device
(...)
Sep 24 09:25:00 VTWorld root: Fix Common Problems: Error: disk5 (ST16000NM001G-2KK103_WL20951K) is disabled
Sep 24 09:25:00 VTWorld root: Fix Common Problems: Error: disk6 (ST16000NM001G-2KK103_ZL2J32KY) is disabled
(...)
Sep 24 09:26:19 VTWorld rc.diskinfo[8966]: SIGHUP received, forcing refresh of disks info.
Sep 24 09:26:20 VTWorld unassigned.devices: Disk with ID 'ST16000NM001G-2KK103_WL20951K (sdm)' is not set to auto mount.
Sep 24 09:26:21 VTWorld emhttpd: error: hotplug_devices, 1719: No such file or directory (2): Error: tagged device ST16000NM001G-2KK103_WL20951K was (sdi) is now (sdm)
(...)
Sep 24 09:26:26 VTWorld rc.diskinfo[8966]: SIGHUP received, forcing refresh of disks info.
Sep 24 09:26:27 VTWorld unassigned.devices: Disk with ID 'ST16000NM001G-2KK103_ZL2J32KY (sdn)' is not set to auto mount.

 

[vakilando]

allerdings steht in der df.txt:

/dev/mapper/md5         15T   11T  3.6T  76% /mnt/disk5

...was der obigen Meldung "No space left on device" wiederspräche.

 

Ich steh etwas aufm Schlauch, vielleicht kann das jemand anderes (sicherlich) besser interpretieren.....?

 

Siehst di die beiden Disks unter Unassigned Devices?

[mgutt]

Was mir so aufgefallen ist:

 

Dein Stick ist voller korrupter Dateien:

 

Es fehlen die Logs von vor dem Neustart: Syslog mirror aktiv?

 

Du hast massig Plugins installiert: Brauchst du das alles wirklich?

 

Deine Shares domain, system und appdata haben Daten auf den Disks liegen und der erste Share steht bei Cache auf No, hat aber ausschließlich Daten auf einem Pool:

 

 

Laut lsscsi.txt zähle ich 8 HDDs. In df.txt werden 6 gemountete angezeigt. Demnach hast du zwei Paritäten? Normalerweise kann man eine deaktivierte Disk nicht wieder in ihren Slot packen. Die gilt für unRAID erstmal als defekt. Allerdings sollte diese Einschränkung meine ich nach einem Neustart verschwinden. Die Frage ist allerdings ob du das überhaupt willst. Denn das hieße ein kompletter Rebuild der Disks an Hand der Paritäten. Ich persönlich würde bei so einer Situation zwei neue HDDs kaufen und den Rebuild machen. Wenn der keinen Erfolg hat, hat man noch die Chance von den deaktivierten HDDs eine Datenrettung zu machen. Nimmt man aber die deaktivierten HDDs und es geht in die Hose, dann war es das. Apropos, hast du Backups vom kompletten Array? Wenn dir das zu teuer ist zwei neue HDDs zu holen, würde ich die deaktivierten mal über das UD Plugin mounten und prüfen ob die in Ordnung sind. Dh siehst du Dateien, mach eine Dateisystem-Reparatur und SMART Tests. Wenn das passt: Screenshot von der Disk-Übersicht machen, Tools>NewConfig, dabei Pools behalten und alle Disks wieder den Slots zuordnen wo sie vorher waren. Parity als valide übernehmen und einen Parity Check mit Korrektur starten (sollte schneller gehen als die Parity komplett neu aufbauen zu lassen). Zum Schluss dann noch mal alle Dateisysteme aller Disks reparieren.

 

 

[ViRtualRealitY]

12 hours ago, vakilando said:

beide HHDs (disk5 und disk6) nun als Unassigned Devices auftauchen müssten

Eine der HDD war sichtbar bei UD nach einem erneuten neustart steht da aber auch nichts mehr.

54 minutes ago, mgutt said:

Dein Stick ist voller korrupter Dateien:

Ich hatte die Diagnostics als anonymisiert hochgeladen vielleicht ist es das? ( Kann die aber auch normal hochladen)

55 minutes ago, mgutt said:

Es fehlen die Logs von vor dem Neustart: Syslog mirror aktiv?

Gerade geschaut Syslog to Flash ist aktiviert

55 minutes ago, mgutt said:

Du hast massig Plugins installiert: Brauchst du das alles wirklich?

Ich könnte die prometheus plugins deinstallieren  die brauche ich aktuell nicht, nur wenn ich das will steht da nur 502 ngnix 

56 minutes ago, mgutt said:

Demnach hast du zwei Paritäten?

Genau 6 Platten 2 Parity.

57 minutes ago, mgutt said:

Ich persönlich würde bei so einer Situation zwei neue HDDs kaufen und den Rebuild machen.

2 ganz neue platten sind gerade unterwegs und kommen nächste woche

58 minutes ago, mgutt said:

Apropos, hast du Backups vom kompletten Array?

Nur Teilweise und nichts lokal.

 

Ich würde sonst jetzt einfach mal den erweiterten Smart Test machen und da mal reinschauen.

[mgutt]

1 hour ago, ViRtualRealitY said:

Ich hatte die Diagnostics als anonymisiert hochgeladen vielleicht ist es das?

Hat damit nichts zu tun. Die Dateien sind auf dem Stick. Schau einfach selbst nach.

 

1 hour ago, ViRtualRealitY said:

Gerade geschaut Syslog to Flash ist aktiviert

Dann hast du auf dem Stick einen Ordner "log", wo die vollständigen, aber unzensierten Logs drin sind. Dann siehst du auch wann / warum die Disk5 ausgestiegen ist.

 

1 hour ago, ViRtualRealitY said:

Ich würde sonst jetzt einfach mal den erweiterten Smart Test machen und da mal reinschauen.

Und wie? Ich dachte du siehst die Disks nicht in UD?!

 

1 hour ago, ViRtualRealitY said:

Ich könnte die prometheus plugins deinstallieren  die brauche ich aktuell nicht, nur wenn ich das will steht da nur 502 ngnix 

Musst du mal in einem anderen Thread thematisiere und zeigen was du wann siehst. Ich meinte aber schon ein bisschen mehr als nur ein Plugin entfernen. Dieses Cache Dir Zeugs brauchst du wirklich? Meiner Ansicht nach ist das immer ein Zeichen für ein falsches Setup, weil das Array eigentlich nur ein Cold Storage ist und nicht für Dateien, die man täglich benötigt. Soll heißen, aktuelle Dateien gehören immer auf den Cache.

 

1 hour ago, ViRtualRealitY said:

Nur Teilweise und nichts lokal.

Was ist mit dem Cache? Du weißt wenn die SSD stirbt, sind die Dateien darauf weg.

 

 

[ViRtualRealitY]

13 minutes ago, mgutt said:

Und wie? Ich dachte du siehst die Disks nicht in UD?!

Eine Frage kurz davor dazu, wie verhält sich eigentlich Unraid wenn man ausversehen mitten im Betrieb eine Festplatte rausnimmt und danach direkt wieder reinsteckt?

Ich kann die Disks nicht im UD, weil die aus dem Array noch nicht rausgenommen wurden und ich die HDDs normal ansprechen kann nur steht da einfach nur Datenträger deaktiviert. Ich habe mal einen Screenshot dazugepackt.

 

Beide Disks weiß ich jetzt wurden ausversehen mitten im Betrieb rausgenommen und direkt wieder eingesteckt. ( Bin mitten im Umzug und ausversehen gegen gekommen)

 

16 minutes ago, mgutt said:

Was ist mit dem Cache? Du weißt wenn die SSD stirbt, sind die Dateien darauf weg.

Noch habe ich keinen lokalen Backup Server für den Cache und die Wichtigen Daten. Das kommt alles noch wenn alles bei mir Hardwaretechnis fertig installiert wurde.

[mgutt]

1 minute ago, ViRtualRealitY said:

Ich kann die Disks nicht im UD, weil die aus dem Array noch nicht rausgenommen wurden und ich die HDDs normal ansprechen kann nur steht da einfach nur Datenträger deaktiviert

Siehst du den Inhalt der Disk, weil dieser emuliert wird? Dann ist die Disk faktisch nicht im Array. Wenn sie dagegen dem Slot zugewiesen ist (musst ja nur das Array stoppen, dann siehst du es ja), aber "deaktiviert", dann kannst du natürlich SMART Tests machen. Ist nur die Frage wie man das "deaktiviert" wieder weg bekommt. In der Anleitung steht, dass man sie an Hand der Parität neu aufbauen lassen soll:

https://wiki.unraid.net/Manual/Storage_Management#Rebuilding_a_drive_onto_itself

 

Ich bin wie gesagt kein Freund davon, weil wenn die Parität oder der RAM warum auch immer nicht passt, hat man am Ende gar nichts mehr. Einen Rebuild sollte man meiner Ansicht nach immer nur dann machen, wenn man Backups hat.

 

1 minute ago, ViRtualRealitY said:

Eine Frage kurz davor dazu, wie verhält sich eigentlich Unraid wenn man ausversehen mitten im Betrieb eine Festplatte rausnimmt und danach direkt wieder reinsteckt?

Dann ist die Disk ebenfalls raus und wird emuliert, bis man das Problem behoben hat. Auch nur 1 Sekunde kann ja dazu führen, dass gerade Daten auf anderen Disks geschrieben wurden und dadurch die Parität nicht mehr passt. Emulierte Disks sind also rein virtuell vorhanden. Die werden live an Hand der Parität berechnet und es wird nicht mehr auf die Disk an sich zugegriffen.

[ViRtualRealitY]

5 minutes ago, mgutt said:

Siehst du den Inhalt der Disk, weil dieser emuliert wird? Dann ist die Disk faktisch nicht im Array. Wenn sie dagegen dem Slot zugewiesen ist (musst ja nur das Array stoppen, dann siehst du es ja), aber "deaktiviert", dann kannst du natürlich SMART Tests machen. Ist nur die Frage wie man das "deaktiviert" wieder weg bekommt. In der Anleitung steht, dass man sie an Hand der Parität neu aufbauen lassen soll:

so sieht das aus

 

Ich muss sowieso erstmal warten bis ich die HDDs neu rebuilden kann, solange sollten die neuen HDDs da sein und ich kann eine kopie machen.

[mgutt]

Und wenn du so startest, dann sagt der nicht, dass er die rebuildet? Der startet dann einfach und der Inhalt wird emuliert?

[ViRtualRealitY]

13 minutes ago, mgutt said:

Und wenn du so startest, dann sagt der nicht, dass er die rebuildet? Der startet dann einfach und der Inhalt wird emuliert?

Genau, hatte auch einmal kurz eine Nachricht bekommen das das Array wieder healthy ist.

[mgutt]

Ich vermute du hast Hot Swap aktiv. Dann könntest du das Array stoppen, die Platten ziehen und das Array starten. Danach steckst du Disk5 und Disk6 wieder rein. Nun sollten sie in UD zu sehen sein und von da könntest du dann auch bei Bedarf die Daten wegkopieren.

 

Wie gesagt könntest du auch über Tools>New Condig gehen und alle Disks neu zuordnen. Dadurch wird nichts rebuildet und es gehen auch keine Daten verloren. Das würde ich aber wie gesagt erst machen, wenn SMART und XFS repair durch ist. Einfach damit du sicher weißt, dass die Disks alle in Ordnung sind.

[ViRtualRealitY]

29 minutes ago, mgutt said:

Wie gesagt könntest du auch über Tools>New Condig gehen und alle Disks neu zuordnen. Dadurch wird nichts rebuildet und es gehen auch keine Daten verloren. Das würde ich aber wie gesagt erst machen, wenn SMART und XFS repair durch ist. Einfach damit du sicher weißt, dass die Disks alle in Ordnung sind.

XFS repair lief ohne fehler durch, smart test auch ohne fehler, neue Config gemacht und alle sind wieder da vielen Dank!

Jetzt nur die frage die beiden 16TB HDDs die kommen benutzten für das NAS oder lieber in einen Server packen und für local Backup nutzten?

[DataCollector]

1 hour ago, ViRtualRealitY said:

Jetzt nur die frage die beiden 16TB HDDs die kommen benutzten für das NAS oder lieber in einen Server packen und für local Backup nutzten?

Wenn Dir Deine Daten wichtig sind: Solltest Du davon immer mindestens ein zusätzliches Backup haben!

Gerade, wenn (durch den Umzug oder so) etwas zwiscvhenzeitlich schief gehen kann: zusätzliches Backup!