NVME Cache Backup friert Server ein/hängt Server auf

[NZL]

Hey zusammen,

 

vor gut einem halben Jahr habe ich mir einen Unraid Server aufgesetzt. Im Bereich Linux war ich schonmal etwas tätig aber nicht besonders viel, nur als Hintergrundwissen das ich eher Noob bis Semi-Noob bin.

 

Nun zum eigentlichen Problem:

1) Beim Thema Backup komme ich leider immer wieder zu Problemen die dazu führen, das sich Unraid aufhängt und ich einen Hard Reset meines wissens nach nicht vermeiden kann.

2) Zum zweiten Mal hat das nun dazu geführt, das mein NVME Cache Pool (eine Festplatte) korrupte Dateien hat und ich das Dateisystem manuell reparieren muss.

 

*Ganz am Anfang habe ich die Daten über SMB-Freigabe kopiert, folglich schmierte mir der Server ab: Hard Reset.

*Dann habe ich das ganze mittels FTP mit dem root-Zugang gemacht, wieder schmierte der Server ab und es war ein Hard Reset notwendig.

*Als nächstes probierte ich das Plugin "Appdata Backup/Restore v3" aus, um zumindest Docker und die VMs automatisch abschalten zu lassen und "Appdata" und den Boot-Stick zu sichern. Wer hätte es gedacht, wieder schmiert mir das ganze Unraid-System ab und wieder konnte ich leider nur mittels Hard Reset neustarten.

*Danach kam der in Unraid bereits eingebaute File Manager zum Einsatz, Dateien werden kopiert und einige bekommen Fehler das sie nicht kopiert werden können (leider weiß ich nicht mehr genau welche das waren, dennoch sind nur Dateien von Cryptomator betroffen).

*Als nächstes kam "LuckyBackup" für die Sicherung meiner Nextcloud-Daten zum Einsatz, es sieht alles okay aus bis das auf 12 Dateien (wieder von Cryptomator) nicht gesichert werden können, das Unraid-System läuft danach fröhlich weiter... denkste... nach mehreren Stunden schmiert auch hier wieder das System ab und es muss wieder mit einem Hard Reset neugestartet werden.

 

*Zu guter letzt (aktuell das Problem mit dem zweiten Mal NVME Cache Dateisystem reparieren) folge ich jetzt gerade dieser Anleitung (Unraid Forum) zum zweiten Mal und kopiere die Daten der NVME via Midnight Commander auf eine HDD im Array, Kopiervorgang bleibt ohne Fehlermeldung in MC stehen und es passiert wieder nichts beim "system" Ordner. Beim ersten Mal mit dem korrupten Dateisystem habe ich mit Erfolg gleich die BTRFS --repair Funktion verwendet, welche ich nun aber Versuche zu vermeiden. Trotzdem geht es hier wieder Darum, große Datenmengen zu verschieben, nur diesmal stürtzt während dessen nicht gleich ganz Unraid ab.

 

Sobald ich nichts mit einem Backup/mit dem verschieben größeren Datenmassen am Hut habe, funktioniert Unraid einwandfrei.

 

Im Anhang anonymisierte Diagnosedaten inkl. dem aktuellen zweiten Problem des Dateisystems.

Leider wird es diese Woche vermutlich etwas dauern, bis ich mich auf eure Antworten zurückmelden kann.

Bei neuen Erkenntnissen lasse ich es euch schnellstmöglich wissen.

 

Edit 1: Aufgrund dieser Probleme mit dem Backup bin ich momentan am überlegen, die Ausfallsicherheit mittels zweiter NVME zu erhöhen.

 

 

Gruß NZL

m-skynet-diagnostics-20230206-1042.zip

Edited February 6, 2023 by NZL
Edit 1 hinzugefügt

[DataCollector]

8 minutes ago, NZL said:

1) Beim Thema Backup komme ich leider immer wieder zu Problemen die dazu führen, das sich Unraid aufhängt und ich einen Hard Reset meines wissens nach nicht vermeiden kann.

2) Zum zweiten Mal hat das nun dazu geführt, das mein NVME Cache Pool (eine Festplatte) korrupte Dateien hat und ich das Dateisystem manuell reparieren muss.

 

*Ganz am Anfang habe ich die Daten über SMB-Freigabe kopiert, folglich schmierte mir der Server ab: Hard Reset.

*Dann habe ich das ganze mittels FTP mit dem root-Zugang gemacht, wieder schmierte der Server ab und es war ein Hard Reset notwendig.

*Als nächstes probierte ich das Plugin "Appdata Backup/Restore v3" aus, um zumindest Docker und die VMs automatisch abschalten zu lassen und "Appdata" und den Boot-Stick zu sichern. Wer hätte es gedacht, wieder schmiert mir das ganze Unraid-System ab und wieder konnte ich leider nur mittels Hard Reset neustarten.

*Danach kam der in Unraid bereits eingebaute File Manager zum Einsatz, Dateien werden kopiert und einige bekommen Fehler das sie nicht kopiert werden können (leider weiß ich nicht mehr genau welche das waren, dennoch sind nur Dateien von Cryptomator betroffen).

*Als nächstes kam "LuckyBackup" für die Sicherung meiner Nextcloud-Daten zum Einsatz, es sieht alles okay aus bis das auf 12 Dateien (wieder von Cryptomator) nicht gesichert werden können, das Unraid-System läuft danach fröhlich weiter... denkste... nach mehreren Stunden schmiert auch hier wieder das System ab und es muss wieder mit einem Hard Reset neugestartet werden.

 

Diese ganzen Beschreibungen deuten für mich darauf hin, daß es nichts mit der Software selber zu tun hat, sondern Deien Hardware da irgendwie "abschmiert".

Was steht als letztes in den SysLogs, bevor das System "abschmiert"?

Hast Du die Hardware mal ausgiebig getestet, nicht daß auf einmal ein überfordertes (gealtertes) Netzteil oder so schuld ist?

 

[NZL]

12 minutes ago, DataCollector said:

Was steht als letztes in den SysLogs, bevor das System "abschmiert"?

 

Das weiß ich leider nicht, da ich dort nicht mehr drauf zugreifen kann.

Meist ist gleich die komplette Weboberfläche von Unraid nicht mehr erreichbar.

 

12 minutes ago, DataCollector said:

Hast Du die Hardware mal ausgiebig getestet, nicht daß auf einmal ein überfordertes (gealtertes) Netzteil oder so schuld ist?

 

Tatsächlich habe ich das alte 850 Watt Netzteil von meinem PC im Server in Verwendung.

 

Edit 1: Ich habe soeben nachgeschaut, das Netzteil (be quiet! Dark Power Pro 80+ Platinum 850W) ist bereits 10 Jahre und 2 Monate alt.

Edited February 6, 2023 by NZL
Edit 1

[DataCollector]

3 minutes ago, NZL said:

Das weiß ich leider nicht, da ich dort nicht mehr drauf zugreifen kann.

Meist ist gleich die komplette Weboberfläche von Unraid nicht mehr erreichbar.

Aktiviere den Syslog Server (Settings/Syslog Server) und stelle dort "Mirror Syslog to Flash" auf 'Yes'.

Dann werden die Aktivitäten auf dem USB Stick gespeichert und sind später auslesbar.

Da diese Option den USB Stick massiv beschreibt und somit den USB Stick 'verschleißt' sollte man das nur für anstehende Fehlerdiagnisen (und nicht immer im Normalbetrieb) machen; und genaudas ist hier wohl erforderlich.

 

3 minutes ago, NZL said:

Tatsächlich habe ich das alte 800 Watt Netzteil von meinem PC im Server in Verwendung.

800W ist schon ein heftiger Klopper. Aber dennoch würd eich rein zu testzwecken mal ein anderes (zuverläsiges) Netzteil ausprobieren, wenn es technisch geht.

[NZL]

6 minutes ago, DataCollector said:

Aktiviere den Syslog Server (Settings/Syslog Server) und stelle dort "Mirror Syslog to Flash" auf 'Yes'.

Okay vielen Dank, ist nun aktiv.

 

7 minutes ago, DataCollector said:

800W ist schon ein heftiger Klopper. Aber dennoch würd eich rein zu testzwecken mal ein anderes (zuverläsiges) Netzteil ausprobieren, wenn es technisch geht.

Okay ich werd die Tage oder am Wochenende mal das Netzteil vom PC ausbauen und testen.

Vielleicht hat auch wer im Freundeskreis ein unbenutztes neueres/zuverlässiges Netzteil übrig/zur Hand.

 

Vielen Dank erstmal

[mgutt]

48 minutes ago, NZL said:

Beim ersten Mal mit dem korrupten Dateisystem habe ich mit Erfolg gleich die BTRFS --repair Funktion verwendet

Hast du denn mal einen scrub gemacht? Auf den Pool klicken und ausführen. Ist nach einem Crash quasi Pflicht.

 

Außerdem sollte man das Array in den Wartungsmodus versetzen und alle Disks per Klick auf die Disk reparieren.

 

Wenn der Server danach immer noch abschmiert, wäre meine Vermutung:

- RAM

- Netzteil

- CPU bzw deren Stromversorgung

 

Ich hatte zb dein Verhalten mal als ich Undervolting gemacht habe.

[NZL]

7 minutes ago, mgutt said:

Hast du denn mal einen scrub gemacht? Auf den Pool klicken und ausführen. Ist nach einem Crash quasi Pflicht.

Nach einem Hard Reset habe ich das leider nie ausgeführt, da Wissensstand zu diesem Zeitpunkt zu gering.

Ansonsten wird dieser einmal am Tag ausgeführt.

 

Wie kann ich die NVME scrubben wenn das Dateisystem ausgefallen ist, ist das möglich/notwendig/sinnvoll vor Reparatur?

"Scrub nur verfügbar wenn Array gestartet ist"

 

12 minutes ago, mgutt said:

Außerdem sollte man das Array in den Wartungsmodus versetzen und alle Disks per Klick auf die Disk reparieren.

Ist aktuell im Wartungsmodus. Auch die unbetroffenen HDDs?

 

13 minutes ago, mgutt said:

Wenn der Server danach immer noch abschmiert, wäre meine Vermutung:

- RAM

- Netzteil

- CPU bzw deren Stromversorgung

 

Ich hatte zb dein Verhalten mal als ich Undervolting gemacht habe.

Okay, die Komponenten sind eigentlich alle von meinem alten PC und dementsprechen älter (2016, Netzteil 2012).

[mgutt]

5 minutes ago, NZL said:

Ist aktuell im Wartungsmodus. Auch die unbetroffenen HDDs?

Ja alles. Man kann nichts kaputt reparieren.

 

6 minutes ago, NZL said:

Wie kann ich die NVME scrubben wenn das Dateisystem ausgefallen ist, ist das möglich/notwendig/sinnvoll vor Reparatur?

"Scrub nur verfügbar wenn Array gestartet ist"

Scrub ist eine Reparatur und geht nur, wenn das Array läuft.

 

6 minutes ago, NZL said:

Ansonsten wird dieser einmal am Tag ausgeführt

Das ist unnötig. Scrub prüft einfach nur ob alle Metadaten passen. Die gehen ja nicht einfach so im Betrieb kaputt. Ein Grund warum ich nicht verstehe warum unRAID das nicht einfach nach jedem Reboot macht, statt das als Zeitplan anzubieten.

[NZL]

35 minutes ago, mgutt said:

Das ist unnötig. Scrub prüft einfach nur ob alle Metadaten passen. Die gehen ja nicht einfach so im Betrieb kaputt. Ein Grund warum ich nicht verstehe warum unRAID das nicht einfach nach jedem Reboot macht, statt das als Zeitplan anzubieten.

Okay danke, ich meinte auch damals beim aufsetzen gelesen zu haben das man dies nicht zwingend braucht. Vor wenigen Wochen als ich das erste mal das Problem mit dem Dateisystem hatte meinte ich irgendwo gelesen zu haben, das es von manchen empfohlen wird per Zeitplan festzulegen.

 

  Edit 1:

35 minutes ago, mgutt said:

Ja alles. Man kann nichts kaputt reparieren.

Die beiden HDDs im Array habe ich repariert, die zweite Festplatte hatte tatsächlich auch zwei beschädigte Dateien drauf.

 

Die NVME vom Cache gehe ich aus Zeitgründen heute Nacht oder (üb)morgen früh nochmal an. Da probiere ich nochmal den "system" Ordner in mehreren Kopiervorgängen mit etwas zeitlichen Abständen vollständig zu sichern. Wichtig sind meine Nextcloud Daten die normal alle gesichert sein sollten.

 

Ich werde mich melden, bis dahin vielen Dank für Eure Zeit und bisherige Hilfe.

Edited February 6, 2023 by NZL
Edit 1 hinzugefügt

[NZL]

Hey zusammen,

hey @DataCollector,

hey @mgutt,

 

ich habe soeben das Netzteil meines PCs verwendet (BJ Ende 2021) und einen Test gemacht, um den System-Ordner der NVME zu kopieren.

Ich denke nicht das es an der Dateigröße (bei FHD und UHD Filmen gab es in der Vergangenheit per FTP und SMB keine Probleme) liegt,

sondern eher an der Dateianzahl beim schnellen kopieren.

Leider bricht mir auch hier wieder die Verbindung zum Server ab bzw. geht offline (Syslog endet bis zum Neustart).

 

Anbei in etwa die letzten 10 Minuten des Syslogs:

(um 17:45:02 Uhr gibt es zumindest eine CPU Warnung)

Spoiler

Feb  9 17:35:00 M-Skynet root: Fix Common Problems Version 2022.12.18
Feb  9 17:35:01 M-Skynet root: Fix Common Problems: Warning: Scheduled Parity Checks are not enabled
Feb  9 17:35:19 M-Skynet root: Fix Common Problems: Warning: Syslog mirrored to flash
Feb  9 17:35:52 M-Skynet kernel: sh[20783]: segfault at 400000010 ip 00000000004470d5 sp 00007fff7a766b20 error 4 in bash[426000+c5000]
Feb  9 17:35:52 M-Skynet kernel: Code: 95 44 24 0f 4a 8b 2c e0 48 85 ed 0f 84 c3 00 00 00 4c 89 6c 24 38 4c 89 64 24 30 49 89 ec 0f 1f 80 00 00 00 00 48 8b 4c 24 10 <49> 8b 5c 24 10 b8 01 00 00 00 48 85 c9 74 0a 48 89 df ff d1 85 c0
Feb  9 17:38:33 M-Skynet kernel: watcher[18294]: segfault at 10677b90 ip 0000000000455250 sp 00007ffea61408a0 error 4 in bash[426000+c5000]
Feb  9 17:38:33 M-Skynet kernel: Code: 00 00 00 00 e9 38 ff ff ff 90 41 8b 45 18 83 e0 21 83 f8 20 0f 85 a6 fe ff ff 49 8b 75 08 48 89 f0 eb 16 0f 1f 80 00 00 00 00 <48> 8b 10 48 39 d6 0f 84 c4 00 00 00 48 89 d0 48 85 c0 75 ec e9 7d
Feb  9 17:38:33 M-Skynet kernel: bunker[18731]: segfault at 10426796 ip 0000000010426796 sp 00007fff94ec1de8 error 14
Feb  9 17:38:33 M-Skynet kernel: Code: Unable to access opcode bytes at RIP 0x1042676c.
Feb  9 17:38:34 M-Skynet kernel: watcher[18827]: segfault at 405add10 ip 0000000000452d83 sp 00007ffea61407a8 error 4 in bash[426000+c5000]
Feb  9 17:38:34 M-Skynet kernel: Code: c3 66 0f 1f 44 00 00 48 c7 c0 a8 2b 53 00 48 63 ff 48 8b 00 48 8b 0c f8 48 8b 51 08 48 89 d0 f6 41 18 40 75 1a 66 90 48 89 c1 <48> 8b 00 48 39 c2 75 f5 8b 71 0c 89 f0 c3 0f 1f 80 00 00 00 00 31
Feb  9 17:38:34 M-Skynet kernel: watcher[18892]: segfault at 40765d10 ip 0000000000452d83 sp 00007ffea61407a8 error 4 in bash[426000+c5000]
Feb  9 17:38:34 M-Skynet kernel: Code: c3 66 0f 1f 44 00 00 48 c7 c0 a8 2b 53 00 48 63 ff 48 8b 00 48 8b 0c f8 48 8b 51 08 48 89 d0 f6 41 18 40 75 1a 66 90 48 89 c1 <48> 8b 00 48 39 c2 75 f5 8b 71 0c 89 f0 c3 0f 1f 80 00 00 00 00 31
Feb  9 17:38:34 M-Skynet kernel: watcher[18919]: segfault at 40606a40 ip 00000000004e928f sp 00007ffea6140b10 error 4 in bash[426000+c5000]
Feb  9 17:38:34 M-Skynet kernel: Code: ff e8 05 d1 f3 ff 49 89 c5 eb 98 48 85 ff 0f 84 d7 03 00 00 41 57 49 89 ff 41 56 41 55 41 54 55 89 d5 53 48 89 f3 48 83 ec 38 <80> 7f f0 d6 0f 84 c7 02 00 00 48 89 7c 24 18 4c 8d 77 f0 41 0f b6
Feb  9 17:38:34 M-Skynet kernel: watcher[18948]: segfault at 405b4010 ip 0000000000452d83 sp 00007ffea6140a88 error 4 in bash[426000+c5000]
Feb  9 17:38:34 M-Skynet kernel: Code: c3 66 0f 1f 44 00 00 48 c7 c0 a8 2b 53 00 48 63 ff 48 8b 00 48 8b 0c f8 48 8b 51 08 48 89 d0 f6 41 18 40 75 1a 66 90 48 89 c1 <48> 8b 00 48 39 c2 75 f5 8b 71 0c 89 f0 c3 0f 1f 80 00 00 00 00 31
Feb  9 17:38:34 M-Skynet kernel: watcher[18962]: segfault at 5061d310 ip 0000000000452d83 sp 00007ffea6140a88 error 4 in bash[426000+c5000]
Feb  9 17:38:34 M-Skynet kernel: Code: c3 66 0f 1f 44 00 00 48 c7 c0 a8 2b 53 00 48 63 ff 48 8b 00 48 8b 0c f8 48 8b 51 08 48 89 d0 f6 41 18 40 75 1a 66 90 48 89 c1 <48> 8b 00 48 39 c2 75 f5 8b 71 0c 89 f0 c3 0f 1f 80 00 00 00 00 31
Feb  9 17:38:34 M-Skynet kernel: watcher[19022]: segfault at 106634d0 ip 0000000000452d83 sp 00007ffea6140678 error 4 in bash[426000+c5000]
Feb  9 17:38:34 M-Skynet kernel: Code: c3 66 0f 1f 44 00 00 48 c7 c0 a8 2b 53 00 48 63 ff 48 8b 00 48 8b 0c f8 48 8b 51 08 48 89 d0 f6 41 18 40 75 1a 66 90 48 89 c1 <48> 8b 00 48 39 c2 75 f5 8b 71 0c 89 f0 c3 0f 1f 80 00 00 00 00 31
Feb  9 17:38:34 M-Skynet kernel: watcher[21501]: segfault at 106634d8 ip 00000000004576c7 sp 00007ffea6141730 error 4 in bash[426000+c5000]
Feb  9 17:38:34 M-Skynet kernel: Code: 85 ef fe ff ff e9 71 fe ff ff 66 0f 1f 84 00 00 00 00 00 41 8b 3e e8 b8 14 02 00 e9 1e ff ff ff 0f 1f 00 48 8b 78 08 48 89 f8 <3b> 68 08 74 0d 48 8b 00 48 39 c7 74 bb 3b 68 08 75 f3 41 89 d5 41
Feb  9 17:44:37 M-Skynet kernel: BUG: unable to handle page fault for address: 0000400000000034
Feb  9 17:44:37 M-Skynet kernel: #PF: supervisor read access in kernel mode
Feb  9 17:44:37 M-Skynet kernel: #PF: error_code(0x0000) - not-present page
Feb  9 17:44:37 M-Skynet kernel: PGD 0 P4D 0
Feb  9 17:44:37 M-Skynet kernel: Oops: 0000 [#1] PREEMPT SMP PTI
Feb  9 17:44:37 M-Skynet kernel: CPU: 2 PID: 3479 Comm: mc Tainted: G          IO      5.19.17-Unraid #2
Feb  9 17:44:37 M-Skynet kernel: Hardware name: To Be Filled By O.E.M. To Be Filled By O.E.M./Z170 Extreme6+, BIOS P7.20 11/18/2016
Feb  9 17:44:37 M-Skynet kernel: RIP: 0010:folio_try_get_rcu+0x0/0x21
Feb  9 17:44:37 M-Skynet kernel: Code: e8 9d fd 67 00 48 8b 84 24 80 00 00 00 65 48 2b 04 25 28 00 00 00 74 05 e8 c1 35 69 00 48 81 c4 88 00 00 00 5b c3 cc cc cc cc <8b> 57 34 85 d2 74 10 8d 4a 01 89 d0 f0 0f b1 4f 34 74 04 89 c2 eb
Feb  9 17:44:37 M-Skynet kernel: RSP: 0018:ffffc9000c2c7c80 EFLAGS: 00010293
Feb  9 17:44:37 M-Skynet kernel: RAX: 0000000000000000 RBX: 0000400000000000 RCX: 0000000000000000
Feb  9 17:44:37 M-Skynet kernel: RDX: ffff888222f3cb68 RSI: ffff888222f3cb68 RDI: 0000400000000000
Feb  9 17:44:37 M-Skynet kernel: RBP: ffffc9000c2c7d70 R08: 0000000000000020 R09: ffffc9000c2c7c88
Feb  9 17:44:37 M-Skynet kernel: R10: ffffc9000c2c7c88 R11: 0000000000000000 R12: 0000000000000040
Feb  9 17:44:37 M-Skynet kernel: R13: 0000000000000027 R14: ffffc9000c2c7ef8 R15: ffff8881068a8200
Feb  9 17:44:37 M-Skynet kernel: FS:  000014a6819c0740(0000) GS:ffff888856080000(0000) knlGS:0000000000000000
Feb  9 17:44:37 M-Skynet kernel: CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Feb  9 17:44:37 M-Skynet kernel: CR2: 0000400000000034 CR3: 00000001d863c003 CR4: 00000000003706e0
Feb  9 17:44:37 M-Skynet kernel: DR0: 0000000000000000 DR1: 0000000000000000 DR2: 0000000000000000
Feb  9 17:44:37 M-Skynet kernel: DR3: 0000000000000000 DR6: 00000000fffe0ff0 DR7: 0000000000000400
Feb  9 17:44:37 M-Skynet kernel: Call Trace:
Feb  9 17:44:37 M-Skynet kernel: <TASK>
Feb  9 17:44:37 M-Skynet kernel: filemap_get_read_batch+0xc8/0x16c
Feb  9 17:44:37 M-Skynet kernel: filemap_read+0x130/0x729
Feb  9 17:44:37 M-Skynet kernel: ? file_tty_write.constprop.0+0x23f/0x256
Feb  9 17:44:37 M-Skynet kernel: ? n_tty_receive_signal_char+0x50/0x50
Feb  9 17:44:37 M-Skynet kernel: new_sync_read+0x79/0xb3
Feb  9 17:44:37 M-Skynet kernel: vfs_read+0xc6/0x10c
Feb  9 17:44:37 M-Skynet kernel: ksys_read+0x76/0xc2
Feb  9 17:44:37 M-Skynet kernel: do_syscall_64+0x68/0x81
Feb  9 17:44:37 M-Skynet kernel: entry_SYSCALL_64_after_hwframe+0x63/0xcd
Feb  9 17:44:37 M-Skynet kernel: RIP: 0033:0x14a68202634d
Feb  9 17:44:37 M-Skynet kernel: Code: 31 c0 e9 e6 fe ff ff 50 48 8d 3d a6 a3 0a 00 e8 e9 0a 02 00 66 0f 1f 84 00 00 00 00 00 80 3d 91 b2 0e 00 00 74 17 31 c0 0f 05 <48> 3d 00 f0 ff ff 77 5b c3 66 2e 0f 1f 84 00 00 00 00 00 48 83 ec
Feb  9 17:44:37 M-Skynet kernel: RSP: 002b:00007ffd6311f7f8 EFLAGS: 00000246 ORIG_RAX: 0000000000000000
Feb  9 17:44:37 M-Skynet kernel: RAX: ffffffffffffffda RBX: 0000000001f2a9c0 RCX: 000014a68202634d
Feb  9 17:44:37 M-Skynet kernel: RDX: 0000000000020000 RSI: 0000000001f2a9c0 RDI: 0000000000000016
Feb  9 17:44:37 M-Skynet kernel: RBP: 0000000000020000 R08: 0000000000000000 R09: 0000000000000000
Feb  9 17:44:37 M-Skynet kernel: R10: 0000000000000008 R11: 0000000000000246 R12: 0000000000000016
Feb  9 17:44:37 M-Skynet kernel: R13: 0000000000020000 R14: 0000000037eb10b1 R15: 000000000000006e
Feb  9 17:44:37 M-Skynet kernel: </TASK>
Feb  9 17:44:37 M-Skynet kernel: Modules linked in: md_mod macvlan xt_conntrack nf_conntrack_netlink nfnetlink xfrm_user xfrm_algo xt_addrtype iptable_nat br_netfilter xfs xt_MASQUERADE ip6table_nat nf_nat nf_conntrack nf_defrag_ipv6 nf_defrag_ipv4 nct6775 nct6775_core hwmon_vid ip6table_filter ip6_tables iptable_filter ip_tables x_tables bridge stp llc i915 iosf_mbi drm_buddy i2c_algo_bit ttm x86_pkg_temp_thermal drm_display_helper intel_powerclamp coretemp drm_kms_helper kvm_intel kvm crct10dif_pclmul crc32_pclmul crc32c_intel ghash_clmulni_intel aesni_intel crypto_simd intel_wmi_thunderbolt mxm_wmi drm cryptd nvme rapl intel_gtt intel_cstate i2c_i801 agpgart i2c_smbus e1000e ahci syscopyarea sysfillrect intel_uncore nvme_core i2c_core libahci intel_pch_thermal sysimgblt fb_sys_fops video wmi backlight button acpi_pad unix [last unloaded: md_mod]
Feb  9 17:44:37 M-Skynet kernel: CR2: 0000400000000034
Feb  9 17:44:37 M-Skynet kernel: ---[ end trace 0000000000000000 ]---
Feb  9 17:44:37 M-Skynet kernel: RIP: 0010:folio_try_get_rcu+0x0/0x21
Feb  9 17:44:37 M-Skynet kernel: Code: e8 9d fd 67 00 48 8b 84 24 80 00 00 00 65 48 2b 04 25 28 00 00 00 74 05 e8 c1 35 69 00 48 81 c4 88 00 00 00 5b c3 cc cc cc cc <8b> 57 34 85 d2 74 10 8d 4a 01 89 d0 f0 0f b1 4f 34 74 04 89 c2 eb
Feb  9 17:44:37 M-Skynet kernel: RSP: 0018:ffffc9000c2c7c80 EFLAGS: 00010293
Feb  9 17:44:37 M-Skynet kernel: RAX: 0000000000000000 RBX: 0000400000000000 RCX: 0000000000000000
Feb  9 17:44:37 M-Skynet kernel: RDX: ffff888222f3cb68 RSI: ffff888222f3cb68 RDI: 0000400000000000
Feb  9 17:44:37 M-Skynet kernel: RBP: ffffc9000c2c7d70 R08: 0000000000000020 R09: ffffc9000c2c7c88
Feb  9 17:44:37 M-Skynet kernel: R10: ffffc9000c2c7c88 R11: 0000000000000000 R12: 0000000000000040
Feb  9 17:44:37 M-Skynet kernel: R13: 0000000000000027 R14: ffffc9000c2c7ef8 R15: ffff8881068a8200
Feb  9 17:44:37 M-Skynet kernel: FS:  000014a6819c0740(0000) GS:ffff888856080000(0000) knlGS:0000000000000000
Feb  9 17:44:37 M-Skynet kernel: CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Feb  9 17:44:37 M-Skynet kernel: CR2: 0000400000000034 CR3: 00000001d863c003 CR4: 00000000003706e0
Feb  9 17:44:37 M-Skynet kernel: DR0: 0000000000000000 DR1: 0000000000000000 DR2: 0000000000000000
Feb  9 17:44:37 M-Skynet kernel: DR3: 0000000000000000 DR6: 00000000fffe0ff0 DR7: 0000000000000400
Feb  9 17:45:02 M-Skynet kernel: BUG: unable to handle page fault for address: ffffca000e403274
Feb  9 17:45:02 M-Skynet kernel: #PF: supervisor read access in kernel mode
Feb  9 17:45:02 M-Skynet kernel: #PF: error_code(0x0000) - not-present page
Feb  9 17:45:02 M-Skynet kernel: PGD 100002067 P4D 100002067 PUD 0
Feb  9 17:45:02 M-Skynet kernel: Oops: 0000 [#2] PREEMPT SMP PTI
Feb  9 17:45:02 M-Skynet kernel: CPU: 6 PID: 5132 Comm: kworker/u16:4 Tainted: G      D   IO      5.19.17-Unraid #2
Feb  9 17:45:02 M-Skynet kernel: Hardware name: To Be Filled By O.E.M. To Be Filled By O.E.M./Z170 Extreme6+, BIOS P7.20 11/18/2016
Feb  9 17:45:02 M-Skynet kernel: Workqueue: writeback wb_workfn (flush-9:2)
Feb  9 17:45:02 M-Skynet kernel: RIP: 0010:folio_try_get_rcu+0x0/0x21
Feb  9 17:45:02 M-Skynet kernel: Code: e8 9d fd 67 00 48 8b 84 24 80 00 00 00 65 48 2b 04 25 28 00 00 00 74 05 e8 c1 35 69 00 48 81 c4 88 00 00 00 5b c3 cc cc cc cc <8b> 57 34 85 d2 74 10 8d 4a 01 89 d0 f0 0f b1 4f 34 74 04 89 c2 eb
Feb  9 17:45:02 M-Skynet kernel: RSP: 0018:ffffc9000d51f9b8 EFLAGS: 00010246
Feb  9 17:45:02 M-Skynet kernel: RAX: ffffca000e403240 RBX: ffffca000e403240 RCX: 0000000000000000
Feb  9 17:45:02 M-Skynet kernel: RDX: ffff888222f73301 RSI: ffffca000e403240 RDI: ffffca000e403240
Feb  9 17:45:02 M-Skynet kernel: RBP: ffffc9000d51f9f0 R08: ffffc9000d51f9f0 R09: ffffffffffffffff
Feb  9 17:45:02 M-Skynet kernel: R10: 0000000000000000 R11: 0000000000000000 R12: ffffffffffffffff
Feb  9 17:45:02 M-Skynet kernel: R13: 0000000000000000 R14: ffffc9000d51fab8 R15: 000000000000000f
Feb  9 17:45:02 M-Skynet kernel: FS:  0000000000000000(0000) GS:ffff888856180000(0000) knlGS:0000000000000000
Feb  9 17:45:02 M-Skynet kernel: CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Feb  9 17:45:02 M-Skynet kernel: CR2: ffffca000e403274 CR3: 000000000220a002 CR4: 00000000003706e0
Feb  9 17:45:02 M-Skynet kernel: DR0: 0000000000000000 DR1: 0000000000000000 DR2: 0000000000000000
Feb  9 17:45:02 M-Skynet kernel: DR3: 0000000000000000 DR6: 00000000fffe0ff0 DR7: 0000000000000400
Feb  9 17:45:02 M-Skynet kernel: Call Trace:
Feb  9 17:45:02 M-Skynet kernel: <TASK>
Feb  9 17:45:02 M-Skynet kernel: find_get_entry+0x54/0x85
Feb  9 17:45:02 M-Skynet kernel: find_get_pages_range_tag+0x88/0xee
Feb  9 17:45:02 M-Skynet kernel: pagevec_lookup_range_tag+0x24/0x2f
Feb  9 17:45:02 M-Skynet kernel: write_cache_pages+0x10d/0x2d9
Feb  9 17:45:02 M-Skynet kernel: ? iomap_truncate_page+0x31/0x31
Feb  9 17:45:02 M-Skynet kernel: iomap_writepages+0x1c/0x36
Feb  9 17:45:02 M-Skynet kernel: xfs_vm_writepages+0x80/0xa3 [xfs]
Feb  9 17:45:02 M-Skynet kernel: do_writepages+0xb8/0x124
Feb  9 17:45:02 M-Skynet kernel: __writeback_single_inode+0x7a/0x2cb
Feb  9 17:45:02 M-Skynet kernel: writeback_sb_inodes+0x24f/0x401
Feb  9 17:45:02 M-Skynet kernel: __writeback_inodes_wb+0x82/0xc0
Feb  9 17:45:02 M-Skynet kernel: wb_writeback+0x135/0x24a
Feb  9 17:45:02 M-Skynet kernel: wb_workfn+0x25a/0x39d
Feb  9 17:45:02 M-Skynet kernel: ? _raw_spin_unlock+0x14/0x29
Feb  9 17:45:02 M-Skynet kernel: ? raw_spin_rq_unlock_irq+0x5/0x10
Feb  9 17:45:02 M-Skynet kernel: process_one_work+0x1a8/0x295
Feb  9 17:45:02 M-Skynet kernel: worker_thread+0x18b/0x244
Feb  9 17:45:02 M-Skynet kernel: ? rescuer_thread+0x281/0x281
Feb  9 17:45:02 M-Skynet kernel: kthread+0xe4/0xef
Feb  9 17:45:02 M-Skynet kernel: ? kthread_complete_and_exit+0x1b/0x1b
Feb  9 17:45:02 M-Skynet kernel: ret_from_fork+0x1f/0x30
Feb  9 17:45:02 M-Skynet kernel: </TASK>
Feb  9 17:45:02 M-Skynet kernel: Modules linked in: md_mod macvlan xt_conntrack nf_conntrack_netlink nfnetlink xfrm_user xfrm_algo xt_addrtype iptable_nat br_netfilter xfs xt_MASQUERADE ip6table_nat nf_nat nf_conntrack nf_defrag_ipv6 nf_defrag_ipv4 nct6775 nct6775_core hwmon_vid ip6table_filter ip6_tables iptable_filter ip_tables x_tables bridge stp llc i915 iosf_mbi drm_buddy i2c_algo_bit ttm x86_pkg_temp_thermal drm_display_helper intel_powerclamp coretemp drm_kms_helper kvm_intel kvm crct10dif_pclmul crc32_pclmul crc32c_intel ghash_clmulni_intel aesni_intel crypto_simd intel_wmi_thunderbolt mxm_wmi drm cryptd nvme rapl intel_gtt intel_cstate i2c_i801 agpgart i2c_smbus e1000e ahci syscopyarea sysfillrect intel_uncore nvme_core i2c_core libahci intel_pch_thermal sysimgblt fb_sys_fops video wmi backlight button acpi_pad unix [last unloaded: md_mod]
Feb  9 17:45:02 M-Skynet kernel: CR2: ffffca000e403274
Feb  9 17:45:02 M-Skynet kernel: ---[ end trace 0000000000000000 ]---
Feb  9 17:45:02 M-Skynet kernel: RIP: 0010:folio_try_get_rcu+0x0/0x21
Feb  9 17:45:02 M-Skynet kernel: Code: e8 9d fd 67 00 48 8b 84 24 80 00 00 00 65 48 2b 04 25 28 00 00 00 74 05 e8 c1 35 69 00 48 81 c4 88 00 00 00 5b c3 cc cc cc cc <8b> 57 34 85 d2 74 10 8d 4a 01 89 d0 f0 0f b1 4f 34 74 04 89 c2 eb
Feb  9 17:45:02 M-Skynet kernel: RSP: 0018:ffffc9000c2c7c80 EFLAGS: 00010293
Feb  9 17:45:02 M-Skynet kernel: RAX: 0000000000000000 RBX: 0000400000000000 RCX: 0000000000000000
Feb  9 17:45:02 M-Skynet kernel: RDX: ffff888222f3cb68 RSI: ffff888222f3cb68 RDI: 0000400000000000
Feb  9 17:45:02 M-Skynet kernel: RBP: ffffc9000c2c7d70 R08: 0000000000000020 R09: ffffc9000c2c7c88
Feb  9 17:45:02 M-Skynet kernel: R10: ffffc9000c2c7c88 R11: 0000000000000000 R12: 0000000000000040
Feb  9 17:45:02 M-Skynet kernel: R13: 0000000000000027 R14: ffffc9000c2c7ef8 R15: ffff8881068a8200
Feb  9 17:45:02 M-Skynet kernel: FS:  0000000000000000(0000) GS:ffff888856180000(0000) knlGS:0000000000000000
Feb  9 17:45:02 M-Skynet kernel: CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Feb  9 17:45:02 M-Skynet kernel: CR2: ffffca000e403274 CR3: 000000000220a002 CR4: 00000000003706e0
Feb  9 17:45:02 M-Skynet kernel: DR0: 0000000000000000 DR1: 0000000000000000 DR2: 0000000000000000
Feb  9 17:45:02 M-Skynet kernel: DR3: 0000000000000000 DR6: 00000000fffe0ff0 DR7: 0000000000000400
Feb  9 17:45:02 M-Skynet kernel: ------------[ cut here ]------------
Feb  9 17:45:02 M-Skynet kernel: WARNING: CPU: 6 PID: 5132 at kernel/exit.c:741 do_exit+0x39/0x8e5
Feb  9 17:45:02 M-Skynet kernel: Modules linked in: md_mod macvlan xt_conntrack nf_conntrack_netlink nfnetlink xfrm_user xfrm_algo xt_addrtype iptable_nat br_netfilter xfs xt_MASQUERADE ip6table_nat nf_nat nf_conntrack nf_defrag_ipv6 nf_defrag_ipv4 nct6775 nct6775_core hwmon_vid ip6table_filter ip6_tables iptable_filter ip_tables x_tables bridge stp llc i915 iosf_mbi drm_buddy i2c_algo_bit ttm x86_pkg_temp_thermal drm_display_helper intel_powerclamp coretemp drm_kms_helper kvm_intel kvm crct10dif_pclmul crc32_pclmul crc32c_intel ghash_clmulni_intel aesni_intel crypto_simd intel_wmi_thunderbolt mxm_wmi drm cryptd nvme rapl intel_gtt intel_cstate i2c_i801 agpgart i2c_smbus e1000e ahci syscopyarea sysfillrect intel_uncore nvme_core i2c_core libahci intel_pch_thermal sysimgblt fb_sys_fops video wmi backlight button acpi_pad unix [last unloaded: md_mod]
Feb  9 17:45:02 M-Skynet kernel: CPU: 6 PID: 5132 Comm: kworker/u16:4 Tainted: G      D   IO      5.19.17-Unraid #2
Feb  9 17:45:02 M-Skynet kernel: Hardware name: To Be Filled By O.E.M. To Be Filled By O.E.M./Z170 Extreme6+, BIOS P7.20 11/18/2016
Feb  9 17:45:02 M-Skynet kernel: Workqueue: writeback wb_workfn (flush-9:2)
Feb  9 17:45:02 M-Skynet kernel: RIP: 0010:do_exit+0x39/0x8e5
Feb  9 17:45:02 M-Skynet kernel: Code: 89 fd 53 48 83 ec 28 65 48 8b 04 25 28 00 00 00 48 89 44 24 20 31 c0 65 48 8b 1c 25 c0 bb 01 00 48 83 bb a0 07 00 00 00 74 02 <0f> 0b 48 8b bb c8 06 00 00 e8 b7 c0 7c 00 48 8b 83 c0 06 00 00 83
Feb  9 17:45:02 M-Skynet kernel: RSP: 0018:ffffc9000d51fee0 EFLAGS: 00010086
Feb  9 17:45:02 M-Skynet kernel: RAX: 0000000000000000 RBX: ffff8881052a6180 RCX: 0000000000000000
Feb  9 17:45:02 M-Skynet kernel: RDX: 0000000000000000 RSI: ffffffff820d7be1 RDI: 0000000000000009
Feb  9 17:45:02 M-Skynet kernel: RBP: 0000000000000009 R08: 0000000000000000 R09: ffffffff82244bd0
Feb  9 17:45:02 M-Skynet kernel: R10: 00007fffffffffff R11: ffffffff8287b4e1 R12: ffffca000e403274
Feb  9 17:45:02 M-Skynet kernel: R13: ffffc9000d51f880 R14: 0000000000000000 R15: 0000000000000000
Feb  9 17:45:02 M-Skynet kernel: FS:  0000000000000000(0000) GS:ffff888856180000(0000) knlGS:0000000000000000
Feb  9 17:45:02 M-Skynet kernel: CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Feb  9 17:45:02 M-Skynet kernel: CR2: ffffca000e403274 CR3: 000000000220a002 CR4: 00000000003706e0
Feb  9 17:45:02 M-Skynet kernel: DR0: 0000000000000000 DR1: 0000000000000000 DR2: 0000000000000000
Feb  9 17:45:02 M-Skynet kernel: DR3: 0000000000000000 DR6: 00000000fffe0ff0 DR7: 0000000000000400
Feb  9 17:45:02 M-Skynet kernel: Call Trace:
Feb  9 17:45:02 M-Skynet kernel: <TASK>
Feb  9 17:45:02 M-Skynet kernel: ? worker_thread+0x18b/0x244
Feb  9 17:45:02 M-Skynet kernel: make_task_dead+0xba/0xba
Feb  9 17:45:02 M-Skynet kernel: rewind_stack_and_make_dead+0x17/0x17
Feb  9 17:45:02 M-Skynet kernel: RIP: 0000:0x0
Feb  9 17:45:02 M-Skynet kernel: Code: Unable to access opcode bytes at RIP 0xffffffffffffffd6.
Feb  9 17:45:02 M-Skynet kernel: RSP: 0000:0000000000000000 EFLAGS: 00000000 ORIG_RAX: 0000000000000000
Feb  9 17:45:02 M-Skynet kernel: RAX: 0000000000000000 RBX: 0000000000000000 RCX: 0000000000000000
Feb  9 17:45:02 M-Skynet kernel: RDX: 0000000000000000 RSI: 0000000000000000 RDI: 0000000000000000
Feb  9 17:45:02 M-Skynet kernel: RBP: 0000000000000000 R08: 0000000000000000 R09: 0000000000000000
Feb  9 17:45:02 M-Skynet kernel: R10: 0000000000000000 R11: 0000000000000000 R12: 0000000000000000
Feb  9 17:45:02 M-Skynet kernel: R13: 0000000000000000 R14: 0000000000000000 R15: 0000000000000000
Feb  9 17:45:02 M-Skynet kernel: </TASK>
Feb  9 17:45:02 M-Skynet kernel: ---[ end trace 0000000000000000 ]---
Feb  9 17:45:35 M-Skynet kernel: BUG: unable to handle page fault for address: ffffaa000ec3b0b4
Feb  9 17:45:35 M-Skynet kernel: #PF: supervisor read access in kernel mode
Feb  9 17:45:35 M-Skynet kernel: #PF: error_code(0x0000) - not-present page
Feb  9 17:45:35 M-Skynet kernel: PGD 0 P4D 0
Feb  9 17:45:35 M-Skynet kernel: Oops: 0000 [#3] PREEMPT SMP PTI
Feb  9 17:45:35 M-Skynet kernel: CPU: 2 PID: 11138 Comm: b2sum Tainted: G      D W IO      5.19.17-Unraid #2
Feb  9 17:45:35 M-Skynet kernel: Hardware name: To Be Filled By O.E.M. To Be Filled By O.E.M./Z170 Extreme6+, BIOS P7.20 11/18/2016
Feb  9 17:45:35 M-Skynet kernel: RIP: 0010:folio_try_get_rcu+0x0/0x21
Feb  9 17:45:35 M-Skynet kernel: Code: e8 9d fd 67 00 48 8b 84 24 80 00 00 00 65 48 2b 04 25 28 00 00 00 74 05 e8 c1 35 69 00 48 81 c4 88 00 00 00 5b c3 cc cc cc cc <8b> 57 34 85 d2 74 10 8d 4a 01 89 d0 f0 0f b1 4f 34 74 04 89 c2 eb
Feb  9 17:45:35 M-Skynet kernel: RSP: 0018:ffffc90004be7c48 EFLAGS: 00010293
Feb  9 17:45:35 M-Skynet kernel: RAX: 0000000000000000 RBX: ffffaa000ec3b080 RCX: 0000000000000000
Feb  9 17:45:35 M-Skynet kernel: RDX: ffff888222f3dff0 RSI: ffff888222f3dff0 RDI: ffffaa000ec3b080
Feb  9 17:45:35 M-Skynet kernel: RBP: ffffc90004be7d38 R08: 0000000000000030 R09: ffffc90004be7c50
Feb  9 17:45:35 M-Skynet kernel: R10: ffffc90004be7c50 R11: 0000000000000000 R12: 00000000002b75f8
Feb  9 17:45:35 M-Skynet kernel: R13: 00000000002b75f5 R14: ffffc90004be7ef8 R15: ffff888106a20400
Feb  9 17:45:35 M-Skynet kernel: FS:  000014937895f740(0000) GS:ffff888856080000(0000) knlGS:0000000000000000
Feb  9 17:45:35 M-Skynet kernel: CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Feb  9 17:45:35 M-Skynet kernel: CR2: ffffaa000ec3b0b4 CR3: 00000001753fe006 CR4: 00000000003706e0
Feb  9 17:45:35 M-Skynet kernel: DR0: 0000000000000000 DR1: 0000000000000000 DR2: 0000000000000000
Feb  9 17:45:35 M-Skynet kernel: DR3: 0000000000000000 DR6: 00000000fffe0ff0 DR7: 0000000000000400
Feb  9 17:45:35 M-Skynet kernel: Call Trace:
Feb  9 17:45:35 M-Skynet kernel: <TASK>
Feb  9 17:45:35 M-Skynet kernel: filemap_get_read_batch+0xc8/0x16c
Feb  9 17:45:35 M-Skynet kernel: filemap_read+0x130/0x729
Feb  9 17:45:35 M-Skynet kernel: ? print_cfs_rq+0x1eb/0xa37
Feb  9 17:45:35 M-Skynet kernel: ? xfs_ilock_iocb+0x38/0x3f [xfs]
Feb  9 17:45:35 M-Skynet kernel: xfs_file_buffered_read+0x7b/0x9f [xfs]
Feb  9 17:45:35 M-Skynet kernel: xfs_file_read_iter+0x77/0xc2 [xfs]
Feb  9 17:45:35 M-Skynet kernel: new_sync_read+0x79/0xb3
Feb  9 17:45:35 M-Skynet kernel: vfs_read+0xc6/0x10c
Feb  9 17:45:35 M-Skynet kernel: ksys_read+0x76/0xc2
Feb  9 17:45:35 M-Skynet kernel: do_syscall_64+0x68/0x81
Feb  9 17:45:35 M-Skynet kernel: entry_SYSCALL_64_after_hwframe+0x63/0xcd
Feb  9 17:45:35 M-Skynet kernel: RIP: 0033:0x149378a6734d
Feb  9 17:45:35 M-Skynet kernel: Code: 31 c0 e9 e6 fe ff ff 50 48 8d 3d a6 a3 0a 00 e8 e9 0a 02 00 66 0f 1f 84 00 00 00 00 00 80 3d 91 b2 0e 00 00 74 17 31 c0 0f 05 <48> 3d 00 f0 ff ff 77 5b c3 66 2e 0f 1f 84 00 00 00 00 00 48 83 ec
Feb  9 17:45:35 M-Skynet kernel: RSP: 002b:00007fff985f0028 EFLAGS: 00000246 ORIG_RAX: 0000000000000000
Feb  9 17:45:35 M-Skynet kernel: RAX: ffffffffffffffda RBX: 000000000040f2f0 RCX: 0000149378a6734d
Feb  9 17:45:35 M-Skynet kernel: RDX: 0000000000008000 RSI: 000000000040f4d0 RDI: 0000000000000004
Feb  9 17:45:35 M-Skynet kernel: RBP: 0000149378b475e0 R08: 0000000000000c00 R09: 031be27054d3adf1
Feb  9 17:45:35 M-Skynet kernel: R10: 0f6efed543367db4 R11: 0000000000000246 R12: 000000000040f4d0
Feb  9 17:45:35 M-Skynet kernel: R13: 0000000000008000 R14: 0000000000000d68 R15: 0000149378b469e0
Feb  9 17:45:35 M-Skynet kernel: </TASK>
Feb  9 17:45:35 M-Skynet kernel: Modules linked in: md_mod macvlan xt_conntrack nf_conntrack_netlink nfnetlink xfrm_user xfrm_algo xt_addrtype iptable_nat br_netfilter xfs xt_MASQUERADE ip6table_nat nf_nat nf_conntrack nf_defrag_ipv6 nf_defrag_ipv4 nct6775 nct6775_core hwmon_vid ip6table_filter ip6_tables iptable_filter ip_tables x_tables bridge stp llc i915 iosf_mbi drm_buddy i2c_algo_bit ttm x86_pkg_temp_thermal drm_display_helper intel_powerclamp coretemp drm_kms_helper kvm_intel kvm crct10dif_pclmul crc32_pclmul crc32c_intel ghash_clmulni_intel aesni_intel crypto_simd intel_wmi_thunderbolt mxm_wmi drm cryptd nvme rapl intel_gtt intel_cstate i2c_i801 agpgart i2c_smbus e1000e ahci syscopyarea sysfillrect intel_uncore nvme_core i2c_core libahci intel_pch_thermal sysimgblt fb_sys_fops video wmi backlight button acpi_pad unix [last unloaded: md_mod]
Feb  9 17:45:35 M-Skynet kernel: CR2: ffffaa000ec3b0b4
Feb  9 17:45:35 M-Skynet kernel: ---[ end trace 0000000000000000 ]---
Feb  9 17:45:35 M-Skynet kernel: RIP: 0010:folio_try_get_rcu+0x0/0x21
Feb  9 17:45:35 M-Skynet kernel: Code: e8 9d fd 67 00 48 8b 84 24 80 00 00 00 65 48 2b 04 25 28 00 00 00 74 05 e8 c1 35 69 00 48 81 c4 88 00 00 00 5b c3 cc cc cc cc <8b> 57 34 85 d2 74 10 8d 4a 01 89 d0 f0 0f b1 4f 34 74 04 89 c2 eb
Feb  9 17:45:35 M-Skynet kernel: RSP: 0018:ffffc9000c2c7c80 EFLAGS: 00010293
Feb  9 17:45:35 M-Skynet kernel: RAX: 0000000000000000 RBX: 0000400000000000 RCX: 0000000000000000
Feb  9 17:45:35 M-Skynet kernel: RDX: ffff888222f3cb68 RSI: ffff888222f3cb68 RDI: 0000400000000000
Feb  9 17:45:35 M-Skynet kernel: RBP: ffffc9000c2c7d70 R08: 0000000000000020 R09: ffffc9000c2c7c88
Feb  9 17:45:35 M-Skynet kernel: R10: ffffc9000c2c7c88 R11: 0000000000000000 R12: 0000000000000040
Feb  9 17:45:35 M-Skynet kernel: R13: 0000000000000027 R14: ffffc9000c2c7ef8 R15: ffff8881068a8200
Feb  9 17:45:35 M-Skynet kernel: FS:  000014937895f740(0000) GS:ffff888856080000(0000) knlGS:0000000000000000
Feb  9 17:45:35 M-Skynet kernel: CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Feb  9 17:45:35 M-Skynet kernel: CR2: ffffaa000ec3b0b4 CR3: 00000001753fe006 CR4: 00000000003706e0
Feb  9 17:45:35 M-Skynet kernel: DR0: 0000000000000000 DR1: 0000000000000000 DR2: 0000000000000000
Feb  9 17:45:35 M-Skynet kernel: DR3: 0000000000000000 DR6: 00000000fffe0ff0 DR7: 0000000000000400
Feb  9 17:45:45 M-Skynet kernel: BUG: unable to handle page fault for address: 0000400000000004
Feb  9 17:45:45 M-Skynet kernel: #PF: supervisor read access in kernel mode
Feb  9 17:45:45 M-Skynet kernel: #PF: error_code(0x0000) - not-present page
Feb  9 17:45:45 M-Skynet kernel: PGD 0 P4D 0
Feb  9 17:45:45 M-Skynet kernel: Oops: 0000 [#4] PREEMPT SMP PTI
Feb  9 17:45:45 M-Skynet kernel: CPU: 7 PID: 30144 Comm: pgrep Tainted: G      D W IO      5.19.17-Unraid #2
Feb  9 17:45:45 M-Skynet kernel: Hardware name: To Be Filled By O.E.M. To Be Filled By O.E.M./Z170 Extreme6+, BIOS P7.20 11/18/2016
Feb  9 17:45:45 M-Skynet kernel: RIP: 0010:pid_nr_ns+0xf/0x2b
Feb  9 17:45:45 M-Skynet kernel: Code: 48 8b 04 d7 48 85 c0 74 0d 48 c1 e6 04 48 29 f0 48 2d 08 05 00 00 c3 cc cc cc cc 0f 1f 44 00 00 31 d2 48 85 ff 74 18 8b 46 40 <39> 47 04 72 10 48 c1 e0 04 48 01 c7 48 39 77 68 75 03 8b 57 60 89
Feb  9 17:45:45 M-Skynet kernel: RSP: 0018:ffffc90000ad7e20 EFLAGS: 00010206
Feb  9 17:45:45 M-Skynet kernel: RAX: 0000000000000000 RBX: 00000000000075c1 RCX: 00000000000075c1
Feb  9 17:45:45 M-Skynet kernel: RDX: 0000000000000000 RSI: ffffffff8223ed40 RDI: 0000400000000000
Feb  9 17:45:45 M-Skynet kernel: RBP: ffffc90000ad7e40 R08: 0000000000000001 R09: ffffc90000ad7da8
Feb  9 17:45:45 M-Skynet kernel: R10: 00000000000075c1 R11: 0000000000000000 R12: 0000400000000000
Feb  9 17:45:45 M-Skynet kernel: R13: ffffffff8223ed40 R14: ffff8881054f7140 R15: ffff8881e639a100
Feb  9 17:45:45 M-Skynet kernel: FS:  000014aff5d3b7c0(0000) GS:ffff8888561c0000(0000) knlGS:0000000000000000
Feb  9 17:45:45 M-Skynet kernel: CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Feb  9 17:45:45 M-Skynet kernel: CR2: 0000400000000004 CR3: 00000008407ce004 CR4: 00000000003706e0
Feb  9 17:45:45 M-Skynet kernel: DR0: 0000000000000000 DR1: 0000000000000000 DR2: 0000000000000000
Feb  9 17:45:45 M-Skynet kernel: DR3: 0000000000000000 DR6: 00000000fffe0ff0 DR7: 0000000000000400
Feb  9 17:45:45 M-Skynet kernel: Call Trace:
Feb  9 17:45:45 M-Skynet kernel: <TASK>
Feb  9 17:45:45 M-Skynet kernel: next_tgid+0x42/0x7b
Feb  9 17:45:45 M-Skynet kernel: proc_pid_readdir+0xf4/0x1aa
Feb  9 17:45:45 M-Skynet kernel: iterate_dir+0x94/0x146
Feb  9 17:45:45 M-Skynet kernel: __do_sys_getdents64+0x6b/0xd8
Feb  9 17:45:45 M-Skynet kernel: ? compat_filldir+0x1b2/0x1b2
Feb  9 17:45:45 M-Skynet kernel: do_syscall_64+0x68/0x81
Feb  9 17:45:45 M-Skynet kernel: entry_SYSCALL_64_after_hwframe+0x63/0xcd
Feb  9 17:45:45 M-Skynet kernel: RIP: 0033:0x14aff5ed36c3
Feb  9 17:45:45 M-Skynet kernel: Code: df 66 0f 1f 44 00 00 48 89 ef e8 08 04 fb ff 4c 89 e0 5b 5d 41 5c c3 b8 ff ff ff 7f 48 39 c2 48 0f 47 d0 b8 d9 00 00 00 0f 05 <48> 3d 00 f0 ff ff 77 05 c3 0f 1f 40 00 48 8b 15 09 f7 10 00 f7 d8
Feb  9 17:45:45 M-Skynet kernel: RSP: 002b:00007fff44236058 EFLAGS: 00000293 ORIG_RAX: 00000000000000d9
Feb  9 17:45:45 M-Skynet kernel: RAX: ffffffffffffffda RBX: 000000000040a8d0 RCX: 000014aff5ed36c3
Feb  9 17:45:45 M-Skynet kernel: RDX: 0000000000008000 RSI: 000000000040a8d0 RDI: 0000000000000007
Feb  9 17:45:45 M-Skynet kernel: RBP: 000000000040a8a4 R08: 0000000000000007 R09: 0000000000412940
Feb  9 17:45:45 M-Skynet kernel: R10: 0000000000000008 R11: 0000000000000293 R12: ffffffffffffff80
Feb  9 17:45:45 M-Skynet kernel: R13: 0000000000000000 R14: 000000000040a8a0 R15: 00007fff44236250
Feb  9 17:45:45 M-Skynet kernel: </TASK>
Feb  9 17:45:45 M-Skynet kernel: Modules linked in: md_mod macvlan xt_conntrack nf_conntrack_netlink nfnetlink xfrm_user xfrm_algo xt_addrtype iptable_nat br_netfilter xfs xt_MASQUERADE ip6table_nat nf_nat nf_conntrack nf_defrag_ipv6 nf_defrag_ipv4 nct6775 nct6775_core hwmon_vid ip6table_filter ip6_tables iptable_filter ip_tables x_tables bridge stp llc i915 iosf_mbi drm_buddy i2c_algo_bit ttm x86_pkg_temp_thermal drm_display_helper intel_powerclamp coretemp drm_kms_helper kvm_intel kvm crct10dif_pclmul crc32_pclmul crc32c_intel ghash_clmulni_intel aesni_intel crypto_simd intel_wmi_thunderbolt mxm_wmi drm cryptd nvme rapl intel_gtt intel_cstate i2c_i801 agpgart i2c_smbus e1000e ahci syscopyarea sysfillrect intel_uncore nvme_core i2c_core libahci intel_pch_thermal sysimgblt fb_sys_fops video wmi backlight button acpi_pad unix [last unloaded: md_mod]
Feb  9 17:45:45 M-Skynet kernel: CR2: 0000400000000004
Feb  9 17:45:45 M-Skynet kernel: ---[ end trace 0000000000000000 ]---
Feb  9 17:45:45 M-Skynet kernel: RIP: 0010:folio_try_get_rcu+0x0/0x21
Feb  9 17:45:45 M-Skynet kernel: Code: e8 9d fd 67 00 48 8b 84 24 80 00 00 00 65 48 2b 04 25 28 00 00 00 74 05 e8 c1 35 69 00 48 81 c4 88 00 00 00 5b c3 cc cc cc cc <8b> 57 34 85 d2 74 10 8d 4a 01 89 d0 f0 0f b1 4f 34 74 04 89 c2 eb
Feb  9 17:45:45 M-Skynet kernel: RSP: 0018:ffffc9000c2c7c80 EFLAGS: 00010293
Feb  9 17:45:45 M-Skynet kernel: RAX: 0000000000000000 RBX: 0000400000000000 RCX: 0000000000000000
Feb  9 17:45:45 M-Skynet kernel: RDX: ffff888222f3cb68 RSI: ffff888222f3cb68 RDI: 0000400000000000
Feb  9 17:45:45 M-Skynet kernel: RBP: ffffc9000c2c7d70 R08: 0000000000000020 R09: ffffc9000c2c7c88
Feb  9 17:45:45 M-Skynet kernel: R10: ffffc9000c2c7c88 R11: 0000000000000000 R12: 0000000000000040
Feb  9 17:45:45 M-Skynet kernel: R13: 0000000000000027 R14: ffffc9000c2c7ef8 R15: ffff8881068a8200
Feb  9 17:45:45 M-Skynet kernel: FS:  000014aff5d3b7c0(0000) GS:ffff8888561c0000(0000) knlGS:0000000000000000
Feb  9 17:45:45 M-Skynet kernel: CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Feb  9 17:45:45 M-Skynet kernel: CR2: 0000400000000004 CR3: 00000008407ce004 CR4: 00000000003706e0
Feb  9 17:45:45 M-Skynet kernel: DR0: 0000000000000000 DR1: 0000000000000000 DR2: 0000000000000000
Feb  9 17:45:45 M-Skynet kernel: DR3: 0000000000000000 DR6: 00000000fffe0ff0 DR7: 0000000000000400
Feb  9 17:45:45 M-Skynet kernel: ------------[ cut here ]------------
Feb  9 17:45:45 M-Skynet kernel: WARNING: CPU: 2 PID: 16792 at lib/radix-tree.c:570 delete_node+0x11b/0x170
Feb  9 17:45:45 M-Skynet kernel: Modules linked in: md_mod macvlan xt_conntrack nf_conntrack_netlink nfnetlink xfrm_user xfrm_algo xt_addrtype iptable_nat br_netfilter xfs xt_MASQUERADE ip6table_nat nf_nat nf_conntrack nf_defrag_ipv6 nf_defrag_ipv4 nct6775 nct6775_core hwmon_vid ip6table_filter ip6_tables iptable_filter ip_tables x_tables bridge stp llc i915 iosf_mbi drm_buddy i2c_algo_bit ttm x86_pkg_temp_thermal drm_display_helper intel_powerclamp coretemp drm_kms_helper kvm_intel kvm crct10dif_pclmul crc32_pclmul crc32c_intel ghash_clmulni_intel aesni_intel crypto_simd intel_wmi_thunderbolt mxm_wmi drm cryptd nvme rapl intel_gtt intel_cstate i2c_i801 agpgart i2c_smbus e1000e ahci syscopyarea sysfillrect intel_uncore nvme_core i2c_core libahci intel_pch_thermal sysimgblt fb_sys_fops video wmi backlight button acpi_pad unix [last unloaded: md_mod]
Feb  9 17:45:45 M-Skynet kernel: CPU: 2 PID: 16792 Comm: parity_list Tainted: G      D W IO      5.19.17-Unraid #2
Feb  9 17:45:45 M-Skynet kernel: Hardware name: To Be Filled By O.E.M. To Be Filled By O.E.M./Z170 Extreme6+, BIOS P7.20 11/18/2016
Feb  9 17:45:45 M-Skynet kernel: RIP: 0010:delete_node+0x11b/0x170
Feb  9 17:45:45 M-Skynet kernel: Code: ff ff 09 cd eb 70 48 8b 6e 08 48 8d 7e 18 48 85 ed 74 1b 0f b6 46 01 31 d2 48 89 54 c5 28 fe 4d 02 48 8b 46 18 48 39 c7 74 35 <0f> 0b eb 31 8b 43 04 a8 04 75 08 25 ff ff ff 07 89 43 04 31 c0 48
Feb  9 17:45:45 M-Skynet kernel: RSP: 0018:ffffc90007707c30 EFLAGS: 00010087
Feb  9 17:45:45 M-Skynet kernel: RAX: ffffc88222f3e6e0 RBX: ffffffff8223ed40 RCX: ffff8881b8b89918
Feb  9 17:45:45 M-Skynet kernel: RDX: 0000000000000000 RSI: ffff888222f3e6c8 RDI: ffff888222f3e6e0
Feb  9 17:45:45 M-Skynet kernel: RBP: ffff8881b8b89918 R08: ffffc90007707c88 R09: ffffc90007707c80
Feb  9 17:45:45 M-Skynet kernel: R10: 00000000000075c0 R11: ffff888222f3e6f0 R12: ffffffff8223ed40
Feb  9 17:45:45 M-Skynet kernel: R13: ffff888222f3e6f0 R14: 0000000000000000 R15: 0000000000000000
Feb  9 17:45:45 M-Skynet kernel: FS:  000014c038258380(0000) GS:ffff888856080000(0000) knlGS:0000000000000000
Feb  9 17:45:45 M-Skynet kernel: CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Feb  9 17:45:45 M-Skynet kernel: CR2: 00001479943ca820 CR3: 00000001e4be6001 CR4: 00000000003706e0
Feb  9 17:45:45 M-Skynet kernel: DR0: 0000000000000000 DR1: 0000000000000000 DR2: 0000000000000000
Feb  9 17:45:45 M-Skynet kernel: DR3: 0000000000000000 DR6: 00000000fffe0ff0 DR7: 0000000000000400
Feb  9 17:45:45 M-Skynet kernel: Call Trace:
Feb  9 17:45:45 M-Skynet kernel: <TASK>
Feb  9 17:45:45 M-Skynet kernel: __radix_tree_delete+0xbe/0xd3
Feb  9 17:45:45 M-Skynet kernel: radix_tree_delete_item+0x9a/0xbf
Feb  9 17:45:45 M-Skynet kernel: free_pid+0x77/0xa6
Feb  9 17:45:45 M-Skynet kernel: release_task+0x226/0x3e5
Feb  9 17:45:45 M-Skynet kernel: wait_consider_task+0x4bf/0x758
Feb  9 17:45:45 M-Skynet kernel: do_wait+0x137/0x2d8
Feb  9 17:45:45 M-Skynet kernel: kernel_wait4+0xbf/0x116
Feb  9 17:45:45 M-Skynet kernel: ? delayed_put_task_struct+0x67/0x67
Feb  9 17:45:45 M-Skynet kernel: __do_sys_wait4+0x37/0x8a
Feb  9 17:45:45 M-Skynet kernel: ? fpregs_assert_state_consistent+0x1d/0x41
Feb  9 17:45:45 M-Skynet kernel: ? exit_to_user_mode_prepare+0xd3/0x10d
Feb  9 17:45:45 M-Skynet kernel: do_syscall_64+0x68/0x81
Feb  9 17:45:45 M-Skynet kernel: entry_SYSCALL_64_after_hwframe+0x63/0xcd
Feb  9 17:45:45 M-Skynet kernel: RIP: 0033:0x14c03ae77ff3
Feb  9 17:45:45 M-Skynet kernel: Code: ff ff ff ff e9 0e 00 00 00 66 2e 0f 1f 84 00 00 00 00 00 0f 1f 40 00 80 3d f1 45 11 00 00 49 89 ca 74 14 b8 3d 00 00 00 0f 05 <48> 3d 00 f0 ff ff 77 5d c3 0f 1f 40 00 48 83 ec 28 89 54 24 14 48
Feb  9 17:45:45 M-Skynet kernel: RSP: 002b:00007ffe8c83cb68 EFLAGS: 00000202 ORIG_RAX: 000000000000003d
Feb  9 17:45:45 M-Skynet kernel: RAX: ffffffffffffffda RBX: 000014c038258380 RCX: 000014c03ae77ff3
Feb  9 17:45:45 M-Skynet kernel: RDX: 0000000000000000 RSI: 00007ffe8c83cb7c RDI: 00000000000075c0
Feb  9 17:45:45 M-Skynet kernel: RBP: 00000000015d8840 R08: 0000000000000001 R09: 0000000000000065
Feb  9 17:45:45 M-Skynet kernel: R10: 0000000000000000 R11: 0000000000000202 R12: 00007ffe8c83cb80
Feb  9 17:45:45 M-Skynet kernel: R13: 00007ffe8c83cb7c R14: 0000000000000000 R15: 0000000000000001
Feb  9 17:45:45 M-Skynet kernel: </TASK>
Feb  9 17:45:45 M-Skynet kernel: ---[ end trace 0000000000000000 ]---
Feb  9 17:46:26 M-Skynet kernel: BUG: unable to handle page fault for address: 0000400000000004
Feb  9 17:46:26 M-Skynet kernel: #PF: supervisor read access in kernel mode
Feb  9 17:46:26 M-Skynet kernel: #PF: error_code(0x0000) - not-present page
Feb  9 17:46:26 M-Skynet kernel: PGD 0 P4D 0
Feb  9 17:46:26 M-Skynet kernel: Oops: 0000 [#5] PREEMPT SMP PTI
Feb  9 17:46:26 M-Skynet kernel: CPU: 7 PID: 31246 Comm: pgrep Tainted: G      D W IO      5.19.17-Unraid #2
Feb  9 17:46:26 M-Skynet kernel: Hardware name: To Be Filled By O.E.M. To Be Filled By O.E.M./Z170 Extreme6+, BIOS P7.20 11/18/2016
Feb  9 17:46:26 M-Skynet kernel: RIP: 0010:pid_nr_ns+0xf/0x2b
Feb  9 17:46:26 M-Skynet kernel: Code: 48 8b 04 d7 48 85 c0 74 0d 48 c1 e6 04 48 29 f0 48 2d 08 05 00 00 c3 cc cc cc cc 0f 1f 44 00 00 31 d2 48 85 ff 74 18 8b 46 40 <39> 47 04 72 10 48 c1 e0 04 48 01 c7 48 39 77 68 75 03 8b 57 60 89
Feb  9 17:46:26 M-Skynet kernel: RSP: 0018:ffffc90000817e20 EFLAGS: 00010206
Feb  9 17:46:26 M-Skynet kernel: RAX: 0000000000000000 RBX: 00000000000079ec RCX: 0000000000007a0c
Feb  9 17:46:26 M-Skynet kernel: RDX: 0000000000000000 RSI: ffffffff8223ed40 RDI: 0000400000000000
Feb  9 17:46:26 M-Skynet kernel: RBP: ffffc90000817e40 R08: 000000000000000c R09: ffffc90000817da8
Feb  9 17:46:26 M-Skynet kernel: R10: 0000000000007a0c R11: 0000000000000000 R12: 0000400000000000
Feb  9 17:46:26 M-Skynet kernel: R13: ffffffff8223ed40 R14: ffff8881054f7140 R15: ffff888188844500
Feb  9 17:46:26 M-Skynet kernel: FS:  00001475b9b9d7c0(0000) GS:ffff8888561c0000(0000) knlGS:0000000000000000
Feb  9 17:46:26 M-Skynet kernel: CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Feb  9 17:46:26 M-Skynet kernel: CR2: 0000400000000004 CR3: 00000003aefce004 CR4: 00000000003706e0
Feb  9 17:46:26 M-Skynet kernel: DR0: 0000000000000000 DR1: 0000000000000000 DR2: 0000000000000000
Feb  9 17:46:26 M-Skynet kernel: DR3: 0000000000000000 DR6: 00000000fffe0ff0 DR7: 0000000000000400
Feb  9 17:46:26 M-Skynet kernel: Call Trace:
Feb  9 17:46:26 M-Skynet kernel: <TASK>
Feb  9 17:46:26 M-Skynet kernel: next_tgid+0x42/0x7b
Feb  9 17:46:26 M-Skynet kernel: proc_pid_readdir+0xf4/0x1aa
Feb  9 17:46:26 M-Skynet kernel: iterate_dir+0x94/0x146
Feb  9 17:46:26 M-Skynet kernel: __do_sys_getdents64+0x6b/0xd8
Feb  9 17:46:26 M-Skynet kernel: ? compat_filldir+0x1b2/0x1b2
Feb  9 17:46:26 M-Skynet kernel: do_syscall_64+0x68/0x81
Feb  9 17:46:26 M-Skynet kernel: entry_SYSCALL_64_after_hwframe+0x63/0xcd
Feb  9 17:46:26 M-Skynet kernel: RIP: 0033:0x1475b9d356c3
Feb  9 17:46:26 M-Skynet kernel: Code: df 66 0f 1f 44 00 00 48 89 ef e8 08 04 fb ff 4c 89 e0 5b 5d 41 5c c3 b8 ff ff ff 7f 48 39 c2 48 0f 47 d0 b8 d9 00 00 00 0f 05 <48> 3d 00 f0 ff ff 77 05 c3 0f 1f 40 00 48 8b 15 09 f7 10 00 f7 d8
Feb  9 17:46:26 M-Skynet kernel: RSP: 002b:00007ffc939af248 EFLAGS: 00000293 ORIG_RAX: 00000000000000d9
Feb  9 17:46:26 M-Skynet kernel: RAX: ffffffffffffffda RBX: 000000000040a8d0 RCX: 00001475b9d356c3
Feb  9 17:46:26 M-Skynet kernel: RDX: 0000000000008000 RSI: 000000000040a8d0 RDI: 0000000000000007
Feb  9 17:46:26 M-Skynet kernel: RBP: 000000000040a8a4 R08: 0000000000000007 R09: 0000000000412940
Feb  9 17:46:26 M-Skynet kernel: R10: 0000000000000008 R11: 0000000000000293 R12: ffffffffffffff80
Feb  9 17:46:26 M-Skynet kernel: R13: 0000000000000000 R14: 000000000040a8a0 R15: 00007ffc939af440
Feb  9 17:46:26 M-Skynet kernel: </TASK>
Feb  9 17:46:26 M-Skynet kernel: Modules linked in: md_mod macvlan xt_conntrack nf_conntrack_netlink nfnetlink xfrm_user xfrm_algo xt_addrtype iptable_nat br_netfilter xfs xt_MASQUERADE ip6table_nat nf_nat nf_conntrack nf_defrag_ipv6 nf_defrag_ipv4 nct6775 nct6775_core hwmon_vid ip6table_filter ip6_tables iptable_filter ip_tables x_tables bridge stp llc i915 iosf_mbi drm_buddy i2c_algo_bit ttm x86_pkg_temp_thermal drm_display_helper intel_powerclamp coretemp drm_kms_helper kvm_intel kvm crct10dif_pclmul crc32_pclmul crc32c_intel ghash_clmulni_intel aesni_intel crypto_simd intel_wmi_thunderbolt mxm_wmi drm cryptd nvme rapl intel_gtt intel_cstate i2c_i801 agpgart i2c_smbus e1000e ahci syscopyarea sysfillrect intel_uncore nvme_core i2c_core libahci intel_pch_thermal sysimgblt fb_sys_fops video wmi backlight button acpi_pad unix [last unloaded: md_mod]
Feb  9 17:46:26 M-Skynet kernel: CR2: 0000400000000004
Feb  9 17:46:26 M-Skynet kernel: ---[ end trace 0000000000000000 ]---
Feb  9 17:46:26 M-Skynet kernel: RIP: 0010:folio_try_get_rcu+0x0/0x21
Feb  9 17:46:26 M-Skynet kernel: Code: e8 9d fd 67 00 48 8b 84 24 80 00 00 00 65 48 2b 04 25 28 00 00 00 74 05 e8 c1 35 69 00 48 81 c4 88 00 00 00 5b c3 cc cc cc cc <8b> 57 34 85 d2 74 10 8d 4a 01 89 d0 f0 0f b1 4f 34 74 04 89 c2 eb
Feb  9 17:46:26 M-Skynet kernel: RSP: 0018:ffffc9000c2c7c80 EFLAGS: 00010293
Feb  9 17:46:26 M-Skynet kernel: RAX: 0000000000000000 RBX: 0000400000000000 RCX: 0000000000000000
Feb  9 17:46:26 M-Skynet kernel: RDX: ffff888222f3cb68 RSI: ffff888222f3cb68 RDI: 0000400000000000
Feb  9 17:46:26 M-Skynet kernel: RBP: ffffc9000c2c7d70 R08: 0000000000000020 R09: ffffc9000c2c7c88
Feb  9 17:46:26 M-Skynet kernel: R10: ffffc9000c2c7c88 R11: 0000000000000000 R12: 0000000000000040
Feb  9 17:46:26 M-Skynet kernel: R13: 0000000000000027 R14: ffffc9000c2c7ef8 R15: ffff8881068a8200
Feb  9 17:46:26 M-Skynet kernel: FS:  00001475b9b9d7c0(0000) GS:ffff8888561c0000(0000) knlGS:0000000000000000
Feb  9 17:46:26 M-Skynet kernel: CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Feb  9 17:46:26 M-Skynet kernel: CR2: 0000400000000004 CR3: 00000003aefce004 CR4: 00000000003706e0
Feb  9 17:46:26 M-Skynet kernel: DR0: 0000000000000000 DR1: 0000000000000000 DR2: 0000000000000000
Feb  9 17:46:26 M-Skynet kernel: DR3: 0000000000000000 DR6: 00000000fffe0ff0 DR7: 0000000000000400
Feb  9 17:46:40 M-Skynet kernel: BUG: unable to handle page fault for address: 0000400000000004
Feb  9 17:46:40 M-Skynet kernel: #PF: supervisor read access in kernel mode
Feb  9 17:46:40 M-Skynet kernel: #PF: error_code(0x0000) - not-present page
Feb  9 17:46:40 M-Skynet kernel: PGD 0 P4D 0
Feb  9 17:46:40 M-Skynet kernel: Oops: 0000 [#6] PREEMPT SMP PTI
Feb  9 17:46:40 M-Skynet kernel: CPU: 3 PID: 31562 Comm: pgrep Tainted: G      D W IO      5.19.17-Unraid #2
Feb  9 17:46:40 M-Skynet kernel: Hardware name: To Be Filled By O.E.M. To Be Filled By O.E.M./Z170 Extreme6+, BIOS P7.20 11/18/2016
Feb  9 17:46:40 M-Skynet kernel: RIP: 0010:pid_nr_ns+0xf/0x2b
Feb  9 17:46:40 M-Skynet kernel: Code: 48 8b 04 d7 48 85 c0 74 0d 48 c1 e6 04 48 29 f0 48 2d 08 05 00 00 c3 cc cc cc cc 0f 1f 44 00 00 31 d2 48 85 ff 74 18 8b 46 40 <39> 47 04 72 10 48 c1 e0 04 48 01 c7 48 39 77 68 75 03 8b 57 60 89
Feb  9 17:46:40 M-Skynet kernel: RSP: 0018:ffffc90000c77e20 EFLAGS: 00010206
Feb  9 17:46:40 M-Skynet kernel: RAX: 0000000000000000 RBX: 0000000000007b4b RCX: 0000000000007b58
Feb  9 17:46:40 M-Skynet kernel: RDX: 0000000000000000 RSI: ffffffff8223ed40 RDI: 0000400000000000
Feb  9 17:46:40 M-Skynet kernel: RBP: ffffc90000c77e40 R08: 0000000000000018 R09: ffffc90000c77da8
Feb  9 17:46:40 M-Skynet kernel: R10: 0000000000007b58 R11: 0000000000000000 R12: 0000400000000000
Feb  9 17:46:40 M-Skynet kernel: R13: ffffffff8223ed40 R14: ffff8881054f7140 R15: ffff888102247d00
Feb  9 17:46:40 M-Skynet kernel: FS:  00001465bcd2b7c0(0000) GS:ffff8888560c0000(0000) knlGS:0000000000000000
Feb  9 17:46:40 M-Skynet kernel: CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Feb  9 17:46:40 M-Skynet kernel: CR2: 0000400000000004 CR3: 00000003aefc6004 CR4: 00000000003706e0
Feb  9 17:46:40 M-Skynet kernel: DR0: 0000000000000000 DR1: 0000000000000000 DR2: 0000000000000000
Feb  9 17:46:40 M-Skynet kernel: DR3: 0000000000000000 DR6: 00000000fffe0ff0 DR7: 0000000000000400
Feb  9 17:46:40 M-Skynet kernel: Call Trace:
Feb  9 17:46:40 M-Skynet kernel: <TASK>
Feb  9 17:46:40 M-Skynet kernel: next_tgid+0x42/0x7b
Feb  9 17:46:40 M-Skynet kernel: proc_pid_readdir+0xf4/0x1aa
Feb  9 17:46:40 M-Skynet kernel: iterate_dir+0x94/0x146
Feb  9 17:46:40 M-Skynet kernel: __do_sys_getdents64+0x6b/0xd8
Feb  9 17:46:40 M-Skynet kernel: ? compat_filldir+0x1b2/0x1b2
Feb  9 17:46:40 M-Skynet kernel: do_syscall_64+0x68/0x81
Feb  9 17:46:40 M-Skynet kernel: entry_SYSCALL_64_after_hwframe+0x63/0xcd
Feb  9 17:46:40 M-Skynet kernel: RIP: 0033:0x1465bcec36c3
Feb  9 17:46:40 M-Skynet kernel: Code: df 66 0f 1f 44 00 00 48 89 ef e8 08 04 fb ff 4c 89 e0 5b 5d 41 5c c3 b8 ff ff ff 7f 48 39 c2 48 0f 47 d0 b8 d9 00 00 00 0f 05 <48> 3d 00 f0 ff ff 77 05 c3 0f 1f 40 00 48 8b 15 09 f7 10 00 f7 d8
Feb  9 17:46:40 M-Skynet kernel: RSP: 002b:00007ffddbfacfb8 EFLAGS: 00000293 ORIG_RAX: 00000000000000d9
Feb  9 17:46:40 M-Skynet kernel: RAX: ffffffffffffffda RBX: 000000000040a8d0 RCX: 00001465bcec36c3
Feb  9 17:46:40 M-Skynet kernel: RDX: 0000000000008000 RSI: 000000000040a8d0 RDI: 0000000000000007
Feb  9 17:46:40 M-Skynet kernel: RBP: 000000000040a8a4 R08: 0000000000000007 R09: 0000000000412940
Feb  9 17:46:40 M-Skynet kernel: R10: 0000000000000008 R11: 0000000000000293 R12: ffffffffffffff80
Feb  9 17:46:40 M-Skynet kernel: R13: 0000000000000000 R14: 000000000040a8a0 R15: 00007ffddbfad1b0
Feb  9 17:46:40 M-Skynet kernel: </TASK>
Feb  9 17:46:40 M-Skynet kernel: Modules linked in: md_mod macvlan xt_conntrack nf_conntrack_netlink nfnetlink xfrm_user xfrm_algo xt_addrtype iptable_nat br_netfilter xfs xt_MASQUERADE ip6table_nat nf_nat nf_conntrack nf_defrag_ipv6 nf_defrag_ipv4 nct6775 nct6775_core hwmon_vid ip6table_filter ip6_tables iptable_filter ip_tables x_tables bridge stp llc i915 iosf_mbi drm_buddy i2c_algo_bit ttm x86_pkg_temp_thermal drm_display_helper intel_powerclamp coretemp drm_kms_helper kvm_intel kvm crct10dif_pclmul crc32_pclmul crc32c_intel ghash_clmulni_intel aesni_intel crypto_simd intel_wmi_thunderbolt mxm_wmi drm cryptd nvme rapl intel_gtt intel_cstate i2c_i801 agpgart i2c_smbus e1000e ahci syscopyarea sysfillrect intel_uncore nvme_core i2c_core libahci intel_pch_thermal sysimgblt fb_sys_fops video wmi backlight button acpi_pad unix [last unloaded: md_mod]
Feb  9 17:46:40 M-Skynet kernel: CR2: 0000400000000004
Feb  9 17:46:40 M-Skynet kernel: ---[ end trace 0000000000000000 ]---
Feb  9 17:46:40 M-Skynet kernel: RIP: 0010:folio_try_get_rcu+0x0/0x21
Feb  9 17:46:40 M-Skynet kernel: Code: e8 9d fd 67 00 48 8b 84 24 80 00 00 00 65 48 2b 04 25 28 00 00 00 74 05 e8 c1 35 69 00 48 81 c4 88 00 00 00 5b c3 cc cc cc cc <8b> 57 34 85 d2 74 10 8d 4a 01 89 d0 f0 0f b1 4f 34 74 04 89 c2 eb
Feb  9 17:46:40 M-Skynet kernel: RSP: 0018:ffffc9000c2c7c80 EFLAGS: 00010293
Feb  9 17:46:40 M-Skynet kernel: RAX: 0000000000000000 RBX: 0000400000000000 RCX: 0000000000000000
Feb  9 17:46:40 M-Skynet kernel: RDX: ffff888222f3cb68 RSI: ffff888222f3cb68 RDI: 0000400000000000
Feb  9 17:46:40 M-Skynet kernel: RBP: ffffc9000c2c7d70 R08: 0000000000000020 R09: ffffc9000c2c7c88
Feb  9 17:46:40 M-Skynet kernel: R10: ffffc9000c2c7c88 R11: 0000000000000000 R12: 0000000000000040
Feb  9 17:46:40 M-Skynet kernel: R13: 0000000000000027 R14: ffffc9000c2c7ef8 R15: ffff8881068a8200
Feb  9 17:46:40 M-Skynet kernel: FS:  00001465bcd2b7c0(0000) GS:ffff8888560c0000(0000) knlGS:0000000000000000
Feb  9 17:46:40 M-Skynet kernel: CS:  0010 DS: 0000 ES: 0000 CR0: 0000000080050033
Feb  9 17:46:40 M-Skynet kernel: CR2: 0000400000000004 CR3: 00000003aefc6004 CR4: 00000000003706e0
Feb  9 17:46:40 M-Skynet kernel: DR0: 0000000000000000 DR1: 0000000000000000 DR2: 0000000000000000
Feb  9 17:46:40 M-Skynet kernel: DR3: 0000000000000000 DR6: 00000000fffe0ff0 DR7: 0000000000000400

 

Wie könnte man am besten vorgehen um CPU, Mainboard und RAM zu testen?

RAM Riegel (BJ Ende 2021 ) könnte ich vom PC verwenden (muss ich zuerst die Kompatibilität prüfen), CPU und Board geht leider nicht da AMD und Intel.

 

Könnte man die Spannungswerte im BIOS auslesen?

Die werden vermutlich ohne Last nichts aussagekräftiges anzeigen vermute ich mal?

 

Edit 1: der RAM ist tatsächlich von Juni 2022 (dachte ich hätte diesen mit dem vom PC getauscht)

 

 

Gruß NZL und danke für Eure Zeit

Edited February 9, 2023 by NZL
Rechtschreibfehler; Edit 1

[mgutt]

Was hast du für Board, RAM und CPU? Ich vermute nach wie vor den RAM.

[NZL]

16 hours ago, mgutt said:

Was hast du für Board, RAM und CPU? Ich vermute nach wie vor den RAM.

Mainboard: AS Rock Z170 Extreme 6+ (asrock.com)

CPU: Intel® Core i7-6700K (intel.de)

RAM: G.Skill DIMM 32 GB DDR4-2133 Kit (gskill.com)

 

Meinst du es könnte daran liegen das der RAM im Dual läuft, wäre da ein Quad-Kit besser?

Ansonsten hätte ich die Möglichkeit die Riegel mit den älteren vom PC zu tauschen und zu testen.

Ich probiere gleich mal die beiden anderen Slots aus.

 

Edit 1: das müssten die vom PC sein (Quad-Kit) (gskill.com)

 

Edit 2: wenn ich die Mainboarbeschreibung (Seite 19) richtig verstehe sollte "Populated" bevorzugt werden und somit im Dual Channel quasi Slot A2 und Slot B2 unter Priorität 1 laufen, so hatte die die Speicherriegel auch eingebaut

Spoiler

 

Nach dem Wechsel auf Slot A1 und B1 war die aktuelle Übertragung vom Backup um ca. 8GB weiter bis zum Abbruch.

Was komisch ist, sonst war der Abbruch immer bei etwa 30GB diesmal bei 38GB Datenübertragung.

 

Unraid nutzt ja soweit ich weiß Caching über RAM, könnte es sein das der RAM hier "vollläuft" und somit erschöpft wird und einfach stecken bleibt? Bevor ich in Unraid irgendwas anklicke scheinen immerhin noch die Auslastungswerte übertragen zu werden (diese schwanken zumindest noch, siehe Bild).

Spoiler

 

 

Edit 3: scheinbar hängt sich Unraid diesmal nicht auf, die Übertragung mittels MC bleibt einfach stehen

 

 

Edited February 10, 2023 by NZL
Edit 1; Edit 2; Edit 3; Edit 3 weg; Rechtschreibfehler

[mgutt]

13 hours ago, NZL said:

Meinst du es könnte daran liegen das der RAM im Dual läuft, wäre da ein Quad-Kit besser?

 

Nein. Im Gegenteil. Für Tests, würde ich eher mit nur einem Modul testen. Einmal das eine und einmals das andere.

 

13 hours ago, NZL said:

Unraid nutzt ja soweit ich weiß Caching über RAM, könnte es sein das der RAM hier "vollläuft" und somit erschöpft wird und einfach stecken bleibt?

Das hat nichts mit Unraid zu tun, sondern ist eine Standardfunktion von Linux. Und da läuft nichts voll in dem Sinne. Jeglicher RAM, der fürs Caching verwendet wird, ist zu 100% frei für alle anderen Prozesse. Das Caching nutzt also nur freien RAM und blockiert diesen nicht.

 

13 hours ago, NZL said:

Nach dem Wechsel auf Slot A1 und B1 war die aktuelle Übertragung vom Backup um ca. 8GB weiter bis zum Abbruch.

 

Ich muss mal blöd fragen. Aber du bist sicher, dass du die Dateien auf einen Datenträger schreibst und nicht versehentlich in den RAM oder gar auf den USB-Stick? Also der RAM bleibt laut Dashboard immer frei und der Share ist auch keine selbst gebastelte SMB Extra Config, sondern ganz normal von Unraid über die Share-Seite freigegeben?

[NZL]

2 hours ago, mgutt said:

Nein. Im Gegenteil. Für Tests, würde ich eher mit nur einem Modul testen. Einmal das eine und einmals das andere.

Okay ich teste die RAM Riegel mal einzeln. Ergebnisse folgen demnächst als Edit.

Vom letzten Absturz konnte ich leider keine Syslog auslesen, es kam die Meldung die Datei sei zu groß (2,5GB).

Habe sie dennoch gesichert, falls man die doch irgendwie auslesen kann. Habe noch nicht probiert sie zu downloaden und manuell zu öffnen.

 

2 hours ago, mgutt said:

Das hat nichts mit Unraid zu tun, sondern ist eine Standardfunktion von Linux. Und da läuft nichts voll in dem Sinne. Jeglicher RAM, der fürs Caching verwendet wird, ist zu 100% frei für alle anderen Prozesse. Das Caching nutzt also nur freien RAM und blockiert diesen nicht.

Okay danke das ist gut zu wissen, dann stimmt auch die Anzeige.

 

2 hours ago, mgutt said:

Ich muss mal blöd fragen. Aber du bist sicher, dass du die Dateien auf einen Datenträger schreibst und nicht versehentlich in den RAM oder gar auf den USB-Stick? Also der RAM bleibt laut Dashboard immer frei und der Share ist auch keine selbst gebastelte SMB Extra Config, sondern ganz normal von Unraid über die Share-Seite freigegeben?

Der Share ist ein normaler Share von Unraid auf eine Disk im Array.

Zum testen mache ich es über Midnight Commander indem ich die NVME mit "mount -o rescue=all,ro /dev/nvme0n1p1 /tempnvme" mounte und dann direkt in einen neuen Ordner auf disk2 im Array kopiere.

 

 

Edit 1: beim testen des ersten RAM Riegel liegt die CPU Auslastung bei ca. 30-50%. Kurz bevor der Server Abstürtzt ist eine CPU Auslastung von beinahe 100% zu sehen und die Verbindung ist weg. Auch hier wurden in etwa wieder 28-32 GB an Daten übertragen.

Spoiler

 

Der Test mit dem zweiten RAM Riegel läuft aktuell noch durch und ist bisher tatsächlich weiter als alle tests zuvor.

Ich bin aktuell bei 42 GB und melde mich nochmal zurück, wenn der Test durch ist oder der Server abgebrochen hat.

Spoiler

 

syslog RAM Riegel 1

Edited February 11, 2023 by NZL

[mgutt]

21 minutes ago, NZL said:

Syslog auslesen, es kam die Meldung die Datei sei zu groß (2,5GB)

Die ist viel zu groß. Da scheint irgendwas massig Fehler zu produzieren. Mach

cp /var/log/syslog /mnt/cache/isos/

und lade sie dir vom Cache runter.

 

32 minutes ago, NZL said:

Zum testen mache ich es über Midnight Commander indem ich die NVME mit "mount -o rescue=all,ro /dev/nvme0n1p1 /tempnvme" mounte und dann direkt in einen neuen Ordner auf disk2 im Array kopiere.

Also du bastelst dir einen eigenen Mount und dann schmiert dir beim Kopieren was ab? Passiert das überhaupt bei normaler Nutzung? Warum mountest du von Hand statt mit dem UD Plugin?

[NZL]

3 minutes ago, mgutt said:

Die ist viel zu groß. Da scheint irgendwas massig Fehler zu produzieren. Mach

cp /var/log/syslog /mnt/cache/isos/

und lade sie dir vom Cache runter.

Die Cache Platte hat noch den Fehler mit dem Dateisystem.

Von dieser möchte ich zwecks Neuformatierung ein Backup erstellen, was bisher noch nicht funktioniert hat (also noch defekt).

Zerschossen hab ich mir das Dateisystem beim erstellen von Backups.

 

3 minutes ago, mgutt said:

Also du bastelst dir einen eigenen Mount und dann schmiert dir beim Kopieren was ab? Passiert das überhaupt bei normaler Nutzung? Warum mountest du von Hand statt mit dem UD Plugin?

Beim Problem mit dem Dateisystem hatte ich dies in der Anleitung von JorgeB gelesen.

Definiere "normale Nutzung", ich hatte schon Probleme beim installieren von Docker Container wo ich im nachhinein eventuell das gleiche Problem wie mit den Backups vermute.

Ansonsten hatte ich solche Abstürtze eigentlich noch nicht bewusst.

 

Ich weiß nicht wie hier im Forum mit Doppelposts umgegangen wird, darum mach ich häufig so viele Edits die eventuell übersehen werden.

Nur als kurze Anmerkung falls dir es nicht aufgefallen ist, kurz vor deiner neuen Antwort hatte ich meine letzte Antwort editiert.

 

Aktuell ist der Test mit dem zweiten RAM Riegel bei 63GB, vermutlich ist der andere tatsächlich defekt oder beschädigt.

[NZL]

@mgutt RAM Riegel zwei hat keine Probleme gemacht und läuft einzeln wunderbar durch.

Habe bisher alle Dateien erfolgreich kopieren können.

Dann werd ich wohl erstmal Kontakt mit dem Händler aufnehmen und dann noch mit GSkill.

Getestet habe ich beide Riegel im selbsten Mainboard Slot.

 

 

Vielen lieben Dank für Deine kostbare Zeit !

Ich wünsche ein schönes Wochenende.

[mgutt]

8 hours ago, NZL said:

beim testen des ersten RAM Riegel liegt die CPU Auslastung bei ca. 30-50%. Kurz bevor der Server Abstürtzt

Du könntest jetzt noch mal mit dem defekten Riegel im memtest Modus neu starten. Dann sollte das dabei auch auffallen.  Könnte man auch noch mal ein Foto für den Händler machen 

[NZL]

1 hour ago, mgutt said:

Du könntest jetzt noch mal mit dem defekten Riegel im memtest Modus neu starten. Dann sollte das dabei auch auffallen.  Könnte man auch noch mal ein Foto für den Händler machen 

Okay danke dir, das werde ich dann die Tage noch machen. Aktuell läuft noch eine Paritätsprüfung durch.