bastl

Members
 View Profile  See their activity

  • Posts

    1235

  • Joined

  • Last visited

  • Days Won

    3

bastl last won the day on May 1 2020

bastl had the most liked content!

5 Followers

Recent Profile Visitors

The recent visitors block is disabled and is not being shown to other users.

bastl's Achievements

Collaborator

Collaborator (7/14)

200

Reputation

  1. bastl
    Hab jetzt mal folgendes getestet. Aus dem zu sichernden Nextcloud Ordner hab ich ne Video Datei in den test Ordner kopiert. Desweiteren werden nur ein paar Docker Config Ordner gesichert um die tests zu beschleunigen. Hab dann einige Backups nacheinander erstellt ohne was zu ändern. Wie gehabt, bis auf die Datei "virtio.iso" werden scheinbar alle Dateien erneut übertragen. Dauert auch jedesmal identisch lang. Hab nun die Berechtigungen der Videodatei auf 777 gesetzt und siehe da, Backup is ruckzuck durch und die Datei zählt bei Links hoch. Und siehe da, "du" gibt diesmal auch Werte aus, die Sinn machen. Die 1,8MB sind sicherlich die paar Appdata Files, die erneut gesichert werden. So und nune? 😂
  2. bastl
    Ich habe das log File "/tmp/user.scripts/tmpScripts/rsyncIncrementalBackup/log.txt" mal grob nach "error", "auth", "authentication", "privilege" durchsucht. Hatte die Datei schonmal gelöscht, aktuell 72MB und fast 900k Zeilen, da wird es schwer den Überblick zu behalten. Treffer sind dann aber nur bei Dateien oder Ordner die so benannt sind. In den Zusammenfassungen nach jedem Pfad beinhalten auch keine Fehlermeldungen. Ja. Und hier nochmal zum Vergleich die Berechtigungen im eigentlichen appdata Verzeichnis, was ich als root nach "test" kopiert hatte.
  3. bastl
    Das war doch schon der Fall, ganz zu Beginn. Alles in einen Ordner zu sichern hatte ich nur bei den letzten Tests getan, sry my bad falls das vielleicht verwirrend war, ändert aber nichts an der Sachlage. Gleiches Bild zeigt sich wie folgt: Hier jetzt nochmal verdeutlicht, was ich gerade teste. Folgende 4 Ordner sollen gesichert werden. Eindeutig 4 verschiedene Ziele. "/boot" "/mnt/remotes/DISKSTATION_UNRAID/test/1" "/mnt/data/test" "/mnt/remotes/DISKSTATION_UNRAID/test/2/" "/mnt/data/backup/ca_backup/flash" "/mnt/remotes/DISKSTATION_UNRAID/test/3/" "/mnt/data/appdata" "/mnt/remotes/DISKSTATION_UNRAID/test/4" Es existieren nun von jedem Ordner 3 Sicherungen. Es wurden keinerlei Änderungen am Script, Berechtigungen oder Pfaden vorgenommen In den ordnern 2 und 3 scheint es Hardlinks zu geben, bei 1 und 4 scheinbar nicht. Ich hab nun testweise von Hand den "/mnt/data/appdata" Ordner in den zu sichernden Ordner "/mnt/data/test" kopiert und dann 2 weitere Sicherungen von nur diesem Ordner erstellt (die anderen 3 Pfade auskommentiert im Script). Die Datei ".../2/.../virtio.iso" zählt jeweils 1 pro Sicherung hoch bei Links, die Dateien in ".../2/.../appdata/ordner/datei" eben nicht. Beide Inhalte sind zwischen den beiden Sicherungen unverändert. Sollte nicht spätestens bei der 2ten zusätzlichen Sicherung von "/mnt/data/test" wo nun zusätzlich "appdata" hineinkopiert wurde, bei erfolgreich erstellten Hardlinks der Counter hochzählen bei Dateien innerhalb des appdata Ordners? Woran kann es liegen, dass von der einen Datei ein Hardlink erstellt wird und ein paar Ebenen tiefer in der gleichen Ordnerstruktur auf einmal nicht mehr? Ich versteh die Welt nicht mehr 😑
  4. bastl
    Hab ich getestet, leider ohne Erfolg. Ich erhalte jedesmal den Fehler Ich hab nun so einiges durchprobiert. Share auf dem NAS neu erstellt, Zeit-Synchronisation passt, neuer Benutzer, diverse Berechtigungen geprüft, selbst mit maximalen Rechten war nix zu machen. Hab nun die ssh Verbindung erstmal verworfen und nochma den Share als NFS Mount in Unraid als Ziel eingebunden und beim Testen ist mir etwas aufgefallen. Wenn ich den Unraid Share "/mnt/data/test" mit der Datei "libvirt.iso" auf das NFS mount sichere scheint es nun zu funktionieren. Bei 3 Sicherungen gibt mir stats "Links: 3" aus. Mache ich das gleiche mit "/boot" als Source um den USB Stick zu sichern, bin ich wieder bei meinem ursprünglichem Problem, dass jede Sicherung scheinbar vollständig Platz belegt und "Links: 1" angezeigt wird. Gleiches habe ich noch mit einem weiteren Unraid Share getestet, der von dem Docker TDARR benutzt wird, da funktioniert es wieder nicht. Die ersten 3 Sicherungen sind der "test" ordner, die letzten Beiden "/boot" $ du -d1 -h /volume1/UNRAID/test/ 508M /volume1/UNRAID/test/20230319_230436 4.0K /volume1/UNRAID/test/20230319_230453 4.0K /volume1/UNRAID/test/20230319_230550 674M /volume1/UNRAID/test/20230319_231939 674M /volume1/UNRAID/test/20230319_232048 1.9G /volume1/UNRAID/test/ virtio.iso $ stat /volume1/UNRAID/test/20230319_230550/virtio.iso File: ‘/volume1/UNRAID/test/20230319_230550/virtio.iso’ Size: 531632128 Blocks: 1038344 IO Block: 4096 regular file Device: 2ch/44d Inode: 1060159 Links: 3 Access: (0777/-rwxrwxrwx) Uid: ( 0/ root) Gid: ( 0/ root) Access: 2023-03-19 23:04:36.775398397 +0100 Modify: 2023-03-17 15:48:38.615599360 +0100 Change: 2023-03-19 23:05:50.403330135 +0100 Birth: - make_bootable.bat $ stat /volume1/UNRAID/test/20230319_232048/make_bootable.bat File: ‘/volume1/UNRAID/test/20230319_232048/make_bootable.bat’ Size: 1760 Blocks: 8 IO Block: 4096 regular file Device: 2ch/44d Inode: 1060690 Links: 1 Access: (0777/-rwxrwxrwx) Uid: ( 0/ root) Gid: ( 0/ root) Access: 2023-03-19 23:20:55.507531684 +0100 Modify: 2022-11-20 22:27:34.000000000 +0100 Change: 2023-03-19 23:20:55.546531654 +0100 Birth: - Ich bin so langsam fertig mit mein Nerven. Halben Sonntag verdöddelt mit dem Kram. Irgendwie blick ich nicht dahinter woran es liegt. 😒
  5. bastl
    @mgutt Hab jetzt zum Test folgendes als Zielpfade hinterlegt: "/boot" "ssh [email protected] 'cd /volume1/UNRAID/BACKUPS_MINI/flash'" und bekomme beim ausführen des Scripts folgende Meldung: rsync: [Receiver] mkdir "/usr/local/emhttp/ssh [email protected] 'cd /volume1/UNRAID/BACKUPS_MINI/flash'/link_dest" failed: No such file or directory (2) rsync error: error in file IO (code 11) at main.c(789) [Receiver=3.2.7] --link-dest arg does not exist: /usr/local/emhttp/ssh [email protected] 'cd /volume1/UNRAID/BACKUPS_MINI/flash'/hard_link/ssh [email protected] 'cd /volume1/UNRAID/BACKUPS_MINI/flash'/link_dest removed '/tmp/_tmp_user.scripts_tmpScripts_rsyncIncrementalBackup_script/empty.file' rsync: [Receiver] change_dir#3 "/usr/local/emhttp/ssh [email protected] 'cd /volume1/UNRAID/BACKUPS_MINI" failed: No such file or directory (2) rsync error: errors selecting input/output files, dirs (code 3) at main.c(827) [Receiver=3.2.7] Error: Your destination ssh [email protected] 'cd /volume1/UNRAID/BACKUPS_MINI/flash' does not support hardlinks! Script Finished Mar 19, 2023 18:04.54 Full logs for this script are available at /tmp/user.scripts/tmpScripts/rsyncIncrementalBackup/log.txt "does not support hardlinks!" wundert mich ein wenig. Das NAS ist mit BTRFS formatiert.
  6. bastl
    @mgutt Gerade noch mal Schreibrechte kontrolliert. Über nen Unraid Terminal komme ich wie folgt passwortlos auf den Server. IP im Script hinterlegt war nicht die Lösung ssh -p 5022 [email protected] Dateien im Zielverzeichnis kann ich problemlos erstellen und löschen. Auch nochmal geprüft, Pfad passt. /volume1/UNRAID/BACKUPS_MINI/flash/ 4 Dateien extra erstellt unter "/boot" was gesichert werden soll. Half leider auch nicht. Ich verzweifel so langsam. Is bestimmt wieder nur irgend ne Kleinigkeit. Ist der Syntax im Zielpfad wie im Post davor zu sehen evtl. falsch? Normal die Pfadangabe hinter "[email protected]:/Pfad" bringt auch nen Fehler vom Terminal aus. Muß man da nicht extra nen "cd /Pfad" anhängen um im richtigen Ordner zu landen? Wird das von dem Script automatisch erledigt?
  7. bastl
    Pfadziel: "ssh [email protected]:/volume1/UNRAID/BACKUPS_MINI/flash" mit folgendem custom ssh Befehl: alias ssh='ssh -p 5022' schmeißt er folgenden Fehler: Auszug aus log.txt Error: ()! Script Finished Mar 19, 2023 17:07.10 Full logs for this script are available at /tmp/user.scripts/tmpScripts/rsyncIncrementalBackup/log.txt Danke schonmal für die Hilfe
  8. bastl
    Vom Terminal aus mit custom Port klappt die passwortlose Anmeldung. Wie geb ich denn den Port in dem Script mit? folgendes funktioniert leider nicht "/boot" "ssh -p 5022 [email protected]:/volume1/UNRAID/BACKUPS_MINI/flash"
  9. bastl
    @mgutt Aktuell sehen die Einträge für die Pfade wie folgt aus im Script: backup_jobs=( # source # destination "/mnt/data/appdata" "/mnt/remotes/DISKSTATION_UNRAID/BACKUPS_MINI/appdata" "/mnt/data/nextcloud" "/mnt/remotes/DISKSTATION_UNRAID/BACKUPS_MINI/nextcloud" "/boot" "/mnt/remotes/DISKSTATION_UNRAID/BACKUPS_MINI/flash" ) Kann ich den Zielpfad auch wie folgt irgendwie erstellen, direkt über ssh gehen und wie geb ich dann die Zugangsdaten und den non-default Port mit? # source # destination "/boot" "ssh [email protected]:/volume1/UNRAID/BACKUPS_MINI/flash"
  10. bastl
    Hab nun 4 Sicherungen auf dem NAS. Ich habe jetzt mal anhand der "Nextcloud_Manual.pdf", die sich nicht geändert haben sollte, in einem User Daten Ordner liegend, wie gewünscht geprüft. Unabhängig welches Sicherungsverzeichnis ich wähle, unter Links steht immer eine 1. Wenn es ein Hardlink sein sollte, wenn ich das richtig verstehe, sollte da eigentlich eine 4 stehen, oder? Ich hab es auch noch mit der Datei "make_bootable.bat" vom gesicherten USB Stick getestet. Gleiches Ergebnis. stat "/volume1/UNRAID/BACKUPS_MINI/nextcloud/20230319_140249/data/Bastl/files/Nextcloud Manual.pdf" File: ‘/volume1/UNRAID/BACKUPS_MINI/nextcloud/20230319_140249/data/Bastl/files/Nextcloud Manual.pdf’ Size: 12765379 Blocks: 24936 IO Block: 4096 regular file Device: 2ch/44d Inode: 1020153 Links: 1 Access: (0777/-rwxrwxrwx) Uid: ( 33/ UNKNOWN) Gid: ( 33/ UNKNOWN) Access: 2023-03-19 14:02:53.095240488 +0100 Modify: 2022-06-24 20:22:53.785054785 +0200 Change: 2023-03-19 14:02:53.459239951 +0100 Birth: - du -d1 -h /volume1/UNRAID/BACKUPS_MINI/nextcloud/ | sort -k2 393G /volume1/UNRAID/BACKUPS_MINI/nextcloud/ 99G /volume1/UNRAID/BACKUPS_MINI/nextcloud/20230317_191825 99G /volume1/UNRAID/BACKUPS_MINI/nextcloud/20230318_121818 99G /volume1/UNRAID/BACKUPS_MINI/nextcloud/20230319_011145 99G /volume1/UNRAID/BACKUPS_MINI/nextcloud/20230319_140249 Bei einem dry-run läuft übrigens die Sicherung mit allen 3 zu sichernden Ordnern in knapp 3min durch. Start 15:25
  11. bastl
    Hallo zusammen. Danke erstmal an @mgutt für das super Script! Ich bin darüber gestolpert, als ich auf der Suche nach einer einfachen Möglichkeit war meine Nextcloud Daten von Unraid auf ne Synology im gleichen Netzwerk zu sichern. Gesagt, getan. Script in User Scripts hinterlegt, auf dem NAS nen Share erstellt, als NFS Share mit UD gemounted, Pfade im Script angepasst und Feuer frei. Wie zu erwarten bei 106GB (knapp 106000 Dateien) hat die erste Sicherung gut über ne Stunde gedauert bis sie durch war. Seitdem hat sich an den Daten auch nicht großartig was geändert. Gesichert wird appdata, der Nextcloud Userdaten Ordner und der Unraid USB Stick. Als ich eben aus Interesse die 2te Sicherung angestoßen hab, hat diese ebenfalls ziemlich genauso lang gedauert wie die initiale Sicherung, knapp über ne Stunde. Sicherung wurde etwa 12Uhr gestartet und war 13:10Uhr fertig. Was mich ein wenig verwundert hat. Hab dann auf dem NAS nach der Größe der Sicherungen geschaut und diese wurde mir dann ziemlich genau doppelt so groß angezeigt, wie die erste Sicherung allein. Ist das normal bei Hardlinks? Eigentlich nein, oder versteh ich da was falsch? Hab ich etwas übersehen? Bin gerade ein wenig ratlos. Am Script selber hab ich nichts weiter verändert, als die Pfade zu hinterlegen, Rest ist default. Falls mich jemand in die richtige Richtung schubsen könnte, woran es liegt, wäre ich sehr dankbar. MfG
  12. bastl
    @ztluo Do you have any VMs running while the server freezes/crashes? What was the Unraid version you're upgraded from? My server started showing this issues after upgrading directly from 6.10.3 to 6.11.5. No solution yet.
  13. bastl
    And it happend again. For me it looks like there is no mention of KVM this time. Server froze complety, no access at all. Dec 13 01:20:24 UNRAID emhttpd: spinning down /dev/sdb Dec 13 01:30:23 UNRAID emhttpd: read SMART /dev/sdb Dec 13 01:36:17 UNRAID kernel: BUG: unable to handle page fault for address: ffffffff8109fb3c Dec 13 01:36:17 UNRAID kernel: #PF: supervisor write access in kernel mode Dec 13 01:36:17 UNRAID kernel: #PF: error_code(0x0003) - permissions violation Dec 13 01:36:17 UNRAID kernel: PGD 220e067 P4D 220e067 PUD 220f063 PMD 10001e1 Dec 13 01:36:17 UNRAID kernel: Oops: 0003 [#1] PREEMPT SMP NOPTI Dec 13 01:36:17 UNRAID kernel: CPU: 41 PID: 0 Comm: swapper/41 Not tainted 5.19.17-Unraid #2 Dec 13 01:36:17 UNRAID kernel: Hardware name: Gigabyte Technology Co., Ltd. TRX40 AORUS XTREME/TRX40 AORUS XTREME, BIOS F4d 03/05/2020 Dec 13 01:36:17 UNRAID kernel: RIP: 0010:menu_reflect+0x25/0x43 Dec 13 01:36:17 UNRAID kernel: Code: e9 b5 8a 57 00 0f 1f 44 00 00 41 54 41 89 f4 55 48 89 fd 53 48 c7 c3 20 b1 02 00 e8 13 6b 1a 00 89 c0 48 03 1c c5 e0 6a 16 82 <44> 89 65 10 c7 03 01 00 00 00 e8 47 b7 a6 ff 0f b6 c0 89 43 04 5b Dec 13 01:36:17 UNRAID kernel: RSP: 0018:ffffc9000044fed8 EFLAGS: 00010282 Dec 13 01:36:17 UNRAID kernel: RAX: 0000000000000029 RBX: ffff88902da6b120 RCX: 0000000200000000 Dec 13 01:36:17 UNRAID kernel: RDX: 0000000000000000 RSI: ffffffff820d7be1 RDI: ffffffff820d80c1 Dec 13 01:36:17 UNRAID kernel: RBP: ffffffff8109fb2c R08: 0000000000000002 R09: 0000000000000002 Dec 13 01:36:17 UNRAID kernel: R10: 0000000000000020 R11: 0000000000000072 R12: 0000000000000002 Dec 13 01:36:17 UNRAID kernel: R13: ffff888100a80000 R14: 0000000000000002 R15: 0000000000000000 Dec 13 01:36:17 UNRAID kernel: FS: 0000000000000000(0000) GS:ffff88902da40000(0000) knlGS:0000000000000000 Dec 13 01:36:17 UNRAID kernel: CS: 0010 DS: 0000 ES: 0000 CR0: 0000000080050033 Dec 13 01:36:17 UNRAID kernel: CR2: ffffffff8109fb3c CR3: 0000000619570000 CR4: 0000000000350ee0 Dec 13 01:36:17 UNRAID kernel: Call Trace: Dec 13 01:36:17 UNRAID kernel: <TASK> Dec 13 01:36:17 UNRAID kernel: ? update_curr+0x24/0x14e Dec 13 01:36:17 UNRAID kernel: do_idle+0x191/0x1f5 Dec 13 01:36:17 UNRAID kernel: cpu_startup_entry+0x1d/0x1f Dec 13 01:36:17 UNRAID kernel: start_secondary+0xeb/0xeb Dec 13 01:36:17 UNRAID kernel: secondary_startup_64_no_verify+0xce/0xdb Dec 13 01:36:17 UNRAID kernel: </TASK> Dec 13 01:36:17 UNRAID kernel: Modules linked in: nfsv3 nfs dm_mod dax xt_CHECKSUM ip6t_REJECT nf_reject_ipv6 ipt_REJECT nf_reject_ipv4 ip6table_mangle ip6table_nat iptable_mangle vhost_net tun vhost vhost_iotlb tap veth xt_nat xt_tcpudp xt_conntrack xt_MASQUERADE nf_conntrack_netlink nfnetlink xfrm_user xt_addrtype iptable_nat nf_nat nf_conntrack nf_defrag_ipv6 nf_defrag_ipv4 br_netfilter xfs nfsd auth_rpcgss oid_registry lockd grace sunrpc md_mod it87 hwmon_vid ip6table_filter ip6_tables iptable_filter ip_tables x_tables bridge stp llc ixgbe xfrm_algo mdio btusb btrtl btbcm btintel gigabyte_wmi wmi_bmof mxm_wmi bluetooth edac_mce_amd edac_core kvm_amd kvm crct10dif_pclmul crc32_pclmul crc32c_intel ghash_clmulni_intel aesni_intel crypto_simd cryptd rapl ecdh_generic ecc corsair_psu ahci libahci ccp nvme i2c_piix4 input_leds led_class joydev nvme_core i2c_core k10temp thermal wmi button acpi_cpufreq unix [last unloaded: xfrm_algo] Dec 13 01:36:17 UNRAID kernel: CR2: ffffffff8109fb3c Dec 13 01:36:17 UNRAID kernel: ---[ end trace 0000000000000000 ]--- Dec 13 01:36:17 UNRAID kernel: RIP: 0010:menu_reflect+0x25/0x43 Dec 13 01:36:17 UNRAID kernel: Code: e9 b5 8a 57 00 0f 1f 44 00 00 41 54 41 89 f4 55 48 89 fd 53 48 c7 c3 20 b1 02 00 e8 13 6b 1a 00 89 c0 48 03 1c c5 e0 6a 16 82 <44> 89 65 10 c7 03 01 00 00 00 e8 47 b7 a6 ff 0f b6 c0 89 43 04 5b Dec 13 01:36:17 UNRAID kernel: RSP: 0018:ffffc9000044fed8 EFLAGS: 00010282 Dec 13 01:36:17 UNRAID kernel: RAX: 0000000000000029 RBX: ffff88902da6b120 RCX: 0000000200000000 Dec 13 01:36:17 UNRAID kernel: RDX: 0000000000000000 RSI: ffffffff820d7be1 RDI: ffffffff820d80c1 Dec 13 01:36:17 UNRAID kernel: RBP: ffffffff8109fb2c R08: 0000000000000002 R09: 0000000000000002 Dec 13 01:36:17 UNRAID kernel: R10: 0000000000000020 R11: 0000000000000072 R12: 0000000000000002 Dec 13 01:36:17 UNRAID kernel: R13: ffff888100a80000 R14: 0000000000000002 R15: 0000000000000000 Dec 13 01:36:17 UNRAID kernel: FS: 0000000000000000(0000) GS:ffff88902da40000(0000) knlGS:0000000000000000 Dec 13 01:36:17 UNRAID kernel: CS: 0010 DS: 0000 ES: 0000 CR0: 0000000080050033 Dec 13 01:36:17 UNRAID kernel: CR2: ffffffff8109fb3c CR3: 0000000619570000 CR4: 0000000000350ee0 Dec 13 10:49:37 UNRAID wsdd2[8836]: starting.
  14. bastl
    It's my main desktop I use the VM for. I'll turn it of when unused, mainly over night. I have no other option. Is there something else I can try?
  15. bastl started following [6.11.5] random crashes and freezes after upgrade from 6.10.3
  16. bastl
    Hi guys, almost 2 weeks now with 6.11.5 and I got a couple of freezes/crashes of one of my servers. I skipped the first couple 6.11.xx releases and directly upgraded from 6.10.3 to 6.11.5. So far so good. After 2-3 days I found my main server unaccessible in the morning. Main VM with GPU passthrough, idle over night, didn't show any output in the morning and webui also wasn't reachable at this point. SSH access also not possible. Force restart the server and everything worked as usual for another couple days until it crashed again. No access. I than started to log the syslog to my other server and let it run. Now 5 days later I found my main VM again not accessible. The webui was reachable, almost half of the isolated cores from the VM maxed to 100% Restarting the VM didn't work and I had to force shutdown it. Starting it up again brought the following error: Looks like the GPU wasn't reset correctly and I had to restart the whole server again. Navigation in the webui also seemed a bit slow and unreliable. I didn't pulled the diagnostics at this point. Looks like something crashed yesterday evening. Syslog showed the following: Dec 8 19:15:36 UNRAID emhttpd: spinning down /dev/sdd Dec 8 19:15:36 UNRAID emhttpd: spinning down /dev/sdf Dec 8 19:15:36 UNRAID emhttpd: spinning down /dev/sdc Dec 8 19:27:12 UNRAID emhttpd: spinning down /dev/sdb Dec 8 19:37:11 UNRAID emhttpd: read SMART /dev/sdb Dec 8 19:52:51 UNRAID kernel: kernel tried to execute NX-protected page - exploit attempt? (uid: 0) Dec 8 19:52:51 UNRAID kernel: BUG: unable to handle page fault for address: ffff8885fb440000 Dec 8 19:52:51 UNRAID kernel: #PF: supervisor instruction fetch in kernel mode Dec 8 19:52:51 UNRAID kernel: #PF: error_code(0x0011) - permissions violation Dec 8 19:52:51 UNRAID kernel: PGD 2a01067 P4D 2a01067 PUD 63c04a063 PMD 80000005fb4001e3 Dec 8 19:52:51 UNRAID kernel: Oops: 0011 [#1] PREEMPT SMP NOPTI Dec 8 19:52:51 UNRAID kernel: CPU: 17 PID: 60526 Comm: CPU 10/KVM Not tainted 5.19.17-Unraid #2 Dec 8 19:52:51 UNRAID kernel: Hardware name: Gigabyte Technology Co., Ltd. TRX40 AORUS XTREME/TRX40 AORUS XTREME, BIOS F4d 03/05/2020 Dec 8 19:52:51 UNRAID kernel: RIP: 0010:0xffff8885fb440000 Dec 8 19:52:51 UNRAID kernel: Code: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 <00> 10 31 04 00 c9 ff ff 00 00 00 00 00 00 00 00 c0 02 a8 07 81 88 Dec 8 19:52:51 UNRAID kernel: RSP: 0018:ffffc90004397d20 EFLAGS: 00010246 Dec 8 19:52:51 UNRAID kernel: RAX: 0000000000000000 RBX: ffff8885fb440000 RCX: 0000000000000001 Dec 8 19:52:51 UNRAID kernel: RDX: 0000000000000800 RSI: 0000000000000000 RDI: ffff8888e940a300 Dec 8 19:52:51 UNRAID kernel: RBP: ffff888107a80000 R08: ffff88817aa16488 R09: 0000000000000000 Dec 8 19:52:51 UNRAID kernel: R10: 0000000000000000 R11: 0000000000000000 R12: 0000000000000001 Dec 8 19:52:51 UNRAID kernel: R13: ffff8885fb440070 R14: 00017bcf3ea92684 R15: 0000000000000000 Dec 8 19:52:51 UNRAID kernel: FS: 0000148f763ff6c0(0000) GS:ffff88902d440000(0000) knlGS:0000000000000000 Dec 8 19:52:51 UNRAID kernel: CS: 0010 DS: 0000 ES: 0000 CR0: 0000000080050033 Dec 8 19:52:51 UNRAID kernel: CR2: ffff8885fb440000 CR3: 0000000967ea0000 CR4: 0000000000350ee0 Dec 8 19:52:51 UNRAID kernel: Call Trace: Dec 8 19:52:51 UNRAID kernel: <TASK> Dec 8 19:52:51 UNRAID kernel: ? kvm_arch_vcpu_runnable+0xce/0x149 [kvm] Dec 8 19:52:51 UNRAID kernel: ? kvm_vcpu_check_block+0x26/0x8b [kvm] Dec 8 19:52:51 UNRAID kernel: ? kvm_vcpu_block+0x72/0xcb [kvm] Dec 8 19:52:51 UNRAID kernel: ? kvm_vcpu_halt+0x95/0x23d [kvm] Dec 8 19:52:51 UNRAID kernel: ? kvm_arch_vcpu_ioctl_run+0x12f3/0x1506 [kvm] Dec 8 19:52:51 UNRAID kernel: ? pollwake+0x61/0x7f Dec 8 19:52:51 UNRAID kernel: ? wake_up_q+0x44/0x44 Dec 8 19:52:51 UNRAID kernel: ? __wake_up_common+0xae/0x11c Dec 8 19:52:51 UNRAID kernel: ? kvm_vcpu_ioctl+0x192/0x5a4 [kvm] Dec 8 19:52:51 UNRAID kernel: ? wake_up_q+0x44/0x44 Dec 8 19:52:51 UNRAID kernel: ? __seccomp_filter+0x89/0x313 Dec 8 19:52:51 UNRAID kernel: ? vfs_ioctl+0x1e/0x2f Dec 8 19:52:51 UNRAID kernel: ? __do_sys_ioctl+0x52/0x78 Dec 8 19:52:51 UNRAID kernel: ? do_syscall_64+0x6b/0x81 Dec 8 19:52:51 UNRAID kernel: ? entry_SYSCALL_64_after_hwframe+0x63/0xcd Dec 8 19:52:51 UNRAID kernel: </TASK> Dec 8 19:52:51 UNRAID kernel: Modules linked in: nfsv3 nfs cmac cifs asn1_decoder cifs_arc4 cifs_md4 dns_resolver dm_mod dax xt_CHECKSUM ip6t_REJECT nf_reject_ipv6 ipt_REJECT nf_reject_ipv4 ip6table_mangle ip6table_nat iptable_mangle vhost_net tun vhost vhost_iotlb tap veth xt_nat xt_tcpudp xt_conntrack xt_MASQUERADE nf_conntrack_netlink nfnetlink xfrm_user xt_addrtype iptable_nat nf_nat nf_conntrack nf_defrag_ipv6 nf_defrag_ipv4 br_netfilter xfs nfsd auth_rpcgss oid_registry lockd grace sunrpc md_mod it87 hwmon_vid ip6table_filter ip6_tables iptable_filter ip_tables x_tables bridge stp llc ixgbe xfrm_algo mdio btusb btrtl btbcm gigabyte_wmi wmi_bmof mxm_wmi btintel bluetooth edac_mce_amd edac_core kvm_amd kvm crct10dif_pclmul crc32_pclmul crc32c_intel ghash_clmulni_intel aesni_intel crypto_simd cryptd rapl ecdh_generic ecc corsair_psu ahci libahci ccp nvme i2c_piix4 input_leds led_class nvme_core joydev i2c_core k10temp thermal wmi button acpi_cpufreq unix [last unloaded: xfrm_algo] Dec 8 19:52:51 UNRAID kernel: CR2: ffff8885fb440000 Dec 8 19:52:51 UNRAID kernel: ---[ end trace 0000000000000000 ]--- Dec 8 19:52:51 UNRAID kernel: RIP: 0010:0xffff8885fb440000 Dec 8 19:52:51 UNRAID kernel: Code: 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 <00> 10 31 04 00 c9 ff ff 00 00 00 00 00 00 00 00 c0 02 a8 07 81 88 Dec 8 19:52:51 UNRAID kernel: RSP: 0018:ffffc90004397d20 EFLAGS: 00010246 Dec 8 19:52:51 UNRAID kernel: RAX: 0000000000000000 RBX: ffff8885fb440000 RCX: 0000000000000001 Dec 8 19:52:51 UNRAID kernel: RDX: 0000000000000800 RSI: 0000000000000000 RDI: ffff8888e940a300 Dec 8 19:52:51 UNRAID kernel: RBP: ffff888107a80000 R08: ffff88817aa16488 R09: 0000000000000000 Dec 8 19:52:51 UNRAID kernel: R10: 0000000000000000 R11: 0000000000000000 R12: 0000000000000001 Dec 8 19:52:51 UNRAID kernel: R13: ffff8885fb440070 R14: 00017bcf3ea92684 R15: 0000000000000000 Dec 8 19:52:51 UNRAID kernel: FS: 0000148f763ff6c0(0000) GS:ffff88902d440000(0000) knlGS:0000000000000000 Dec 8 19:52:51 UNRAID kernel: CS: 0010 DS: 0000 ES: 0000 CR0: 0000000080050033 Dec 8 19:52:51 UNRAID kernel: CR2: ffff8885fb440000 CR3: 0000000967ea0000 CR4: 0000000000350ee0 Dec 8 20:07:12 UNRAID emhttpd: spinning down /dev/sdb Dec 9 01:40:11 UNRAID crond[2357]: exit status 1 from user root /usr/local/sbin/mover &> /dev/null Dec 9 02:40:22 UNRAID emhttpd: read SMART /dev/sdd Dec 9 02:40:22 UNRAID emhttpd: read SMART /dev/sdf Dec 9 02:40:22 UNRAID emhttpd: read SMART /dev/sdc Again, server restart, VM started fine and now for the first time server crashed while using the VM, only serching the web for this issue. During earlier crashes I wasn't using the VM. And again no access at all. This time syslog showed the following: Dec 9 11:05:57 UNRAID emhttpd: spinning down /dev/sde Dec 9 11:07:08 UNRAID emhttpd: spinning down /dev/nvme0n1 Dec 9 11:07:08 UNRAID emhttpd: sdspin /dev/nvme0n1 down: 25 Dec 9 11:09:11 UNRAID emhttpd: spinning down /dev/sdb Dec 9 11:10:50 UNRAID webGUI: Successful login user root from 10.0.0.7 Dec 9 11:11:43 UNRAID emhttpd: read SMART /dev/sdb Dec 9 11:17:52 UNRAID kernel: general protection fault, probably for non-canonical address 0x65894c085589e79d: 0000 [#1] PREEMPT SMP NOPTI Dec 9 11:17:52 UNRAID kernel: CPU: 42 PID: 32551 Comm: CPU 13/KVM Not tainted 5.19.17-Unraid #2 Dec 9 11:17:52 UNRAID kernel: Hardware name: Gigabyte Technology Co., Ltd. TRX40 AORUS XTREME/TRX40 AORUS XTREME, BIOS F4d 03/05/2020 Dec 9 11:17:52 UNRAID kernel: RIP: 0010:se_update_runnable+0xc/0x1b Dec 9 11:17:52 UNRAID kernel: Code: 14 fd e0 6a 16 82 8b 04 02 e9 95 80 b6 00 66 90 31 c0 e9 8c 80 b6 00 b0 01 e9 85 80 b6 00 48 8b 87 80 00 00 00 48 85 c0 74 0a <8b> 40 14 48 89 87 88 00 00 00 e9 6a 80 b6 00 48 63 ff 48 c7 c0 00 Dec 9 11:17:52 UNRAID kernel: RSP: 0018:ffffc900014efc58 EFLAGS: 00010002 Dec 9 11:17:52 UNRAID kernel: RAX: 65894c085589e789 RBX: ffff8881ac251c00 RCX: 00000000000000a1 Dec 9 11:17:52 UNRAID kernel: RDX: 0000000000000000 RSI: 000000000000000c RDI: ffffffff8109fc2b Dec 9 11:17:52 UNRAID kernel: RBP: ffffffff8109fc2b R08: ffff88810ab53f80 R09: 0000000000000095 Dec 9 11:17:52 UNRAID kernel: R10: 0000000000000000 R11: 0000000000000000 R12: ffff88810ab53f00 Dec 9 11:17:52 UNRAID kernel: R13: 0000000000000009 R14: 0000000000000009 R15: 0000000000000001 Dec 9 11:17:52 UNRAID kernel: FS: 00001543ecdff6c0(0000) GS:ffff88902da80000(0000) knlGS:0000000000000000 Dec 9 11:17:52 UNRAID kernel: CS: 0010 DS: 0000 ES: 0000 CR0: 0000000080050033 Dec 9 11:17:52 UNRAID kernel: CR2: 00000253018bf000 CR3: 00000001ade8a000 CR4: 0000000000350ee0 Dec 9 11:17:52 UNRAID kernel: Call Trace: Dec 9 11:17:52 UNRAID kernel: <TASK> Dec 9 11:17:52 UNRAID kernel: dequeue_entity+0x35/0x215 Dec 9 11:17:52 UNRAID kernel: dequeue_task_fair+0x91/0x282 Dec 9 11:17:52 UNRAID kernel: __schedule+0x15a/0x5f6 Dec 9 11:17:52 UNRAID kernel: ? kvm_apic_has_interrupt+0x37/0x7a [kvm] Dec 9 11:17:52 UNRAID kernel: schedule+0x8e/0xc3 Dec 9 11:17:52 UNRAID kernel: kvm_vcpu_block+0x7b/0xcb [kvm] Dec 9 11:17:52 UNRAID kernel: kvm_vcpu_halt+0x95/0x23d [kvm] Dec 9 11:17:52 UNRAID kernel: kvm_arch_vcpu_ioctl_run+0x12f3/0x1506 [kvm] Dec 9 11:17:52 UNRAID kernel: ? pollwake+0x61/0x7f Dec 9 11:17:52 UNRAID kernel: ? wake_up_q+0x44/0x44 Dec 9 11:17:52 UNRAID kernel: ? __wake_up_common+0xae/0x11c Dec 9 11:17:52 UNRAID kernel: kvm_vcpu_ioctl+0x192/0x5a4 [kvm] Dec 9 11:17:52 UNRAID kernel: ? wake_up_q+0x44/0x44 Dec 9 11:17:52 UNRAID kernel: ? __seccomp_filter+0x89/0x313 Dec 9 11:17:52 UNRAID kernel: vfs_ioctl+0x1e/0x2f Dec 9 11:17:52 UNRAID kernel: __do_sys_ioctl+0x52/0x78 Dec 9 11:17:52 UNRAID kernel: do_syscall_64+0x6b/0x81 Dec 9 11:17:52 UNRAID kernel: entry_SYSCALL_64_after_hwframe+0x63/0xcd Dec 9 11:17:52 UNRAID kernel: RIP: 0033:0x1547f9ed8d38 Dec 9 11:17:52 UNRAID kernel: Code: 00 00 48 8d 44 24 08 48 89 54 24 e0 48 89 44 24 c0 48 8d 44 24 d0 48 89 44 24 c8 b8 10 00 00 00 c7 44 24 b8 10 00 00 00 0f 05 <89> c2 3d 00 f0 ff ff 77 07 89 d0 c3 0f 1f 40 00 48 8b 15 91 d0 0d Dec 9 11:17:52 UNRAID kernel: RSP: 002b:00001543ecdfdc48 EFLAGS: 00000246 ORIG_RAX: 0000000000000010 Dec 9 11:17:52 UNRAID kernel: RAX: ffffffffffffffda RBX: 000000000000ae80 RCX: 00001547f9ed8d38 Dec 9 11:17:52 UNRAID kernel: RDX: 0000000000000000 RSI: 000000000000ae80 RDI: 0000000000000029 Dec 9 11:17:52 UNRAID kernel: RBP: 00001543f7a29f00 R08: 000055faab99b9a0 R09: 0000000000000000 Dec 9 11:17:52 UNRAID kernel: R10: 00007ffdf47e9080 R11: 0000000000000246 R12: 0000000000000000 Dec 9 11:17:52 UNRAID kernel: R13: 0000000000000000 R14: 0000000000000000 R15: 0000000000000000 Dec 9 11:17:52 UNRAID kernel: </TASK> Dec 9 11:17:52 UNRAID kernel: Modules linked in: dm_mod dax nfsv3 nfs ip6t_REJECT nf_reject_ipv6 xt_CHECKSUM ipt_REJECT nf_reject_ipv4 ip6table_mangle ip6table_nat xt_nat xt_tcpudp iptable_mangle vhost_net tun vhost vhost_iotlb tap veth xt_conntrack xt_MASQUERADE nf_conntrack_netlink nfnetlink xfrm_user xt_addrtype iptable_nat nf_nat nf_conntrack nf_defrag_ipv6 nf_defrag_ipv4 br_netfilter xfs nfsd auth_rpcgss oid_registry lockd grace sunrpc md_mod it87 hwmon_vid ip6table_filter ip6_tables iptable_filter ip_tables x_tables bridge stp llc ixgbe xfrm_algo mdio btusb btrtl btbcm btintel gigabyte_wmi wmi_bmof mxm_wmi bluetooth edac_mce_amd edac_core kvm_amd kvm crct10dif_pclmul crc32_pclmul crc32c_intel ghash_clmulni_intel aesni_intel crypto_simd cryptd rapl ecdh_generic ecc corsair_psu ahci libahci ccp nvme i2c_piix4 input_leds led_class joydev nvme_core i2c_core k10temp thermal wmi button acpi_cpufreq unix [last unloaded: xfrm_algo] Dec 9 11:17:52 UNRAID kernel: ---[ end trace 0000000000000000 ]--- Dec 9 11:17:52 UNRAID kernel: RIP: 0010:se_update_runnable+0xc/0x1b Dec 9 11:17:52 UNRAID kernel: Code: 14 fd e0 6a 16 82 8b 04 02 e9 95 80 b6 00 66 90 31 c0 e9 8c 80 b6 00 b0 01 e9 85 80 b6 00 48 8b 87 80 00 00 00 48 85 c0 74 0a <8b> 40 14 48 89 87 88 00 00 00 e9 6a 80 b6 00 48 63 ff 48 c7 c0 00 Dec 9 11:17:52 UNRAID kernel: RSP: 0018:ffffc900014efc58 EFLAGS: 00010002 Dec 9 11:17:52 UNRAID kernel: RAX: 65894c085589e789 RBX: ffff8881ac251c00 RCX: 00000000000000a1 Dec 9 11:17:52 UNRAID kernel: RDX: 0000000000000000 RSI: 000000000000000c RDI: ffffffff8109fc2b Dec 9 11:17:52 UNRAID kernel: RBP: ffffffff8109fc2b R08: ffff88810ab53f80 R09: 0000000000000095 Dec 9 11:17:52 UNRAID kernel: R10: 0000000000000000 R11: 0000000000000000 R12: ffff88810ab53f00 Dec 9 11:17:52 UNRAID kernel: R13: 0000000000000009 R14: 0000000000000009 R15: 0000000000000001 Dec 9 11:17:52 UNRAID kernel: FS: 00001543ecdff6c0(0000) GS:ffff88902da80000(0000) knlGS:0000000000000000 Dec 9 11:17:52 UNRAID kernel: CS: 0010 DS: 0000 ES: 0000 CR0: 0000000080050033 Dec 9 11:17:52 UNRAID kernel: CR2: 00000253018bf000 CR3: 00000001ade8a000 CR4: 0000000000350ee0 Dec 9 11:17:52 UNRAID kernel: note: CPU 13/KVM[32551] exited with preempt_count 2 Dec 9 11:18:26 UNRAID webGUI: Successful login user root from 10.0.10.107 Dec 9 11:23:58 UNRAID unassigned.devices: Successfully mounted 'sde1' on '/mnt/disks/VMs_backup_hdd'. Dec 9 11:23:58 UNRAID rsyslogd: action 'action-2-builtin:omfwd' resumed (module 'builtin:omfwd') [v8.2102.0 try https://www.rsyslog.com/e/2359 ] Dec 9 11:23:58 UNRAID unassigned.devices: Adding SMB share 'VMs_backup_hdd'. Dec 9 11:23:58 UNRAID webGUI: Successful login user root from 10.0.10.107 Dec 9 11:23:59 UNRAID emhttpd: /usr/local/emhttp/plugins/user.scripts/backgroundScript.sh "/tmp/user.scripts/tmpScripts/icon sync/script" >/dev/null 2>&1/usr/local/emhttp/plugins/user.scripts/backgroundScript.sh "/tmp/user.scripts/tmpScripts/ping Diskstation on boot/script" >/dev/null 2>&1 Dec 9 11:23:59 UNRAID emhttpd: Starting services... Dec 9 11:23:59 UNRAID emhttpd: shcmd (50): /etc/rc.d/rc.samba restart Dec 9 11:23:59 UNRAID wsdd2[8800]: 'Terminated' signal received. Dec 9 11:23:59 UNRAID wsdd2[8800]: terminating. Dec 9 11:24:01 UNRAID root: Starting Samba: /usr/sbin/smbd -D Dec 9 11:24:01 UNRAID root: /usr/sbin/nmbd -D Dec 9 11:24:01 UNRAID root: /usr/sbin/wsdd2 -d I found a couple reports from users using some torrent dockers with some similar freezes which I can kinda exclude. The only dockers I run on startup are duplicati and binhex-urbackup which basically do nothing when the server crashes. Scheduled backup jobs don't overlap with the server crashing. At least not with the last 2 crashes today. Such crashes and freezes never happened before to the server. Nothing changed software or hardware wise. It all started with the upgrade from 6.10.3 to 6.11.5. Maybe someone can have a look into the syslog and the diagnostics and can point me in the right direction to fix this. Thanks unraid-diagnostics-20221209-1252.zip