Unraid stürzt ständig ab

[FlorianHE]

Hallo. Ich habe ein Problem mit einem meiner Unraid Server. 
Ich habe vor einem Jahr den Server aufgesetzt. Seit Tag 1 besteht das Problem das der Server abstürzt. Meist so nach 2-4 Stunden Betriebszeit.

 

Ich hatte herausgefunden das wenn man eine VM laufen lässt der Server stabil läuft und nicht abstürzt. 
 

Da ich nun aber die meisten Dienste auf einen 2. stromsparenden Server ausgelagert habe und mein großer Server jetzt  nurnoch laufen soll wenn ich ihn brauche passiert es wieder sehr oft das er Stunden nach dem wieder aufwachen abstürzt. 
 

Da das sehr nervig ist wollte ich versuchen dem Problem auf die Spur zu gehen. 
 

Zum Test habe ich Docker und dem VM Manager abgeschaltet. 
 

syslog to Flash ist aktiv und syslog auf meinen anderen unraid Server auch. 
 

Ich habe die Logs der letzten 3 Abstürze untersucht. Leider wird da kein Fehler geschrieben. Der letzte Eintrag war nur das die Platten down gehen. Dann vergehen meistens so 30min dann stürzt er ab. 
 

also die Kurzfassung. Hat der Server nix zu tun stürzt er ab. Ich kann nurnoch den Stecker ziehen und neu starten. 
 

ich hatte gehofft das auf dem Monitor noch was abzulesen ist wenn er abgestürzt ist. Aber leider kommt der Bootscreen nie bis zum Login Bildschirm. Ich hab keine Ahnung wieso. Ich weiß das das mal ging. Aber ich hab den Rechner vor einem Jahr das letzte mal am Monitor gehabt. Ich weiß leider nicht mehr was ich eingestellt hab das die Grafikkarte ab einem bestimmten Zeitpunkt nurnoch Standbild ausgibt. Ich vermute das Unraid die Grafikkarte ab einem bestimmten Zeitpunkt dem VM Manager bereit stellt. Da diese ja eigentlich nur von meiner Windows vm genutzt wird. 

Ich hatte ja die Vermutung das irgend was mit der Hardware nicht stimmt. Aber wieso geht der Server wenn eine vm läuft oder z.b. die paritäts Prüfung läuft. 
 

ich habe auch schon Festplatten und den Cache Speicher getauscht. ( wegen Aufrüstung) auch neuer RAM ist verbaut. 
der Server stürzt auch ohne Graka ab. 

[cz13]

Hast du irgendwelche Energiespareinstellungen aktiv? Powertop, S3 sleep?

[ich777]

12 hours ago, FlorianHE said:

Ich hatte ja die Vermutung das irgend was mit der Hardware nicht stimmt. Aber wieso geht der Server wenn eine vm läuft oder z.b. die paritäts Prüfung läuft. 

Diagnostics?

Wo sind die Logs von denen du sprichst?

 

...ohne das wird dir wohl keine helfen können...

[FlorianHE]

Also S3 sleep hab ich mittlerweile wieder inaktiv. Da der Server nach dem wieder aufwachen auch mit einer vm abgestürzt ist. Powertop hab ich zwar schonmal gehört aber noch nie was damit gemacht. 
 

ich schalte jetzt über Nacht mal alle vms aus.  Dann wird er bestimmt wieder abstürzen. Dann poste ich mal die Diagnostics

[FlorianHE]

heute nacht ist der Server nach über einem Monat betrieb wieder abgestürzt. Meine Letzte Handlung war alle VM's abzuschalten.

Laut meiner Hausautomation hat sich der Server 3:53 abgeschossen. Als ich heute früh nach dem Server geschaut habe war keinerlei aktivität bemerkbar. weder die Fesplatten LED blinkt noch der Unraid Stick leuchtet. 

 

 

Im Log steht in diesem zeitraum leider nix. weder auf dem Stick noch auf meinem anderen Unraid server der gleichzeitig auch als Syslog server dient.

 

Dec  5 00:44:19 Tvserver-V2 emhttpd: spinning down /dev/sdc
Dec  5 01:12:40 Tvserver-V2 emhttpd: read SMART /dev/sdb
Dec  5 01:14:33 Tvserver-V2 emhttpd: read SMART /dev/sdc
Dec  5 01:29:31 Tvserver-V2 emhttpd: spinning down /dev/sdb
Dec  5 02:04:01 Tvserver-V2 kernel: usb 3-3: dvb_usb_v2: could not submit urb no. 0 - get them all back
Dec  5 02:04:01 Tvserver-V2 kernel: usb 3-2: dvb_usb_v2: could not submit urb no. 0 - get them all back
Dec  5 02:04:01 Tvserver-V2 kernel: usb 1-1: dvb_usb_v2: could not submit urb no. 0 - get them all back
Dec  5 03:00:07 Tvserver-V2 emhttpd: read SMART /dev/sdd
Dec  5 03:00:14 Tvserver-V2 emhttpd: read SMART /dev/sdb
Dec  5 03:16:46 Tvserver-V2 emhttpd: spinning down /dev/sdb
Dec  5 03:17:17 Tvserver-V2 emhttpd: spinning down /dev/sdd
Dec  5 06:16:05 Tvserver-V2 root: Installing: powershell-7.2.7-x86_64-1_SBo_nerdtools: A task-based comman [ 184M]
Dec  5 06:16:05 Tvserver-V2 rsyslogd: action 'action-3-builtin:omfwd' resumed (module 'builtin:omfwd') [v8.2102.0 try https://www.rsyslog.com/e/2359 ]
Dec  5 06:16:05 Tvserver-V2 root: Installing: powertop-2.13-x86_64-3_nerdtools: tool for analyzing system  [ 650K]
Dec  5 06:16:08 Tvserver-V2 root: Installing: python2-2.7.18-x86_64-4_nerdtools: object-oriented interpret [  81M]
Dec  5 06:16:12 Tvserver-V2 root: Installing: python3-3.9.10-x86_64-1_nerdtools: object-oriented interpret [ 135M]
Dec  5 06:16:12 Tvserver-V2 root: Installing: python-pip-21.3.1-x86_64-2_nerdtools: tool for installing Py [ 9.5M]
Dec  5 06:16:13 Tvserver-V2 root: Installing: python-setuptools-57.5.0-x86_64-2_nerdtools: a collection of [ 3.9M]
Dec  5 06:16:13 Tvserver-V2 root: Installing: rar-6.12-x86_64-1_SBo_nerdtools: processes RAR files ....... [ 990K]

 

[alturismo]

1 hour ago, FlorianHE said:

Im Log steht in diesem zeitraum leider nix. weder auf dem Stick noch auf meinem anderen Unraid server der gleichzeitig auch als Syslog server dient.

 

 

und bei syslog > Flash sieht das auch so aus ?

 

weil da fehlt ja dann der komplette boot ...

[FlorianHE]

Dec  4 21:44:33 Tvserver-V2 emhttpd: spinning down /dev/sdc
Dec  4 21:44:33 Tvserver-V2 s3_sleep: Wake-up from sleep mode
Dec  4 21:44:33 Tvserver-V2 kernel: Bluetooth: hci0: Legacy ROM 2.5 revision 1.0 build 3 week 17 2014
Dec  4 21:44:33 Tvserver-V2 kernel: Bluetooth: hci0: Intel device is already patched. patch num: 32
Dec  4 21:44:50 Tvserver-V2 crond[1984]: time disparity of 105 minutes detected
Dec  4 21:46:40 Tvserver-V2 webGUI: Successful login user root from 192.168.10.15
Dec  4 21:47:47 Tvserver-V2 monitor: Stop running nchan processes
Dec  4 23:18:38 Tvserver-V2 emhttpd: read SMART /dev/sdb
Dec  4 23:18:38 Tvserver-V2 emhttpd: read SMART /dev/sdc
Dec  4 23:18:43 Tvserver-V2 emhttpd: read SMART /dev/sde
Dec  4 23:19:51 Tvserver-V2 monitor: Stop running nchan processes
Dec  4 23:49:01 Tvserver-V2 emhttpd: spinning down /dev/sde
Dec  4 23:49:01 Tvserver-V2 emhttpd: spinning down /dev/sdb
Dec  4 23:51:45 Tvserver-V2 emhttpd: spinning down /dev/sdc
Dec  5 00:15:26 Tvserver-V2 flash_backup: adding task: /usr/local/emhttp/plugins/dynamix.my.servers/scripts/UpdateFlashBackup update
Dec  5 00:15:46 Tvserver-V2 emhttpd: read SMART /dev/sdc
Dec  5 00:30:36 Tvserver-V2 flash_backup: adding task: /usr/local/emhttp/plugins/dynamix.my.servers/scripts/UpdateFlashBackup update
Dec  5 00:44:19 Tvserver-V2 emhttpd: spinning down /dev/sdc
Dec  5 01:12:40 Tvserver-V2 emhttpd: read SMART /dev/sdb
Dec  5 01:14:33 Tvserver-V2 emhttpd: read SMART /dev/sdc
Dec  5 01:29:31 Tvserver-V2 emhttpd: spinning down /dev/sdb
Dec  5 02:04:01 Tvserver-V2 kernel: usb 3-3: dvb_usb_v2: could not submit urb no. 0 - get them all back
Dec  5 02:04:01 Tvserver-V2 kernel: usb 3-2: dvb_usb_v2: could not submit urb no. 0 - get them all back
Dec  5 02:04:01 Tvserver-V2 kernel: usb 1-1: dvb_usb_v2: could not submit urb no. 0 - get them all back
Dec  5 03:00:07 Tvserver-V2 emhttpd: read SMART /dev/sdd
Dec  5 03:00:14 Tvserver-V2 emhttpd: read SMART /dev/sdb
Dec  5 03:16:46 Tvserver-V2 emhttpd: spinning down /dev/sdb
Dec  5 03:17:17 Tvserver-V2 emhttpd: spinning down /dev/sdd
Dec  5 06:15:25 Tvserver-V2 kernel: Linux version 6.1.49-Unraid (root@Develop-612) (gcc (GCC) 12.2.0, GNU ld version 2.40-slack151) #1 SMP PREEMPT_DYNAMIC Wed Aug 30 09:42:35 PDT 2023
Dec  5 06:15:25 Tvserver-V2 kernel: Command line: BOOT_IMAGE=/bzimage amd_iommu=on iommu=pt initrd=/bzroot
Dec  5 06:15:25 Tvserver-V2 kernel: BIOS-provided physical RAM map:
Dec  5 06:15:25 Tvserver-V2 kernel: BIOS-e820: [mem 0x0000000000000000-0x000000000009ffff] usable
Dec  5 06:15:25 Tvserver-V2 kernel: BIOS-e820: [mem 0x00000000000a0000-0x00000000000fffff] reserved
Dec  5 06:15:25 Tvserver-V2 kernel: BIOS-e820: [mem 0x0000000000100000-0x0000000009c3efff] usable
Dec  5 06:15:25 Tvserver-V2 kernel: BIOS-e820: [mem 0x0000000009c3f000-0x0000000009ffffff] reserved
Dec  5 06:15:25 Tvserver-V2 kernel: BIOS-e820: [mem 0x000000000a000000-0x000000000a1fffff] usable
Dec  5 06:15:25 Tvserver-V2 kernel: BIOS-e820: [mem 0x000000000a200000-0x000000000a20afff] ACPI NVS
Dec  5 06:15:25 Tvserver-V2 kernel: BIOS-e820: [mem 0x000000000a20b000-0x000000000affffff] usable
Dec  5 06:15:25 Tvserver-V2 kernel: BIOS-e820: [mem 0x000000000b000000-0x000000000b01ffff] reserved
Dec  5 06:15:25 Tvserver-V2 kernel: BIOS-e820: [mem 0x000000000b020000-0x00000000bb128fff] usable
Dec  5 06:15:25 Tvserver-V2 kernel: BIOS-e820: [mem 0x00000000bb129000-0x00000000bc88cfff] reserved
Dec  5 06:15:25 Tvserver-V2 kernel: BIOS-e820: [mem 0x00000000bc88d000-0x00000000bc8cafff] ACPI data
Dec  5 06:15:25 Tvserver-V2 kernel: BIOS-e820: [mem 0x00000000bc8cb000-0x00000000bcf8afff] ACPI NVS
Dec  5 06:15:25 Tvserver-V2 kernel: BIOS-e820: [mem 0x00000000bcf8b000-0x00000000bdbfefff] reserved
Dec  5 06:15:25 Tvserver-V2 kernel: BIOS-e820: [mem 0x00000000bdbff000-0x00000000beffffff] usable
Dec  5 06:15:25 Tvserver-V2 kernel: BIOS-e820: [mem 0x00000000bf000000-0x00000000bfffffff] reserved
Dec  5 06:15:25 Tvserver-V2 kernel: BIOS-e820: [mem 0x00000000f0000000-0x00000000f7ffffff] reserved
Dec  5 06:15:25 Tvserver-V2 kernel: BIOS-e820: [mem 0x00000000fd100000-0x00000000fd1fffff] reserved
Dec  5 06:15:25 Tvserver-V2 kernel: BIOS-e820: [mem 0x00000000fea00000-0x00000000fea0ffff] reserved
Dec  5 06:15:25 Tvserver-V2 kernel: BIOS-e820: [mem 0x00000000feb80000-0x00000000fec01fff] reserved
Dec  5 06:15:25 Tvserver-V2 kernel: BIOS-e820: [mem 0x00000000fec10000-0x00000000fec10fff] reserved
Dec  5 06:15:25 Tvserver-V2 kernel: BIOS-e820: [mem 0x00000000fec30000-0x00000000fec30fff] reserved
Dec  5 06:15:25 Tvserver-V2 kernel: BIOS-e820: [mem 0x00000000fed00000-0x00000000fed00fff] reserved
Dec  5 06:15:25 Tvserver-V2 kernel: BIOS-e820: [mem 0x00000000fed40000-0x00000000fed44fff] reserved
Dec  5 06:15:25 Tvserver-V2 kernel: BIOS-e820: [mem 0x00000000fed80000-0x00000000fed8ffff] reserved
Dec  5 06:15:25 Tvserver-V2 kernel: BIOS-e820: [mem 0x00000000fedc2000-0x00000000fedcffff] reserved
Dec  5 06:15:25 Tvserver-V2 kernel: BIOS-e820: [mem 0x00000000fedd4000-0x00000000fedd5fff] reserved
Dec  5 06:15:25 Tvserver-V2 kernel: BIOS-e820: [mem 0x00000000ff000000-0x00000000ffffffff] reserved
Dec  5 06:15:25 Tvserver-V2 kernel: BIOS-e820: [mem 0x0000000100000000-0x000000083f37ffff] usable
Dec  5 06:15:25 Tvserver-V2 kernel: BIOS-e820: [mem 0x000000083f380000-0x000000083fffffff] reserved
Dec  5 06:15:25 Tvserver-V2 kernel: NX (Execute Disable) protection: active
Dec  5 06:15:25 Tvserver-V2 kernel: e820: update [mem 0xb4291018-0xb429f057] usable ==> usable
Dec  5 06:15:25 Tvserver-V2 kernel: e820: update [mem 0xb4291018-0xb429f057] usable ==> usable

 

nein leider nicht. im log vom flash ist zwar vom boot mehr zu sehen aber nicht vom Absturz. 

Ich bin komplett ratlos. läuft ne VM bleibt der Server Wochenlang an. 

 

könnte das eventuell irgendwie am Netzteil liegen? Das Das ausgeht wenn zu wenig Last dran hängt? 

Ich hab das Gefühl das der Server abstürzt wenn er nix zutun hat. 

 

 

[alturismo]

31 minutes ago, FlorianHE said:

Ich hab das Gefühl das der Server abstürzt wenn er nix zutun hat. 

naja, hast du Stromsparmechanismen aktiv ? powertop ... andere ... im BIOS ...

 

zum Test mal deaktivieren ?

 

wie du sagst, anhand des logs ist halt (leider) nichts zu sehen ... und wir reden über "freeze", keine harten Neustarts (das wäre sicher hardware Thema)

[DataCollector]

5 hours ago, FlorianHE said:

könnte das eventuell irgendwie am Netzteil liegen? Das Das ausgeht wenn zu wenig Last dran hängt?

 

Mit einführen der Haswell CPUs (Ende 2013), kam die Problematik auf, daß CPUs in einem Low-Power Betrieb (schlafend) so wenig Energie gezogen haben, daß das Netzteil ausgegangen ist.

Bekannt als "Haswell C6/C7 Low-Power States". Deshalb haben seit dem eigentlich (fast) alle ATX/PC Netzteile dieses extra Feature, daß sie nicht ausgehen.

Hast Du ein so uraltes altes Schätzchen?

 

Edited December 5, 2023 by DataCollector
Typo

[alturismo]

Dann wäre es jedoch kein freeze ?

Gesendet von meinem SM-S911B mit Tapatalk

[FlorianHE]

Also Stromsparmechanismen hab ich keine aktiv. zumindest nicht das ich wüsste. ob im Bios was aktiv ist müsste ich nochmal prüfen. gibts da bestimmte einstellungen auf die ich dabei achten sollte? 

 

Mein server ist zwar nicht der neuste. Aber auf jeden fall nicht älter als 5 Jahre. 

 

Eine Beobachtung konnte ich noch machen: 

Ich hatte mal eine Grafikkarte eingebaut und den Server ohne aktiver VM im Gui Mode laufen lassen. Da ist er nicht ausgefallen. allerdings lief der test nur 2 tage weil ich dann dringend eine VM aktiv brauchte. 

 

Ich wollte eigentlich den Server auch mal im Standard Mode mit monitor booten aber leider friert der Bildschirm beim oder wird schwarz (weiß gar nicht mehr genau) booten ein sodass man da nicht viel sehen kann. man kommt sozusagen nicht zum Login screen. Ich hab keine Ahnung wie ich das hinbekommen habe. das ist aber leider auch schon ewig so. 

[alturismo]

11 minutes ago, FlorianHE said:

das ist aber leider auch schon ewig so. 

naja, man hatte dir auch bereits mal empfohlen eine diagnostics anzuhängen ... 

[FlorianHE]

Hier sind meine diagnostics

tvserver-v2-diagnostics-20231206-0723.zip

[ich777]

26 minutes ago, FlorianHE said:

Hier sind meine diagnostics

Da du einen Ryzen 1st gen verwendest hast du denn die C-States im BIOS deaktiviert?

 

Wie ich sehe hast du auch IPVLAN aktiviert und nicht MACVLAN in den Docker settings richtig?

 

Was für ein Netzteil verwendest du bzw. welchen RAM, hast du beim RAM XMP aktviert (das heißt glaub ich bei AMD anders oder?)?

[FlorianHE]

Hallo. Ich habe das c-States jetzt mal von Auto auf deaktiviert gestellt. 

ipvlan hatte ich aktiviert weil mein zigbee2mqtt Container sonst aus irgend einem Grund keine Verbindung zum IObroker aufbauen kann. Das verhält sich nach dem booten sowieso immer komisch. Starte ich den Server muss ich das Array nach dem Start nochmal stoppen und dann wieder starten. Dann geht der Container erst wieder. Das gleiche Verhalten ist auch auf meinem 2. unraid. Mit Mcvlan geht das Netzwerk vom Container garnicht. 
 

das ram xmp ist aktiviert. Bzw steht auf Profil 1. soll ich das mal aus machen ?

 

Ich verwende das bequiet bqt l7-430w

 

Der ram ist von G.Skill F4-3200C16D-16GIS

 

[alturismo]

1 hour ago, FlorianHE said:

das ram xmp ist aktiviert. Bzw steht auf Profil 1. soll ich das mal aus machen ?

 

so wie es überall empfohlen wird ... ja ... XMP ist bekannt dafür das Server crashen ...

[FlorianHE]

Ok das werde ich mal probieren. Das Abschlaten der C-States hat schonmal nix gebracht. Nach 2 Stunden war wieder schicht im Schacht. Aber Diesmal wird noch im Log geschrieben. Der Server scheint diemal nicht komplett abgestürzt zu sein. Aber die Unraid gui und die Docker und SMB ist nicht erreichbar.

 

Ich schalte jetzt mal das XMP ab. 

automation-syslog-192.168.50.53-20231209-1656.zip

[FlorianHE]

Ich muss gleich nochmal was anderes fragen. Ich hab ja schon mal erwähnt das wenn ich unraid starte mit angeschlossenen Monitor das der Server nie bis zum Login kommt. Ich hab mal ein Bild gemacht wo der stehen bleibt. 

[FlorianHE]

Schade. Wieder abgestürzt. Und diesmal aber wieder komplett. Bildschirm schwarz, keine Festplattenaktivität, kein ping. 
 

im syslog wieder nur der Eintrag das die Platten down gehen. Und 10 min später war er dann wieder gecrasht. Ich lasse jetzt erstmal wieder ne vm laufen das er die Nacht an bleibt. 

[FlorianHE]

Hallo. Mittlerweile hat sich rausgestellt das es wirklich an der Hardware vom server lag. Wa genau weiß ich nicht. Hab mit einen Dell Rackserver gekauft. Da alle Platten rein geschmissen das ding in die ecke gestellt und ein geschaltet und seit dem läuft es einfach.