[9750X3D+X670E AORUS MASTER] Unraid startet sich unregelmäßig neu mit CPU powersave Optimierungen im BIOS

[Mr.Bekannt]

Hallöchen,

 

ich habe vor kurzem ein "kleines" Upgrade vollzogen, um meinen Gaming-NAS mal wieder auf den neusten stand der Technik zu bringen. Jedoch habe ich seitdem ich mit den BIOS-Einstellungen herumgespielt habe, relativ viele Probleme damit, dass mein System sich unregelmäßig neu startet.

 

Zum setup:

Spoiler

CPU: AMD Ryzen 9 7950X3D

MB: GIGABYTE X670E AORUS MASTER (Bios vers.: F20a)

RAM: 4 x G.Skill Trident Z5 RGB 32GB DR5-6000 DIMM CL30

GPU: ASUS RTX4080-O16G-NOCTUA

ARRAY STORAGE: 1 x 18TB Seagate EXOS X18 (Pool)

                           1 x 240GB Kingston SA400 SSD (auch im Pool)

CACHE POOL: 2 x 500GB Samsung/Intenso SSD (Docker)

Gaming-VM STORAGE: 1 x 2TB Samsung 980 PRO M2.NVME

Gaming-VM PCI: 1 x USB PCI Steckkarte (um keine Controller weiterleiten zu müssen)

 

 

Gaming-VM:

Die Gaming-VM nutzt die X3D Kerne von der CPU zusammen mit 30GB RAM und der 4080.

 

Docker/VM´s:

Einfach gesagt, werden die restlichen Anwendungen wie zahlreiche Docker für VPN, Cloud, Gameserver, Authelia, SWAG... sowie 10 weitere VM´s über die restlichen 16 Kerne betrieben.

 

 

Zum Problem:

Spoiler

Seitdem ich auf das neue System gewechselt bin, auch den Stromverbrauch streng im Blick gehabt. Mit ausgeschalteter Gaming-VM und mit einer älteren 1070 graka lag der verbrauch vor kurzem bei etwa 120-150W. Da dieses Projekt, einen NAS zu haben, der auch zeitgleich der Gaming-PC ist eher als eine Art Hobby sehe, stört mich der Stromverbrauch nicht sehr aber dennoch würde ich gerne mein bestes versuchen diesen auch runter zu bekommen. Durch Arbeitskollegen so wie YouTube bin ich relativ schnell darauf gekommen, dass es die Möglichkeit gibt, diesen Prozessor mit "wenigen" Einstellungen im BIOS zu undervolten und damit echt gute erfolge zu erzielen. Also habe ich dies vor einigen Tagen auch gemacht. Alle kerne global auf -20 gesetzt und die Gaming-VM (da sie direkt eine eigene M2. SSD hat) ohne Unraid gestartet und einen Belastungstest gestartet. Ohne Probleme. Server mit Unraid gestartet und über die letzten Tage wie üblich benutzt. Jedoch mit einem einzigen unterschied: Meine Gaming-VM hat sich kurze zeit später nach dem herunterfahren eigenständig wieder hochgefahren. Da ich meine Gaming-VM über WOL als Service über Homeassistant/Homekit an mache, dachte ich mir das gegeben falls da ein Fehler mit den Updates eingeschlichen hat. Jedoch als ich heute auf einer der Docker apps die uptime der App gesehen habe, fiel mir auf, dass diese etwa genau so lange an ist, wie auch der Zeitpunkt des Hochfahrens der Gaming-VM war. Dieses Fehlerblid entsteht aber scheinbar nur wirklich, wenn die Gaming-VM aus ist... Ich habe bislang keinen "Absturz" während der Nutzung der  Gaming-VM erlebt.

 

Veränderte BIOS Einstellungen:

Spoiler

-Global C-State Control=Enabled

-Power Supply Idle Control=Low Current Idle

-Precision Boost Overdrive=Advanced

-Platform Thermal Throttle Limit=89

-Curve Optimizer -> All Core Curve Optimizer Sign=Negative

                          -> All Core Curve Optimizer Magnitude=20

                

Ich wollte eig. auch mit XMP und den RAM-Zeiten allgemein herumspielen, jedoch hat das in meinem Fall gar nicht funktioniert und das BIOS ist nicht wirklich aus dem selftest gekommen, auch nach längerem warten...

 

Derzeit habe ich die oben beschrieben BIOS-Einstellungen vorerst zurückgesetzt, damit der Server zuverlässig läuft aber langfristig würde ich schon gerne sehen, dass mein Server (vor allem mit der neuen 4080) keine 180W aus der Dose "frisst" und das ohne der Gaming-VM! Ich hatte ja die Hoffnung in irgend einer form die X3D Kerne, sofern die Gaming-VM nicht läuft komplett zu "sperren/offline zu nehmen" und die Taktrate der restlichen Cores je nach bedarf variabel vom System eigenständig steuern zu lassen. Mit meinem alten Ryzen 3XXX und später 5XXX Setup musste ich mich mit C-States herumschlagen, weil das schon nicht stabil lief. Leider bin ich da nicht wirklich in der Materie, wie ich sowas nachschauen oder gar einstellen kann?

 

Ich habe mal die aktuellen Diagnostics beigefügt.

 

Über jede Hilfe und Oprimierungs- und Einsellungs-vorschläge bin sehr dankbar.

 

Grüße

Mr.Bekannt

bitbunker-diagnostics-20231125-2141.zip

[alturismo]

6 hours ago, Mr.Bekannt said:

Über jede Hilfe und Oprimierungs- und Einsellungs-vorschläge bin sehr dankbar.

 

sag mal bitte an was genau dein Problem ist, es darf gerne auch ein Absatz dazwischen sein ...

 

- Stromverbrauch ? undervolt und instabiler Server ... ?

- WOL und deine VM geht von alleine an ?

- ...  ich werde nicht wirklich schlau aus dem was du da schreibst, sorry

 

6 hours ago, Mr.Bekannt said:

Ich wollte eig. auch mit XMP und den RAM-Zeiten allgemein herumspielen, jedoch hat das in meinem Fall gar nicht funktioniert und das BIOS ist nicht wirklich aus dem selftest gekommen, auch nach längerem warten...

 

mal abgesehen davon dass dies bei einem Server nicht sinnig ist ... hast du da die Lösung, nicht machen ... Thema undervolt ggf. auch ...

dein AMD System mag das offensichtlich nicht ...

 

Was mich auch etwas verwundert, wenn du schon Hardware upgradest und auch auf Stromverbrauch und Virtualisierung aus bist, dann ein AMD System als Base zu nehmen wenn gefühlt immer Intel / Nvidia empfohlen wird ... du wirst deine Gründe haben

 

zu den Diags ... du hast ja fleißig Einstellungen vorgenommen

 

PCI ACS override ... warum ? musstest du wegen USB Controller passthrough ?

dann USB Controller, 2 verschiedene an vfio bind ?

Wifi Karte ? Gaming und Wifi ... ?

Netzwerk, bridging aktiv mit 6.12.4 ... changelog gelesen ?

usw usw usw ...

 

ich nutze auch HA um meine VM's (Desktop, Gaming, Work) per WOL zu starten, dass diese von alleine angehen hängt dann wohl eher mit Konfigurationsfehlern in deiner HA Instanz zusammen, wenn ich jetzt sehe was du hier alles einstellst und machst ... wird das sicherlich nicht einfach sein den Fehler zu finden ... von alleine starten keine VM's

 

Wenn startet Sie direkt wieder weil Sie nicht sauber runter fahren ... womit wir eher wieder oben bei den Themen wären ...

[alturismo]

8 hours ago, Mr.Bekannt said:

damit der Server zuverlässig läuft aber langfristig würde ich schon gerne sehen, dass mein Server (vor allem mit der neuen 4080) keine 180W aus der Dose "frisst" und das ohne der Gaming-VM!

auch hier ggf. ein kleiner Nachtrag, auch wenn deine CPU sicherlich mehr Power hat ... (ich hab nur nen i9-10850k)

 

hier mal mit laufender Desktop VM (GTX 1060) und einer RTX3080ti im "sleep", links der Server, rechts die laufende VM, knapp 80 W im Betrieb ...

wie gesagt, ganz rechts wäre die Gaming VM ... welche gerade nicht aktiv ist ...

 

und ich hab noch 2 x AIO Wakü verbaut (Pumpen), ein paar Lüfter ... womit ich aktuell (ohne HDD's, nur 2 x nvme, die sind in UnraidII gewandert) bei knapp 45 W im idle liegen würde, sprich, du hättest Potenzial gehabt ... mit AMD kann ich leider nicht viel helfen was da geht und was nicht ... werden vielleicht andere etwas dazu sagen können.

 

 

 

[Mr.Bekannt]

5 hours ago, alturismo said:

sag mal bitte an was genau dein Problem ist, es darf gerne auch ein Absatz dazwischen sein ...

Grüß dich,

 

der Server crasht oder startet sich neu wenn die Gaming-VM heruntergefahren ist. Das mache ich an folgenden Punkten aus:

-Gaming-VM ist im Unraid autostart weshalb sie startet

-Homeassistant-VM (FreeBSD) ist hochgefahren, ebenfalls im autostart, fahre ich aber bei jedem Server boot manuell aus

-Docker mit uptime zeigen eine zu kurze, unplaisible uptime an

-Unraid Dashboard zeigt ebenfalls eine zu kurze, unplausible uptime an

 

Und das alles nun auch mit deaktivierten BIOS-Einstellungen.

 

 

5 hours ago, alturismo said:

gefühlt immer Intel / Nvidia empfohlen wird ... du wirst deine Gründe haben

Jain... vor dem Kauf der CPU habe ich mich erkundigt und einiges über ECO-Modes und undervoltig gelesen. Das klang schon vielversprechend, wenn AMD eine Einstellung für einen 65W TDP Limit hat.. ich habe immer noch die Hoffnung das dies klappt.. 😅

 

Zudem lief ich immer wieder in ein Problem bei meinem alten Setups. Lags und suttering, weshalb ich damals auch einen Beitrag hier im Forum eröffnet habe. Da war mein Gedankengang: Mehr Kerne, weniger Probleme.. 🙈

 

5 hours ago, alturismo said:

PCI ACS override ... warum ? musstest du wegen USB Controller passthrough ?

Diese Einstellung stammt noch vom alten Setup, dem Ryzen 5XXX Setup. Da habe ich noch einzelne USB-Controller aus gruppiert. Ich schaue mal ob es auf dem neuen mobo noch notwendig ist.

 

5 hours ago, alturismo said:

dann USB Controller, 2 verschiedene an vfio bind ?

Das eine ist die PCI USB-Steckkarte, worüber ich Tastatur,Maus,Headset und Mikrofon habe und die AMD-Controller nutze ich für front I/O um das Feeling einer echten Windows Maschine zu haben... falls man mal nen USB-Stick schnell formatieren muss etc..

 

5 hours ago, alturismo said:

Wifi Karte ? Gaming und Wifi ... ?

Das ist so eine an das MoBo angeschlossene Antenne, die kann wifi und bluetooth. Die nutze ich um einen X-Box one S Controller kabellos zu verbinden. Wer spielt denn bitte anständig über wifi... 😄

 

5 hours ago, alturismo said:

Netzwerk, bridging aktiv mit 6.12.4 ... changelog gelesen ?

Nein, leider nicht. Ist an mir vorbei gegangen. Ich nutze das bridging für den reverse proxy u.ä.. stimmt da etwas nicht? 

 

4 hours ago, alturismo said:

hier mal mit laufender Desktop VM (GTX 1060) und einer RTX3080ti im "sleep", links der Server, rechts die laufende VM, knapp 80 W im Betrieb ...

wie gesagt, ganz rechts wäre die Gaming VM ... welche gerade nicht aktiv ist ...

Das ist ja Wahnsinn, wie sparsam dein System im vergleich ist!

Wie gesagt, ich habe schon mit einem höheren Stromverbrauch gerechnet, vor allem weil bei mir einige Docker und VM´s durchgehend arbeiten... Aber ich hatte die Hoffnung, dass der Server zumindest etwas eigenständig die Taktrate anpasst.

 

Ich meine es ist eine leistungsstarke CPU aber es ist doch jetzt nicht notwendig, dass diese durchgehend auf 4,5-5GHz Taktet. Darum hatte ich die hoffnung, diese zu undervolten und (wenn möglich) die Taktrate zu reduzieren. Ich habe mal einen screenshot angehangen. Das sind die aktuellen Zahlen... bei 15-45% Auslastung laut Unraid-Dashboard.

 

Ich erinnere mich noch, dass ich damals einstellungen für die C-States für die Ryzen 3XXX/5XXX Serie auf dem Unraid OS vorgenommen habe. Ich bin mir aber nicht sicher ob ich diese entfernt habe. Zenstates hieß das glaube ich. Ich hab gerade mal nachgeschaut, also in den Unser Scripts ist ist keine Einstellung drin. 

 

[alturismo]

1 hour ago, Mr.Bekannt said:

Nein, leider nicht. Ist an mir vorbei gegangen. Ich nutze das bridging für den reverse proxy u.ä.. stimmt da etwas nicht? 

 

ja ... daher auch "changelog gelesen ?" ... unter 6.12.x ist bekannt dass die Server crashen (besonders mit Fritzboxen) ...

 

da bitte mal anfangen und das zuerst lösen.

 

1 hour ago, Mr.Bekannt said:

Jain... vor dem Kauf der CPU habe ich mich erkundigt und einiges über ECO-Modes und undervoltig gelesen. Das klang schon vielversprechend, wenn AMD eine Einstellung für einen 65W TDP Limit hat.. ich habe immer noch die Hoffnung das dies klappt.. 😅

nicht zuviel Hoffnung dazu haben ... es ist bekannt dass ...

 

1 hour ago, Mr.Bekannt said:

Zudem lief ich immer wieder in ein Problem bei meinem alten Setups. Lags und suttering, weshalb ich damals auch einen Beitrag hier im Forum eröffnet habe. Da war mein Gedankengang: Mehr Kerne, weniger Probleme.. 🙈

und gerade das ist auch bekannt, AMD, Virtualisierung im "Gaming Bereich" ... micro stuttering ... sorry ... ich drück die Daumen dass dies mittlerweile besser ist.

 

1 hour ago, Mr.Bekannt said:

Das eine ist die PCI USB-Steckkarte, worüber ich Tastatur,Maus,Headset und Mikrofon habe und die AMD-Controller nutze ich für front I/O um das Feeling einer echten Windows Maschine zu haben... falls man mal nen USB-Stick schnell formatieren muss etc..

 

yep, nutze ich auch (daher immer Boards mit 2 echten USB Controllern schon drauf) mit onboard USB ... und zus. USB Karte für Gaming.

 

1 hour ago, Mr.Bekannt said:

Das ist so eine an das MoBo angeschlossene Antenne, die kann wifi und bluetooth. Die nutze ich um einen X-Box one S Controller kabellos zu verbinden. Wer spielt denn bitte anständig über wifi... 😄

 

macht Sinn, nutze ich auch für PS5 BT Controller

 

1 hour ago, Mr.Bekannt said:

Das ist ja Wahnsinn, wie sparsam dein System im vergleich ist!

 

naja, die meisten hier versuchen unter 10W zu kommen  aber ja, ich bin für die Maschine super zufrieden

 

 

 

zu deinem screen und Taktraten, die alleine bestimmen nicht wirklich den Verbrauch, der load macht das ... du kannst auch (bei Intel, AMD sicher auch) zwischen performance und powersafe hin und her schalten ... mache ich auch ohne VM im Idle ...

 

VM an, die Kerne auf Performance, VM aus, powersafe mode ... macht ca. 1 - 3 W aus (taktet dann von 5,2 auf 3,6 hier)

 

usw usw usw ... und zu deinen Crashes, wenn der Server "hart" neu startet ... also nicht einfriert und du musst Ihn selbst neu starten, deutet das zu 99,9 auf Hardware hin ... sei es Mem, Temps, ... XMP ... nachdem du die 6.12.4 Anpassungen gemacht hast, setz mal "defensiv" im Bios ... und, OHNE powertop und co ... auch Stromsparer Apps können das auslösen wenn die Hardware das nicht mag ... jetzt erstmal F1 schauen hier

 

 

[Mr.Bekannt]

3 hours ago, alturismo said:

ja ... daher auch "changelog gelesen ?" ... unter 6.12.x ist bekannt dass die Server crashen (besonders mit Fritzboxen) ...

 

da bitte mal anfangen und das zuerst lösen.

Sei mir bitte nicht böse, dass ich nochmal spezifisch nachfrage.. aber um diesen fix anzuwenden muss man doch lediglich die:

 

Settings > Network Settings > eth0 > Enable Bridging = No

Settings > Docker > Host access to custom networks = Enabled

 

einstellungen vornehmen, richtig? Falls ja, dann habe ich das gemacht.

 

3 hours ago, alturismo said:

und gerade das ist auch bekannt, AMD, Virtualisierung im "Gaming Bereich" ... micro stuttering ... sorry ... ich drück die Daumen dass dies mittlerweile besser ist.

Ajo, wenn das Setup sich jetzt über die nächsten Wochen/Monate nicht beweist... vor allem wo ich jetz die Leistungsdaten bei dir gesehen habe... muss ich ehrlich sagen, dass ich nicht davon abgeneigt wäre zur blauen Konkurrenz zu wechseln.. vermutlich werde ich selbst nicht die niedrigen Leistungsdaten kommen, weil ich ja durchgehend aktive Docker und VM´s habe... mal sehen was die nächsten Tage bringen..

 

3 hours ago, alturismo said:

nachdem du die 6.12.4 Anpassungen gemacht hast, setz mal "defensiv" im Bios

Wenn es nur die zwei Einstellungen waren, dann ja. BIOS habe ich alle Einstellungen (an die ich mich erinnern kann) zurückgesetzt. Lediglich die Unraid relevanten habe ich nun an.

 

 

Da du mich jetzt doch mit deinem Intel System etwas neugierig gemacht hast... gibt es hier im Forum einen Bereich mit Usern, die nur solche Setups vorstellen? 

Also Setups die sowohl NAS als auch Gaming-System zugleich sind? Ich dachte immer ich bin einer von wenigen, die solch einem Traum hinterher rennen...

 

Vielen, vielen dank bis hier her!

 

Grüße

Edited November 26, 2023 by Mr.Bekannt

[alturismo]

56 minutes ago, Mr.Bekannt said:

einstellungen vornehmen, richtig? Falls ja, dann habe ich das gemacht.

 

ok, in deiner diag war das noch nicht so ...

 

 

ps, auch wenn man im Router fix vergibt, einem Server weist man immer besser eine feste IP zu, nur am Rand erwähnt

 

58 minutes ago, Mr.Bekannt said:

vermutlich werde ich selbst nicht die niedrigen Leistungsdaten kommen, weil ich ja durchgehend aktive Docker und VM´s habe... mal sehen was die nächsten Tage bringen..

Dockers schlucken nicht wirklich was ... das wird kein 2 stelliger Wert werden ... ich hatte das System vorher als einzigen mit allem laufen, im Idle ~ 63 Watt ...

 

asrock z590 velocity, i9 10850k, 64 GB DDR4 3200 (2x32), nvme WD SN 750 2tb, nvme Samsung 970 evo 2tb, HDD 4x 8tb Seagate

DD Max S8 TV Karte, USB smargo Kartenleser, USB Lüftersteuerung, USB Sonoff Zigbee, 2 x AIO Wakü im Loop,

9 x 120 er Lüfter (6 x Radis, 3x Case in), 4 x 80er Lüfter HDD (nur bei Bedarf laufend für 2. Kammer)

usw usw ...

 

mit aktiver VM und GPU aktiv hast du oben gesehen, beim Gaming natürlich ... geht das auch mal auf 500W hoch mit ner RTX 3080ti

 

zu deinem Issue, Hard Reboots ... wie erwähnt, normal immer Hardware related ... ich sehe jede Menge plugins und nerd Kram noch dazu ... du wirst wissen was du da machst, für was auch immer das alles benötigt wird, nur schalte alle Stromsparer ab (Bsp. Powertop), stelle das BIOS sicher auf default Werte (außer Virtualisierung on), schalte XMP aus und setz Ram auf feste Standard Werte, usw usw ...

 

Danach wäre ein memtest vielleicht nicht verkehrt ... der gängigste HW Grund für Hard Reboots ...

 

Wenn Unraid ein Issue hat, dann macht sich das normal bemerkbar dass das System einfriert und stehen bleibt ... kein Hard Reboots.

[Mr.Bekannt]

2 hours ago, alturismo said:

ok, in deiner diag war das noch nicht so ...

Ja, habe ich erst kurz vor meinem letzten Beitrag geändert. 

 

2 hours ago, alturismo said:

ich sehe jede Menge plugins und nerd Kram noch dazu ... du wirst wissen was du da machst

uhm, jain.. ich hoffs zumindest.. 😅

 

2 hours ago, alturismo said:

nur schalte alle Stromsparer ab (Bsp. Powertop), stelle das BIOS sicher auf default Werte (außer Virtualisierung on), schalte XMP aus und setz Ram auf feste Standard Werte, usw usw ...

Powertop hab ich nicht installiert. BIOS Stelle ich nach dem Beitrag mal komplett zurück und XMP funktioniert leider nicht.

 

Aj, dann bleibt jetzt abwarten und hoffen, das es die Netzwerkbrücke ggf. die Fehlerquelle war..

 

Ich schau mich dennoch mal um was so ein i9 14th gen mit mobo kostet.. CPU-Kühler passt schonmal.. 👀🙈

 

Hier nochmal eine frische diag..

bitbunker-diagnostics-20231126-2142.zip

Edited November 26, 2023 by Mr.Bekannt

[Mr.Bekannt]

Kleiner Nachtrag heute.

 

System hat in den letzten 18 Stunden keinen Neustart vollzogen, 11 Std. davon mit ausgeschalteter Gaming-VM. Sieht gut aus, mal sehen wie es die nächsten Tage so läuft. 🤞

[eLpresidente]

On 11/26/2023 at 7:15 AM, alturismo said:

 

Geile Oberfläche *habenwill* ist das Grafana oder wie das ding heißt ? 

[BiNiCKNiCH]

1 hour ago, eLpresidente said:

Geile Oberfläche *habenwill* ist das Grafana oder wie das ding heißt ? 

Das ist Home Assistant. 🙂

[Mr.Bekannt]

Kurze kleine Rückmeldung... ich war jetzt 2 Wochen im Urlaub und der Server war durchgehen an. Ohne einen crash oder Neustart. Dennoch zog er gut 150W ohne WindowsVM.. Also mein initiales Problem ist behoben, vielen dank nochmals! Aber ich werde mir ggf. im laufe der Zeit daraus ein Intel setup basteln. Muss mich da mal umschauen. Die neue Generation soll ja jetzt nicht so doll sein im vergleich zu letzten... hab ich gehört...

[alturismo]

50 minutes ago, Mr.Bekannt said:

Kurze kleine Rückmeldung... ich war jetzt 2 Wochen im Urlaub und der Server war durchgehen an. Ohne einen crash oder Neustart.

ist ja mal ein Anfang ...

 

jetzt kannst du entweder wieder Stück für Stück retour stellen und jedesmal laufen lassen nach jeder Änderung, Bsp. eine Einstellung setzen,

7 Tage laufen lassen, dann nächstes setting, 7 Tage laufen lassen, usw usw ...

 

oder zeitnah (leider) von AMD verabschieden wenn es gut und effizient sein soll ...