Server bleibt in C1E

[jusschl]

Hey Leute,

ich habe nun seit einiger Zeit einen Server mit folgender Hardware:

• i9-9900K
• Z390 Aorus Pro
• 16TB WD "White"
• 14TB WD "White"
• BeQuiet Straight Power 11 (wird durch ein PicoPSU ersetzt)
• 2x16GB TeamGroup DDR4 3200MHz

 

Dieser zieht im Idle 35W aus der Steckdose, mit beiden Platten im Standby und ohne Docker, VMs etc.

Nach einiger Zeit bin ich dann auf das Thema "C-States" und "Powertop" gestoßen. Ich habe mich durch sämtliche Forum Posts und Anleitungen durchgearbeitet, und schaffe es einfach nicht, von C1E bei den Cores und anscheinend C0 beim Pkg weg zu kommen (siehe Screenshot). Ich erwarte kein C10, aber wenigstens ein bisschen Verbesserung, zumal mir 35W im idle auch recht viel erscheinen.

Folgendes habe ich schon gemacht:

• BIOS Update auf die aktuellste Version
• CPU undervolt mit -0.1 und 3.6GHz Allcore
• CEC2019 aktiviert
• ASPM aktiviert
• alle C-States aktiviert
• Audio, RGB und Turbo deaktiviert
• alle nicht benötigten SATA Ports deaktiviert
• Alles außer den Unraid Stick und Netzwerk vom Server abgezogen (Stick steckt derzeit noch hinten an der I/O)
• Nur den CPU Lüfter angesteckt, sonst keine Lüfter
• Intel GPU Top Plugin installiert
• CPU governor auf powersave gestellt
• Das Go-File wie in diesem Post editiert:
• Kontrolliert, dass bei Powertop alles auf "Good" steht
• Die Syslinux bearbeitet mit "intel_pstate=passive isolcpus=4-7 pcie_aspm=force hpet=disable intel_iommu=relax_rmrr mitigations=off"

 

Nichts davon hat mir irgend eine Besserung oder auch nur 1W verringerten Stromverbrauch gebracht und ich bin mit meinem Latein am Ende.

 

Hoffentlich kann mir jemand von euch sagen, was mir noch fehlt!

 

Vielen Dank schonmal!

[Bengon]

Was hast du den als Cache verbaut ? ich sehe nirgends eine SSD .Wenn du alles über die HDD´s am laufen hast können die auch nicht in den Spindown gehen weil alles dort drüber läuft und somit du einen sehr hohen Stromverbrauch hast und keine C-States erreicht werden

[jusschl]

Ich hatte eine 960 Evo Plus drinnen als Cache, am M2A Slot eingebaut und trotzdem hatte ich die gleichen Ergebnisse im Powertop. Selbst mit gestopptem Array verbessert sich nix

[Minion]

Die 35W sind mit oder ohne BeQuiet Straight Power 11?

In einem anderen Setup (siehe Signatur) kostet mich ein BeQuiet Straight Power 11 450W +10Watt im Vergleich zu einer PicoPSU.
35 - 10 = wären aber immernoch 25W.

Ich habe allerdings einen i3-9100, ka, wie weit der i9-9000K runter kann?
MB kann natürlich auch "schuld" sein.

Das dein CPU Package keine C-states zeigt ist allerdings komisch:

 

So sieht es bei mir aus:

 

 

Edited December 22, 2022 by Minion

[jusschl]

Die sind noch mit bequiet Netzteil, ich erhoffe mir die von dir auch schon bestätigten 10W weniger zumindest.

 

Richtig, das mit den Pkg C states kann ich überhaupt nicht verstehen, das Problem scheint auch kein anderer zu haben

[Minion]

Irgendwo ist mir mal eine Auflistung verschiedener MB vor die Nase gekommen - auch von @mgutt? - Da waren welche bei die auch einige W zusätzlich verbraucht haben.

 

Ein paar W mehr Idle beim i9-9900K und dann auch noch einige beim MB - daraus könnte sich dann schon was ergeben.

Ich steige gerade auf ein be quiet! Pure Power 11 FM 550W um.

Welche PicoPSU willst du denn einsetzen?

Bei einem TPD 95W wird es ja schnell eng
Die 120W gibt es hier günstig - selber 3x im Einsatz:

https://www.ebay.de/itm/402297330002

Für einen Test wohl ausreichend, Dauertbetrieb könnte eng werden.

 

Edited December 22, 2022 by Minion

[jusschl]

Ich glaube langsam auch, dass mein Board nicht gerade geeignet ist, aber das ist das einzige das ich da hatte ^^

 

Ich hab mir ein 150W PicoPSU bestellt, unter Last hab ich den Server auf 108W runter bekommen durch undervolting etc. Und so hab ich noch genügend übrig für mehr HDDs etc.

[mgutt]

Bitte mal das BIOS aktualisieren, zurücksetzen und CEC2019 aktivieren.

[jusschl]

2 hours ago, mgutt said:

Bitte mal das BIOS aktualisieren, zurücksetzen und CEC2019 aktivieren.

Ich hab das aktuellste BIOS noch einmal drüber gespielt, alles so gelassen wie es war und nur CEC2019 aktiviert, leider ohne Erfolg, ich bin immernoch bei C1E auf den Cores und 0% im Pkg

[mgutt]

Was sagen die ASPM States mit dem lspci Befehl aus dem Powertop Thread?

[jusschl]

Da bekomme ich das:

[mgutt]

Boote mal bitte Ubuntu und prüfe da die C-States.

[jusschl]

Im Ubuntu komme ich mit angeschlossenen HDDs + SSD und allen BIOS Einstellungen im Werkszustand außer CEC2019 auf Pkg C2 und in den Cores C7, nach powertop --auto-tune und --calibrate bin ich bei C8 im Pkg, C7 in der mittleren Spalte und hinten, wo ich immer C1E hatte, bin ich bei C10

[jusschl]

Ich hab es nochmal ohne --calibrate in Ubuntu versucht, da hatte ich auch C8, C7 und C10 und auch direkt ohne etwas im BIOS etc. zu ändern mit Unraid. Dort habe ich wieder C1E und überall sonst 0%

Edited December 22, 2022 by jusschl

[Minion]

Hat sich denn was am Stromverbrauch geändert?

[Bengon]

Evtl. den Unraid Stick neu aufsetzen. Vielleicht hat sich da beim erstellen ein Fehler eingeschlichen. Oder besser einen anderen testweise zu brennen damit die Config deines jetzigen erhalten bleibt.

[jusschl]

10 hours ago, Minion said:

Hat sich denn was am Stromverbrauch geändert?

In Ubuntu mit Pkg C8 mit angeschlossenen HDDs schaffe ich 27W, ohne HDDs 16W.

 

In Unraid mit C1E bekomme ich mittlerweile mit den HDDs im Standby auf 27W

[jusschl]

56 minutes ago, Bengon said:

Evtl. den Unraid Stick neu aufsetzen. Vielleicht hat sich da beim erstellen ein Fehler eingeschlichen. Oder besser einen anderen testweise zu brennen damit die Config deines jetzigen erhalten bleibt.

Ich glaube du könntest den Fehler gefunden haben... Mit ner frischen Unraid Installation auf einem anderen Stick komme ich ohne --auto-tune auf C2 und mit auf C9 im Pkg und auf ganze 23W mit HDDs!

 

Ich werd' wohl schweren Herzens Unraid auf dem neuen Stick komplett neu einrichten und schauen, ob und wenn ja was die Fehler verursacht

[jusschl]

Nach einer Weile des Probierens habe ich den Fehler jetzt gefunden 🤦‍♂️

Im Eth0 war eine MTU von 9000 eingestellt, nachdem ich diese raus genommen habe, bin ich bei Pkg auf C8 ohne weitere Konfiguration über das Gofile oder die syslinux.cfg gekommen.

[mgutt]

10 hours ago, jusschl said:

Im Eth0 war eine MTU von 9000 eingestellt, nachdem ich diese raus genommen habe, bin ich bei Pkg auf C8 ohne weitere Konfiguration über das Gofile oder die syslinux.cfg gekommen.

Mega interessant. Wie kann das denn alle C-States zerstören?! Kannst du das jederzeit reproduzieren?

[jusschl]

Ich habe keine Ahnung! Ja, sobald ich es einstelle sind sofort alle C-States bei C1E, wenn ich es wieder ruas nehme sofort auf C8 im Pkg bzw. C10 in den Cores

[jj1987]

Klingt so als ob da ein Bug(?) im Treiber der NIC, der bei Änderung der Standardwerte, in die ASPM Regelungen reingrätscht

[jusschl]

Scheint so... Heute ist mein PicoPSU gekommen, und ich bin jetzt im Idle bei 12W und mit beiden HDDs bei 22W, damit kann ich völlig leben mit der Hardware!

 

Vielen Dank an alle, die mir geholfen haben, mein Problem zu lösen, und schöne Weihnachte

[Minion]

Ich habe bei mir jetzt das bequit! PURE Power 11 FM 550W dran.
Ich sehe auch mal 13/14Watt - also 2 Watt mehr als mit PicoPSU.
Es treten aber deutlich mehr und höher Spitzen auf - 16/17/22 Watt sind die Regel.
Das war mit mit der PicoPSU dran so nicht aufgefallen.

Werde mir das noch über die Feiertage etwas genauer anschauen, sonst halt nochmal umbauen

[h0schi]

Hab exakt das gleiche Problem - nur mit Proxmox und Linux 5.15.83-1-pve- und auch dem neueren Linux 6.x.x-pve-Edge Kernel.