B365m Package C States / Strom sparen


commanderts

Recommended Posts

Hallo zusammen!

 

Erstmal ein großes Danke in die Runde! Dieses Forum ist wirklich sehr informativ und ich glaube dies ist mein erster Beitrag.

Ich habe meinen Server aufgerüstet und ein Asrock B365m Pro4 und einen i7-8700 verbaut.

Desweiteren sind 2 500GB Sata SSDs, 4 x 4TB HDDs und 2 x 16GB verbaut. Alle Erweiterungskarten habe ich entfernt und im BIOS sämtliche Energiesparfunktionen aktiviert (die ich gefunden habe...).

 

Meine Probleme sind jetzt erstens, dass mit dem Govenor Performance alle Kerne immer auf maximaler Frequenz laufen (Powertop, cpufreq-info und 'watch grep \"cpu MHz\" /proc/cpuinfo'). Wenn ich Powersave auswähle takten sie auch runter.

 

Zweitens befindet sich das Package immer im C2, weiter runter geht es nicht. 

Grafiktreiber sind auch installiert und Transcoden funktioniert darüber. 

 

Ich bin eigentlich davon ausgegangen, dass es an einer meiner Erweiterungskarten liegt, ohne ändert sich aber leider überhaupt nichts...

 

image.thumb.png.d32f5c3f3048eb2752101548c09d6323.png

Link to comment
3 hours ago, commanderts said:

dass mit dem Govenor Performance alle Kerne immer auf maximaler Frequenz laufen (Powertop, cpufreq-info und 'watch grep \"cpu MHz\" /proc/cpuinfo'). Wenn ich Powersave auswähle takten sie auch runter.

Das ist irrelevant. Die Frequenz hat nur wenig Einfluss. Wichtig sind die Package C States. Wichtig ist, dass du im BIOS ASPM auf L1 / enabled stellst und das C State Limit auf C10 und eben die ganzen C State Optionen aktivieren.

Link to comment

wenn es Dir um powertop geht, teste vielleicht mal eine ältere Version, ich hab mit der aktuellen Version hier auch keine Chance hohe C State Werte zu erreichen.

 

mit der Version anstelle der aus dem Nerd Plugin lief es dann.

 

btw. CPU Governour auf performance macht hier ne Menge aus, daher setze ich auf Power Safe, Tipps & Tweaks plugin ...

 

macht in der Abwärme 3 - 5 Grad aus (was auch mehr Energie braucht, ca. 5 - 8 Watt) während ich in der Performance (Latenz) nicht wirklich etwas merke (Vorteil von Performance), also einfach mal vergleichen und für Dich entscheiden.

 

Ich habe einen i9 9900 zum Vergleich.

 

die Powertop Version wo hier geht (wenn man es will) ist anbei

 

vorhandene im Nerd Pack deinstallieren, neue installieren mit

 

installpkg /boot/extra/powertop-2.8-x86_64-1.txz

 

Pfad anpassen, das wäre der Pfad um es perisstent zu machen.

powertop-2.8-x86_64-1.zip

Link to comment

Ok, mit dieser Version geht es bis C10 runter, sehr gut!

Allerdings werden viele andere Werte nicht mehr angezeigt und der Stromverbrauch hat sich auch nicht geändert - war also vermutlich ein Anzeigefehler.

Vielleicht könnt ihr mir mal eine Einschätzung zum Stromverbruch allgemein geben. Mit allen 4 Platten im Spindown und den beiden aktiven Cache SSDs verbrauche ich 24-28 Watt. Docker und ein Windows Server laufen zwar im Hintergrund, wenn ich alles Stoppe ändert sich der Verbrauch aber nicht. 

Als Netzteil ist momentan ein Cougar A300 80 Plus Bronze verbaut, das ich noch rum liegen hatte. Wie hoch ist die Wahrscheinlichkeit, dass ich durch Austausch noch was sparen kann?

Ich nutze eine ca. 8 Jahre alte dual DVB-S Karte von TBS. Wenn ich die einstecke steigt der Verbrauch auf 38 Watt, das finde ich schon extrem. Gibt es neuere sparsamere Karten oder vielleicht auch externe Sat-IP Server/Receiver die im Verbrauch günstiger und in der Anschaffung nicht so extrem teuer sind?

Wenn ich die beiden SATA SSDs gegen NVMe tausche macht das auch höchstens 2-3 Watt aus oder?

Link to comment

da bin ich sicher der falsche Ansprechpartner, mein Server braucht ~ 60 Watt im idle, mit oder ohne powertop ... ich glaube auch langsam nicht dran dass das hier wirklich etwas ändert bedingt durch die unterschiedlichen Versionen, daher auch eher Anzeigethema für mich, nur dass es gut aussieht, daher nutze ich das nicht mehr. Betrifft jetzt hier mein System, andere Erfahrungen zeigen ja dass es etwas ausmacht, daher selbst testen ...

 

ich hab aber perm. 3 VM's am Laufen, 1 x RTX3070, 1 x GT1030, 1 x gvt-g, und ein paar Docker ... und ne wakü mit Pumpe und dazu in Summe 11 Lüfter, daher ;)

 

image.thumb.png.61e70b04460e1642cc95282f50882639.png

 

aber nur im Power Save mode, Performance geht es leicht hoch ...

 

image.png.eb4e2c5b77365807b57a635af2f7669a.png

 

Edited by alturismo
Link to comment
10 hours ago, commanderts said:

Docker und ein Windows Server laufen zwar im Hintergrund, wenn ich alles Stoppe ändert sich der Verbrauch aber nicht. 

Das macht irgendwie keinen Sinn. Meiner Ansicht nach solltest du Ubuntu auf einen Stick packen, alle Datenträger anklemmen und mal nur so Booten. Dann messen und solange Datenträger anschließen, bis du das Problem erkannt hast.

 

10 hours ago, commanderts said:

Cougar A300 80

Das hält nicht mal die beworbene Bronze ein:

https://www.computerbase.de/2013-04/300-watt-netzteile-test/7/#abschnitt_effizienz

 

Das Corsair RM550x (2021) oder das Be Quiet Pure Power FM 550 sind aktuell die sparsamsten ATX Netzteile im Niedriglastbereich.

 

10 hours ago, commanderts said:

den beiden aktiven Cache SSDs

Sind die wirklich aktiv (also sichtbare Übertragungsrate) oder schlussfolgerst du das aus dem Icon? SSDs gehen sofort in den Standby, wenn sie nichts zu tun haben. Erkennt man auch an der Temperatur.

 

10 hours ago, commanderts said:

Wenn ich die beiden SATA SSDs gegen NVMe tausche macht das auch höchstens 2-3 Watt aus oder?

Das macht gar nichts aus bzw wenn die aktiv sind, ist der Verbrauch von NVMe höher und nicht niedriger als SATA. Das liegt schon alleine daran, dass eine NVMe 4 PCIe Lanes nutzt, während sich alle SATA, USB usw Buchsen 4 Lanes teilen.

 

10 hours ago, commanderts said:

Vielleicht könnt ihr mir mal eine Einschätzung zum Stromverbruch allgemein geben

Ich finde das viel zu hoch. Mit einem C246M-WU4 landet man bei den selben Datenträgern bei ~10W.

 

Welches Messgerät nutzt du?

Link to comment

So, ich habe jetzt nochmal etwas getestet, anbei meine vielleicht lesbaren Notizen ;)IMG_0004.thumb.jpeg.2725c12748b5ca185b9f0e9aaafff868.jpeg

 

Offensichtlich liegt es an meinen 3 DatenHDDs. Sobald diese angeschlossen sind wechselt der Server nicht mehr über C2 hinaus und zumindest die TV-Karte verbraucht dann auch permanent mehr Strom. Ich schaue gleich mal, ob es eine aktuellere Firmware dafür gibt. Es sind HP Festplatten (MB4000GVYZK), also eigentlich auch nicht zum Stromsparen gedacht - vielleicht ist das dann einfach so. 

Dass 15 Watt mein unterstes Limit ist liegt dann vielleicht an dem Netzteil. Ich "messe" übrigens mit einem Shelly Plug S, nicht das Professionellste Werkzeug aber besser als nichts.

Link to comment

Kurzes Update: Firmware Update scheint geholfen zu haben.

Festplatten im Spindown, Windows 2016 DC VM aktiv, 10 aktive Docker, dual TV-Karte, dual 10G Karte (ein DAC angeschlossen) und eine NVME unassigned - 31 Watt

Damit kann ich erstmal leben! Jetzt nochmal das Netzteil tauschen, offensichtlich liegt da ja noch etwas Potential.

Link to comment

Was für ein Netzteil ist es?

 

Zu powertop ist noch zu sagen, das ich OMV getestet hatte und dort war dann Powertop 2.8 C10 PKG , aber der verbrauch lag dann bei 6-7W statt 3-4W mit ubuntu und powertop 2.13 C7 PKG. Bei unraid komme ich nicht über C3 PKG und entsprechen 8-9W idle. Ich habe als Netzteil ein 65W 19,5V direkt am Board, was ne art PICOPSU onboard hat. Mit 12V Netzteil Leicke 72W sind die Werte ähnlich.

Klar wesentlich bessere Werte, aber auch extra ein sparsames Board mit Notebookspeicher und wneig Ausstattung gewählt.

 

Link to comment

Ich kämpfe bei meinem AMD-System ja auch immer noch mit dem Stromverbrauch/Powertop und bin dabei auf folgenden Beitrag gestoßen:

https://askubuntu.com/a/1242574

 

Wenn ich das im Terminal eingebe erhalte ich:

root@Unraid:~# grep . /sys/devices/system/cpu/cpu0/cpuidle/state*/name
/sys/devices/system/cpu/cpu0/cpuidle/state0/name:POLL
/sys/devices/system/cpu/cpu0/cpuidle/state1/name:C1
/sys/devices/system/cpu/cpu0/cpuidle/state2/name:C2
/sys/devices/system/cpu/cpu0/cpuidle/state3/name:C3

Also nur bis C3

 

Hatte daraufhin "Zenstates" in Verdacht. Aber da erhalte ich folgendes:

root@Unraid:~# zenstates --list
C6 State - Package - Enabled
C6 State - Core - Enabled

Grundsätzlich wäre C6 also möglich.

 

Da bei mir auch der rt8169 geladen wird bin ich in das Thema auch mal eingestiegen, wobei auch noch einige andere Gerätschaften anscheinend kein ASPM mögen...

Mal sehen ob ich das noch irgendwie hingebogen bekomme.

Wobei "damals" mit Ubuntu 20.10 hatte ich denselben Verbrauch - muss ich nochmal mit nem aktuellen Ubuntu gegentesten ob sich da was getan hat.

Link to comment

Das mit den Zenstates habe ich auch mal probiert, aber es kommt folgendes:

 

Quote

zenstates --list
C6 State - Package - Disabled
C6 State - Core - Disabled

 

Bei dem ersten Befehl steht bis C10:

Quote

grep . /sys/devices/system/cpu/cpu0/cpuidle/state*/name
/sys/devices/system/cpu/cpu0/cpuidle/state0/name:POLL
/sys/devices/system/cpu/cpu0/cpuidle/state1/name:C1
/sys/devices/system/cpu/cpu0/cpuidle/state2/name:C1E
/sys/devices/system/cpu/cpu0/cpuidle/state3/name:C3
/sys/devices/system/cpu/cpu0/cpuidle/state4/name:C6
/sys/devices/system/cpu/cpu0/cpuidle/state5/name:C7s
/sys/devices/system/cpu/cpu0/cpuidle/state6/name:C8
/sys/devices/system/cpu/cpu0/cpuidle/state7/name:C9
/sys/devices/system/cpu/cpu0/cpuidle/state8/name:C10

 

Edited by TraumG
Link to comment
  • 2 months later...

hpet=disable bei den Kernel-Optionen setzen und den Server neu starten:

Screenshot_20211230_105509.thumb.png.5427636c1e97fe6bea0819426a6bdfbe.png

 

Im BIOS ASPM auf "Auto"

 

Dann das mal ausführen (das verfällt nach einem Neustart, muss also jedesmal wiederholt oder in die Go-Datei eintragen werden):

echo med_power_with_dipm | tee /sys/class/scsi_host/host*/link_power_management_policy
echo auto | tee /sys/bus/i2c/devices/i2c-*/device/power/control
echo auto | tee /sys/bus/usb/devices/*/power/control
echo auto | tee /sys/block/sd*/device/power/control
echo auto | tee /sys/bus/pci/devices/????:??:??.?/power/control
echo auto | tee /sys/bus/pci/devices/????:??:??.?/ata*/power/control
for i in /sys/class/net/eth?; do dev=$(basename $i); [[ $(echo $(ethtool --show-eee $dev 2> /dev/null) | grep -c "Supported EEE link modes: 1") -eq 1 ]] && ethtool --set-eee $dev eee on; done
for i in /sys/class/net/eth?; do ethtool -s  $(basename $i) wol d; done 
echo "Done"

 

Und das Ergebnis hiervon posten:

https://forums.unraid.net/topic/111921-why-is-aspm-disabled-in-unraid-while-its-enabled-in-ubuntu/page/2/?tab=comments#comment-1053964


Irgendwelche Änderungen beim Stromverbrauch?

 

Welches Netzteil hast du jetzt eigentlich?

Link to comment

@mgutt Teste ich später mal, schaufel gerade meine Platten frei...

Ich habe erstmal ein anderes Netzteil aus einer Lenovo Workstation genommen die ich noch da hatte um zu schauen ob sich irgend etwas ändert. 

Was sich geändert hat ist der Standby Verbrauch, den brauche ich aber eh nicht ;) Ich kümmer mich jetzt erst um die Festplatten, da die einen viel zu hohen Standby Verbrauch haben, danach sehe ich weiter. Die Platten ziehen in meinen Backup Server, der läuft in der Regel eh nur ein paar Minuten pro Tag.

Link to comment
13 minutes ago, commanderts said:

Die Platten ziehen in meinen Backup Server, der läuft in der Regel eh nur ein paar Minuten pro Tag.

Die Platten können ja durchaus mehr verbrauchen, aber dass du ohne TV Karte und nur einem RAM Modul bei 15W landest, ist genauso ein Problem. Da würde ich irgendwas unter 10W erwarten.

 

Kannst du im BIOS noch Audio und die RGB LED Buchse deaktivieren? 

 

Quote

Ich habe erstmal ein anderes Netzteil aus einer Lenovo Workstation genommen die ich noch da hatte um zu schauen ob sich irgend etwas ändert. 

Das Lenovo wird ebenfalls nicht an das Corsair RM550x (2021) dran kommen. Es liegen 3 bis 4W zwischen dem und meinem SF450 Platinum.

Link to comment

@mgutt Ja, da hast du wohl recht. Irgendwo muss ich jetzt aber mal anfangen und einigermaßen systematisch vorgehen. Im BIOS ist alles deaktiviert was ich nicht brauche. Audio auf jeden Fall, den RGB Controller konnte ich nicht abschalten glaube ich.

Das Netzteil wird ganz bestimmt nicht so gut sein, das steht aber weiter hinten in der Liste. Ich sehe ja durchaus gravierende Unterschiede wenn ich einzelne Komponenten entferne. Ist ja auch immer alles eine Budgetfrage... Ich hab da grad noch einiges auf dem Zettel - nach und nach.

Link to comment
12 minutes ago, commanderts said:

Ich hab da grad noch einiges auf dem Zettel - nach und nach.

Du bist der einzige, der das Board gemessen hat und jetzt ist eben die Frage ob es sparsam ist oder nicht. Weil sonst fliegt es von meiner Empfehlungsliste. Ich habe das Corsair RM550x (2021) übrigens noch rumliegen. Wenn du den Rückversand übernimmst, sende ich dir das.

Link to comment

Ich würde mich gerne auch einklinken. Ich habe vor ein paar Tagen meinen ersten Unraid Server zusammengebaut, nach einiger Recherche hier bin ich auf die Empfehlung des ASRock B365M Pro4 und 8./9. Generation Intel CPU (bei mir: i5-9400) gestoßen, weil das Asus C246WU4 aktuell nicht verfügbar war. So ganz optimal ist der Stromverbrauch aber auch nach meinen Optimierungsversuchen nicht. Nach anfänglichen 50 Watt nach dem Starten des Server und des Arrays und 35 Watt im Idle und inaktiven HDD, bin ich inzwischen immerhin runter auf 17 Watt im Idle und Spin Down aller Disks. Die Cache SSD läuft derweil mit 10 Docker Containern, CPU bei 1-2 % Load.

 

Hardware:

- Fractal Define 7

- Corsair RM550x (2021)

- ASRock B365M Pro 4

- Intel Core i5-9400

- 2 * 16 GB Crucial Ballistix DDR4-3000

  (läuft natürlich nur auf 2666 in diesem Setup)

- Samsung 970 Evo Plus M.2 NVMe SSD

- 2 * 4 TB Seagate Ironwolf HDD (ST4000VN008)

- 1 * 3 TB Toshiba HDD (DT01ABA300);

  SMR, 6 Jahre alt, lief vorher in meinem Desktop

- 1 * 6 TB WD Red Plus (WD60EFZX) als Parity Disk

 

Was ich in powertop sehe ist, dass ich beim Package C State nicht über C2 hinauskomme und wenn ich mit powertop --auto-tune optimiere, steht unter "Tunables" erst überall "Good", das springt aber nach einem Neustart alles bis auf die beiden letzten USB-Einträge wieder zurück auf "Bad", wenn ich dann wieder nachsehe.

 

Ich kann gerne noch Bilder von den Einstellungen im Bios machen, meine aber, dass ich wie commanderts alle möglichen Einsparmaßnahmen eingestellt habe. Den CPU Governor habe ich auch auf Power Save statt Performance gestellt. Die 16,5W, die mir die Fritz!DECT 210 anzeigt sind vertretbar, aber in powertop sieht es wie gesagt nach meinem Verständnis etwas problematisch aus...

 

Edit: Oh, nachdem ich die Befehle von @mgutt ins Terminal kopiert habe, ist der Verbrauch doch nochmal auf 13 Watt gesunken und in powertop sehe ich jetzt bei Package C7! Ich wussterzuerst nicht, was ich mit dem "Skript" machen soll und habe es dann einfach auf gut Glück ins Terminal kopiert. ;D

 

Was genau bewirken die Befehle und kann ich das Ergebnis "stabilisieren"?

 

 

Edited by YoHoNoMo
Link to comment
27 minutes ago, YoHoNoMo said:

Was ich in powertop sehe ist, dass ich beim Package C State nicht über C2 hinauskomme und wenn ich mit powertop --auto-tune optimiere, steht unter "Tunables" erst überall "Good", das springt aber nach einem Neustart alles bis auf die beiden letzten USB-Einträge wieder zurück auf "Bad", wenn ich dann wieder nachsehe.

Das ist normal. Wenn du bei Unraid etwas permanent haben willst, musst du es in die Go-Datei auf dem USB Stick eintragen. Das geht am einfachsten mit dem Config Editor Plugin:

image.png.7156705a170b6616e492fa6867bb4a7a.png

 

Wie du siehst gebe ich die Befehle direkt ein und nutze gar kein powertop. Die genannten Befehle machen im Prinzip das selbe wie das powertop --auto-tune Kommando, nur wirklich für alle Komponenten (powertop macht das eher selektiv, keine Ahnung warum).

 

C7 ist schon mal gut. Die Frage ist warum du nicht auf C9/C10 kommst. Hast du im BIOS das Maximum auf C10 gestellt? Steck den Unraid USB Stick bitte in die USB Buchse unter der LAN-Buchse (das hilft zB beim C246N-WU2). Außerdem deaktiviere Audio im BIOS, falls möglich.

 

Magst du mal die HDDs komplett abklemmen und nur die SSD drin lassen (Array kannst du dann logischerweise nicht starten, sollst du aber auch nicht)? Mich würde mal interessieren wo das Board seinen Bestwert hat (logischerweise auch hier mit den oben genannten Kommandos).

 

Wie viele Lüfter hast du angeschlossen?

 

Und bitte auch du mal das Ergebnis von dem Kommando posten:

https://forums.unraid.net/topic/111921-why-is-aspm-disabled-in-unraid-while-its-enabled-in-ubuntu/page/2/?tab=comments#comment-1053964

Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.