Strom sparen mit powertop / Stromverbrauch von UnRaid verbessern


Recommended Posts

Hi,

 

erstmal danke euch fürs bereitstellen von Powertop und den Support den ihr hier leistet!

 

Mein System (inzwischen 1 Jahr alt):

C246-WU4

i3-9100

1x 32GB Kingston Server Premier ECC DDR4-2666 DIMM CL19 Single

2x 18TB Seagate Exos X X18 ST18000NM000J

2x 1TB Samsung 970 Evo Plus M.2

Corsair RM550x

Gehäuse Nanoxia Deep Silence 4

 

Das System ist aktuell nur ein NAS + Paper-ngx. Wenn ich wieder ein bisschen mehr Zeit habe kommt noch Smarthome und Media Server dazu. Habe länger keine Updates von Unraid mehr durchgeführt und vorgestern auf 6.11.5 geupdatet. Als Powertop nicht mehr ging habe ich hier vorbeigeschaut und powertop 2.15 installiert.

 

Ich bin der Meinung mit der ältern Version (6.9.2) hatte ich auch ein bisschen C10 pkg (15%), jetzt gar nicht mehr. Bilde ich mir das nur ein oder habt ihr eine Idee wie ich noch C10 rauskitzeln kann?

 

Grüße Samuel

cStates.png

frequency.png

gpu.png

Link to comment
3 minutes ago, Samu said:

Bilde ich mir das nur ein oder habt ihr eine Idee wie ich noch C10 rauskitzeln kann?

vielleicht war es vorher ein Anzeigefehler, vielleicht ist es jetzt ein Anzeigefehler, vielleicht ...

 

was sagt denn der effektive Verbrauch ? hat sich dieser geändert ? ich würde doch mal sagen dass dies relevant ist und nicht was ein tool sagt ...

 

ansonsten können andere sicher mehr Tipps geben, mein Server ist halt nicht im permanent idle Zustand ... ;) daher ist mir die "Jagd" nach 1-2 Watt auch definitiv zu aufwändig ;)

Link to comment
On 2/24/2023 at 8:06 PM, alturismo said:

was sagt denn der effektive Verbrauch ? hat sich dieser geändert ? ich würde doch mal sagen dass dies relevant ist und nicht was ein tool sagt ...

 

ansonsten können andere sicher mehr Tipps geben, mein Server ist halt nicht im permanent idle Zustand ... ;) daher ist mir die "Jagd" nach 1-2 Watt auch definitiv zu aufwändig ;)

Stromverbrauch kann ich aktuell noch nicht messen, leihe mir aber demnächst mal so ein Steckdosen Teil aus.

 

Ich hatte eigentlich nie ein Problem die tiefen C-States zu ereichen, es hat einfach funktioniert. Tatsächlich hatte sich neben dem Update noch was geändert, wir sind umgezogen. Habe wohl den falschen LAN Port erwischt, beim umstöpseln lande ich wieder in C10. Der Tip war irgendwo in einem anderen Thread vergraben :D

 

 

cStates_anderer_LAN_Port.png

  • Like 1
Link to comment
On 2/26/2023 at 8:55 AM, mgutt said:

Der M.2 Slot ist am Chipsatz und der PCIe Slot an der CPU? Das könnte die Erklärung für einen höheren Verbrauch sein, weil dadurch ja mehr Lanes aktiv werden. 

Außer einer recht wenigsagenden Kurzanleitung habe ich für das Fujitsu-d3517 nix gefunden, was mir darüber irgendwelche Infos geben könnte. Der Adapter hängt im x4 Slot. Ich gehe aber davon aus, dass der an der CPU hängt. 
Der Chipsatz kann also via ASPM einzelne Lanes abschalten und die CPU nicht? Dann müsste ich also mit dem leichten Mehrverbrauch leben oder gibt es noch eine Alternative? 12W im Idle sind aber schon recht ordentlich, wie ich finde.
 

Ansonsten: Hast du ne Ahnung, warum die MTU:9000 C-States verhindern? 

Link to comment

Hi :)

Ich habe heute mein erstes NAS System zusammengebaut und wollte direkt mit powertop alles optimieren.

 

- Ich habe im BIOS bereits die c-stats auf enabled gestellt.

- Ich habe nur eine Samsung M2 SSD eingebaut.

- X570S Chipsatz Asrock

- Ryzen 5600x

 

Jedoch wird mir im Powertop nur maximal c2 angezeigt und die anderen überhaut nicht.

Bei anderen Nutzern geht es bis C10 obwohl dies meistens auch nicht erreicht wird.

 

Liebe Grüße

Luca

Screenshot 2023-03-03 153818.png

Edited by yopo
Link to comment

Hi,

 

versuche momentan meinen Server im Stromverbrauch möglichst runter zu bringen.

 

Folgende Komponenten sind verbaut:

 

Asrock B560M Pro4
Intel Celeron G5905
16GB Ram (2 x 8GB)
DELL Perc H310 SAS Controller im IT Mode

 

Array:
5 x 8 TB
1 x 16TB

Parity:
2 x 16TB

Pool:

1 x 2TB SSD (Sandisk Ultra 3d)

 

wenn alle Platten im Spindown sind komme ich ca auf 29 Watt.

 

Nutze Powertop mit Autotune.

 

Meine Syslinux Konfiguration sieht so aus:

 

kernel /bzimage
append initrd=/bzroot intel_pstate=passive pcie_aspm=force hpet=disable intel_iommu=relax_rmrr mitigations=off

 

In meiner Go File sind diese Einträge

 

#!/bin/bash
# Start the Management Utility
/usr/local/sbin/emhttp &
powertop --quiet --auto-tune

# -------------------------------------------------
# Set power-efficient CPU governor
# -------------------------------------------------
/etc/rc.d/rc.cpufreq ondemand

# -------------------------------------------------
# powertop tweaks
# -------------------------------------------------

# Enable SATA link power management
echo med_power_with_dipm | tee /sys/class/scsi_host/host*/link_power_management_policy

# Runtime PM for I2C Adapter (i915 gmbus dpb)
echo auto | tee /sys/bus/i2c/devices/i2c-*/device/power/control

# Autosuspend for USB device
echo auto | tee /sys/bus/usb/devices/*/power/control

# Runtime PM for disk
echo auto | tee /sys/block/sd*/device/power/control

echo auto | tee /sys/bus/pci/devices/????:??:??.?/power/control
echo auto | tee /sys/bus/pci/devices/????:??:??.?/ata*/power/control
for i in /sys/class/net/eth?; do dev=$(basename $i); [[ $(echo $(ethtool --show-eee $dev 2> /dev/null) | grep -c "Supported EEE link modes: 1") -eq 1 ]] && ethtool --set-eee $dev eee on; done
for i in /sys/class/net/eth?; do ethtool -s  $(basename $i) wol d; done 

 

Im Bios sollte alles passend eingestellt sein.

 

Mir ist beim Prüfen vom ASPM der Komponenten noch folgendes aufgefallen:

 

00:1b.0 PCI bridge: Intel Corporation Device 43c4 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #21, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <16us
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
pcilib: sysfs_read_vpd: read failed: No such device
01:00.0 Serial Attached SCSI controller: Broadcom / LSI SAS2008 PCI-Express Fusion-MPT SAS-2 [Falcon] (rev 03)
                LnkCap: Port #0, Speed 5GT/s, Width x8, ASPM L0s, Exit Latency L0s <64ns
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+

 

Weiß jemand von euch was die obere Device ist?

 

Lt Ausgabe sind beide Komponenten ASPM fähig aber es ist disabled.

 

Vielleich hat jemand von euch eine Idee wie ich das aktivieren könnte?

 

Zusätzlich komme ich derzeitig nicht unter C3 Package State. Vermute aber mal das die 2 Komponenten genau der Grund dafür sind.

Edited by diLu
Link to comment
17 hours ago, diLu said:

Folgende Komponenten sind verbaut:

...

DELL Perc H310 SAS Controller im IT Mode

 

 

17 hours ago, diLu said:

wenn alle Platten im Spindown sind komme ich ca auf 29 Watt.

...weil der SAS Kontroller vermutlich noch unnötig viel Strom schluckt.

 

Ich schaue mal auf den Hardwareansatz Deiner Konfiguration.

 

Vorausgesetzt die Hardwareliste ist komplett (also keien zusätzlichen Geräte in den PCIe Slots und nicht noch mehr Laufwerke/Datenträger), hast Du also das
ASRock B560M Pro4  90-MXBEL0-A0UAYZ
mit
  1x PCIe 4.0 x16
  1x PCIe 3.0 x16(elektrisch x4)
  1x PCIe 3.0 x1
  1x M.2/M-Key (PCIe4 x4)
  1x M.2/M-Key (PCIe3 x4)
  1x M.2/E-Key (PCIe/Intel)
  6x SATA 6Gb/s (B560)
und daran
  8 Festplatten und 2 SSD (wenn ich richtig gesehen habe sind dei Sandisk Ultra 3d alle SATA).

  Ich nehme mal an, daß die Feestplatten auch alle SATA sind (und kein SAS).


Also in Summe brauchst Du aktuell 10 SATA Anschlüsse und verwendest dafür einen eher stromschluckenden SAS Kontroller, der daueraktiv ist, auch wenn die Datenträger Spindown sind.

 

Das Mainboard selber hat 6 SATA Anschlüsse, somit mußt Du nur noch 4 SATA Anschlüsse per einfacher SATA Steckkarte nachrüsten (ASM 1064 oder ASM1166 oder JMB585) und den SAS Kontroller rauswerfen.


Die SSDs kommen an die OnBoard Anschlüsse und die kleinsten/langsamsten Festplatten an den Zusatzkontroller.
Somit hast Du schon einmal wieder ein paar Watt gespart.


Vielleicht ist auch das interessant:

https://forums.unraid.net/topic/122927-solved-asm1166-compared-to-dell-perc-h310-pcie-sata-vs-sas-hba/

 

Link to comment
18 hours ago, diLu said:

powertop --quiet --auto-tune

...

# Enable SATA link power management
echo med_power_with_dipm | tee /sys/class/scsi_host/host*/link_power_management_policy

# Runtime PM for I2C Adapter (i915 gmbus dpb)
echo auto | tee /sys/bus/i2c/devices/i2c-*/device/power/control

# Autosuspend for USB device
echo auto | tee /sys/bus/usb/devices/*/power/control

# Runtime PM for disk
echo auto | tee /sys/block/sd*/device/power/control

Das ist doppelt gemoppelt. powertop --auto-tune setzt diese Einstellungen bereits. Die manuellen Befehle sind nur für Leute, die kein powertop verwenden wollen bzw granularer die einzelnen Einstellungen setzen wollen.

 

18 hours ago, diLu said:

DELL Perc H310 SAS Controller im IT Mode

Der ist dein Hauptproblem. Der muss weg.

 

18 hours ago, diLu said:

Weiß jemand von euch was die obere Device ist?

 

Vermutlich die PCI Bridge der CPU. Wenn da die SAS Karte drin steckt ist das Ergebnis normal. ASPM funktioniert von unten nach oben. Können die Geräte nicht schlafen, können die Bridges nicht schlafen. 

 

 

Link to comment

es ist sogar nur eine SSD.

 

Also insgesamt 9 SATA Devices.

 

Tatsächlich stammt der LSi noch aus einer Zeit in der ich mehr Platten hatte.

 

War der Meinung ich hätte im Forum was davon gelesen, dass die ASM1166 etc Probleme mit  powertop autotune hätten und dementsprechend auch nicht wirklich abschalten.

 

Hab ich da was falsches in Erinnerung?

 

Also sollte sich noch mehr einsparen lassen wenn ich den LSi durch einen solchen ersetze.

 

Dann werde ich das Thema mal in Angriff nehmen.

 

Wenn der LSi raus käme sollte hoffentlich auch ein höherer State als C3 möglich sein. 

Edited by diLu
Link to comment
2 hours ago, diLu said:

War der Meinung ich hätte im Forum was davon gelesen, dass die ASM1166 etc Probleme mit  powertop autotune hätten und dementsprechend auch nicht wirklich abschalten.

Ja und nein. Aktuelle Infos dazu findest du im englischen powertop Thread. 

Link to comment
5 hours ago, diLu said:

War der Meinung ich hätte im Forum was davon gelesen, dass die ASM1166 etc Probleme mit  powertop autotune hätten und dementsprechend auch nicht wirklich abschalten.

Wenn Du keinen ASM drin haben willst und es ja nur um 9 SATA Ports geht, kannst Du auch einen JMB585 nehmen.

Aber selbst, wenn der SATA Kontroller sich nicht schlafen legen läßt ist sein Verbrauch niedriger als der SAS Kontroller (welcher eigentlich auch schon weniger Stromfressend ist, als die 3008 basierten Modelle.

Aber Dir geht es ja anscheinend um jedes Watt.

Wobei es auch dann helfen kann viele kleine SATA Festplatten vielleicht gegen wenige große auszutauschen..

 

Aktuell: 20TB Toshiba Enterprise MG Series MG10ACA20TE (Mindfactory Mindstars) 289Euro [= 14,45Euro/TB]

(+Versand)

Du hast aktuell angegeben 56TB Festplatten Nutzkapazität + 2 Parity Festplatten.

Das könnte man mit: 2x20TB Parity + 2x20TB Daten + 1 bestehende 16TB Festplatten = Summe 5 SATA Ports für Festplatten erreichen.

Dazu noch die vereinzelte SATA SSD und Du brauchst keinen Zusatzkontroller.

Aber es kostet eben einiges an Investition.

 

5 hours ago, diLu said:

Hab ich da was falsches in Erinnerung?

Für den ASM1166 gibt es eine neuere Firmware, die (wie mgutt angedeutet hatte) über die englischsprachigen Beiträge zu finden ist, und das Problem mildern soll. Ob es bei dem jeweiligen ASM1166 Kontroller funktioniert, muß man ausprobieren.

 

5 hours ago, diLu said:

Wenn der LSi raus käme sollte hoffentlich auch ein höherer State als C3 möglich sein. 

Da das individuell ist, bleibt nur ausprobieren.

Link to comment
1 hour ago, DataCollector said:

Wenn Du keinen ASM drin haben willst und es ja nur um 9 SATA Ports geht, kannst Du auch einen JMB585 nehmen.

Aber selbst, wenn der SATA Kontroller sich nicht schlafen legen läßt ist sein Verbrauch niedriger als der SAS Kontroller (welcher eigentlich auch schon weniger Stromfressend ist, als die 3008 basierten Modelle.

Aber Dir geht es ja anscheinend um jedes Watt.

 

 

Hab kein Problem mit dem ASM an sich. Hab mir das mit der Firmware mal angeschaut. Damit sollte es ja dann gehen soweit ich das sehen kann.

 

Um jedes Watt geht es mir nicht wirklich.

 

Aber sollte es wirklich der LSi sein, der verhindert das der Package State weiter runter geht.

Sollte ich nach meiner Schätzung / Hoffnung ggf in der Lage sein im insgesamten ca 10 Watt im Idle einzusparen?

 

Das wäre schon einiges.

Link to comment
On 3/11/2023 at 1:19 PM, diLu said:

Aber sollte es wirklich der LSi sein, der verhindert das der Package State weiter runter geht.

Zieh ihn doch einfach testweise mal raus und miß dann den Verbrauch. Danach mißt Du die dort angeschlossenen Festplatten einzeln und vielleicht kannst Du dann abschätzen, was der Kontroller ausmacht.

Edited by DataCollector
Link to comment

Hab jetzt mal testweise einen ASM1166 6 Port Controller eingebaut.

 

Package State geht auf C7 und ich bin im Spindown bei 21 Watt.

 

Der LSi hat also den C7 verhindert. Mit den 21 Watt bin ich bei der Anzahl Festplatten schon sehr zufrieden.

  • Like 1
Link to comment

Hallo,

ich hatte zuvor ein AsRock H110M-ITX mit einem i5-7400 und habe jetzt auf ein H570M-ITX mit einem i5-11400 (Rocket Lake) upgegradet. Wie auch schon bei anderen in diesem Thread, habe bekomme ich nur ACPI States in Powertop angezeigt (wie im Screenshot).

Das INTEL Plugin und auch den CLI-Command dazu hatte ich schon ausgeführt.

Im Bios habe ich Deep Sleep und die C-States aktiviert

Hat jemand eine Idee, woran das liegen könnte?

Danke für die Hilfe!

 

Bildschirm­foto 2023-03-23 um 22.32.01.png

Link to comment
56 minutes ago, Aldamir said:

jetzt brauche ich 22W anstatt 30W im Idle, danke!

Würde mich aber stark wundern wenn das am Update liegt.

Powertop selbst macht ja erstmal nichts (außer wenn man dann powertop -- auto-tune ausführt).

Aber freut mich natürlich dass es nun zu deiner Zufriedenheit läuft

  • Like 1
Link to comment
On 3/24/2023 at 11:54 AM, jj1987 said:

Würde mich aber stark wundern wenn das am Update liegt.

Powertop selbst macht ja erstmal nichts (außer wenn man dann powertop -- auto-tune ausführt).

Aber freut mich natürlich dass es nun zu deiner Zufriedenheit läuft

Leider funktioniert das eh nicht wie gewünscht und selbst nach Update bleibt es in C3 stecken.. habe auch bereits die M.2 auf den Chipset slot gegeben. Hat das möglicherweise etwas mit der M.2 SSD zu tun? Also mit dem Produkt SN570 - ich habe im englischen Thread davon gelesen, dass das bereits vorkam..

Link to comment
3 minutes ago, Aldamir said:

Hat das möglicherweise etwas mit der M.2 SSD zu tun?

Durchaus Möglich. Ich selbst habe den Vorgänger (SN550) und keine Probleme. Aber offenbar bin ich damit eher die Ausnahme. WD SSDs sind wohl tendenziell nichts für Stromsparer.

Aber das ist auch sehr speziell. SSD 1 mit Mainboard A verhält sich uU ganz anders als SSD 2 mit Mainboard A oder aber auch SSD1 mit Mainboard B.

Die Samsung 970 Evo Plus scheint allgemein als unproblematischste SSD in der Beziehung zu gelten. Falls du so eine vielleicht rumliegen hast, kannst du das ja mal gegenprüfen.

Es könnte aber auch am Realtek LAN Chipsatz hängen. Die sind auch gerne mal zickig was ASPM angeht

Link to comment

Hm, ich keine herumliegen, die nicht in Gebrauch ist, aber die ist ja pro TB aktuell auch um 30€ teurer.. :/

 

Bzgl Realtek: ich hatte den Chip auch im vorherigen System als PCIe Karte und da hat das System 20W gebraucht.

ICh kopiere Mal appdata etc von den SSDs und werde das Array ohne Cache starten. Mal sehen, ob ich da weiter als C3 komme..

 

Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.