Strom sparen mit powertop / Stromverbrauch von UnRaid verbessern

[DeeBop]

In letzter Zeit hat man ja den Eindruck, das Stromsparen völlig aus den Augen der Hersteller geraten ist.

Aber nicht bei jedem Hersteller.

Das hier denke ich wird spannend:

https://www.computerbase.de/2024-06/effizienter-sm2508-controller-pcie-5-0-ssds-mit-nur-7-watt-bei-fast-15-gb-s-erwartet/

 

PCIe 5.0 mit SSDs werden bald stromsparender!

 

 

[DataCollector]

4 minutes ago, DeeBop said:

PCIe 5.0 mit SSDs werden bald stromsparender!

 

Das ist meist so, erst werden neuere Techniken eingeführt, weil man der Erste (und somit Beste mit den Feature) sein will. Und dann wird erst an der Effizienz optimiert.

 

Intel Pentium war auch eher eine Heizkachel als eine CPU. Heute streite man sich ob der PC alles in allem unter Last vielleicht nicht unter 30W (oder so) liegen könnte.

 

[guybrush2012]

Powertop --auto-tune hatte ich im "go" file eingegeben. Jedoch komme ich nur auf C2.

Führe ich es dann in der Konsole aus, komme ich auf C7.

 

Kann es sein das es im "go" file nicht funktioniert? Wäre ein script nach xx Minuten besser?

[DataCollector]

1 hour ago, guybrush2012 said:

Powertop --auto-tune hatte ich im "go" file eingegeben. Jedoch komme ich nur auf C2.

Führe ich es dann in der Konsole aus, komme ich auf C7.

 

Kann es sein das es im "go" file nicht funktioniert? Wäre ein script nach xx Minuten besser?

 

Kann es sein, daß Du einfach zu früh reinschaust?

 

Aber es war schon 'mal irgendwo hier jemand, der angedeutet hat, daß das im go file nicht geht. Daraufhin wurde vermutet, daß das go file schneller ist, als daß Powertop überhaupt vorhanden ist (ggf. gar nicht auf dem Stick installiert, sondern jedesmal erst über eine Ressource auf einem Pool/Array vorhanden, welche so früh noch gar nicht gestartet sind?).

Eine Idee war, daß man den Befehl dann nicht im go file einbaut, sondern als Userscript kurz nach dem Systemstart ausführen läßt.

Edited June 25 by DataCollector

[powerforum75]

Woran erkenne ich eigentlich warum ich nicht über C3 komme?

 

 

Vielen Dank

 

[alturismo]

1 hour ago, powerforum75 said:

Woran erkenne ich eigentlich warum ich nicht über C3 komme?

 

in powertop, gar nicht ... 

 

es kann auch diverse Ursachen haben, Beispiel

 

1/ diverse Geräte gehen nicht in aspm modes wie erwartet, das kannst du dir auch anzeigen lassen ... 

 

da du anscheinend nicht gerne liest oder suchst, hier der Befehl für das Unraid Terminal

 

lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM |Disabled;|Enabled;)'

 

hier mal Beispiele wo es disabled wäre ...

 

 

2/ einfach zu viel Last auf der CPU, die states werden auch NUR erreicht wenn wenig läuft und die CPU wirklich ruhen kann, bei mir beispielsweise nie möglich ... nur wenn ich Dienste abschalte ...

 

kurz, wenn du meinst da sollte mehr gehen aufgrund wenig Last, mal den Befehl absetzen, wenn da alles auf enabled steht, mal Dienste (Docker, VM, LXC, scripts, ...) stoppen und schauen ob die Hardware grundsätzlich gehen sollte.

 

dazu, BIOS settings prüfen, auch hierzu findest du einiges über die Suche oben rechts (ja die gibt es ), aspm bios ...

 

oder, es gibt Hardware welche das einfach nicht kann, nicht erreicht, oder instabil wird wenn man es forciert ...

[powerforum75]

Danke 😊 

Ich habe demnach zwei Einträge gefunden!

 

 

[MPC561]

Na du bist auch sehr freizügig mit deinen HW Informationen. Hätten wir gewusst um welches Board es sich handelt hätten wir Dir sagen können das die Realtek NiC da ein Problem ist. Im Forum hier gibt es ein paar Threads in denen erklärt wird was man da machen kann. 

[powerforum75]

Ohh Sorry ...

 

Meine HW Infos:

M/B:Gigabyte Technology Co., Ltd. B660 GAMING X DDR4 Version Default string s/n Default string

BIOS:American Megatrends International, LLC. Version F21 Dated 11/15/2022

CPU:13th Gen Intel® Core™ i5-13500 @ 2475 MHz

HVM:Enabled

IOMMU:Enabled

Cache:L1 Cache: 288 KiB, L1 Cache: 192 KiB, L2 Cache: 7680 KiB, L3 Cache: 24 MiB, L1 Cache: 256 KiB, L1 Cache: 512 KiB, L2 Cache: 4 MiB, L3 Cache: 24 MiB

Memory:32 GiB DDR4 (max. installable capacity 128 GiB)

Network:eth0: 1000 Mbps, full duplex, mtu 1500

Kernel:Linux 6.1.79-Unraid x86_64

OpenSSL:1.1.1v

 

Das mit der Realtek NIC kann ich ja wenigstens zuordnen, aber was steckt hinter diesem Eintrag:

 

[MPC561]

Das ist die PCI Bridge des Realtek NiC, gehört also zusammen. Einer der Wege das weg zu bekommen ist ein spezieller SETPCI Befehl, jeweils einer für den NiC selber und  einer für die PCI Bridge.

 

Das kann aber Nebenwirkungen haben mit SETPCI. Gibt auch noch andere Lösungen die du googlen kannst, zum Beispielen NiC config file mit Eintrag ASPM=1. die Lösung hab ich selber aber noch nicht getestet. 
 

Das sollte Dir jetzt genügend Suchbegriffe für eine Suche im deutschsprachigen Forum geliefert haben.

Edited July 25 by MPC561

[powerforum75]

Ein schritt weiter ...

 

Ich habe, nach dem ich das Plugin "RTL8125(B) PCI Drivers" installiert habe, einen C-State C6 erreichen können ... alle ASPM Geräte sind nun Enabled. 🙂

 

Nach powertop --auto-tune komme ich auch auf C-State C10 aber leider nur für 3-4min, danach crashed unraid und bootet neu.

 

Wie kann ich feststellen woran das liegt?

 

Vielen dank im voraus für eure Unterstützung 🫡

[MPC561]

21 minutes ago, powerforum75 said:

Ich habe, nach dem ich das Plugin "RTL8125(B) PCI Drivers" installiert habe, einen C-State C6 erreichen können ... alle ASPM Geräte sind nun Enabled.

Das wundert mich etwas. ASPM wurde zwar mit den Treibern als "Enabled" angezeigt aber man erreichte in der Vergangenheit trotzdem nie mehr als C3. Im Github dieser Treiber stand damals auch explizit das ASPM nicht funktioniert.

 

Vielleicht hast Du deswegen auch dieses Problem:

21 minutes ago, powerforum75 said:

Nach powertop --auto-tune komme ich auch auf C-State C10 aber leider nur für 3-4min, danach crashed unraid und bootet neu.

Könnte sein der Treiber hat nicht genug Reifegrad mit Unraid.

 

In dem Fall deinstallier diesen Treiber wieder und schau Dir Doch mal die SETPCI Methode an (die funktioniert bei vielen mit den Treibern von Unraid selber). Wenn Du @alturismo lieb fragst und er glaubt das hat einen ausreichenden Reifegrad dann gibt er dir evtl. ein Script mit dem das Teilautomatisiert gehen kann.

 

PS: Alternativ limitiere im Bios auf C9, wenn das in deinem geht. Aber messe mal ob der Rechner auch wirklich weniger Saft zieht als mit C3. Wir haben das schon gesehen das hohe C-Pkg states falsch angezeigt wurden, Sprich c6 aber der Rechner hat noch genausoviel Saft gezogen wie mit C3.

Edited July 26 by MPC561

[powerforum75]

On 7/26/2024 at 10:24 AM, MPC561 said:

Das wundert mich etwas. ASPM wurde zwar mit den Treibern als "Enabled" angezeigt aber man erreichte in der Vergangenheit trotzdem nie mehr als C3. Im Github dieser Treiber stand damals auch explizit das ASPM nicht funktioniert.

 

Vielleicht hast Du deswegen auch dieses Problem:

Könnte sein der Treiber hat nicht genug Reifegrad mit Unraid.

 

In dem Fall deinstallier diesen Treiber wieder und schau Dir Doch mal die SETPCI Methode an (die funktioniert bei vielen mit den Treibern von Unraid selber). Wenn Du @alturismo lieb fragst und er glaubt das hat einen ausreichenden Reifegrad dann gibt er dir evtl. ein Script mit dem das Teilautomatisiert gehen kann.

 

@alturismo

kannst du bitte für mich und auch den anderen interessierten die SETPCI Methode (Script) zur Verfügung stellen? 🫠

 

[alturismo]

24 minutes ago, powerforum75 said:

kannst du bitte für mich und auch den anderen interessierten die SETPCI Methode (Script) zur Verfügung stellen? 🫠

 

ja, ich muss nur ne kleine Anleitung dazu schreiben ... wenn alles klappt morgen früh

[alturismo]

11 hours ago, powerforum75 said:

kannst du bitte für mich und auch den anderen interessierten die SETPCI Methode (Script) zur Verfügung stellen? 🫠

 

 

On 7/26/2024 at 10:24 AM, MPC561 said:

Wenn Du @alturismo lieb fragst und er glaubt das hat einen ausreichenden Reifegrad dann gibt er dir evtl. ein Script mit dem das Teilautomatisiert gehen kann.

 

 

hier inkl. kleiner Anleitung, Anmerkungen ob es verständlich ist, gerne ... 

[Stogie]

Hallo zusammen.
Ich habe mir folgendes System zusammengebaut und habe einen ziemlich hohen Idle-Verbrauch von um die 30 Watt, obwohl die HDDs im Spin Down sind:
- ROG STRIX B760-I GAMING WIFI
- Intel i5 13500
- G.Skill DIMM 32 GB DDR5-6400 (2x 16 GB) Dual-Kit
- be quiet! SFX Power 3 (450 W)
- 2x WD BLACK SN770 NVMe SSD
- 2x Toshiba MG09 18 TB

Folgende Einstellungen habe ich im Bios vorgenommen:
- ASPM L1 überall aktiviert
- RGB disabled
- Audio disabled
- CPU Turbo disabled
- C-State auf 10 gestellt

Folgende Einstellungen habe ich unter Unraid 7.0.0 beta 2 vorgenommen:
- Powermode -> Best power Efficiency
- Powertop installiert und die empfohlenen Parameter in die Go-Datei geschrieben

Laut Powertop komme ich nur auf maximal C2.
Ein deaktivieren aller Docker schafft auch keine Abhilfe.
Was kann ich noch tun, um den Idle-Drain zu reduzieren?
Vielen Dank im Voraus

Edited September 14 by Stogie

[DataCollector]

2 hours ago, Stogie said:

...einen ziemlich hohen Idle-Verbrauch von um die 30 Watt, obwohl die HDDs im Spin Down...
- ROG STRIX B760-I GAMING WIFI
- be quiet! SFX Power 3 (450 W)
- 2x WD BLACK SN770 NVMe SSD

...

Laut Powertop komme ich nur auf maximal C2.
Ein deaktivieren aller Docker schafft auch keine Abhilfe.
Was kann ich noch tun, um den Idle-Drain zu reduzieren?

 

Du hast anscheinend das Meiste/alles korrekt eingestellt, da alle ASPM Einstellungen enabled zu sein scheinen und Du C10 erlaubt hast, scheint da etwas zu blockieren.

 

Ich kann aber nur vermuten, daß entweder das BIOS/UEFO des Mainboards schuld ist (entweder fehlt da nochj etwas, oder ASUS hat da etwas verbockt) oder vielleicht liegt es an den WD NVMe (WD NVMe sind schon ab un dzu aufgefallen, daß sie bei den C-States in die Suppe spucken. Ich weiß aber jetzt nicht, ob es auch die 770 betrifft. Ich merke mir die Modelle von WD nicht, sondern meide sie einfach.)

 

Nur so in einem kurzen Testlauf (20 Minuten) und rein zu Testzwecken würde ich die beiden WD NVMe SSDs mal rauswerfen und schauen ob die C-States besser werden.

[Stogie]

Vielen Dank für deine Hinweise.
Ich muss dazu sagen, dass ich die SSDs und HDDs vorher in einem NAS von Terramaster (F2-423) verbaut hatte und dieses lief im Idle bei um die 17 Watt. Ich frage mich, ob es ggf. an dem Netzteil von beQuiet liegt.

 

Ich habe die UNRAID-Konfiguration übrigens auch 1:1 aus dem Terramaster übernommen, also einfach als Backup auf einen anderen USB Stick gespielt. Ich weiß nicht inwiefern das Betriebssystem vllt. dadurch verwirrt wird, dass die komplette Hardware ausgetauscht wurde.
 

Gibt es denn nicht irgendwie die Möglichkeit den Watt-Verbrauch der einzelnen Komponenten wie bei HWiNFO64 auf Windows auszulesen?

 

Edited September 14 by Stogie

[Bengon]

Wie weit taktet die CPU runter ?

Ein Netzteil mit einem schlechten Wirkungsgrad nimmt sich auch ein paar Watts,80+ gold heißt nicht zwingend das es im Niedriglastbereich sparsam ist.

2 Ramriegel könnten auch eine Kleinigkeit ausmachen.

Offenes Browserfenster oder im Hintergrund (jedenfalls bei mir) mitlaufen lassen braucht auch ca. 3 Watt. Siehe Grafik.

 

Öffne ein Terminalfenster von Unraid und schließe das Browserfenster und gib dann das ein (2 Befehle)

 

pkill -cf /usr/local/emhttp/webGui/nchan

rm /var/run/nchan.pid

 

wobei der erste Befehl am besten wiederholt wird .

Das hilft bei mir.

 

 Ps. Im Diagramm die Lastspitzen ignorieren,Fehler vom Gerät

[Stogie]

Also die CPU taktet bis auf 800Mhz runter. Ich mache die Messungen immer über einen Funkschalter von der Fritzbox.
Dabei ist das Browserfenster eh geschlossen. Vllt. liegt es aber auch an einem meiner Docker. AdGuard kann ich bspw. nicht deaktivieren, weil es meinen gesamten Internetverkehr lahm legt. (Ggf. hab ich hier was in der Fritzbox unter DNS falsch eingestellt ^^)

[DataCollector]

5 hours ago, Stogie said:

Ich muss dazu sagen, dass ich die SSDs und HDDs vorher in einem NAS von Terramaster (F2-423) verbaut hatte und dieses lief im Idle bei um die 17 Watt. Ich frage mich, ob es ggf. an dem Netzteil von beQuiet liegt.

 

Das Netzteil selber wird natürlich einiges benötigen und auch zu dem Verbrauch beitragen, aber dennoch schätze ich, daß es primär am Mainboard liegt, welches nicht weiter runter geht. Und das kann man eben nur testen, wenn man die Komponenten so 'nackt' wie möglich testet (=so wenige andere Verbraucher dran hat und das System komplett idlen läßt).

Die WD SSDs entfernen waren eben mein erster Vorschlag dazu.

 

5 hours ago, Stogie said:

Ich weiß nicht inwiefern das Betriebssystem vllt. dadurch verwirrt wird, dass die komplette Hardware ausgetauscht wurde.

 

Im Gegensatz zu Windows, welches sich die alte Konfiguration merkt und bei Änderung verwirrt werden kann, bootet unraid jedesmal neu und identisch von einem USB Stick. Man klann/hat zwar Konfigurationen vorgenommen, aber das OS selber ist immer wieder identisch.

 

Edited September 15 by DataCollector
Typo + Idle Ergänzung

[Stogie]

Also ich habe nochmal ein bisschen rumprobiert, recherchiert und getestet und dabei zumindest schon einmal herausgefunden, dass die Deaktivierung des integrierten Mainboard-LAN Controllers ganze 5 Watt einspart. Mein externer 2,5G uni USB Ethernet (Billig-)Adapter scheint wesentlich energieeffizienter zu arbeiten.

 

In Bezug auf die Energie-Effizienz der beiden WD Black SN770 NVMEs scheint es zumindest schon mal so zu sein, dass diese laut techpowerup jeweils etwa 1 Watt im Idle verbrauchen. Die Aktivierung von ASPM macht bei diesen SSDs offenbar keinen Unterschied. (https://www.techpowerup.com/review/samsung-990-pro-2-tb/7.html)

 

Jetzt habe ich aber noch irgendwo gelesen, dass die Nutzung der PCI-Lanes, welche direkt mit der CPU verbunden sind, es verhindern können, dass hohe C-States erreicht werden. Bzw. hatte Matt Gadient nur maximal C6 statt C8 erreichen können, wenn irgendwas in den oberen PCIE oder NVME Steckplätzen gesteckt hat. (https://mattgadient.com/de/7-watt-im-leerlauf-bei-intel-12-13-generation-die-grundlage-fuer-den-aufbau-eines-stromsparenden-servers-nas/)

 

Jetzt stehe ich vor der Herausforderung, dass ich eben 2 NVMEs im Pool als Raidverbund nutze und meine ganzen Docker darauf installiert sind. PCI Adapter für NVMEs mit ASPM Support scheinen erst bei 130€ loszugehen und da steht dann der Kosten-Nutzen nicht mehr in Relation wegen vllt. 10 Watt Strom-Ersparnis.

Naja, immerhin erreiche ich jetzt schon mal C3, was aber immer noch 25 Watt im Idle sind, wenn die beiden Array-Datenträger heruntergefahren sind.

Anmerkung:
Ich habe nun auch endlich herausgefunden, warum so viele appdata Streams permanent auf meiner Übersicht angezeigt wurden. Offenbar muss man in allen Docker-Einstellungen immer den richtigen Pfad zu den Verzeichnissen eingeben, also statt /mnt/user/... eben /mnt/cache/...
Das muss man erstmal wissen, auch wenn mich das bei der Lösung meines Idle-Problems nicht wirklich weiter gebracht hat...^^

Edited September 15 by Stogie

[DataCollector]

2 hours ago, Stogie said:

In Bezug auf die Energie-Effizienz der beiden WD Black SN770 NVMEs scheint es zumindest schon mal so zu sein, dass diese laut techpowerup jeweils etwa 1 Watt im Idle verbrauchen. Die Aktivierung von ASPM macht bei diesen SSDs offenbar keinen Unterschied. (https://www.techpowerup.com/review/samsung-990-pro-2-tb/7.html)

 

Dein Problem ist ja nicht der Verbrauch der WD NVMe (PCIe) SSDs selber, sondern daß irgendetwas (vermutlich diese WDs) per PCIe den Stromsparmodus der CPU vermiest. Und da sind einige WD NVME SSD eben aufgefallen. Die WDs selber können dabei kühl bleiben, aber dennoch kann es sein, daß die CPU ständig mit Anforderungen wach gehalten wird und somit nicht in die tiefen Schlafzustände runter geht.

 

Es ist natürlich Deine Sache, was Du machst und wie Du versuchst Dich heranzutasten.

Ich würde eben einfach mal die beiden WD NVMe (PCIe) SSD rausnehmen und dann schauen, ob die CPU nach mindestens ca. 15-20 Minuten nicht doch die tieferen C-States erreicht.

 

 

2 hours ago, Stogie said:

Jetzt habe ich aber noch irgendwo gelesen, dass die Nutzung der PCI-Lanes, welche direkt mit der CPU verbunden sind, es verhindern können, dass hohe C-States erreicht werden.

 

Erwähnte ich schon, daß die beiden WD SSDs PCIe Geräte sind (und somit die SSD im M.2_1, bei dem ASUS ROG STRIX B760-I GAMING WIFI, direkt an der CPU hängt)?

 

 

2 hours ago, Stogie said:

PCI Adapter

 

Ich hoffe Du meinst PCIe, denn sonst sind wir in der Zeit eine oder gar 2 Dekaden zurück gereist 🤣

 

2 hours ago, Stogie said:

für NVMEs mit ASPM Support scheinen erst bei 130€ loszugehen und da steht dann der Kosten-Nutzen nicht mehr in Relation wegen vllt. 10 Watt Strom-Ersparnis.

 

1. Der PCIe x16 Slot des STRIX B760-I GAMING WIFI hängt natürlich auch an der CPU. Das bringt also dahingehend gar nichts.

 

2. Ein normaler PCIe Slot kann problemlos mit einem billigen ca. 10 Euro Adapter eine NVME SSD aufnehmen. Die billigen PCIe zu M.2 Adapter stellen kaum mehr als eine platinenbasierte Leiterbahnverbindung der Kontakte des M.2 Slots zu dem PCIe Slot dar. Zur Stabilisierung sind bei den besseren vielleicht ein paar Spulten/Kondensatoren aufgebracht, aber nichts, was den ASPM Modus beeinflusst.

Was Du da für 130 Euro gesehen hast, weiss ich nicht, aber für diese simple Funktion sehe ich den Preis zwischen Wucher und Abzocke angesiedelt.

 

 

Und das Blöde an der ganzen Sache mit diesen winzigen Mini ITX Mainboards ist: wenn man eine Alternative auf dem Mainboard sucht: gibt es kaum eine, weil diese Boards eben kaum Platz für weitere PCIe Slots haben. Dabei bietet der B760 problemlos die Möglichkeiten weitere PCIe Slots oder M.2 Sockets zu realisieren.

 

Edited September 15 by DataCollector
Typos

[Stogie]

Danke nochmal. Es ist nur ein ziemlicher Pain beide SSDs aus dem Board zu entnehmen, weil eine auf der Rückseite verbaut ist und ich dafür wohl das ganze Mainboard ausbauen muss.^^  Aber gut, werde ich wohl nicht drum rum kommen.

Unabhängig davon nochmal die Frage, ob es auch damit zusammenhängen kann, dass die Kerne nicht zur Ruhe kommen?
Ich sehe nämlich, dass diese 6 Einträge immer wieder einen kurzen Spike in der CPU Last verursachen.
Ich habe die exklusive Ordner-Freigabe bereits aktiviert und auch alle Docker entsprechend zum tatsächlichen Cache-Pfad umgeschrieben, weiß aber nicht, wie ich diese 6 Prozesse fixen kann:

[DataCollector]

35 minutes ago, Stogie said:

Danke nochmal. Es ist nur ein ziemlicher Pain beide SSDs aus dem Board zu entnehmen, weil eine auf der Rückseite verbaut ist und ich dafür wohl das ganze Mainboard ausbauen muss.^^  Aber gut, werde ich wohl nicht drum rum kommen.

 

Nur so zur Sicherheit bevor Du den Schraubendreher schwingst: hast Du das Mainboard mal absolut idle (ohne laufende Docker und VM) getestet?

Laufende Software hält natürlich die CPU auch wach und je nachdem was die Software macht, kann sich das sehr stark auf die C-States auswirken.

Wäre ja schon ungünstig, wenn sich herausstellt, daß die Hardware weiter runter geht, aber Du die permanent mit einer VM oder so auf zu viel Last (zu) hoch hälst.

Hast Du also mal probiert einfach mit einem frischen unraid USB Stick (mit powertop) das System zu messen?

 

35 minutes ago, Stogie said:

Unabhängig davon nochmal die Frage, ob es auch damit zusammenhängen kann, dass die Kerne nicht zur Ruhe kommen?
Ich sehe nämlich, dass diese 6 Einträge immer wieder einen kurzen Spike in der CPU Last verursachen.

 

Zu dieser Softwaresache in dem Bild kann ich nichts sagen, weil ich nicht erkenne, was das genau ist.