Samu Posted February 24, 2023 Share Posted February 24, 2023 Hi, erstmal danke euch fürs bereitstellen von Powertop und den Support den ihr hier leistet! Mein System (inzwischen 1 Jahr alt): C246-WU4 i3-9100 1x 32GB Kingston Server Premier ECC DDR4-2666 DIMM CL19 Single 2x 18TB Seagate Exos X X18 ST18000NM000J 2x 1TB Samsung 970 Evo Plus M.2 Corsair RM550x Gehäuse Nanoxia Deep Silence 4 Das System ist aktuell nur ein NAS + Paper-ngx. Wenn ich wieder ein bisschen mehr Zeit habe kommt noch Smarthome und Media Server dazu. Habe länger keine Updates von Unraid mehr durchgeführt und vorgestern auf 6.11.5 geupdatet. Als Powertop nicht mehr ging habe ich hier vorbeigeschaut und powertop 2.15 installiert. Ich bin der Meinung mit der ältern Version (6.9.2) hatte ich auch ein bisschen C10 pkg (15%), jetzt gar nicht mehr. Bilde ich mir das nur ein oder habt ihr eine Idee wie ich noch C10 rauskitzeln kann? Grüße Samuel Quote Link to comment
alturismo Posted February 24, 2023 Share Posted February 24, 2023 3 minutes ago, Samu said: Bilde ich mir das nur ein oder habt ihr eine Idee wie ich noch C10 rauskitzeln kann? vielleicht war es vorher ein Anzeigefehler, vielleicht ist es jetzt ein Anzeigefehler, vielleicht ... was sagt denn der effektive Verbrauch ? hat sich dieser geändert ? ich würde doch mal sagen dass dies relevant ist und nicht was ein tool sagt ... ansonsten können andere sicher mehr Tipps geben, mein Server ist halt nicht im permanent idle Zustand ... daher ist mir die "Jagd" nach 1-2 Watt auch definitiv zu aufwändig Quote Link to comment
Samu Posted February 25, 2023 Share Posted February 25, 2023 On 2/24/2023 at 8:06 PM, alturismo said: was sagt denn der effektive Verbrauch ? hat sich dieser geändert ? ich würde doch mal sagen dass dies relevant ist und nicht was ein tool sagt ... ansonsten können andere sicher mehr Tipps geben, mein Server ist halt nicht im permanent idle Zustand ... daher ist mir die "Jagd" nach 1-2 Watt auch definitiv zu aufwändig Stromverbrauch kann ich aktuell noch nicht messen, leihe mir aber demnächst mal so ein Steckdosen Teil aus. Ich hatte eigentlich nie ein Problem die tiefen C-States zu ereichen, es hat einfach funktioniert. Tatsächlich hatte sich neben dem Update noch was geändert, wir sind umgezogen. Habe wohl den falschen LAN Port erwischt, beim umstöpseln lande ich wieder in C10. Der Tip war irgendwo in einem anderen Thread vergraben 1 Quote Link to comment
mgutt Posted February 26, 2023 Share Posted February 26, 2023 On 2/24/2023 at 11:16 AM, rasport said: Eine im M2-Slot und eine über einen Adapter Der M.2 Slot ist am Chipsatz und der PCIe Slot an der CPU? Das könnte die Erklärung für einen höheren Verbrauch sein, weil dadurch ja mehr Lanes aktiv werden. Quote Link to comment
rasport Posted February 27, 2023 Share Posted February 27, 2023 On 2/26/2023 at 8:55 AM, mgutt said: Der M.2 Slot ist am Chipsatz und der PCIe Slot an der CPU? Das könnte die Erklärung für einen höheren Verbrauch sein, weil dadurch ja mehr Lanes aktiv werden. Außer einer recht wenigsagenden Kurzanleitung habe ich für das Fujitsu-d3517 nix gefunden, was mir darüber irgendwelche Infos geben könnte. Der Adapter hängt im x4 Slot. Ich gehe aber davon aus, dass der an der CPU hängt. Der Chipsatz kann also via ASPM einzelne Lanes abschalten und die CPU nicht? Dann müsste ich also mit dem leichten Mehrverbrauch leben oder gibt es noch eine Alternative? 12W im Idle sind aber schon recht ordentlich, wie ich finde. Ansonsten: Hast du ne Ahnung, warum die MTU:9000 C-States verhindern? Quote Link to comment
yopo Posted March 3, 2023 Share Posted March 3, 2023 (edited) Hi Ich habe heute mein erstes NAS System zusammengebaut und wollte direkt mit powertop alles optimieren. - Ich habe im BIOS bereits die c-stats auf enabled gestellt. - Ich habe nur eine Samsung M2 SSD eingebaut. - X570S Chipsatz Asrock - Ryzen 5600x Jedoch wird mir im Powertop nur maximal c2 angezeigt und die anderen überhaut nicht. Bei anderen Nutzern geht es bis C10 obwohl dies meistens auch nicht erreicht wird. Liebe Grüße Luca Edited March 3, 2023 by yopo Quote Link to comment
mgutt Posted March 4, 2023 Share Posted March 4, 2023 Powertop erkennt die Hardware nicht richtig. Bei AMD häufig der Fall. Quote Link to comment
yopo Posted March 4, 2023 Share Posted March 4, 2023 17 minutes ago, mgutt said: Powertop erkennt die Hardware nicht richtig. Bei AMD häufig der Fall. Danke für die schnelle Antwort. Heißt also da ich da erstmal nichts gegen machen kann, oder? Quote Link to comment
mgutt Posted March 4, 2023 Share Posted March 4, 2023 2 hours ago, yopo said: Heißt also da ich da erstmal nichts gegen machen kann, oder? Es gibt dafür andere Apps. Lies mal hier durch: https://forums.unraid.net/topic/121551-erlaubt-der-neue-linux-kernel-stromsparende-amd-server/ Quote Link to comment
diLu Posted March 10, 2023 Share Posted March 10, 2023 (edited) Hi, versuche momentan meinen Server im Stromverbrauch möglichst runter zu bringen. Folgende Komponenten sind verbaut: Asrock B560M Pro4 Intel Celeron G5905 16GB Ram (2 x 8GB) DELL Perc H310 SAS Controller im IT Mode Array: 5 x 8 TB 1 x 16TB Parity: 2 x 16TB Pool: 1 x 2TB SSD (Sandisk Ultra 3d) wenn alle Platten im Spindown sind komme ich ca auf 29 Watt. Nutze Powertop mit Autotune. Meine Syslinux Konfiguration sieht so aus: kernel /bzimage append initrd=/bzroot intel_pstate=passive pcie_aspm=force hpet=disable intel_iommu=relax_rmrr mitigations=off In meiner Go File sind diese Einträge #!/bin/bash # Start the Management Utility /usr/local/sbin/emhttp & powertop --quiet --auto-tune # ------------------------------------------------- # Set power-efficient CPU governor # ------------------------------------------------- /etc/rc.d/rc.cpufreq ondemand # ------------------------------------------------- # powertop tweaks # ------------------------------------------------- # Enable SATA link power management echo med_power_with_dipm | tee /sys/class/scsi_host/host*/link_power_management_policy # Runtime PM for I2C Adapter (i915 gmbus dpb) echo auto | tee /sys/bus/i2c/devices/i2c-*/device/power/control # Autosuspend for USB device echo auto | tee /sys/bus/usb/devices/*/power/control # Runtime PM for disk echo auto | tee /sys/block/sd*/device/power/control echo auto | tee /sys/bus/pci/devices/????:??:??.?/power/control echo auto | tee /sys/bus/pci/devices/????:??:??.?/ata*/power/control for i in /sys/class/net/eth?; do dev=$(basename $i); [[ $(echo $(ethtool --show-eee $dev 2> /dev/null) | grep -c "Supported EEE link modes: 1") -eq 1 ]] && ethtool --set-eee $dev eee on; done for i in /sys/class/net/eth?; do ethtool -s $(basename $i) wol d; done Im Bios sollte alles passend eingestellt sein. Mir ist beim Prüfen vom ASPM der Komponenten noch folgendes aufgefallen: 00:1b.0 PCI bridge: Intel Corporation Device 43c4 (rev 11) (prog-if 00 [Normal decode]) LnkCap: Port #21, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <16us LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+ pcilib: sysfs_read_vpd: read failed: No such device 01:00.0 Serial Attached SCSI controller: Broadcom / LSI SAS2008 PCI-Express Fusion-MPT SAS-2 [Falcon] (rev 03) LnkCap: Port #0, Speed 5GT/s, Width x8, ASPM L0s, Exit Latency L0s <64ns LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+ Weiß jemand von euch was die obere Device ist? Lt Ausgabe sind beide Komponenten ASPM fähig aber es ist disabled. Vielleich hat jemand von euch eine Idee wie ich das aktivieren könnte? Zusätzlich komme ich derzeitig nicht unter C3 Package State. Vermute aber mal das die 2 Komponenten genau der Grund dafür sind. Edited March 10, 2023 by diLu Quote Link to comment
DataCollector Posted March 11, 2023 Share Posted March 11, 2023 17 hours ago, diLu said: Folgende Komponenten sind verbaut: ... DELL Perc H310 SAS Controller im IT Mode 17 hours ago, diLu said: wenn alle Platten im Spindown sind komme ich ca auf 29 Watt. ...weil der SAS Kontroller vermutlich noch unnötig viel Strom schluckt. Ich schaue mal auf den Hardwareansatz Deiner Konfiguration. Vorausgesetzt die Hardwareliste ist komplett (also keien zusätzlichen Geräte in den PCIe Slots und nicht noch mehr Laufwerke/Datenträger), hast Du also das ASRock B560M Pro4 90-MXBEL0-A0UAYZ mit 1x PCIe 4.0 x16 1x PCIe 3.0 x16(elektrisch x4) 1x PCIe 3.0 x1 1x M.2/M-Key (PCIe4 x4) 1x M.2/M-Key (PCIe3 x4) 1x M.2/E-Key (PCIe/Intel) 6x SATA 6Gb/s (B560) und daran 8 Festplatten und 2 SSD (wenn ich richtig gesehen habe sind dei Sandisk Ultra 3d alle SATA). Ich nehme mal an, daß die Feestplatten auch alle SATA sind (und kein SAS). Also in Summe brauchst Du aktuell 10 SATA Anschlüsse und verwendest dafür einen eher stromschluckenden SAS Kontroller, der daueraktiv ist, auch wenn die Datenträger Spindown sind. Das Mainboard selber hat 6 SATA Anschlüsse, somit mußt Du nur noch 4 SATA Anschlüsse per einfacher SATA Steckkarte nachrüsten (ASM 1064 oder ASM1166 oder JMB585) und den SAS Kontroller rauswerfen. Die SSDs kommen an die OnBoard Anschlüsse und die kleinsten/langsamsten Festplatten an den Zusatzkontroller. Somit hast Du schon einmal wieder ein paar Watt gespart. Vielleicht ist auch das interessant: https://forums.unraid.net/topic/122927-solved-asm1166-compared-to-dell-perc-h310-pcie-sata-vs-sas-hba/ Quote Link to comment
mgutt Posted March 11, 2023 Share Posted March 11, 2023 18 hours ago, diLu said: powertop --quiet --auto-tune ... # Enable SATA link power management echo med_power_with_dipm | tee /sys/class/scsi_host/host*/link_power_management_policy # Runtime PM for I2C Adapter (i915 gmbus dpb) echo auto | tee /sys/bus/i2c/devices/i2c-*/device/power/control # Autosuspend for USB device echo auto | tee /sys/bus/usb/devices/*/power/control # Runtime PM for disk echo auto | tee /sys/block/sd*/device/power/control Das ist doppelt gemoppelt. powertop --auto-tune setzt diese Einstellungen bereits. Die manuellen Befehle sind nur für Leute, die kein powertop verwenden wollen bzw granularer die einzelnen Einstellungen setzen wollen. 18 hours ago, diLu said: DELL Perc H310 SAS Controller im IT Mode Der ist dein Hauptproblem. Der muss weg. 18 hours ago, diLu said: Weiß jemand von euch was die obere Device ist? Vermutlich die PCI Bridge der CPU. Wenn da die SAS Karte drin steckt ist das Ergebnis normal. ASPM funktioniert von unten nach oben. Können die Geräte nicht schlafen, können die Bridges nicht schlafen. Quote Link to comment
diLu Posted March 11, 2023 Share Posted March 11, 2023 (edited) es ist sogar nur eine SSD. Also insgesamt 9 SATA Devices. Tatsächlich stammt der LSi noch aus einer Zeit in der ich mehr Platten hatte. War der Meinung ich hätte im Forum was davon gelesen, dass die ASM1166 etc Probleme mit powertop autotune hätten und dementsprechend auch nicht wirklich abschalten. Hab ich da was falsches in Erinnerung? Also sollte sich noch mehr einsparen lassen wenn ich den LSi durch einen solchen ersetze. Dann werde ich das Thema mal in Angriff nehmen. Wenn der LSi raus käme sollte hoffentlich auch ein höherer State als C3 möglich sein. Edited March 11, 2023 by diLu Quote Link to comment
mgutt Posted March 11, 2023 Share Posted March 11, 2023 2 hours ago, diLu said: War der Meinung ich hätte im Forum was davon gelesen, dass die ASM1166 etc Probleme mit powertop autotune hätten und dementsprechend auch nicht wirklich abschalten. Ja und nein. Aktuelle Infos dazu findest du im englischen powertop Thread. Quote Link to comment
DataCollector Posted March 11, 2023 Share Posted March 11, 2023 5 hours ago, diLu said: War der Meinung ich hätte im Forum was davon gelesen, dass die ASM1166 etc Probleme mit powertop autotune hätten und dementsprechend auch nicht wirklich abschalten. Wenn Du keinen ASM drin haben willst und es ja nur um 9 SATA Ports geht, kannst Du auch einen JMB585 nehmen. Aber selbst, wenn der SATA Kontroller sich nicht schlafen legen läßt ist sein Verbrauch niedriger als der SAS Kontroller (welcher eigentlich auch schon weniger Stromfressend ist, als die 3008 basierten Modelle. Aber Dir geht es ja anscheinend um jedes Watt. Wobei es auch dann helfen kann viele kleine SATA Festplatten vielleicht gegen wenige große auszutauschen.. Aktuell: 20TB Toshiba Enterprise MG Series MG10ACA20TE (Mindfactory Mindstars) 289Euro [= 14,45Euro/TB] (+Versand) Du hast aktuell angegeben 56TB Festplatten Nutzkapazität + 2 Parity Festplatten. Das könnte man mit: 2x20TB Parity + 2x20TB Daten + 1 bestehende 16TB Festplatten = Summe 5 SATA Ports für Festplatten erreichen. Dazu noch die vereinzelte SATA SSD und Du brauchst keinen Zusatzkontroller. Aber es kostet eben einiges an Investition. 5 hours ago, diLu said: Hab ich da was falsches in Erinnerung? Für den ASM1166 gibt es eine neuere Firmware, die (wie mgutt angedeutet hatte) über die englischsprachigen Beiträge zu finden ist, und das Problem mildern soll. Ob es bei dem jeweiligen ASM1166 Kontroller funktioniert, muß man ausprobieren. 5 hours ago, diLu said: Wenn der LSi raus käme sollte hoffentlich auch ein höherer State als C3 möglich sein. Da das individuell ist, bleibt nur ausprobieren. Quote Link to comment
diLu Posted March 11, 2023 Share Posted March 11, 2023 1 hour ago, DataCollector said: Wenn Du keinen ASM drin haben willst und es ja nur um 9 SATA Ports geht, kannst Du auch einen JMB585 nehmen. Aber selbst, wenn der SATA Kontroller sich nicht schlafen legen läßt ist sein Verbrauch niedriger als der SAS Kontroller (welcher eigentlich auch schon weniger Stromfressend ist, als die 3008 basierten Modelle. Aber Dir geht es ja anscheinend um jedes Watt. Hab kein Problem mit dem ASM an sich. Hab mir das mit der Firmware mal angeschaut. Damit sollte es ja dann gehen soweit ich das sehen kann. Um jedes Watt geht es mir nicht wirklich. Aber sollte es wirklich der LSi sein, der verhindert das der Package State weiter runter geht. Sollte ich nach meiner Schätzung / Hoffnung ggf in der Lage sein im insgesamten ca 10 Watt im Idle einzusparen? Das wäre schon einiges. Quote Link to comment
DataCollector Posted March 11, 2023 Share Posted March 11, 2023 (edited) On 3/11/2023 at 1:19 PM, diLu said: Aber sollte es wirklich der LSi sein, der verhindert das der Package State weiter runter geht. Zieh ihn doch einfach testweise mal raus und miß dann den Verbrauch. Danach mißt Du die dort angeschlossenen Festplatten einzeln und vielleicht kannst Du dann abschätzen, was der Kontroller ausmacht. Edited March 18, 2023 by DataCollector Quote Link to comment
diLu Posted March 18, 2023 Share Posted March 18, 2023 Hab jetzt mal testweise einen ASM1166 6 Port Controller eingebaut. Package State geht auf C7 und ich bin im Spindown bei 21 Watt. Der LSi hat also den C7 verhindert. Mit den 21 Watt bin ich bei der Anzahl Festplatten schon sehr zufrieden. 1 Quote Link to comment
Aldamir Posted March 23, 2023 Share Posted March 23, 2023 Hallo, ich hatte zuvor ein AsRock H110M-ITX mit einem i5-7400 und habe jetzt auf ein H570M-ITX mit einem i5-11400 (Rocket Lake) upgegradet. Wie auch schon bei anderen in diesem Thread, habe bekomme ich nur ACPI States in Powertop angezeigt (wie im Screenshot). Das INTEL Plugin und auch den CLI-Command dazu hatte ich schon ausgeführt. Im Bios habe ich Deep Sleep und die C-States aktiviert Hat jemand eine Idee, woran das liegen könnte? Danke für die Hilfe! Quote Link to comment
jj1987 Posted March 24, 2023 Share Posted March 24, 2023 9 hours ago, Aldamir said: Hat jemand eine Idee, woran das liegen könnte? Naja du setzt zumindest schonmal eine veraltete Version von powertop ein, könnte also einfach ein Anzeigefehler sein Quote Link to comment
Aldamir Posted March 24, 2023 Share Posted March 24, 2023 4 minutes ago, jj1987 said: Naja du setzt zumindest schonmal eine veraltete Version von powertop ein, könnte also einfach ein Anzeigefehler sein Tatsächlich hat das Update auf 2.15 die Anzeige verändert und jetzt brauche ich 22W anstatt 30W im Idle, danke! Quote Link to comment
jj1987 Posted March 24, 2023 Share Posted March 24, 2023 56 minutes ago, Aldamir said: jetzt brauche ich 22W anstatt 30W im Idle, danke! Würde mich aber stark wundern wenn das am Update liegt. Powertop selbst macht ja erstmal nichts (außer wenn man dann powertop -- auto-tune ausführt). Aber freut mich natürlich dass es nun zu deiner Zufriedenheit läuft 1 Quote Link to comment
Aldamir Posted March 26, 2023 Share Posted March 26, 2023 On 3/24/2023 at 11:54 AM, jj1987 said: Würde mich aber stark wundern wenn das am Update liegt. Powertop selbst macht ja erstmal nichts (außer wenn man dann powertop -- auto-tune ausführt). Aber freut mich natürlich dass es nun zu deiner Zufriedenheit läuft Leider funktioniert das eh nicht wie gewünscht und selbst nach Update bleibt es in C3 stecken.. habe auch bereits die M.2 auf den Chipset slot gegeben. Hat das möglicherweise etwas mit der M.2 SSD zu tun? Also mit dem Produkt SN570 - ich habe im englischen Thread davon gelesen, dass das bereits vorkam.. Quote Link to comment
jj1987 Posted March 26, 2023 Share Posted March 26, 2023 3 minutes ago, Aldamir said: Hat das möglicherweise etwas mit der M.2 SSD zu tun? Durchaus Möglich. Ich selbst habe den Vorgänger (SN550) und keine Probleme. Aber offenbar bin ich damit eher die Ausnahme. WD SSDs sind wohl tendenziell nichts für Stromsparer. Aber das ist auch sehr speziell. SSD 1 mit Mainboard A verhält sich uU ganz anders als SSD 2 mit Mainboard A oder aber auch SSD1 mit Mainboard B. Die Samsung 970 Evo Plus scheint allgemein als unproblematischste SSD in der Beziehung zu gelten. Falls du so eine vielleicht rumliegen hast, kannst du das ja mal gegenprüfen. Es könnte aber auch am Realtek LAN Chipsatz hängen. Die sind auch gerne mal zickig was ASPM angeht Quote Link to comment
Aldamir Posted March 26, 2023 Share Posted March 26, 2023 Hm, ich keine herumliegen, die nicht in Gebrauch ist, aber die ist ja pro TB aktuell auch um 30€ teurer.. Bzgl Realtek: ich hatte den Chip auch im vorherigen System als PCIe Karte und da hat das System 20W gebraucht. ICh kopiere Mal appdata etc von den SSDs und werde das Array ohne Cache starten. Mal sehen, ob ich da weiter als C3 komme.. Quote Link to comment
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.