Mor9oth Posted June 12, 2023 Share Posted June 12, 2023 (edited) Hallo, ich bin aktuell ziemlich verzweifelt mit meinem Server was das Thema Stromsparen betrifft. Leider bekomme ich es nicht wirklich hin, dass der Server sparsam läuft. Habe die Unraid-Foren durchsucht und die Empfehlungen von @mgutt in den Beiträgen: Powertop DE und Powertop EN befolgt. Vielleicht ist die Hardware einfach zu Stromhungrig – bevor ich aber was verkaufe/ersetze, würde ich hier aber gerne um Hilfe bitten. Folgendes habe ich bisher unternommen, komme aber nicht über C3 hinaus: Ausgeführt: powertop --quiet --auto-tune Alle C-States im Bios aktiviert ASPM aktiviert (L1s, L0s sowie L0sL1 getestet) Package C State Support auf C10 intel gpu top installiert Intel Turbo aus CPU Governor und Power Saving auf Power Save Auto Spin down nach 15 Minuten Ergebnisse: Ich bin im IDLE auf viel zu hohen 65 Watt Die IPMI alleine genehmigt sich konstant 8 Watt C3 ist leider das Maximum So habe ich gemessen: Tasmota (Shelly Plug s) mit dem Messgerät (Gifort Energiekostenmessgerät) kalibriert. Spin down der Festplatten und dann sehe ich die Watt auf der Tasmota-Oberfläche oder in Unraid über den Tasmota Power Monitor. Mein System: CPU: Xeon E-2278G MB: ASRockRack E3C246D4U2-2L2T RAM: 64GB; 4x16 HDD: 3x 14 TB WD Book Cache 1: 970 Evo Plus 1 TB Cache 2: WD Blue SSD 1 TB PSU: Corsair SFX 750 SAS-Card: 10gTek LSI 9211-8I Case: Silverstone SST-CS381 Verdacht: Das Motherboard und die SAS-Card sind einfach zu stromhungrig. Das MB ist ziemlich ordentlich bestückt. 2x 10G, 2x 1G und eben IPMI. Bei der Planung habe ich rückwirkend wohl Fehler gemacht. Zu sehr Performance anstatt die Effizienz im Fokus gehabt. Überlegungen, an denen ich aktuell bin: Zunächst die SAS-Card ausbauen und stattdessen die 8 SATA-Ports des MBs via Mini-SAS Kabel an die Backplates des Gehäuses (Silverstone SST-CS381) anschließen. Spricht da was dagegen, beim Stromsparen? Ev. das Motherboard ersetzen Alles verkaufen und neuen stromsparenden Server kaufen 😪 Ich hoffe sehr, dass ich noch irgendwie was herausholen kann, ohne gleich alles ersetzen zu müssen. Hat jemand Ideen/Empfehlungen? Meine BIOS-Einstellungen als Screenshots: Hier gäbe es Optionen: Mein Ergebnis: ASPM Status über das Terminal anzeigen gibt eine Menge "not supported" zurück lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )' Tasmota: Edited June 12, 2023 by Mor9oth Quote Link to comment
mgutt Posted June 12, 2023 Share Posted June 12, 2023 9 hours ago, Mor9oth said: Cache 2: WD Blue SSD 1 TB SAS-Card: 10gTek LSI 9211-8I Backplane Das alles abklemmen und noch mal messen. Du kannst problemlos mit fehlenden Platten neu starten. Dann startet nur eben das Array nicht. Wenn du danach wieder alle verbindest, ist es so wie vorher. 9 hours ago, Mor9oth said: nicht über C3 hinaus Das wird ziemlich sicher an der Karte liegen. Ansonsten könnte noch das 10G besonders hohe C-States verhindern. Aber ich denke C6/C7 sollte drin sein. 9 hours ago, Mor9oth said: PSU: Corsair SFX 750 Das kostet dich auch ein paar Watt. Wirklich viel vorher hier gelesen hast du nicht in Sachen Strom sparen. Shame on you 😉 9 hours ago, Mor9oth said: Die IPMI alleine genehmigt sich konstant 8 Watt Ich denke eher 4W, aber ja das macht auch was aus. Wobei der aktuelle AST2600 IPMI Chip wohl sparsamer ist, weil er den "hochmodernen" 28 nm Node verwendet (schon lustig, wo CPUs ja mittlerweile 3 oder 4 nm verwenden). Aber dafür bräuchtest du ein W680 Board. Quote Link to comment
Mor9oth Posted June 13, 2023 Author Share Posted June 13, 2023 20 hours ago, mgutt said: Wirklich viel vorher hier gelesen hast du nicht in Sachen Strom sparen. Shame on you 😉 Shame on me indeed! 🤪 Ich habe mich beim Kauf vor 3 Jahren bei den Server-Builds im US-Forum inspiriert und was die so auf der Wunschliste hatten. Stromverbrauch war da für mich keine Dimension. Leider. Herzlichen Dank an @mgutt für die Empfehlungen. Werde ich alle testen und hier wieder berichten. Vielleicht hilft es weiteren Usern. Quote Link to comment
Mor9oth Posted June 13, 2023 Author Share Posted June 13, 2023 21 hours ago, mgutt said: Das alles abklemmen und noch mal messen. WOW! 🤩 Durch das Abklemmen wurde der Stromverbrauch halbiert auf 32 Watt! WTF! Der C-State bleibt aber bei C3. Habe den auto-tune auch versucht erneut auszuführen, bekomme dann aber diese Meldung: Muss ich noch was machen für ein neues Ergebnis oder könnte es auch irgendwo in meinen BIOS-Einstellungen liegen? Quote Link to comment
mgutt Posted June 13, 2023 Share Posted June 13, 2023 On 6/12/2023 at 3:33 PM, Mor9oth said: Meine BIOS-Einstellungen als Screenshots Gibt es bei den ASPM Einstellungen evtl L0sL1 oder L1? Dann das mal aktivieren. Wenn gar kein PCIe Slot schlafen geht, wird das mit den C-States schwer. Hast du während dem Test was in der 10G Buchse? Vielleicht auch mal nur mit 1G testen. Quote Link to comment
Mor9oth Posted June 14, 2023 Author Share Posted June 14, 2023 (edited) 13 hours ago, mgutt said: Gibt es bei den ASPM Einstellungen evtl L0sL1 oder L1? Gibt es beides. Habe gerade L0sL1 getestet, Ergebnis immer noch C3. L1 habe ich separat nicht getestet, da ich davon ausgehe, dass es in L0sL1 enthalten ist. Stimmt das? -> Edit: Habe nun doch auch L1 getestet. Der ging ein wenig auf bis zu 28 Watt runter. C3 bleibt aber auch hier leider. Quote Hast du während dem Test was in der 10G Buchse? Vielleicht auch mal nur mit 1G testen. Bei den Tests vor dem 14.06. war ein 10G Kabel angeschlossen. Ich habe gerade aber auch ohne angeschlossenes Kabel sowie mit Deaktivierung der beiden 10G-Ports im BIOS getestet. Ergebnis immer noch C3. 😑 Liegt das mit dem C3 dann am nicht unterstützten ASPM (ASPM not supported)? Edited June 14, 2023 by Mor9oth Quote Link to comment
mgutt Posted June 14, 2023 Share Posted June 14, 2023 4 hours ago, Mor9oth said: Liegt das mit dem C3 dann am nicht unterstützten ASPM Sehr wahrscheinlich. Check mal mit Ubuntu. Und danach ASRock nerven. Quote Link to comment
Mor9oth Posted June 14, 2023 Author Share Posted June 14, 2023 26 minutes ago, mgutt said: Sehr wahrscheinlich. Check mal mit Ubuntu. Und danach ASRock nerven. Das System mit einem Ubuntu starten? Kann ich das auch auf einem Stick installieren? Dann wende ich mich mal an ASRockRack und beschwere mich über das C-State verhalten. Vielleicht gibt es dann ja ein neues Bios. 😙 Quote Link to comment
jj1987 Posted June 14, 2023 Share Posted June 14, 2023 3 minutes ago, Mor9oth said: Kann ich das auch auf einem Stick installieren? Ja kann man so als USB live Linux nutzen. Musst dann nur jedesmal powertop installieren Quote Link to comment
Mor9oth Posted June 14, 2023 Author Share Posted June 14, 2023 Ich habe nun mal wieder den Server mit der SSD, den Backplates sowie den drei Festplatten verbunden. Neu sind jetzt zwei mini SAS zu SATA Kabel, um die Backplates weiter nutzen zu können. So war zumindest die Intention ... Leider ist der Verbrauch nur um max. 10 Watt gesunken im Vergleich zum ursprünglichen Setup mit der SAS-Card. Teils geht der Verbrauch im Idle ebenfalls auf die ursprünglichen 65 Watt. Die Kabel lohnen sich also nicht und gehen zurück. Damit wird das Gehäuse zunehmend uninteressanter, da dann ja hot swapping wegfallen würde. Denke daher zunehmend über den Verkauf der gesamten Kiste und einem ganz neuen, stromsparenden Server nach. Quote Link to comment
Mor9oth Posted June 14, 2023 Author Share Posted June 14, 2023 10 minutes ago, jj1987 said: Ja kann man so als USB live Linux nutzen. Musst dann nur jedesmal powertop installieren Ah cool, dann teste ich das mal aus. Quote Link to comment
Mor9oth Posted June 14, 2023 Author Share Posted June 14, 2023 Angenommen, ich verkaufe den Server: Kann ich dann mein Unraid-System (Docker, Plugins, Scripte usw.) einfach in einem neuen System nutzen? Alles neu einrichten wäre recht nervig ... Quote Link to comment
ich777 Posted June 14, 2023 Share Posted June 14, 2023 19 hours ago, Mor9oth said: Habe den auto-tune auch versucht erneut auszuführen, bekomme dann aber diese Meldung: @mgutt bitte update mal das Paket aus deinem Repository: Click oder benutzt un-get um powertop zu installieren. Ich habe schon lange ein upgedates package in meinem Repository. Quote Link to comment
mgutt Posted June 14, 2023 Share Posted June 14, 2023 6 hours ago, Mor9oth said: Kann ich dann mein Unraid-System (Docker, Plugins, Scripte usw.) einfach in einem neuen System nutzen? Jo. UnRAID ist es komplett egal welche Hardware man hat. Nur Datenträger und USB Stick müssen halt mit. Mögliche Ausnahme: Der SAS Controller schleift die Kennungen der Platten nicht 1:1 durch. Aber da du es schon ohne probiert hast, scheint er da nichts beeinflusst zu haben. Quote Link to comment
mgutt Posted June 14, 2023 Share Posted June 14, 2023 6 hours ago, Mor9oth said: Leider ist der Verbrauch nur um max. 10 Watt gesunken im Vergleich zum ursprünglichen Setup mit der SAS-Card. Teils geht der Verbrauch im Idle ebenfalls auf die ursprünglichen 65 Watt. Die Kabel lohnen sich also nicht und gehen zurück Naja 10W sind auch 20 bis 30 € Stromersparnis pro Jahr. Aber klar, wenn du jetzt alles wechseln willst, ist das natürlich auch eine Option. Quote Link to comment
Mor9oth Posted June 16, 2023 Author Share Posted June 16, 2023 On 6/14/2023 at 11:50 PM, mgutt said: Naja 10W sind auch 20 bis 30 € Stromersparnis pro Jahr. Aber klar, wenn du jetzt alles wechseln willst, ist das natürlich auch eine Option. Ich geh’ jetzt im ersten Schritt auf Asrock zu und versuche ein optimiertes BIOS zu bekommen. Das hilft ja dann ev. auch noch anderen Usern und dann bewerte ich die Situation bzw. den Stromverbrauch und den eventuellen Verkauf neu. Vielen Dank jedenfalls für all den Input und die Hilfestellungen! 1 Quote Link to comment
mgutt Posted June 16, 2023 Share Posted June 16, 2023 Bei meinem Gaming PC mit W480M Board und aktivem ASPM kam übrigens regelmäßig ein Bluescreen durch die GPU. Ich vermute ja, dass es sich die Board-Hersteller aktuell einfach machen und wegen zu vieler Beschwerden einfach gar nicht erst das Problem analysieren, sondern ASPM oder auch besonders tiefe C-States immer weiter einschränken. Zb hat ASRock vor 10 Jahren noch die sparsamsten Boards gehabt. Heute sind fast alle mit irgendwelche Limits versehen wie C6 bei vielen Consumerboards, obwohl man im BIOS häufig noch C10 auswählen kann. Ähnliches auch bei dem aktuellen 2.5G Controller von Intel. Der fällt manchmal im Betrieb in den Standby und verliert kurz die Verbindung und jetzt hat Intel per Treiber einfach den ganzen Standby deaktiviert: https://www.computerbase.de/2023-01/intel-i226-v-conneciton-lost-issue/ Ähnliche Probleme gab es auch beim Vorgänger Controller. Quote Link to comment
Mor9oth Posted June 16, 2023 Author Share Posted June 16, 2023 Klingt sehr plausibel! Auch wenn das sehr ernüchternd ist für jeden der ASPM effizient nutzen möchte! Erstaunlich, dass Asrock vor 10 Jahren am sparsamsten war - da man nun ja in vielen Beiträgen herausliest, dass die sehr ineffizient sind. Dass sich Asrock wohl einiges einfach macht mit der Board-Konfiguration, sieht man glaube ich auch an anderen Einstellungsmöglichkeiten. Bin seit geraumer Zeit mit dem Support in der Klärung, warum sich die Zeit des BMC nach jedem Neustart um exakt zwei Stunden verstellt. Irgendwas passiert da zwischen BIOS Zeit und NTP-Server-Abruf des BMC. Kann man zu 100 % reproduzieren, dass sich da was falsch überschreibt. Da gehe ich auch davon aus, dass dies an dieser vereinfachten Hardware-Politik liegt (vielleicht die default Zeitzone von Asrock). Ich würde durch die vielen Beiträge über Ineffizienz auch eher kein Asrock mehr kaufen. Quote Link to comment
Mor9oth Posted June 28, 2023 Author Share Posted June 28, 2023 On 6/14/2023 at 4:24 PM, mgutt said: Sehr wahrscheinlich. Check mal mit Ubuntu. Und danach ASRock nerven. So, ich habe nun nach mehreren Anfragen endlich eine Antwort von ASRock erhalten: Wenn ich das richtig verstehe, basiert aber Unraid auf Syslinux und nicht Grub. Und sollte es nicht enabled sein - hää? @mgutt Kann ich mit dieser Information irgendwas modifizieren? Quote Link to comment
mgutt Posted June 28, 2023 Share Posted June 28, 2023 20 minutes ago, Mor9oth said: Und sollte es nicht enabled sein - hää? Exakt. Sie sagen es geht und zeigen wie man es abschaltet. Allerdings haben sie bestätigt, dass die C-States nur in der UEFI Shell getestet wurden. Diese Shell erlaubt nur wenige Kommandos und kommt noch vor dem Boot Loader des Betriebssystems (wie zb Grub). Dementsprechend laufen zu dem Zeitpunkt auch noch keine Hardware Treiber. Also wäre das quasi die Bestätigung, dass irgendein Treiber von irgendeinem Gerät ASPM deaktiviert. Also jetzt alle PCIe Geräte per syslinux blacklisten? ^^ Quote Link to comment
Mor9oth Posted June 28, 2023 Author Share Posted June 28, 2023 25 minutes ago, mgutt said: Dementsprechend laufen zu dem Zeitpunkt auch noch keine Hardware Treiber. Dann ist das nur Marketing blaa, damit man es im Bios und auf der Produktseite anbieten kann? 26 minutes ago, mgutt said: Also wäre das quasi die Bestätigung, dass irgendein Treiber von irgendeinem Gerät ASPM deaktiviert. Du meinst auf dem Bord selbst, oder? 27 minutes ago, mgutt said: Also jetzt alle PCIe Geräte per syslinux blacklisten? ^^ Sprich ich kann ohne das angepasste Bios, das ich aber ja nicht bekomme, nichts weiter optimieren? Ich mach’ da jetzt nochmal Druck und wenn da nichts dabei herauskommt, verkaufe ich die Kiste und fange neu an. Die Kontron Boards scheinen ziemlich vielversprechend zu sein ... Quote Link to comment
mgutt Posted June 28, 2023 Share Posted June 28, 2023 1 minute ago, Mor9oth said: Sprich ich kann ohne das angepasste Bios, das ich aber ja nicht bekomme, nichts weiter optimieren? Mit dem BIOS wird das denke ich nichts zu tun haben. Zumindest wenn die Aussage stimmt, dass ASPM und die C-States gehen. Wenn du die Zeit investieren willst, könntest du die Installation von Treibern mit vfio-pci.ids= oder modprobe.blacklist= verhindern. Hier ein Beispiel: https://gist.github.com/mallendeo/afceedfdc9c5c8f260e18a6bde89a868?permalink_comment_id=3551651 Also zb den 10G Controller dadurch blacklisten und schauen was passiert. Und das dann eben mit allen Onboard Controllern, die das Board hat. Quote Link to comment
Mor9oth Posted June 28, 2023 Author Share Posted June 28, 2023 5 hours ago, mgutt said: Wenn du die Zeit investieren willst, könntest du die Installation von Treibern mit vfio-pci.ids= oder modprobe.blacklist= verhindern. Hier ein Beispiel: Vielen Dank für den weiteren Tipp! Schaue ich mir an und hoffe, es ist machbar. 🙈 Quote Link to comment
Mor9oth Posted June 28, 2023 Author Share Posted June 28, 2023 Habe das nun gerade eben einfach mal nach bestem Wissen und Gewissen probiert. Angefangen habe ich erstmal mit der Deaktivierung der beiden 10G x55 Controller. Das hat jetzt direkt einen positiven Effekt auf den Stromverbrauch! 😍 Geht auf bis zu 35 Watt runter. Vorher war das tiefste 49 Watt. Tiefer als C3 geht er aber irgendwie trotzdem nicht. 🤷♀️ Quote Link to comment
mgutt Posted June 28, 2023 Share Posted June 28, 2023 Wird dadurch denn ASPM aktiv? Wie gesagt ist die Frage was da ASPM verhindert. Versuch vielleicht auch mal mehr Geräte zu deaktivieren. Zb der RTL8211E Ethernet Controller. Realtek fällt mir immer wieder mal negativ auf, wenn es um C-States geht. Quote Link to comment
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.