C-States reduzieren

[CameraRick]

Hallo ihr Lieben,

 

es tut mir leid dass ich heute so viel "spamme", ich muss den Urlaub voll ausnutzen

 

Ich habe heute ein neues System zusammen geschraubt, welches ich mittlerweile auch gebootet bekommen habe. Die C-States sind noch ausbaufähig, da komme ich bislang zu 25-30% in C2 und weiter nicht; das will ich nun ändern  das BIOS habe ich schon entsprechend diesem tollen Thread von DataCollector angepasst. Aktuell frisst das System im Idle ~42W ohne HDD Aktivität (Messung via kalibrierter Tasmota Steckdose, also wohl eher ein Richtwert)

Der Server nochmal als Liste -

 

• unRAID 6.12.8
• Gigabyte B760M DS3H DDR4
• Intel i5-13500
• 1x 32GB DDR4 Kingston Server Premier RAM (unbuffered ECC, läuft freilich non-ECC)
• 2x M.2 SATA Adapter, ASM1166 (der hier, einem Kommentar nach ohne Flashen C8 möglich, aber wer weiß)
• nur ein Lüfter auf dem Mainboard
• 12x HDD (zwei angeschlossen direkt ans Board, die anderen an die M.2)
• 2x SSD (beide am Board angeschlossen

 

ASPM - ich wollte mich zunächst damit befassen, weil ich in DataCollectors Thread hier schon gelesen hatte, dass die Netzwerkkarte beim Board nicht immer mitmacht. Ich hatte dann in diesem Thread die Befehle gelesen, mit denen ich das wohl ändern kann.

Dort wird erst die PCI Bridge, dann die Karte direkt angesprochen. Die Adresse der Karte ist wohl 04:00.0, aber woher weiß ich, welche PCI Bridge ich nehmen muss? Ist es die 00:1c:2, weil das auch die einzige ist, wo ASPM deaktiviert ist?

Output von lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )' habe ich unten angehängt

 

powertop tuning - ich habe den tollen Guide von mgutt gelesen, daher weiß ich, dass ich wegen der ASM1166 auf keinen Fall --autotune nutzen sollte; anscheinend kann einem das dann auch das Array zerschießen, das wäre aktuell noch fatal.

Die "Tuneables" Seite habe ich mal als Screenshot angehängt, und ich habe sehr viele (S)ATA Hosts da stehen.

Wenn ich den Guide richtig verstehe kann ich die ganzen "Enable SATA link power management for hostX" Einträge via folgendem Kommando lösen:

echo med_power_with_dipm | tee /sys/class/scsi_host/hostX/link_power_management_policy

Und das entsprechend für jede Disk einzeln. Das hacke ich dann in die unRAID Console - habe ich das richtig verstanden? Irgendwie bin ich mir da unsicher, ob ich das wirklich richtig deute

 

Was würde ich aber danach wegen der ganzen anderen Einträge machen, da gibt es ja auch diverse bzgl des AHCI Controllers, I2C Host, usw?

 

 

Ich habe die Firmware der ASM1166 Module noch nicht geflashed, weil ich noch nicht weiß, ob das überhaupt notwendig ist. Ich habe aber einen Windows PC da und könnte das freilich machen; hatte nur hier, wieder von DataCollector, gelesen dass es eben auch nicht immer sinnig ist. Das will ich erstmal eruieren.

[DataCollector]

1 hour ago, CameraRick said:

unRAID 6.12.8

 

Wir sind schon bei 6.12.14 (stable)

 

1 hour ago, CameraRick said:

Dort wird erst die PCI Bridge, dann die Karte direkt angesprochen. Die Adresse der Karte ist wohl 04:00.0, aber woher weiß ich, welche PCI Bridge ich nehmen muss? Ist es die 00:1c:2, weil das auch die einzige ist, wo ASPM deaktiviert ist?

 

Deinem Screenshot nach: ja.

 

1 hour ago, CameraRick said:

powertop tuning - ich habe den tollen Guide von mgutt gelesen, daher weiß ich, dass ich wegen der ASM1166 auf keinen Fall --autotune nutzen sollte;

 

Wie kommst Du darauf?

ASM1064: Autotune: nein!!!!

ASM1166: Autotune; ja

 

1 hour ago, CameraRick said:

anscheinend kann einem das dann auch das Array zerschießen, das wäre aktuell noch fatal.

 

Das war bei der ASM1064 ein Problem.

 

1 hour ago, CameraRick said:

Ich habe die Firmware der ASM1166 Module noch nicht geflashed, weil ich noch nicht weiß, ob das überhaupt notwendig ist.

 

Teste erst ohne Flashen ob das System mit je einer der Karten nicht schon selber in die niedrigen C-States geht. Wenn das System mit einer der Karten bei C2 oder C3 hängen bleibt, dann kannst Du Erfolg damit haben wenn Du flashst.

Möglicherweise ist ja schon die Original Firmware sehr gut.

 

1 hour ago, CameraRick said:

 

Hier ist zu viel "Bad". Das sollte (zum Strom sparen) möglichst alles auf Good stehen und das kannst Du bequem mit dem auto-tune hinbekommen.

 

[CameraRick]

Guten Morgen DataCollector, vielen Dank für Deine Ausführung

 

7 hours ago, DataCollector said:

Wir sind schon bei 6.12.14 (stable)

Ja ich bin nicht immer der Flotteste mit den System-Updates  dann spiele ich wohl mal die 6.12.14 ein.

 

7 hours ago, DataCollector said:

Wie kommst Du darauf?

ASM1064: Autotune: nein!!!!

ASM1166: Autotune; ja

Oh, das hatte ich aus dem Thread geschlossen - Sadly some of the most popular and usually well supported JMB xxx and ASM xxxx controllers have an incompatibility to "powertop --auto-tune" [...] If you are using the ASM1166 you could even try to update the firmware.

Das klang für mich nicht nach "ASM1166 is a-ok", aber dann kann ich ja mal den Autotune versuchen

 

7 hours ago, DataCollector said:

Deinem Screenshot nach: ja.

Super, dann mache ich dass mal zuerst ...

 

7 hours ago, DataCollector said:

Hier ist zu viel "Bad". Das sollte (zum Strom sparen) möglichst alles auf Good stehen und das kannst Du bequem mit dem auto-tune hinbekommen.

 

... und den autotune danach. Mir kam es auch sehr viel vor, das sind ja mehr Einträge als ich Schrauben im System verbaut hab, ha

Lieben Dank, ich mache das mal alles und melde mich zurück!

[Dextoo]

Hi, ich habe das Board auch dieses Jahr verbaut. Nachdem ich den Realtek Treiber installiert hatte kam ich auch in höhere C-States.
Muss auch mal wieder upgraden. 😅 Bisher war ich nur unsicher, da es anscheinend eben mit Realtek NICs (und dem Treiber) Probleme geben soll. Wohl auch noch in der erst veröffentlichten v7.

Edited Friday at 08:21 AM by Dextoo

[CameraRick]

18 minutes ago, Dextoo said:

Hi, ich habe das Board auch dieses Jahr verbaut. Nachdem ich den Realtek Treiber installiert hatte kam ich auch in höhere C-States.
Muss auch mal wieder upgraden. 😅 Bisher war ich nur unsicher, da es anscheinend eben mit Realtek NICs (und dem Treiber) Probleme geben soll. Wohl auch noch in der erst veröffentlichten v7.

Guten Morgen,

 

ja, ich hab gerade das Update angestoßen und dann auch gesehen, dass es "auf einmal" die v7 final gibt. Aber so mutig bin ich noch nicht

 

Für die Treiber dann einfach das Ding aus den Community Apps laden, und dann geht das? Ich bin es nicht gewohnt, dass "Spezial-Treiber" so einfach funktionieren, ha

[Dextoo]

Ja genau nach dem Update dann. Bin mal gespannt wie es bei dir läuft. Eventuell ziehe ich dann nach. 😄

[Babavoss]

28 minutes ago, Dextoo said:

Nachdem ich den Realtek Treiber installiert hatte kam ich auch in höhere C-States

Das ist seltsam, mit dem Treiber geht nicht mehr wie C3. Was für C-States hast du denn damit? 

[Dextoo]

1 minute ago, Babavoss said:

Das ist seltsam, mit dem Treiber geht nicht mehr wie C3. Was für C-States hast du denn damit? 

Ich hatte zu meinem Umbau damals einen Post gestartet und meine Ergebnisse aufgeschrieben. Kurz C8

Oben kannst du auch sehen welche Hardware insgesamt verbaut wurde.

[Babavoss]

wir hatten das Thema erst die Tage in einem anderem Thread, hab das gleiche MB wie du und mit installierten r8215 Treiber max C3 erreicht, ohne C8/C10.

Deswegen war ich etwas verwundert...

[MPC561]

1 hour ago, Dextoo said:

Ich hatte zu meinem Umbau damals einen Post gestartet und meine Ergebnisse aufgeschrieben. Kurz C8

Hast Du nur den puren Treiber ausm Appstore installiert oder noch eine Treiberconfig erstellt mit "ASPM=1" drin?

 

Gruss,

Joerg

[CameraRick]

Mal ein kleiner Zwischenstand -

 

• unRAID 6.12.14 ist installiert
• ich habe die ASPM erzwungen und sie sind "enabled"
• powertop ---autotune wurde ausgeführt, und nun stehen alle Einträge auf "Good"

Dennoch kam ich maximal auf C2, so wie vorher - alle Disks im Spindown, ein paar Docker laufen, aber keine VM ist eingeschaltet.

Dann wollte ich den Treiber installieren, um zu schauen, ob damit etwas mehr geht.

Nun, jetzt nach dem Neustart sieht alles wieder anders aus.

• ASPM stehen wieder auf Disabled (ich meine mich gelesen zu haben, dass das nach Neustart normal ist?)
• powertop zeigt wieder das Gro als Bad an - muss ich den Autotune auch nach jedem Neustart erneut durchführen?
• C2 wird jetzt zu 30-40% gehalten, keine Docker aktiv, keine VMs

 

[Dextoo]

12 minutes ago, MPC561 said:

Hast Du nur den puren Treiber ausm Appstore installiert oder noch eine Treiberconfig erstellt mit "ASPM=1" drin?

 

Gruss,

Joerg

Ja genau. Bin ehrlich etwas überrascht, dass man noch was machen muss, es aber dennoch klappt. 😅

[MPC561]

8 minutes ago, Dextoo said:

Ja genau. Bin ehrlich etwas überrascht, dass man noch was machen muss, es aber dennoch klappt. 😅

Ich hatte geahnt das das evtl. auch geht, aber keine Zeit es zu testen. Dass wäre dann die Möglichkeit für die Leute bei denen das System besser mit dem Appstore Treiber läuft.

 

Kannst Du nochmal schreiben wie das File hiess das Du erstellt hast, wo Du es hingelegt hast und den content (ASPM=1)? 

 

Dann kann ich das in Zukunft als Referenz zitieren und ggf. auch mal in den Stromsparthread einbringen.

 

[CameraRick]

ok, ich hab nochmal ein wenig gelesen, und die erneute Ausführung des Autotune scheint nach Neustart normal zu sein - fair enough!

 

• Treiber aus dem Appstore ist installiert
• APSM-Force ist nach Neustart wieder ausgeführt, alles auf "enabled"
• powertop autotune wurde wieder ausgeführt, alles "good" (ich benutze den Befehl powertop --auto-tune &>/dev/null, der im Thread stand)

 

Alle Platten im Spindown, keine Docker oder VM laufen - C2 liegt bei fast 50% aber weiter komme ich nicht herunter

Ist das der Moment, wo ich die Firmware flashen sollte?

 

Beste Grüße

 

 

[saber1]

2 minutes ago, CameraRick said:

und die erneute Ausführung des Autotune scheint nach Neustart normal zu sein

Deswegen schreiben die meisten es ins Go-File.

Alles da drin wird beim Booten ausgeführt.

Edited Friday at 10:47 AM by saber1

[CameraRick]

4 minutes ago, saber1 said:

Deswegen schreiben die meisten es ins Go-File.

Alles da drin wird beim Booten ausgeführt.

Ah, soweit war ich anscheinend noch nicht, ich habs erstmal alles ausgeführt. Irgendwie hatte ich angenommen dass ich nach dem Autotune neustarten müsste damit es aktiv wird, sonst muss man ja immer neustarten, haha

 

Das mit dem Go-File mache ich dann, wenn es alles sauber läuft. Erstmal schauen, wie ich das alles gedrückt kriege.

Ich kann leider heute keine Reaktion mehr posten, bitte fühle Dich ge-upvoted

[DataCollector]

2 hours ago, Dextoo said:

Hi, ich habe das Board auch dieses Jahr verbaut. Nachdem ich den Realtek Treiber installiert hatte kam ich auch in höhere C-States.
Muss auch mal wieder upgraden. 😅 Bisher war ich nur unsicher, da es anscheinend eben mit Realtek NICs (und dem Treiber) Probleme geben soll. Wohl auch noch in der erst veröffentlichten v7.

 

Wenn Du keinen Grund für den Treiber hast, würde ich den nicht installieren

[DataCollector]

10 minutes ago, CameraRick said:

• Treiber aus dem Appstore ist installiert

 

Hm.... welchen meinst Du? Den für die 8125 Realtek würde ich nicht installieren. wenn es keinen Grund gibt

Der sorgt (oft) dafür, daß die C-States nicht runter gehen, obwohl die ASPM als (angeblich) enabled edargestellt werden.

 

10 minutes ago, CameraRick said:

• APSM-Force ist nach Neustart wieder ausgeführt, alles auf "enabled"

 

Ich weiß nicht, was Du da meinst. Sind das die Set-Befehle?

 

 

10 minutes ago, CameraRick said:

• powertop autotune wurde wieder ausgeführt, alles "good" (ich benutze den Befehl powertop --auto-tune &>/dev/null, der im Thread stand)

 

ist okay.

 

10 minutes ago, CameraRick said:

Alle Platten im Spindown, keine Docker oder VM laufen - C2 liegt bei fast 50% aber weiter komme ich nicht herunter

 

Realtek 8125 Treiber blockt wohl!

 

10 minutes ago, CameraRick said:

Ist das der Moment, wo ich die Firmware flashen sollte?

 

Ich würde erst noch ohne Realtek 8125 Treiber ausprobieren (entfernen, neu booten, falls nicht gesetzt, die Set Befehle korrekt starten, Powertop mit seinem

--auto-tune                (den Krempel danach braucht man nicht).

 

 

[cryon]

Hi, ich hab ein ganz ähnliches setup, nur mit asus-board. Hatte mit den Realtek-Treibern zwar hohe C-States aber die Bandbreite war plötzlich auf 10% reduziert. Lösung war, die Treiber zu deinstallieren und per "ASPM Helper" plugin ASPM für die Netzwerkkarte zu enablen. Jetzt 75% C-10 mit NVMEs und SSD. Vieleicht hilft das ja

Edited Friday at 11:11 AM by cryon

[MPC561]

Der Punkt ist das es das es einfach zwei Realtek Treiber für die gleiche NiC gibt:

1.) Den der Standard ist bei Unraid und auf dem Stick nach jeder Release/Update

2.) einen aus dem Appstore der empfohlen wird wenn der Standardtreiber Probleme macht.

 

Zu 1.)

Der Treiber funktioniert meistens unproblematisch bei Realtek NiCs bis 1Gbit, aber ASPM ist disabled (ab 6.12.5).

Um ASPM zu enablen gibt es folgende Möglichkeiten:

- Via SETPCI Befehl im "go" File

- Via ASPM Helper aus dm Appstore von @alturismo

- evtl. (zu testen) via Treiber Konfiguration file mit "ASPM=1" (hab ich nicht getestet!!, ich weiss adhoc auch nicht wie das configfile heisst)

 

Zu 2.)

Diese Treiber aus dem Appstore sind "besonders". Sie zeigen nach dem installieren mit dem allseits bekannten lspci Befehl an das die Realtek NiC ASP Enabled hat, aber in Wirklichkeit ist ASPM nicht an und der Rechner kommt nicht in tiefe C-Pkg States. Dafür scheint der Treiber bei bestimmten HW Revisionen/Varianten des NiCs stabiler zu sein.

- ggf. kann man via Treiber Konfigurationsfile mit "ASPM=1" (hab ich nicht getestet!!, ich weiss adhoc auch nicht wie das configfile heisst)

 

 

Generell:

Es gibt noch ein anderes Problem. Je nach Biosoption: ASPM Native (Enabled oder Disabled) zeigt bei einem vom beiden der lspci Befehl auch das ASPM enabled ist aber man kommt trotzdem nicht in tiefe C-Pkg States. Sprich, man hat hier die falsche Option gewählt im Bios. Startet Unraid und gibt den lspci Befehl ein und alles ist ASPM enabled obwohl man eigentlich eine Realtek NiC hat von der wir wissen das sie ab Unraid 6.12.5 ASPM nicht enabled haben kann!

 

 

 

 

Edited Friday at 11:26 AM by MPC561

[CameraRick]

19 minutes ago, DataCollector said:

Hm.... welchen meinst Du? Den für die 8125 Realtek würde ich nicht installieren. wenn es keinen Grund gibt

Der sorgt (oft) dafür, daß die C-States nicht runter gehen, obwohl die ASPM als (angeblich) enabled edargestellt werden.

Hi DataCollector,

 

ich hatte ihn nur installiert, weil ich nicht unter C2 kam und Dextoo gute Erfahrungen damit teilte. Habe ihn nun deinstalliert!

 

19 minutes ago, DataCollector said:

Ich weiß nicht, was Du da meinst. Sind das die Set-Befehle?

 

Ja genau die, wie hier beschrieben 

 

21 minutes ago, DataCollector said:

Ich würde erst noch ohne Realtek 8125 Treiber ausprobieren (entfernen, neu booten, falls nicht gesetzt, die Set Befehle korrekt starten, Powertop mit seinem

--auto-tune                (den Krempel danach braucht man nicht).

Alles klar - ich habe den Treiber deinstalliert und neu gestartet, dann folgende Befehle ausgeführt:

sudo setpci -s 00:1c.2 0x50.B=0x42
sudo setpci -s 04:00.0 0x80.B=0x42
powertop --auto-tune

 

ASPM sei nun für alle "Enabled", powertop zeigt alle Tuneables auf "good", alle Docker und VMs abgeschaltet, aber nur C2

 

 

22 minutes ago, cryon said:

Hi, ich hab ein ganz ähnliches setup, nur mit asus-board. Hatte mit den Realtek-Treibern zwar hohe C-States aber die Bandbreite war plötzlich auf 10% reduziert. Lösung war, die Treiber zu deinstallieren und per "ASPM Helper" plugin ASPM für die Netzwerkkarte zu enablen. Jetzt 75% C-10 mit NVMEs und SSD. Vieleicht hilft das ja

Hi cryon,

 

ich hab das mal installiert, zeigt aber auch erstmal alle als enabled an

 

 

10 minutes ago, MPC561 said:

Generell:

Es gibt noch ein anderes Problem. Je nach Biosoption: ASPM Native (Enabled oder Disabled) zeigt bei einem vom beiden der lspci Befehl auch das ASPM enabled ist aber man kommt trotzdem nicht in tiefe C-Pkg States. Sprich, man hat hier die falsche Option gewählt im Bios. Startet Unraid und gibt den lspci Befehl ein und alles ist ASPM enabled obwohl man eigentlich eine Realtek NiC hat von der wir wissen das sie ab Unraid 6.12.5 ASPM nicht enabled haben kann!

Hi MPC561,

 

"native ASPM" ist in meinem BIOS auf Enabled (Default ist Disabled). Bei einem Neustart zeigt er die eine PCI Bridge, wie auch die Realtek, als Disabled an. Sollte ich dennoch mal das ASPM im BIOS deaktivieren, oder schießt mir das in den Fuß?

[MPC561]

3 minutes ago, CameraRick said:

"native ASPM" ist in meinem BIOS auf Enabled (Default ist Disabled). Bei einem Neustart zeigt er die eine PCI Bridge, wie auch die Realtek, als Disabled an.

Wenn er mindestens ein/zwei Teil(e) als Disabled anzeigt steht die Option im Bios richtig. (in deinem Fall mit Realtek NiC)

Edited Friday at 11:42 AM by MPC561

[Babavoss]

Kurzes Update Unraid Version 7…

OHNE Realtek Treiber aus dem App Store: C8 und vollen Durchsatz. 

Edited Friday at 10:28 PM by Babavoss

[CameraRick]

45 minutes ago, MPC561 said:

Wenn er mindestens ein/zwei Teil(e) als Disabled anzeigt steht die Option im Bios richtig. (in deinem Fall mit Realtek NiC)

Ok, das ist ja schon mal gut.

Aber was könnte ich dann für tiefere C-States jetzt versuchen? ASM1166 flashen?

 

34 minutes ago, Babavoss said:

Kurzes Update Unraid Version 7…

OHNE Nic Treiber aus dem App Store: C8 und vollen Durchsatz. 

Das klingt sehr sexy  ich hab nur große Angst dass dann diverse Docker und Plugins vielleicht nicht mehr laufen könnten

[MPC561]

6 minutes ago, CameraRick said:

Aber was könnte ich dann für tiefere C-States jetzt versuchen? ASM1166 flashen?

Na wenn jetzt Bios stimmt und der Appstore Treiber deinstalliert wurde nochmal den lspci Befehl ausführen und posten.

 

Dann kann man sehen was noch nicht enabled ist und auch was für Geräte du generell im System hast.