Nicht noch ein stromsparender Server …

[Mor9oth]

43 minutes ago, bullsei said:

ich glaube das ist nicht sache von Powertop sondern vom Linux Kernel. Powertop ließt die Namen da nur aus. Von daher bringt da auch eine neue Version von Powertop nichts. 

Warum schreibt er dann explizit "Powertop 2.15 mit Support für Raptor Lake-S" ?

[Mor9oth]

Mein USB 2.0 Stick ist nun auch noch verreckt ... 🤣🙄

@mgutt Du hattest doch mal den swissbit für Betriebstemperaturen bis 85 °C im Einsatz. Kannst Du den noch empfehlen?

[bullsei]

17 minutes ago, Mor9oth said:

Warum schreibt er dann explizit "Powertop 2.15 mit Support für Raptor Lake-S" ?

Kann ich dir nicht genau sagen, könnte man z.B. bei Github nachkucken https://github.com/fenrus75/powertop/commits/master

 

dort kann man sehen dass dort Hardware-IDs für Raporlake hinzugefügt worden sind. Was jetzt die IDs für genaue Auswirkungen haben dazu müsste man sich den Code genauer anschauen. Aber wenn ich das richtig sehe werden dann einfach nur die Package C-States dementsprechend angezeigt wenn die IDs in der Liste sind. 

[mgutt]

4 hours ago, Mor9oth said:

@mgutt Du hattest doch mal den swissbit für Betriebstemperaturen bis 85 °C im Einsatz. Kannst Du den noch empfehlen?

Jo, noch keinen kaputt bekommen. Also weder ich, noch denen ich welche besorgt habe. 

[Mor9oth]

On 9/9/2023 at 2:15 AM, mgutt said:

Jo, noch keinen kaputt bekommen. Also weder ich, noch denen ich welche besorgt habe. 

Dann hol’ ich mir so ein Stick wohl auch mal demnächst. Das Backup vom Stick hat zwar funktioniert, ich setz’ aber nochmal alles neu auf, um Altlasten loszuwerden und auch mögliche Effekte auf den Stromverbrauch herauskristallisieren zu können. Das Plugin GPU Statistics verhindert beispielsweise bei mir aktuell schon mal den tiefsten C-State. Sobald ich es wieder deinstalliere, ist das Problem wieder weg.* Solche Effekte kann ich mit einem blanken System dann ganz gut dokumentieren.

 

Edit*: ist jetzt aus irgendeinem Grund nicht mehr der Fall

Edited September 11, 2023 by Mor9oth

[Mor9oth]

Bei meinen aktuellen Kontron Tests ist mir aufgefallen, dass ich am Anfang mit dem Befehl:

lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )'

 

Mehr Devices (5) mit der ASPM-Fähigkeit aufgelistet bekam als jetzt (2). Ist der Befehl irgendwo limitiert? Vielleicht kein C10?

[mgutt]

17 hours ago, Mor9oth said:

Ist der Befehl irgendwo limitiert?

Nein. Dann wird sich was geändert haben. 

[Mor9oth]

4 hours ago, mgutt said:

Nein. Dann wird sich was geändert haben. 

Ok, danke! Dann muss ich das mal wohl genauer prüfen. Aber auf den Verbrauch und das erreichen von tiefen C-States scheint das keinen Einfluss zu haben. Dürfte dann nur die Anzeige/Auflistung sein.

Edited September 12, 2023 by Mor9oth

[Mor9oth]

On 9/12/2023 at 8:19 AM, mgutt said:

Nein. Dann wird sich was geändert haben. 

Ich steige leider nicht dahinter, was sich geändert haben könnte. ASPM ist aktiv L1 für PCIe und L1 mit Substate L.1.1 & L.1.2 für M.2 aktiv. C-State Limit auf 10 und alles unnötige disabled.  Powertop --auto-tune hat auch funktioniert, die Befehle über das go file absetzen auch. Über den ASPM Check bekomme ich mittlerweile aber kein device mehr ausgegeben (Screenshot), erreiche aber gleichzeitig C10 und einen absurd niedrigen Stromverbrauch. Wenn die Werte stimmen, bin ich ja mehr als happy - wundere mich aktuell aber auch ziemlich, warum dann die Auflistung nicht mehr geht. Ich meine, dass Sie am Anfang bis C8 alle devices ausgegeben hat.

 

ASPM check aktuell:

 

ASPM ursprünglich:

 

So sieht es in Powertop aktuell aus:

 

 

[jj1987]

9 hours ago, Mor9oth said:

Ich steige leider nicht dahinter, was sich geändert haben könnte.

BIOS Update? Oder UNRAID Update (=neuerer Kernel>neuere/andere Treiber)

[mgutt]

On 9/13/2023 at 11:04 PM, Mor9oth said:

erreiche aber gleichzeitig C10 und einen absurd niedrigen Stromverbrauch

Jetzt bin ich aber gespannt mehr zu hören 😁

 

Vielleicht ist es ja so, dass in C10 diese Werte gar nicht mehr ausgelesen werden können?! Wäre mir jetzt auch neu, aber wer weiß.

 

Mit lspci -vv kannst du dir alles ausgeben lassen und schauen, ob die Geräte in der Zeile, wo eigentlich ASPM stehen sollte nun was ganz anderes stehen haben.

[Mor9oth]

On 9/14/2023 at 8:24 AM, jj1987 said:

BIOS Update? Oder UNRAID Update (=neuerer Kernel>neuere/andere Treiber)

Kann ich beides ausschließen. Hatte eine neues BIOS aufgrund von Gen13 geflasht und erst danach mit allen Messungen begonnen.

[Mor9oth]

34 minutes ago, mgutt said:

Jetzt bin ich aber gespannt mehr zu hören 😁

Ich teste aktuell alle Komponenten in der Hoffnung bis zum finalen Build C10 behalten zu können. Bisher sieht das sogar auch noch gut aus! Ich dokumentiere noch fertig und dann werde ich wohl so Mitte kommender Woche hier berichten.

[Mor9oth]

On 9/15/2023 at 7:48 PM, mgutt said:

Vielleicht ist es ja so, dass in C10 diese Werte gar nicht mehr ausgelesen werden können?! Wäre mir jetzt auch neu, aber wer weiß.

Das war ja tatsächlich auch so meine Ableitung/Vermutung aus dem ganzen Verhalten. 

 

On 9/15/2023 at 7:48 PM, mgutt said:

Mit lspci -vv kannst du dir alles ausgeben lassen und schauen, ob die Geräte in der Zeile, wo eigentlich ASPM stehen sollte nun was ganz anderes stehen haben.

Danke dir! Das werde ich dann auch mal noch testen. In Ubuntu hatte ich btw. das gleiche Bild.

 

Edit:
Wenn ich lspci -vv ausführe, bekomme ich nun aber ganz andere IDs als im ursprünglichen ASPM-Check. So sieht das Ergebnis aus, mit dem ich aber nichts anfangen kann:

terminal.txt

Edited September 17, 2023 by Mor9oth

[mgutt]

Da fehlen die Infos zum PCIe Link. Probier mal -vvv oder -vvvv ob dann was mit ASPM auftaucht. Dann müssen wir den ersten Befehl nur entsprechend um die v's erweitern.

[Mor9oth]

Was ich aktuell auch sehr irritierend finde ist, dass eine SSD oder 4 SSDs teils gleich viel Strom verbrauchen, wohingegen nur zwei SSDs dann aber sogar mehr als die 4 verbrauchen.

[Mor9oth]

On 9/15/2023 at 9:34 PM, mgutt said:

Da fehlen die Infos zum PCIe Link. Probier mal -vvv oder -vvvv ob dann was mit ASPM auftaucht. Dann müssen wir den ersten Befehl nur entsprechend um die v's erweitern.

Fehlen auch in -vvv:

vvv.txt

 

Fehlen auch in -vvvv:

vvvv.txt

 

Edit: Als Anhang statt code-block

Edited September 17, 2023 by Mor9oth

[mgutt]

Da fehlen sie ganzen Devices. Komisch.

 

EDIT: Ok. Hier was gefunden:

https://unix.stackexchange.com/a/368333/101920

 

Also ergänze bitte mal -M beim ursprünglichen Kommando. Ich vermute dann geht es wieder.

[Mor9oth]

30 minutes ago, mgutt said:

Also ergänze bitte mal -M beim ursprünglichen Kommando. Ich vermute dann geht es wieder.

THX! Da kommen Hunderte davon: "Cannot open /"

 

pcilib: Cannot open /sys/bus/pci/devices/0000:c0:02.0/config
pcilib: Cannot open /sys/bus/pci/devices/0000:c0:03.0/config
pcilib: Cannot open /sys/bus/pci/devices/0000:c0:04.0/config

Edit: gekürzt

Edited September 15, 2023 by Mor9oth

[mgutt]

Sowas darfst du ruhig in gekürzter Form posten. #scrollenohneende

[Mor9oth]

5 minutes ago, mgutt said:

Sowas darfst du ruhig in gekürzter Form posten. #scrollenohneende

Sorry! Habe es gekürzt.

[mgutt]

Und außer der Fehlermeldung kommt dann kein normaler Eintrag mehr?

[Mor9oth]

12 minutes ago, mgutt said:

Und außer der Fehlermeldung kommt dann kein normaler Eintrag mehr?

Denke nein, es endet so:

pcilib: Cannot open /sys/bus/pci/devices/0000:ff:1d.0/config
pcilib: Cannot open /sys/bus/pci/devices/0000:ff:1e.0/config
pcilib: Cannot open /sys/bus/pci/devices/0000:ff:1f.0/config

Summary of buses:

00: Primary host bus
root@Cortex:~#

 

[martinriedel]

Lass dir die Ausgabe doch mal in eine Datei weiterleiten, dann wird dir das Terminal nicht vollgemüllt

[Mor9oth]

So, nun habe ich es herausgefunden. Dafür musste ich nochmal alle Einstellungen im BIOS durchtesten. Es liegt an den 2,5 GBe-Ports. Sind diese aktiv, geht das System nicht mehr in C10 und bleibt in C8. Nur wenn beide oder einer der zwei 2,5 GBe-Ports enabled sind, gibt der Befehl auch die ASPM Geräte aus. Könnte also tatsächlich sein, dass in C10 die ASPM Geräte nicht mehr ausgelesen werden können. Die Funktion ist aus meiner Sicht aber gegeben, da die Messungen im Verlauf plausibel erscheinen.

Dann kann ich ja nun nach dieser Unterbrechung die Tests fortführen und hoffentlich bald abschließen.

 

Die Terminal-Ausgaben oben würde ich dann löschen oder es in einen Anhang packen, um den Lesefluss nicht so zu stören.