Nicht noch ein stromsparender Server …

[Mor9oth]

1 hour ago, mgutt said:

Mit mehreren von mir gemessenen Boards, hatte ich schon C9 oder C3, je nachdem welche LAN Buchse ich verwendet habe.

Dabei aber schon immer die Gigabit Buchsen verwendet, oder? Die 10g habe ich bis jetzt da komplett außen vor gelassen.

[Mor9oth]

Ich bekomme übrigens immer nach der Eingabe von 

powertop --quiet --auto-tune

die nachfolgende Meldung. Sowohl in Unraid als auch Ubuntu. Ist das normal, bzw. bekommt das jeder?

 

Unraid:

 

Ubuntu:

 

 

 

[mgutt]

Die Meldung ist normal. Da es in Ubuntu auch so ist, würde ich sagen, dass ASPM nicht geht. Also entweder fehlt eine Einstellung, oder ASRock hat irgendwas verkackt.

[Mor9oth]

49 minutes ago, mgutt said:

Da es in Ubuntu auch so ist, würde ich sagen, dass ASPM nicht geht. Also entweder fehlt eine Einstellung, oder ASRock hat irgendwas verkackt.

Ich vermute, dass die Optionen bei Chipset/PCIe ASPM "Disabled und "Auto" dasselbe sind. Daher die Meldung "ASPM not suupported" und nur C-State 3. Ich habe ASRock gerade mal geschrieben, werde mich aber leider schon nach einer Alternative umschauen müssen. 🙄😒

[Mor9oth]

12 hours ago, mgutt said:

Also entweder fehlt eine Einstellung, oder ASRock hat irgendwas verkackt.

Vergleicht man das Bild, dass ich jetzt mit dem ASRock W680D4U-2L2T/G5 habe und vergleicht die Messergebnisse, die ich mit dem ASRockRack E3C246D4U2-2L2T dokumentiert hatte, dürfte ja anhand der absolut identischen ASPM- & C-State-Problematik klar sein, dass es an ASRock liegt. Vermutlich ist es einfacher oder nicht gewünscht, dass PCIe Geräte ASPM beherrschen und in tiefere C-States gehen. Im Motherboard-Vergleich will man aber vermutlich einfach nur "vergleichbar" bleiben. So zumindest meine Auffassung.

[Mor9oth]

Sonderlich viele W680-Boards gibt es leider nicht als eine Alternative. Zudem sind alle im ATX-Formfaktor. Wenn ich jetzt aber das ASRock-Board retourniere, brauche ich halt nun mal eine Alternative. Auch weil die restliche Hardware ja sonst nur herumliegt.

 

In der Liste sind ja im Grunde nur:

Supermicro X13SAE-F

ASUS Pro WS W680-Ace IPMI

Vergleich

 

Ich tendiere eher zum ASUS, da IPMI hier als Erweiterungskarte anstatt fix verbaut ist. Zudem sieht es laut Manual so aus als ob ASPM richtig implementiert ist. Auch bei den C-States sieht der Ansatz gut aus. Auto bedeutet da den tiefsten C-State, C0 bis C10 lässt sich aber auch noch manuell konfigurieren.

 

@mgutt Gibt es Erfahrungen mit Supermicro und/oder ASUS Workstation Boards was ASPM und C-States angeht?

 

Hier paar Auszüge:

 

 

 

Edited August 21, 2023 by Mor9oth

[Mor9oth]

Im Grunde wieder die gleiche Antwort von ASRock. ASPM deaktivieren ... I raff' es nicht warum. 🙄

Will es ja aktiv haben. Die Treiber die ASPM vermutlich deaktivieren kommen ja zudem erst später.

 

Was das Beta Bios kann, verrät er auch nicht. Auf der Seite und im Download keine Infos. Musste ich nun nachfassen. Ohne eine Information und Bezug zum Problem würde ich das aber auch nicht installieren.

 

Edited August 21, 2023 by Mor9oth

[mgutt]

Das ist halt 1st Level Support. Die tippen "ASPM" in die Suche und dann Copy & Pasta. Da musst du nachhaken bis einer antwortet, der Ahnung von der Materie hat.

 

3 hours ago, Mor9oth said:

Gibt es Erfahrungen mit Supermicro und/oder ASUS Workstation Boards

Kann man leider nie genau sagen, da es von Board zu Board unterschiedlich sein kann. Bei den Consumer Boards sieht man bei Asus häufig ASMedia Controller für USB. Aber auf den Fotos kann ich spontan nichts bei dem W680 sehen. Und das 12th Gen Supermicro war auch recht sparsam:

https://forums.unraid.net/topic/116379-vorstellung-die-cloud-der-großfamilie/?do=findComment&comment=1076700

 

 

Ansonsten werden gerade Workstation / Server sehr stiefmütterlich behandelt, wenn es um Energiesparen im Leerlauf geht.

 

 

 

[Mor9oth]

On 8/21/2023 at 2:50 PM, mgutt said:

Das ist halt 1st Level Support. Die tippen "ASPM" in die Suche und dann Copy & Pasta. Da musst du nachhaken bis einer antwortet, der Ahnung von der Materie hat.

Ja, echt zum Kotzen mit ASRock. Denke auch nicht, dass da noch was draus wird.

 

Danke für den Hinweis zum Supermicro aus der 12th Generation. Das sieht ja ziemlich gut aus mit dem Stromverbrauch!

 

Habe mir jetzt gerade einfach mal das X13SAE-F bestellt und hoffe, dass ich dann endlich mal ein vernünftiges und sparsames Board habe. Bin noch am hin und her überlegen, ob ich auch das ASUS bestellen soll, um die beiden zu vergleichen ...

Edited August 23, 2023 by Mor9oth

[Mor9oth]

On 8/21/2023 at 2:50 PM, mgutt said:

ann man leider nie genau sagen, da es von Board zu Board unterschiedlich sein kann. Bei den Consumer Boards sieht man bei Asus häufig ASMedia Controller für USB. Aber auf den Fotos kann ich spontan nichts bei dem W680 sehen. Und das 12th Gen Supermicro war auch recht sparsam:

https://forums.unraid.net/topic/116379-vorstellung-die-cloud-der-großfamilie/?do=findComment&comment=1076700

 

 

Ansonsten werden gerade Workstation / Server sehr stiefmütterlich behandelt, wenn es um Energiesparen im Leerlauf geht.

 

Gibt es aktuell Probleme mit Powertop? Immer, wenn ich:

 

powertop --quiet --auto-tune

 

ausführe und danach dann "powertop" aufrufen will, friert das OS (Unraid oder Ubuntu) komplett ein. Getestet mit zwei Motherboards. Dem Supermicro X13SAE-F und dem ASUS Pro WS W680-Ace IPMI. Auch die SSH-Verbindung zu Unraid ist sofort tot nach der Eingabe.

Leider muss ich dann rebooten und dann ist wieder alles auf "Bad" und ich komme nicht zum eigentlichen Test ...

 

 

 

 

[mgutt]

Dann gibt es irgendeine Inkompatibilität bei deiner verwendeten Hardware. In so einem Fall die Befehle einzeln absetzen. Siehe den englischsprachigen powertop Thread. Nach jeder Zeile dann warten und schauen, wer der Auslöser ist. Außerdem hilfreich sind Syslog mirror auf USB, damit du die Logs nach einem Crash sichten kannst. Auch könnte es sich lohnen IPMI offen zu haben. Manche Crash Logs schaffen es nur auf den Bildschirm.

[Mor9oth]

4 minutes ago, mgutt said:

Dann gibt es irgendeine Inkompatibilität bei deiner verwendeten Hardware. In so einem Fall die Befehle einzeln absetzen. Siehe den englischsprachigen powertop Thread. Nach jeder Zeile dann warten und schauen, wer der Auslöser ist. Außerdem hilfreich sind Syslog mirror auf USB, damit du die Logs nach einem Crash sichten kannst. Auch könnte es sich lohnen IPMI offen zu haben. Manche Crash Logs schaffen es nur auf den Bildschirm.

Vielen Dank! Dann teste ich das ab heute Abend. Vorher habe ich leider keine Zeit.

Oder muss ich ev. Powertop aufgrund des neuen Systems ev. ganz neu installieren?

Das kommt im Unraid-Boot-Prozess:

 

Übrigens kamen die beiden Boards leider bisher auch nicht unter C3, sind aber als ATX sparsamer als das mATX ASRock W680D4U-2L2TG5. Das ASUS hat bisher weniger "ASPM disbaled" Probleme. Da auch nur zum Verständnis: Es müssen alle Einträge auf "enabled" stehen, damit die tieferen C-States erreicht werden können, oder?

 

ASUS Pro WS W680-Ace IPMI:

 

Supermicro X13SAE-F:

 

 

[Mor9oth]

Beim ASUS Board kommt vor dem Bios immer diese Meldung. Versteht jemand was das ist und wie man das weg bekommen kann?

[mgutt]

41 minutes ago, Mor9oth said:

: Es müssen alle Einträge auf "enabled" stehen

Nicht zwangsläufig, aber eines deiner Probleme ist in jedem Fall die SSD. Die kann nicht schlafen und das kann das ganze System beeinflussen. Enterprise SSDs sind nicht für stromsparende Setups geeignet. 

 

44 minutes ago, Mor9oth said:

Versteht jemand was das ist und wie man das weg bekommen kann?

Hat wohl mit der Fernwartung zu tun:

https://www.thomas-krenn.com/de/wiki/Redfish

 

42 minutes ago, Mor9oth said:

Oder muss ich ev. Powertop aufgrund des neuen Systems ev. ganz neu installieren?

unRAID wird bei jedem Reboot neu installiert. Powertop entsprechend auch.

 

43 minutes ago, Mor9oth said:

Das kommt im Unraid-Boot-Prozess

Woher kommen die Fehler? Wer will da den mover starten und auf vnstatd zugreifen? Was wird da runtergeladen?

 

 

[Mor9oth]

35 minutes ago, mgutt said:

aber eines deiner Probleme ist in jedem Fall die SSD. Die kann nicht schlafen und das kann das ganze System beeinflussen. Enterprise SSDs sind nicht für stromsparende Setups geeignet. 

Die SSD (Samsung 970 EVO Plus M.2 NVMe) ist aber soweit ich weiß keine enterprise SSD.  Aber guter Punkt denn im Vergleich der beiden ASPM Screenshots ist mir gerade aufgefallen, dass die SSD bei Supermicro ASPM enabled hat und bei ASUS disabled ist. Hoffentlich kann ich da noch was an den Einstellungen ändern - oder muss die SSD in einen anderen M.2 Platz testen.

[Mor9oth]

44 minutes ago, mgutt said:

Woher kommen die Fehler? Wer will da den mover starten und auf vnstatd zugreifen? Was wird da runtergeladen?

Höö?! Muss ich mal das GO file prüfen …

Der einzige Download der mir spontan einfällt ist das keyfile um das verschlüsselte Array zu entschlüsseln. Mover soll eigentlich nur als unraid schedule gestartet werden. Finde ich nun ein wenig unheimlich 😱

[mgutt]

52 minutes ago, Mor9oth said:

Die SSD (Samsung 970 EVO Plus M.2 NVMe) ist aber soweit ich weiß keine enterprise SSD

Ok, die hat wohl den selben Controller, aber dann passt das.

 

53 minutes ago, Mor9oth said:

dass die SSD bei Supermicro ASPM enabled hat und bei ASUS disabled ist. Hoffentlich kann ich da noch was an den Einstellungen ändern

Lässt sich nichts einstellen. Aber kann es sein, dass du einmal einen CPU Slot und dann einen Chipsatz Slot verwendet hast?

[Mor9oth]

25 minutes ago, mgutt said:

Aber kann es sein, dass du einmal einen CPU Slot und dann einen Chipsatz Slot verwendet hast?

Das wäre denkbar. Habe es noobig einfach nur verbaut. Muss ich nachher prüfen und das Manual checken. Das könnte es denke ich aber echt schon sein! Beide Boards haben 3 x M.2 und da wird es vermutlich je beides geben.

[Mor9oth]

Ist dann ja eventuell ein Lichtblick.

[Mor9oth]

Ein M.2 ist dann ja per CPU und die zwei anderen per Chipsatz angebunden. Dann hab ich ja nur den falschen erwischt.

 

Edited August 27, 2023 by Mor9oth

[Mor9oth]

On 8/27/2023 at 10:16 AM, mgutt said:

Dann gibt es irgendeine Inkompatibilität bei deiner verwendeten Hardware. In so einem Fall die Befehle einzeln absetzen. Siehe den englischsprachigen powertop Thread. Nach jeder Zeile dann warten und schauen, wer der Auslöser ist

Ich habe nun den Befehl, der den Freeze auslöst, identifiziert. Ist dieser:

# Runtime PM for PCI devices
echo auto | tee /sys/bus/pci/devices/????:??:??.?/power/control

 

Was bedeutet das nun und wie bekomme ich das gefixt? 🙈

[jj1987]

2 minutes ago, Mor9oth said:

Was bedeutet das nun und wie bekomme ich das gefixt?

Naja, dass du eben diesen Befehl nicht absetzt, alle anderen schon

[Mor9oth]

26 minutes ago, jj1987 said:

Naja, dass du eben diesen Befehl nicht absetzt, alle anderen schon

Ich dachte bei fixen daran, dass man eventuell reporten kann/muss oder was mit Treibern oder bestimmten Einstellungen machen könnte ... Auch, weil es ja ein erst Anfang 2023 erschienenes Motherboard ist.

Edited August 29, 2023 by Mor9oth

[Mor9oth]

Wie verhält es sich zum Beispiel mit Native Power Management für PCIe oder Native ASPM. Ist aktuell enabled im BIOS.

[mgutt]

On 8/29/2023 at 10:19 AM, Mor9oth said:

Was bedeutet das nun und wie bekomme ich das gefixt? 🙈

In den Fall müssen die Befehle einzeln abgesetzt werden, bis das entsprechende PCIe Gerät gefunden ist:

 

for pfad in /sys/bus/pci/devices/*:*:*/power/control
do
  echo "$pfad"
  echo "auto" > "$pfad"
  sleep 10
done

 

Es sind immer 10 Sekunden dazwischen. Sollte das nicht reichen, verlängere die Zeit.