Hilfe bei Zusammenstellung eines Energiesparers

[Gorosch]

Nach entfernen des auto-tune und anpassen der manuellen powertop Konfig in der GO File laufen ebenfalls alle Platten sauber und stabil. Nochamls Danke für den Hinweis. Auf die Idee wäre ich im Leben nicht gekommen.

 

Edited September 7, 2022 by Gorosch

[frah]

2 hours ago, Gorosch said:

Nach entfernen des auto-tune und anpassen der manuellen powertop Konfig in der GO File laufen ebenfalls alle Platten sauber und stabil.

 

Vielen Dank für diese Info welche ich gleich mal meinen Notizen hinzugefügt habt.

[mgutt]

16 hours ago, Gorosch said:

Nach entfernen des auto-tune und anpassen der manuellen powertop Konfig in der GO File laufen ebenfalls alle Platten sauber und stabil.

Welche Hardware hast du? Betraf das Onboard SATA Buchsen oder eine SATA Karte?

[Gorosch]

13 hours ago, mgutt said:

Welche Hardware hast du? Betraf das Onboard SATA Buchsen oder eine SATA Karte?

Supermicro - X11SSM-F mit Xeon E3-1230 v6 und 64 GB RAM ECC.

 

Bis vor kurzem hatte ich noch einen "LSI Broadcom 9211-8i 6Gbps SATA SAS HBA Controller" im IT-Mode in der Kiste, welchen ich aber aus Energieeinspargründen gegen einen normlen SATA Controller tauschen wollte. Der HBA hatte keinen Defekt und lief immer tadelos. 

 

3x 4x SATA Backplanes

 

Backplane A für 4x SSDs, welche direkt am Board angeschlossen sind.

Backplane B mit allen vier Array HDDs, ehemals über HBA, nun direkt am Board.

Backplane C mit den Pool Platten, ehemals über HBA, nun an der SATA Karte.

 

3x 14 TB Seagte (Array + Parity) [Backplane B]

1 x WD RED 4 TB im Array [Backplane B]

1x WD RED in einem einzelner Pool für Backups  [Backplane C]

1x WD Velociraptor 1 TB  als  einzelner Pool. Dienst als Zwischenlager für BD und Audio Ripps [Backplane C]

2x SSD im RAID1 BTRF Pool als Cache fürs Array [Backplane A]

2x SSD im RAID1 BTRF Pool für Appdata und VMs [Backplane A]

 

 

 

Es betraf immer nur die WD RED HDD, welche an der SATA Karte angeschlossen waren. Also erst nur die einzelene RED im Pool. Nach tauschen der Verkabelung der Backplanes war es die RED im Array. Allen anderen HDDs war es egal, wo sie angeschlossen waren und machten keine Probleme. Der Fehler war somit replizierbar und auf die SATA Karte zu führen, welche mit auto-tune nicht klar kommt.

[frah]

So habe das System mal schnell zusammengebaut. Eingesetzte Komponenten sind:

• Case: Supermicro CSE-743AC-1K26B-SQ
• PSU: be quiet! Straight Power 11 Platinum 550W
• Mainboard: ASRock Rack X570D4U
• CPU: AMD Ryzen 5600X
• CPU-Kühler: Noctua NH-D12L
• RAM: 2x Kingston Server Premier DIMM 32GB, DDR4-3200, CL22-22-22, ECC
• Unraid USB Stick: Samsung BAR Plus 32GB via 20-poligem Mainboard-Header-Adapter USB 3.0 Typ-A-Buchse
• Parity: 1x WD Red 4TB (WD40EFAX)
• Array: 2x WD Red 4TB (WD40EFAX)
• Cache (Array): 2x Kingston DC500M 480GB
• Cache (Docker): 2x Corsair Force Series MP600 R2 1TB, M.2
• Lüfter für X570 Chipsatz: 1x Noctua NF-A4x20 PWM
• Lüfter für Abluft: 1x Noctua NF-A9 PWM
• HDD Fan Wall: 4x Noctua NF-A8 PWM

Die Steuerung der Lüfter erfolgt mittels damacis' IPMI Tools Plugin.

 

Vorabergebnis in Sachen Stromverbrauch, gemessen mit einem No-Energy 3680+:
- 41 Watt mit drehenden Platten
- 26 Watt HDD Spin Down

 

Die Verbrauchsmessung ohne den obigen Klimbim habe ich versäumt, da ich mich in einem Zusaand der Extase befand :-), doch wird dies morgen nachgeholt werden!

 

Mit dem Ergenis bin ich bereits sehr zufrieden und bin gespannt, was sich in Sachen Energieverbrauch noch optimieren lässt.
 

[mgutt]

58 minutes ago, frah said:

Cache (Array): 2x Kingston DC500M 480GB

Hattest du die rumfliegen oder warum so teure SSDs? Warum überhaupt getrennter Cache/Docker?!

 

59 minutes ago, frah said:

PSU: be quiet! Straight Power 11 Platinum 550W

Ich denke das kostet dich alleine 3 bis 4W.

 

1 hour ago, frah said:

HDD Fan Wall: 4x Noctua NF-A8 PWM

Insgesamt ganz schön viele Lüfter für das bisschen CPU und HDDs.

[i-B4se]

Ich verstehe den Verbrauch noch nicht so ganz.

X570, IPMI, ein Lüfter mehr, das Netzteil, keinerlei Optimierungen und dann nur 26W?

Das Board unterschiedet sich nicht von meinen bis auf die 2x 10GbE, aber diese sind aktuell deaktiviert, und dann 20W weniger?

Ich habe etliche Einstellungen im Bios gemacht um knapp auf 40 - 45 W im Idle zu kommen.

[frah]

40 minutes ago, mgutt said:

1 hour ago, frah said:

Cache (Array): 2x Kingston DC500M 480GB

Hattest du die rumfliegen oder warum so teure SSDs? Warum überhaupt getrennter Cache/Docker?!

Ja die lagen noch im Schrank.

 

41 minutes ago, mgutt said:

1 hour ago, frah said:

PSU: be quiet! Straight Power 11 Platinum 550W

Ich denke das kostet dich alleine 3 bis 4W.

Ich dachte mir, wenn eh schon ein neues Netzteil, dann ein Platinum.

 

42 minutes ago, mgutt said:

Insgesamt ganz schön viele Lüfter für das bisschen CPU und HDDs.

Hatte damals mal FreeNAS mit 24x7 drehenden Platten im Einsatz und bin wohl aus diesem Grund solch ein Lüfter-Fetischist. Nehme diese Anmerkung als Anlass es mal mit nur zwei HDD-Lüftern zu testen.

[mgutt]

1 minute ago, frah said:

Ich dachte mir, wenn eh schon ein neues Netzteil, dann ein Platinum.

Hilft aber leider nicht bei Niedriglast. Bei Niedriglast sind aktuell nur wenige Netzteile bekannt, die sehr effizient sind:

- PicoPSU

- Corsair RM550x (2021)

- BeQuiet Pure Power 11 FM 550W

- Seasonic Titanium Netzteile bis 650W

 

 

[frah]

48 minutes ago, i-B4se said:

Ich verstehe den Verbrauch noch nicht so ganz.

X570, IPMI, ein Lüfter mehr, das Netzteil, keinerlei Optimierungen und dann nur 26W?

Ich kann nur wiedergeben, was der Energiemesser anzeigt.

[frah]

5 minutes ago, mgutt said:

- Corsair RM550x (2021)

- BeQuiet Pure Power 11 FM 550W

Werde ich, wenn das jetzige Netzteil ersetzt werden muss, in Betracht ziehen. Oder wenn ich mir einen neuen Backup-Server baue und dann das aktuelle in diesen und eines der obigen in den jetzigen Server.

[i-B4se]

13 minutes ago, frah said:

Ich kann nur wiedergeben, was der Energiemesser anzeigt

Ich glaube dir das schon. Finde das nur merkwürdig.

@mgutt

Kannst du mir das evtl. erklären?

[frah]

2 minutes ago, i-B4se said:

Kannst du mir das evtl. erklären?

Sehe grade, Du hast auch drei HDDs mehr im Server als ich - wieder ein paar Watt  Jedoch eine M.2 weniger. Welche Verbrauchswerte nennt denn der Hersteller der Platten?

[mgutt]

9 minutes ago, i-B4se said:

Kannst du mir das evtl. erklären?

Keine Ahnung. Er hier hat auch 47W und der hat auch nichts nennenswertes verbaut. Zumindest glaube ich nicht, dass die Bifurcation Karte so viel ausmacht:

 

 

[i-B4se]

3 minutes ago, mgutt said:

Keine Ahnung. Er hier hat auch 47W und der hat auch nichts nennenswertes verbaut. Zumindest glaube ich nicht, dass die Bifurcation Karte so viel ausmacht:

Genau das meine ich.

Das spiegelt meinen Verbrauch wieder und der hat sich damit auseinandergesetzt. Diese 26 W finde ich irgendwie komisch, auch wenn ich ihm das gönne 👍

 

12 minutes ago, frah said:

Sehe grade, Du hast auch drei HDDs mehr im Server als ich - wieder ein paar Watt  Jedoch eine M.2 weniger. Welche Verbrauchswerte nennt denn der Hersteller der Platten?

Die Platten verbrauchen ca. 0,9 W/Stk. Aber ich habe dafür auch ein effizienteres Netzteil.

Mir geht es unterm Strich nicht um die 1 oder 2 Watt, aber wir sprechen hier von 20 W ohne Optimierung.

 

[frah]

@i-B4se Habe mir mal die BIOS Einstellung angesehen, die ich gestern vorgenommen habe und neben den üblichen Verdächtigen wie z. B. IOMMU Enabled und C-State enabled folgende Änderung vorgenommen, die maßgeblich zur Leistungsaufnahme beiträgt:

 

 

[frah]

@i-B4se Mein Go File sieht wie folgt aus:

 

# -------------------------------------------------
# Set power-efficient CPU governor
# -------------------------------------------------
/etc/rc.d/rc.cpufreq powersave

# -------------------------------------------------
# Enable power-efficient ethernet
# -------------------------------------------------

# enable IEEE 802.3az (Energy Efficient Ethernet): Could be incompatible to LACP bonds!
for i in /sys/class/net/eth?; do dev=$(basename $i); [[ $(echo $(ethtool --show-eee $dev 2> /dev/null) | grep -c "Supported EEE link modes: 1") -eq 1 ]] && ethtool --set-eee $dev eee on; done

# Disable wake on lan
### for i in /sys/class/net/eth?; do ethtool -s  $(basename $i) wol d; done

# -------------------------------------------------
# powertop tweaks
# -------------------------------------------------

# Enable SATA link power management
echo med_power_with_dipm | tee /sys/class/scsi_host/host*/link_power_management_policy

# Runtime PM for I2C Adapter (i915 gmbus dpb) >>> deaktiviert da AMD <<<
### echo auto | tee /sys/bus/i2c/devices/i2c-*/device/power/control

# Autosuspend for USB device
echo auto | tee /sys/bus/usb/devices/*/power/control

# Runtime PM for disk
echo auto | tee /sys/block/sd*/device/power/control

# Runtime PM for PCI devices
echo auto | tee /sys/bus/pci/devices/????:??:??.?/power/control

 

[i-B4se]

Diese Settings sind bei mir alle gesetzt und noch einige mehr - USB3.0 deaktiviert, Eco Modus, Low TDP etc.

Die Go-File ist ebenfalls angepasst und auch noch ein paar andere Sachen aus dem Thread.

 

Aber mein Verbrauch ist ja nicht hoch im Gegensatz zu den anderen. Deiner ist nur extrem niedrig bei dem Setting und das ist verwunderlich.

Kannst du mal ein Screen vom Powertop -> Idle-Stats posten?

Ich überlege gerade mir einfach ein X570D4U zu holen um das zu testen.

[frah]

Klar, mache ich später und werde auch mal Screenshots von sämtlichen BIOS Dialogen machen und hier posten.

 

Denke so gegen 13 Uhr.

Edited September 10, 2022 by frah

[frah]

1 hour ago, i-B4se said:

Kannst du mal ein Screen vom Powertop -> Idle-Stats posten?

Hier wie gewünscht der Powertop Screenshot:

 

 

Wobei dies wohl weniger aussagekräftig ist da, wenn ich mich recht erinnere, @mgutt irgendwo schrieb das Powertop neuere CPUs nicht unterstützt.

Edited September 10, 2022 by frah

[frah]

Und hier wie versprochen noch die Screenshots meiner BIOS Settings.

 

Irgendwann mal habe ich aufgehört Screenshots von Dialoagen zu machen, die ausschließlich Defaultwerte beinhalten.

[frah]

2 hours ago, i-B4se said:

Diese Settings sind bei mir alle gesetzt und noch einige mehr - USB3.0 deaktiviert, Eco Modus, Low TDP etc.

Die Go-File ist ebenfalls angepasst und auch noch ein paar andere Sachen aus dem Thread.

 

Welche weiteren BIOS Settings hast Du denn konfiguriert und welche anderen Einträge hast Du in deinem GO File? Ggf. nützen mir diese ja auch noch?!

[frah]

On 9/3/2022 at 7:57 PM, frah said:

Wir würden uns freuen, wenn du das Board von deinem Bruder dann mal nur mit einer SSD messen könntest. Verbrauchswerte des Non-10G Modells haben wir nämlich noch keine so viel ich weiß.

Habe das Board inkl. Ryzen 5600X plus CPU Kühler, einer leeren SSD und 2x 32GB RAM gemessen. Das Ergebnis brachte 47,06 Watt auf die Energiewaage.

[mgutt]

2 hours ago, frah said:

Das Ergebnis brachte 47,06 Watt auf die Energiewaage.

Häh? Im BIOS oder wie?

[frah]

2 minutes ago, mgutt said:

Häh? Im BIOS oder wie?

Beim unterbrochenen Bootvorgang, da die SSD leer war.