September 7, 20223 yr Nach entfernen des auto-tune und anpassen der manuellen powertop Konfig in der GO File laufen ebenfalls alle Platten sauber und stabil. Nochamls Danke für den Hinweis. Auf die Idee wäre ich im Leben nicht gekommen. Edited September 7, 20223 yr by Gorosch
September 7, 20223 yr Author 2 hours ago, Gorosch said: Nach entfernen des auto-tune und anpassen der manuellen powertop Konfig in der GO File laufen ebenfalls alle Platten sauber und stabil. Vielen Dank für diese Info welche ich gleich mal meinen Notizen hinzugefügt habt.
September 8, 20223 yr 16 hours ago, Gorosch said: Nach entfernen des auto-tune und anpassen der manuellen powertop Konfig in der GO File laufen ebenfalls alle Platten sauber und stabil. Welche Hardware hast du? Betraf das Onboard SATA Buchsen oder eine SATA Karte?
September 8, 20223 yr 13 hours ago, mgutt said: Welche Hardware hast du? Betraf das Onboard SATA Buchsen oder eine SATA Karte? Supermicro - X11SSM-F mit Xeon E3-1230 v6 und 64 GB RAM ECC. Bis vor kurzem hatte ich noch einen "LSI Broadcom 9211-8i 6Gbps SATA SAS HBA Controller" im IT-Mode in der Kiste, welchen ich aber aus Energieeinspargründen gegen einen normlen SATA Controller tauschen wollte. Der HBA hatte keinen Defekt und lief immer tadelos. 3x 4x SATA Backplanes Backplane A für 4x SSDs, welche direkt am Board angeschlossen sind. Backplane B mit allen vier Array HDDs, ehemals über HBA, nun direkt am Board. Backplane C mit den Pool Platten, ehemals über HBA, nun an der SATA Karte. 3x 14 TB Seagte (Array + Parity) [Backplane B] 1 x WD RED 4 TB im Array [Backplane B] 1x WD RED in einem einzelner Pool für Backups [Backplane C] 1x WD Velociraptor 1 TB als einzelner Pool. Dienst als Zwischenlager für BD und Audio Ripps [Backplane C] 2x SSD im RAID1 BTRF Pool als Cache fürs Array [Backplane A] 2x SSD im RAID1 BTRF Pool für Appdata und VMs [Backplane A] Es betraf immer nur die WD RED HDD, welche an der SATA Karte angeschlossen waren. Also erst nur die einzelene RED im Pool. Nach tauschen der Verkabelung der Backplanes war es die RED im Array. Allen anderen HDDs war es egal, wo sie angeschlossen waren und machten keine Probleme. Der Fehler war somit replizierbar und auf die SATA Karte zu führen, welche mit auto-tune nicht klar kommt.
September 9, 20223 yr Author So habe das System mal schnell zusammengebaut. Eingesetzte Komponenten sind: Case: Supermicro CSE-743AC-1K26B-SQ PSU: be quiet! Straight Power 11 Platinum 550W Mainboard: ASRock Rack X570D4U CPU: AMD Ryzen 5600X CPU-Kühler: Noctua NH-D12L RAM: 2x Kingston Server Premier DIMM 32GB, DDR4-3200, CL22-22-22, ECC Unraid USB Stick: Samsung BAR Plus 32GB via 20-poligem Mainboard-Header-Adapter USB 3.0 Typ-A-Buchse Parity: 1x WD Red 4TB (WD40EFAX) Array: 2x WD Red 4TB (WD40EFAX) Cache (Array): 2x Kingston DC500M 480GB Cache (Docker): 2x Corsair Force Series MP600 R2 1TB, M.2 Lüfter für X570 Chipsatz: 1x Noctua NF-A4x20 PWM Lüfter für Abluft: 1x Noctua NF-A9 PWM HDD Fan Wall: 4x Noctua NF-A8 PWM Die Steuerung der Lüfter erfolgt mittels damacis' IPMI Tools Plugin. Vorabergebnis in Sachen Stromverbrauch, gemessen mit einem No-Energy 3680+: - 41 Watt mit drehenden Platten - 26 Watt HDD Spin Down Die Verbrauchsmessung ohne den obigen Klimbim habe ich versäumt, da ich mich in einem Zusaand der Extase befand :-), doch wird dies morgen nachgeholt werden! Mit dem Ergenis bin ich bereits sehr zufrieden und bin gespannt, was sich in Sachen Energieverbrauch noch optimieren lässt.
September 9, 20223 yr 58 minutes ago, frah said: Cache (Array): 2x Kingston DC500M 480GB Hattest du die rumfliegen oder warum so teure SSDs? Warum überhaupt getrennter Cache/Docker?! 59 minutes ago, frah said: PSU: be quiet! Straight Power 11 Platinum 550W Ich denke das kostet dich alleine 3 bis 4W. 1 hour ago, frah said: HDD Fan Wall: 4x Noctua NF-A8 PWM Insgesamt ganz schön viele Lüfter für das bisschen CPU und HDDs.
September 9, 20223 yr Ich verstehe den Verbrauch noch nicht so ganz. X570, IPMI, ein Lüfter mehr, das Netzteil, keinerlei Optimierungen und dann nur 26W? Das Board unterschiedet sich nicht von meinen bis auf die 2x 10GbE, aber diese sind aktuell deaktiviert, und dann 20W weniger? Ich habe etliche Einstellungen im Bios gemacht um knapp auf 40 - 45 W im Idle zu kommen.
September 9, 20223 yr Author 40 minutes ago, mgutt said: 1 hour ago, frah said: Cache (Array): 2x Kingston DC500M 480GB Hattest du die rumfliegen oder warum so teure SSDs? Warum überhaupt getrennter Cache/Docker?! Ja die lagen noch im Schrank. 41 minutes ago, mgutt said: 1 hour ago, frah said: PSU: be quiet! Straight Power 11 Platinum 550W Ich denke das kostet dich alleine 3 bis 4W. Ich dachte mir, wenn eh schon ein neues Netzteil, dann ein Platinum. 42 minutes ago, mgutt said: Insgesamt ganz schön viele Lüfter für das bisschen CPU und HDDs. Hatte damals mal FreeNAS mit 24x7 drehenden Platten im Einsatz und bin wohl aus diesem Grund solch ein Lüfter-Fetischist. Nehme diese Anmerkung als Anlass es mal mit nur zwei HDD-Lüftern zu testen.
September 9, 20223 yr 1 minute ago, frah said: Ich dachte mir, wenn eh schon ein neues Netzteil, dann ein Platinum. Hilft aber leider nicht bei Niedriglast. Bei Niedriglast sind aktuell nur wenige Netzteile bekannt, die sehr effizient sind: - PicoPSU - Corsair RM550x (2021) - BeQuiet Pure Power 11 FM 550W - Seasonic Titanium Netzteile bis 650W
September 9, 20223 yr Author 48 minutes ago, i-B4se said: Ich verstehe den Verbrauch noch nicht so ganz. X570, IPMI, ein Lüfter mehr, das Netzteil, keinerlei Optimierungen und dann nur 26W? Ich kann nur wiedergeben, was der Energiemesser anzeigt.
September 9, 20223 yr Author 5 minutes ago, mgutt said: - Corsair RM550x (2021) - BeQuiet Pure Power 11 FM 550W Werde ich, wenn das jetzige Netzteil ersetzt werden muss, in Betracht ziehen. Oder wenn ich mir einen neuen Backup-Server baue und dann das aktuelle in diesen und eines der obigen in den jetzigen Server.
September 9, 20223 yr 13 minutes ago, frah said: Ich kann nur wiedergeben, was der Energiemesser anzeigt Ich glaube dir das schon. Finde das nur merkwürdig. @mgutt Kannst du mir das evtl. erklären?
September 9, 20223 yr Author 2 minutes ago, i-B4se said: Kannst du mir das evtl. erklären? Sehe grade, Du hast auch drei HDDs mehr im Server als ich - wieder ein paar Watt Jedoch eine M.2 weniger. Welche Verbrauchswerte nennt denn der Hersteller der Platten?
September 9, 20223 yr 9 minutes ago, i-B4se said: Kannst du mir das evtl. erklären? Keine Ahnung. Er hier hat auch 47W und der hat auch nichts nennenswertes verbaut. Zumindest glaube ich nicht, dass die Bifurcation Karte so viel ausmacht:
September 9, 20223 yr 3 minutes ago, mgutt said: Keine Ahnung. Er hier hat auch 47W und der hat auch nichts nennenswertes verbaut. Zumindest glaube ich nicht, dass die Bifurcation Karte so viel ausmacht: Genau das meine ich. Das spiegelt meinen Verbrauch wieder und der hat sich damit auseinandergesetzt. Diese 26 W finde ich irgendwie komisch, auch wenn ich ihm das gönne 👍 12 minutes ago, frah said: Sehe grade, Du hast auch drei HDDs mehr im Server als ich - wieder ein paar Watt Jedoch eine M.2 weniger. Welche Verbrauchswerte nennt denn der Hersteller der Platten? Die Platten verbrauchen ca. 0,9 W/Stk. Aber ich habe dafür auch ein effizienteres Netzteil. Mir geht es unterm Strich nicht um die 1 oder 2 Watt, aber wir sprechen hier von 20 W ohne Optimierung.
September 10, 20223 yr Author @i-B4se Habe mir mal die BIOS Einstellung angesehen, die ich gestern vorgenommen habe und neben den üblichen Verdächtigen wie z. B. IOMMU Enabled und C-State enabled folgende Änderung vorgenommen, die maßgeblich zur Leistungsaufnahme beiträgt:
September 10, 20223 yr Author @i-B4se Mein Go File sieht wie folgt aus: # ------------------------------------------------- # Set power-efficient CPU governor # ------------------------------------------------- /etc/rc.d/rc.cpufreq powersave # ------------------------------------------------- # Enable power-efficient ethernet # ------------------------------------------------- # enable IEEE 802.3az (Energy Efficient Ethernet): Could be incompatible to LACP bonds! for i in /sys/class/net/eth?; do dev=$(basename $i); [[ $(echo $(ethtool --show-eee $dev 2> /dev/null) | grep -c "Supported EEE link modes: 1") -eq 1 ]] && ethtool --set-eee $dev eee on; done # Disable wake on lan ### for i in /sys/class/net/eth?; do ethtool -s $(basename $i) wol d; done # ------------------------------------------------- # powertop tweaks # ------------------------------------------------- # Enable SATA link power management echo med_power_with_dipm | tee /sys/class/scsi_host/host*/link_power_management_policy # Runtime PM for I2C Adapter (i915 gmbus dpb) >>> deaktiviert da AMD <<< ### echo auto | tee /sys/bus/i2c/devices/i2c-*/device/power/control # Autosuspend for USB device echo auto | tee /sys/bus/usb/devices/*/power/control # Runtime PM for disk echo auto | tee /sys/block/sd*/device/power/control # Runtime PM for PCI devices echo auto | tee /sys/bus/pci/devices/????:??:??.?/power/control
September 10, 20223 yr Diese Settings sind bei mir alle gesetzt und noch einige mehr - USB3.0 deaktiviert, Eco Modus, Low TDP etc. Die Go-File ist ebenfalls angepasst und auch noch ein paar andere Sachen aus dem Thread. Aber mein Verbrauch ist ja nicht hoch im Gegensatz zu den anderen. Deiner ist nur extrem niedrig bei dem Setting und das ist verwunderlich. Kannst du mal ein Screen vom Powertop -> Idle-Stats posten? Ich überlege gerade mir einfach ein X570D4U zu holen um das zu testen.
September 10, 20223 yr Author Klar, mache ich später und werde auch mal Screenshots von sämtlichen BIOS Dialogen machen und hier posten. Denke so gegen 13 Uhr. Edited September 10, 20223 yr by frah
September 10, 20223 yr Author 1 hour ago, i-B4se said: Kannst du mal ein Screen vom Powertop -> Idle-Stats posten? Hier wie gewünscht der Powertop Screenshot: Wobei dies wohl weniger aussagekräftig ist da, wenn ich mich recht erinnere, @mgutt irgendwo schrieb das Powertop neuere CPUs nicht unterstützt. Edited September 10, 20223 yr by frah
September 10, 20223 yr Author Und hier wie versprochen noch die Screenshots meiner BIOS Settings. Irgendwann mal habe ich aufgehört Screenshots von Dialoagen zu machen, die ausschließlich Defaultwerte beinhalten.
September 10, 20223 yr Author 2 hours ago, i-B4se said: Diese Settings sind bei mir alle gesetzt und noch einige mehr - USB3.0 deaktiviert, Eco Modus, Low TDP etc. Die Go-File ist ebenfalls angepasst und auch noch ein paar andere Sachen aus dem Thread. Welche weiteren BIOS Settings hast Du denn konfiguriert und welche anderen Einträge hast Du in deinem GO File? Ggf. nützen mir diese ja auch noch?!
September 10, 20223 yr Author On 9/3/2022 at 7:57 PM, frah said: Wir würden uns freuen, wenn du das Board von deinem Bruder dann mal nur mit einer SSD messen könntest. Verbrauchswerte des Non-10G Modells haben wir nämlich noch keine so viel ich weiß. Habe das Board inkl. Ryzen 5600X plus CPU Kühler, einer leeren SSD und 2x 32GB RAM gemessen. Das Ergebnis brachte 47,06 Watt auf die Energiewaage.
September 10, 20223 yr 2 hours ago, frah said: Das Ergebnis brachte 47,06 Watt auf die Energiewaage. Häh? Im BIOS oder wie?
September 10, 20223 yr Author 2 minutes ago, mgutt said: Häh? Im BIOS oder wie? Beim unterbrochenen Bootvorgang, da die SSD leer war.
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.