11 hours ago, zw3ist3in said:

5x 120 mm ARCTIC F12 PWM PST Lüfter (silent Kurve)

 

Ich habe auf die P12 Max gewechselt, aber generell sind 5x 12cm Lüfter nicht wirklich sparsam.

Ich kühle rund 30 Festplatten mit 3x 12cm (in einem 19Zoll Gehäuse) mit einem Xeon.

 

11 hours ago, zw3ist3in said:

Als Docker laufen permanent: 

 

Hattest Du nicht 60W ohne Docker und VMs gemessen?

Das wäre ziemlich viel.

Wenn Docker, etc... laufen kann man das nicht mehr vergleichen, weil das zu individuell ist.

Mit laufenden Dockern+VM wären 60W schon realistischer.

 

11 hours ago, zw3ist3in said:

Wie bekomme ich denn ein Gerät in den Zustand? 

 

Mit dem ASPM Helfer die passenden SET Befehle für die "disableten" Geräte aktivieren.

Das Plugin ist in den CA im Angebot und setzt die SET Befehle um, die mpc561 mal ausegraben und für sein ASRock N100DC getestet hatte. Danach zeigte sich, daß dies bei vielen realtek und auch anderen Komponenten funktionieren KANN.

Mit dem KANN deute ich an, das es bei einigen Komponenten auch zu Problemen führen kann, weil die Komponente dann nicht mehr korrekt funktioniert.

Bei vielen Realek onboard LAN Kontroller scheint es aber gut zu funktionieren. Man sollte es aber anfangs im Auge behalten.

 

Eine PCIe Komponente (Dein Realtek LAN Kontroller) wird über eine PCIe Bridge (Root) mit der CPU verbunden.

Je nachdem wo die PCIe Komponente (Realtek Karte) auf dem Mainboard verbunden ist (oder als zusatzkarte eingesteckt ist) kann es bei der einen Konstellation eine Bridge (am Root), bei einem anderen Mainboard/Aufbau eine andere Bridge sein, deshalb muß man individuell für den gewünschten Endaufbau des PC diese Konstellation abfragen und dann dementsprechend die passenden SET Befehle setzen (oder eben sich die Sache mit dem ASPM Helper einfacher machen).

In Deinem Screenshot sehe ich, daß´:

   Bridge: 00:1c.2
   realtek 03:00.0

beide disabled sind. Ich mutmaße, daß diese zusammen hängen.

Somit würde ich es mit folgenden Einträgen im ASPM Helper probieren (siehe Screenshot unten) und dies eerst einmal temporär idle ohen laufende Docker/Vm probieren um zu messen. Wenn Das System dann so 20-30W runter geht lag es an der Realtek.

Dann diesen Eintrag unter Last (mit Docker/VM probieren und im Auge behalten ob sich beispielsweise der Durchsatz der Realtek verschlechtert.

Wenn alles gut ist, kannst Du den Eintrag vom ASPM Helper in den Autostart übernehmen lassen.

 

Zusatzinfo: Wie gesagt - die Zuordnung von PCIe Device zu PCIe Bridge (Root) ist individuell und kann sich mit Hardwareumbau ändern. Steckst Du beispielsweise ein weiteres PCIe Device dazu (NVMe SSD oder NIC oder so) kann es sein, daß sich die Zuordnung verändert. Dann wirken sich die Set Befehle auf einmal auf ganz andere Gerätschaften aus. Deshalb sollte man vor Hardwareumbau die SET Befehle deaktivieren (im ASPM Helper abschalten) und nach dem Umbau ggf. prüfen ob das alles noch stimmt und erst danach wieder ggf. korrekt geändert starten.-

 

11 hours ago, zw3ist3in said:

ja. Ich stimme zu, nur verstehe ich nicht was. Der einzige Docker der direkt auf eine Platte geht, ist frigate, aber das ist explizit ein eigener Share, der nur auf eine Platte geht. AppData habe ich sichergestellt, ist nur noch auf der cache SSD. Und alle anderen shares haben Cache -> Array. Ich hoffe die Neuinstallation bringts. 

 

Dann schalte frigate doch mal aus und schau ob die Platten dann schlafen bleiben.

Wenn sie spindown bleiben: dann hast Du den Übeltäter. Ausserhalb der anfänglichen Indizierung sollte er die Platten nicht unnötig wach halten.

Wenn die Platten dennoch aufwachen war es nicht frigate.

 

11 hours ago, zw3ist3in said:

Ja ich habe ein Backup aller Daten auf externen Platten zur Not. 

 

Gut

11 hours ago, zw3ist3in said:

Ja. Das ist zumindest da nicht so einfach, wo ich die Daten in den Containern behalten möchte (insbesondere bitwaren, TeslaMate, Immich, Paperless).

 

Die Daten sollten sich doch in einer Datenbank befinden.

Kann man die nicht extern sichern und wieder einspeilen?

Eine Datenbank selber ist ja kein ausführbares Programm.

 

11 hours ago, zw3ist3in said:

Die Container kann ich ja neu konfigurieren, jedoch der AppData Inhalt müsste zumindest bei den genannten wieder kommen. Was Home Assistant angeht: Hier übernehme ich nur das Disk Image der VM (wegen jahrelanger Energy Statistiken etc.). 

 

Damit importierst Du Dir ggf. Dein Problem wieder rein.

Teste es doch erst einmal einzeln mit neuen/frischen Installationen. Wenn Deine Abstürze dann nicht mehr auftreten hast Du einen Punkt um aufzusetzen und Stück für Stück (Immer einzeln und immer nach einzelner Einspielung einige Zeit testen) dann vielleicht Deine alten Daten mal einzuspielen.

Oder brauchst Du wirklich lebenswichtig für diese Tests die Verbrauchsdaten der letzten ggf. 6,5 Jahre?

 

Edited May 20, 20251 yr by DataCollector
Typos

6 hours ago, DataCollector said:

Diese Aussage ist ziemlich pauschal.

Bei Nics mag das passen, aber die Aussage ich nicht für alle PCIe Gerätschaften zutreffend.

Bei Software/Firmware der NIC dürfte weitgehend verantwortlich sein.

Bei NVME SSDs ist es sehr modellabhängig.

Somit würde ich diese Aussage nicht allgemeingültig für alle PCIe Devices annehmen.

Ja, mein Tipp ist pauschal, klar, deckt sich aber mit allem, was ich bisher zu Vorbereitung auf meinen Build dazu gelesen habe.

Hier im Forum aber vor allem auch hier (besonders die Stelle zu den L1 Substates)!

Der Mehrverbrauch im CPU Slot waren bei mir übrigens 50% (von 16W C10 auf 24W C2).

Natürlich kann es Ausnahmen geben, wie z.B. eine lediglich verbaute NVMe, die nichts macht, oder irgendwelche anderen Boards/Bios.

 

 

6 hours ago, DataCollector said:

Ob sich eine ASM1166 in einem Z690 relevant (über x. 1,5W) auswirkt oder nicht, ist auch hier sehr individuell.

Ich habe ja auch Z690 getestet und da ein gemischtes Bild vorgefunden. Aus dem Grund sehe ich auch diese Aussage mit Bezug auf Z690 Boards, wie auch ASM-Kontroller auch als nicht allgemeingütig an.

ja ok, mag sein, ich hatte ja 4 Controller auf meinem Board (1x M.2 ASM1166, 2x PCIeX1 ASM1166 und einen PCIeX1 ASM1064) verbaut und es verbrauchte 5,2W mehr, daher mein Durchschnittswert von ca. 1,3W

Ich hab auch nur dieses eine z690 Board. Du hattest ja z.B. auch das ASUS Prime Z690-P D4-CSM getestet und es hatte nach deinen Angaben doch auch ähnlich bis gleich viel ggü. dem B760m verbraucht, oder?

Aber ja, es mag auch andere Konstellationen geben....aber vielleicht liegt ein Unterschied dann auch an anderen Board-Merkmalen/Ausstattungen und nicht am Chipsatz?

 

Ein z darf ja ggü. einem b Chipsatz auch gerne etwas mehr verbrauchen, da er auch mehr Möglichkeiten bietet. Die Frage ist hat, wie viel? Wenn man die Lanes nicht braucht, sollte man den z auch nicht nehmen. Aber wenn man die Lanes bzw. die Ausstattung benötigt, dann denke ich macht es Sinn, die Ausstattung mit möglichst wenig Devices zu realisieren um Strom zu sparen.

 

8 hours ago, Timmey85 said:

Misst du Stromverbrauch vor oder hinter der USV?

die Frage finde ich mittlerweile auch extrem interessant, weil ich mir kaum vorstellen kann, dass man mit der angegebenen Hardware im idle 60W ziehen kann, wenn nur eine HDD (frigate, ca. 5W) und nur die HA-VM (ca. 5W) läuft. Ich habe z.B. auch 4 P14 Lüfter verbaut, die machen es auch nicht aus....

@zw3ist3in

Was Du allerdings mal überdenken solltest, ist der zigbee-USBStick. Der kann auch schon mal höhere C-States verhindern...ich bin daher auf einen (für mich besser platzierbaren, PoE-fähigen) SLZB-06 gegangen, der über IP verbunden wird. Besorg Dir am besten nochmal eine shelly/tasmota/AVM-Steckdose um auch mal ohne HA-VM/Zigbee-Stick testen zu können.

Mein Server geht zwar auch bis ca. 60W hoch, aber nur wenn ich die 10G voll auslaste, das darf er dann auch, aber eben nicht dauerhaft, daher:

Du solltest wirklich erstmal einen vergleichbaren idle-Modus herstellen!

d.h. docker/VM aus, alle HDD Spindown, ASPM Helper für die Realtek, HDMI/Eingabegeräte abziehen, wenn nicht gebraucht (verhindern bei mir auch >C8)

Danach würde ich dann auch mal drüber nachdenken, frigate auf eine SSD schreiben zu lassen....das spart Dir ca. 5W (oder ggf. mehr) der HDD im Dauerzustand. Die restlichen docker-Container mal überprüfen, ob sie auch alle wirklich nur auf Cache-->Array Shares schreiben und auch nicht zu viel/oft vom Array lesen!

5 hours ago, DataCollector said:

 

Sollte das für die Realtek nicht Mode=2 sein?

 

 

 

1 hour ago, _alo_ said:

Sollte das für die Realtek nicht Mode=2 sein?

 

Ausprobieren, was am Besten funktioniert ohne Perfomanceeinbussen zu haben.

Update (dauert manchmal, sorry. Job, Kinder..)

Ich habe eine Shelly WiFi Dose gekauft und zusätzlich das Home Assistant auf einen alten MacMini 2012 "geschwenkt". Das läuft erschreckend gut und so habe ich einen höheren WAF am Server zu schrauben.. :) Und ich kann den Stromverbrauch ohne laufende VM testen.

Zunächst ein paar Zahlen (halt mit meinem "kaputten" Unraid noch)

Altes Board Gigabyte B760 DS3H DDR4:

jeweils mit powertop --auto-tune:

Idle, VM Manager off, Docker off, Spindown aller magnetischen Platten: etwa 39 W

Idle, VM Manager off, Docker off, Array offline (Spindown habe ich so nicht hinbekommen): 60W

Komischerweise konnte ich einen Spinup aller Platten beobachten, obwohl VM Manager off und Docker off.. Vermutlich mein kaputtes Unraid.

Nun habe ich heute das neue Board eingebaut:

AsRock Z690 PG Riptide (keine PCIe Karte da jetzt intern 8xSATA):

Hier habe ich mich jetzt mit ASPM Helper auseinandergesetzt (danke @DataCollector für die Erklärung!) und zwei Übeltäter geASPMt.

somit sähe das dann so aus:

So sollte es aussehen oder?

mit powertop --auto-tune:

Idle, VM Manager off, Docker off, Spindown aller magnetischen Platten: etwa 39 W

Allerdings schaffe ich es, trotz 2,5G nicht höher als 85 MB/S seltsam..

Zu den Fragen:

On 5/19/2025 at 11:47 PM, Timmey85 said:

Misst du Stromverbrauch vor oder hinter der USV?

Ich messe ihn direkt hinter der am eigenen Sicherungsautomaten hängenden Steckdose. Ich hatte zum Troubleshoot den Server nicht mehr an der USV. Aber das war ne gute Idee!

On 5/20/2025 at 1:49 AM, DataCollector said:

5x 12cm Lüfter nicht wirklich sparsam

Ja daher hatte ich immerhin von dem Molex auf die PWM umgestellt. Es waren halt die standardmäßig verbauten. Ggf kann ich die 3 in der Mitte zwischenzeitlich abschalten, wenn die Temperaturen stimmen.

On 5/20/2025 at 8:41 AM, _alo_ said:

Was Du allerdings mal überdenken solltest, ist der zigbee-USBStick

Ohje, ich habe >80 ZigBee Devices, die teils in sehr komplexen Automationen involviert sind. Das alles neu machen... Aber ich danke für den Tipp mit dem Ethernet Stick! Ich werde mal den Impact von dem Sonoff Stick testen, wenn ich die C-States und ASPM besser verstanden habe (wo ich grad dran bin).

On 5/20/2025 at 8:41 AM, _alo_ said:

würde ich dann auch mal drüber nachdenken, frigate auf eine SSD schreiben zu lassen...

auch das ist eine gute Idee. Ich spiele eh mit dem Gedanken auf 2x größere cache zu setzen. Dann habe ich ja was über. Leider gibt es kein zweites Array, aber hier tut es vielleicht auch eine unassigned drive.

On 5/20/2025 at 8:41 AM, _alo_ said:

Die restlichen docker-Container mal überprüfen, ob sie auch alle wirklich nur auf Cache-->Array Shares schreiben und auch nicht zu viel/oft vom Array lesen

Ja, das steht an. Ich denke der nächste Schritt ist, Unraid neu aufzusetzen. Auch wenn mir das nicht gefällt, liegt hier zu viel im Argen.

7 hours ago, zw3ist3in said:

Idle, VM Manager off, Docker off, Array offline (Spindown habe ich so nicht hinbekommen): 60W

Komischerweise konnte ich einen Spinup aller Platten beobachten, obwohl VM Manager off und Docker off.. Vermutlich mein kaputtes Unraid.

Wenn du das Array stoppst, gehen alle hdds in den spinup, das ist normal! Nix kaputt!

39W ist dennoch etwas hoch, hier war ja auch der sonoff Stick schon nicht mehr dran, richtig?

🤔

Hattest du deine bios Einstellungen eigentlich schonmal gepostet bzw. Mit denen von data abgeglichen?

7 hours ago, zw3ist3in said:

So sollte es aussehen oder?

Ja

7 hours ago, zw3ist3in said:

mit powertop --auto-tune:

Idle, VM Manager off, Docker off, Spindown aller magnetischen Platten: etwa 39 W

Sehr seltsam…. Kann dein Messgerät überhaupt <39W? War jetzt die usv schon nicht mehr involviert?

7 hours ago, zw3ist3in said:

Allerdings schaffe ich es, trotz 2,5G nicht höher als 85 MB/S seltsam..

Flow Control am Switch aktiviert?

7 hours ago, zw3ist3in said:

Ich spiele eh mit dem Gedanken auf 2x größere cache zu setzen. Dann habe ich ja was über. Leider gibt es kein zweites Array, aber hier tut es vielleicht auch eine unassigned drive.

Wenn die die Cache disks austauscht hast du ja Platz, ansonsten kannst ja auch mehrere Pools (dein Cache ist auch nur ein Pool) erstellen. Ich habe ja zb 5 Nvmes in 3 Pools verbaut 🤷🏻‍♂️

UDs brauchst du eigentl. nicht, geht aber auch

Ob Neu aufsetzen jetzt zum Erfolg führt weiß ich nicht, es läuft ja gerade nix wirklich und die Kiste braucht 39W?!? Ohne usv??

Du könntest nochmal ohne HDDs messen, sollten dann ja schätzungsweise 30w sein. Wo kommen die her bei nur CPU/ram/board/ssd/boot-stick?

Mit Samsung ssds gab es ja auch schonmal Themen aber auch das wird keine 10-20w ausmachen 🤣🤔

Was für ein Netzteil nutzt du eigentlich?

10 hours ago, zw3ist3in said:

So sollte es aussehen oder?

Das ist erst die halbe Wahrheit. Oder besser gesagt, das ist erst, neben den richtigen Bioseinstellungen, die Basis dafür, das dein System überhaupt in der Lage ist seine Komponenten in Schlafzustände versetzen zu können.

Die Frage ist jetzt welche C-Pkg States erreichst Du wirklich. Das kann man sehen indem man einfach "powertop" (ohne autotune) in der Konsole eingibt.

Da kommt dann sowas (Tab taste schaltet die Ansichten um):

Davon ist die linke Tabelle als erstes interessant. Es zeigt die C-Pkg states. Hier in dem Bild war mein System zu 26,5% im C8 Energiesparzustand (Das war nicht im Idle sondern mit 10 Dockern am laufen bei einem ATOM System, deswegen ist der Wert hier ziemlich gering).

Wenn Du da überall 0 stehen hast oder nur Werte im C2 oder C3 stimmt was noch nicht und dann müssen wir weiter schauen. Dann hält irgendwas dein System wach.

Gruss,
Joerg

Edited May 22, 20251 yr by MPC561

12 hours ago, zw3ist3in said:

Ich messe ihn direkt hinter der am eigenen Sicherungsautomaten hängenden Steckdose. Ich hatte zum Troubleshoot den Server nicht mehr an der USV. Aber das war ne gute Idee!

Also hast du mit USV 39W verbrauch? Wie hoch ist der eigenverbrauch der USV?

zw3ist3in: Ich hatte zum Troubleshoot den Server nicht mehr an der USV.

58 minutes ago, Timmey85 said:

Also hast du mit USV 39W verbrauch? Wie hoch ist der eigenverbrauch der USV?

Also ich habe es so verstanden, daß das System aktuell ohne USV betrieben/gemessen wird.

Edited May 22, 20251 yr by DataCollector

6 hours ago, DataCollector said:

ich habe es so verstanden, daß das System aktuell ohne USV betrieben wird

ja wird ohne USV betrieben und die 39W waren ohne.

er scheint nicht mal in C2 zu gehen.

9 hours ago, MPC561 said:

Oder besser gesagt, das ist erst, neben den richtigen Bioseinstellungen, die Basis dafür, das dein System überhaupt in der Lage ist seine Komponenten in Schlafzustände versetzen zu können.

im BIOS habe ich alles was C States oder ASPM hieß aktiviert.

12 hours ago, _alo_ said:

39W ist dennoch etwas hoch, hier war ja auch der sonoff Stick schon nicht mehr dran, richtig

ja, das war ohne stick.

12 hours ago, _alo_ said:

Kann dein Messgerät überhaupt <39W?

ja, ich hatte beim Mac mini 10W.

12 hours ago, _alo_ said:

Allerdings schaffe ich es, trotz 2,5G nicht höher als 85 MB/S seltsam..

Flow Control am Switch aktiviert?

lesend sind es die 2,5 annähernd, schreibend nur die 85. sehr seltsam. Der Port am switch ist derselbe den ich vorher mit der 10g karte und ich schreibe auf einen Cache only share (ging mit knapp 1gbyte/s.

12 hours ago, _alo_ said:

Ob Neu aufsetzen jetzt zum Erfolg führt weiß ich nicht, es läuft ja gerade nix wirklich und die Kiste braucht 39W?!? Ohne usv??

ich werde es mal mit einem frischen stick testen. Ich denke/hoffe der Fehler liegt tiefer im system als man ihn über die UI findet.

13 hours ago, _alo_ said:

Was für ein Netzteil nutzt du eigentlich?

Seasonic 80+ gold 550w Netzteil.

13 hours ago, _alo_ said:

Ich habe ja zb 5 Nvmes in 3 Pools verbaut

Welche nutzt du ? Wo hast du sie verbaut?

6 minutes ago, zw3ist3in said:

13 hours ago, _alo_ said:

  20 hours ago, zw3ist3in said:

Allerdings schaffe ich es, trotz 2,5G nicht höher als 85 MB/S seltsam..

Flow Control am Switch aktiviert?

lesend sind es die 2,5 annähernd, schreibend nur die 85. sehr seltsam. Der Port am switch ist derselbe den ich vorher mit der 10g karte und ich schreibe auf einen Cache only share (ging mit knapp 1gbyte/s.

Das liegt an den erzwungenden ASPM bei der NIC, wenn du da auf 0 stellst geht wieder volldampf.

7 minutes ago, zw3ist3in said:

er scheint nicht mal in C2 zu gehen.

Wie sind die Tuneabels? Hast du Powertoip Autotune ausgeführt?

Ja autotune ist ausgeführt und die tunables stehen auf good.

Was bekommst du für ein wert, an Verbrauch, wenn du Unraid ohne alle Laufwerke bootest? Also nur mit dem USB Stick?

Und stell die Netzwerkkarte mal auf ASPM 2 im Helper

Edited May 22, 20251 yr by Timmey85

3 hours ago, zw3ist3in said:

im BIOS habe ich alles was C States oder ASPM hieß aktiviert.

Da fehlt noch was.

Du kommst nichtmal in C2 oder C3. Das aktivieren von ASPM der NIC via ASPM Helper hilft erst danach um unter C3 zu kommen.

Edited May 22, 20251 yr by MPC561

11 hours ago, zw3ist3in said:

Welche nutzt du ? Wo hast du sie verbaut?

Crucial P3 und Patriot VP4300lite

3x per PCIeX1 M.2-Adapter und 2x in den Chipsatz angebundenen M.2 Slots.

11 hours ago, zw3ist3in said:

im BIOS habe ich alles was C States oder ASPM hieß aktiviert.

Ich hab im Handbuch nachgeschaut nach Bios Optionen. Dann darf Werder Über/Undervoltet oder Über/Undertaktet sein. All das kann Taktreduzierungen im Leerlauf des Prozessors verhindern.

Advanced - Chipset Configuration

• CPU C States Support - auf das höchste was geht weg von Auto

• Enhanced Halt State (C1E) - Aktivieren

• CPU C6 State Support - Aktivieren

• CPU C7 State Support - Aktivieren

• SR-IOV Support - An (aber aus anderen Gründen, das ist für iGPU Unterstützung in VMs notwendig)

• PCI Express Native Control - Die Option muss auf dem richtigen Wert stehe aber ich kann mir immer nicht merken ob auf An oder Aus. Ich glaube An ist hier richtig. Teste mal da mit.

• PCIE ASPM Support. - An

• PCH PCIE ASPM Support - An

• DMI ASPM Support - An

• PCH DMI ASPM Support - An

Advanced Storage Configuration:

• SATA Aggressive Link Power Management - Aktivieren

• Hard Disk S.M.A.R.T. - Deaktivieren

Wenn ich auf die schnelle nichts übersehen habe sollte das alles sein das man entsprechend konfigurieren muss.

aus meinem Thread hier mal meine vom default abweichenden BIOS Einstellungen mit denen ich mit picoPSU auf ca 15W gekommen bin (ohne alles):

für mehr braucht es dann das hidden feature "Low Power S0 Idle Capability", aber das hab ich ja alles beschrieben....

Edited May 23, 20251 yr by _alo_