Nur C-State C2 mit ASUS Pro WS W680M ACE SE

[HumanTechDesign]

Moin zusammen, ein klassischer "Was kann ich noch machen bezüglich Stromsparen"-Thread. Konkret geht es insbesondere um höhere C-States und ASPM.

 

Zu den Komponenten:

MB: ASUS Pro WS W680M ACE SE

CPU: i5-12600K

RAM: 2x32GB Kingston Server Premier KSM48E40BD8KM-32HM

NT: RM550x 550W

HDD: 2x Seagate Exos X18 18TB und 4x Toshiba MG09 18TB als ZFS Pool (angebunden über Slim-SAS und 2 SATA Ports)

SSD: 1x Samsung 970 Evo Plus (M.2) im PCH-Slot, 1x 870 Evo als ZFS (wird bald wieder mit 2. Platte im Mirror betrieben)

USV: Eaton 3S 850D

 

Messgerät: Tapo P110 mit Verbrauchsmessung (hängt zwischen Server und USV)

 

Zu den Einstellungen:

 

Alle C-States im Bios aktiviert

ASPM im BIOS aktiviert

Package C State Support auf C10

Intel gpu top installiert

Intel Turbo aus

CPU Governor auf Performance (laut Tips & Tweaks soll das ja korrekt sein, wenn Intel CPUs 800Hz dauerhaft melden - das war bei mir der Fall)

Auto Spin down nach 30 Minuten

Boot-Option pcie_aspm=force ist gesetzt

 

Folgendes Skript eingebunden zum automatischen Start nach Array-Start:

 

#!/bin/bash

/etc/rc.d/rc.cpufreq powersave ## <- noch drin, wird aber vom Governor von Tips & Tweaks überschrieben

[[ -f /sys/devices/system/cpu/intel_pstate/no_turbo ]] && echo "1" > /sys/devices/system/cpu/intel_pstate/no_turbo
[[ -f /sys/devices/system/cpu/cpufreq/boost ]] && echo "0" > /sys/devices/system/cpu/cpufreq/boost

echo med_power_with_dipm | tee /sys/class/scsi_host/host*/link_power_management_policy

echo auto | tee /sys/bus/i2c/devices/i2c-*/device/power/control

echo auto | tee /sys/bus/usb/devices/*/power/control

echo auto | tee /sys/block/sd*/device/power/control

echo auto | tee /sys/bus/pci/devices/????:??:??.?/power/control

echo auto | tee /sys/bus/pci/devices/????:??:??.?/ata*/power/control

 

Im Spindown mit einigen laufenden Docker Containern komme ich dabei in einer ruhigen Nacht bis runter auf ~33/34W. Im normalen Betrieb, wenn gerade nicht auf die Platten zugegriffen wird (diese aber laufen), ~62/63W (mit laufenden Docker-Containern).

 

Was mich am meisten wurmt ist allerdings folgendes: ich habe auf dem Server noch nie einen Pkg-C-State unter C2 gesehen. Ich habe dabei auch ASPM im Verdacht. An sich ist an dem Gerät nichts dran (außer die Onboard-Controller mit IPMI etc.), aber es gibt da so zwei Übeltäter:

 

 

Habe mich schonmal ein wenig umgeschaut: #4 mit 7abb scheint laut dieser Liste der generische "D28:F3 - PCIe Root Port #4" zu sein.

Der ASPEED Controller ist ja vom IPMI. In der gleichen IOMMU group hängt auch der "[1a03:2000] 06:00.0 VGA compatible controller: ASPEED Technology, Inc. ASPEED Graphics Family (rev 52)". Vielleicht ist die Bridge (und auch der VGA chip) noch zu neu, dass der Kernel die korrekten Treiber mit allen ASPM-Funktionen hat? Habe beide devices schon versucht über vfio-pci.ids= rauszublocken, aber danach ist Unraid nicht mehr gestartet.

 

Daher wäre für mich die Frage - seht ihr mit euren Augen noch Potenzial, in die höheren C-States zu kommen? Irgendetwas, das ich übersehen habe?

 

Danke euch schonmal!

 

Edited March 4 by HumanTechDesign

[HumanTechDesign]

Okay, ASPM war es schonmal nicht. Nach Anwendung von echo -n powersave > /sys/module/pcie_aspm/parameters/policy sieht das ganze jetzt so aus.

 

 

An den C-States hat das leider nichts geändert. Bin daher auf der Suche nach weiteren Ideen.

[alturismo]

8 minutes ago, HumanTechDesign said:

An den C-States hat das leider nichts geändert. Bin daher auf der Suche nach weiteren Ideen.

klemm alles ab, wenn du dann hohe C States hast ... "be happy" und leb mit einem idle Server ohne Function

 

mal ernst gemeint, klemm halt mal die devices ab, schau nach was dann Sache ist, klemm nach und nach an und schau was passiert ...

 

Info, höhere C States heißen nicht automatisch weniger Verbrauch, wenn Geräte angeschlossen sind und auch der ein oder andere Dienst läuft ...

[worli]

2 hours ago, HumanTechDesign said:

echo -n powersave > /sys/module/pcie_aspm/parameters/policy

Danke, mit den Befehl bekomm ich bei meinem AST1150 auch ASPM aktiv. Bin selbst gerade bei meinem W680 Board (X13SAE-F) am schauen was Strom technisch geht.

Bei mir ist derzeit C3 PKG das Limit. Als Vergleich für dich: Nur mit 2 Nvme und den 5 Gehäuselüftern komm ich auf 37W. Komplett ohne laufende Container.

[HumanTechDesign]

4 hours ago, alturismo said:

klemm alles ab, wenn du dann hohe C States hast ... "be happy" und leb mit einem idle Server ohne Function

 

mal ernst gemeint, klemm halt mal die devices ab, schau nach was dann Sache ist, klemm nach und nach an und schau was passiert ...

 

Info, höhere C States heißen nicht automatisch weniger Verbrauch, wenn Geräte angeschlossen sind und auch der ein oder andere Dienst läuft ...

 

Danke für den Input! Ich werde es jetzt heute über Nacht auch nochmal beobachten, was realistisch drin ist mit den neuen ASPM states. Tagsüber bin ich bei laufenden Platten (ohne Write-Aktivität) jetzt teilweise bei bis zu 56W.

Und beizeiten werde ich mal wirklich alles alles abklemmen und im Zweifel auch nochmal ein Ubuntu Live anwerfen. Was mich sehr nervt: das BIOS von dem Board ist extrem buggy. Braucht teilweise 3 Anläufe zum durchbooten (ohne Änderungen dazwischen), was also heißt, dass jegliche Experimente immer sehr lange dauern. 😁 Aber mal schauen, vielleicht reicht es mir auch jetzt.

Guter Hinweis auch zu den C-States. Ich denke, man muss wirklich immer nach dem tatsächlichen gezogenen Verbrauch schauen und wohl nicht nur nach C-States geiern.

 

1 hour ago, worli said:

Danke, mit den Befehl bekomm ich bei meinem AST1150 auch ASPM aktiv.

 

Hab zuerst nicht dran geglaubt, weil ich gefühlt schon alles andere durch hatte, aber damit ging es dann, ja.

 

1 hour ago, worli said:

Bei mir ist derzeit C3 PKG das Limit. Als Vergleich für dich: Nur mit 2 Nvme und den 5 Gehäuselüftern komm ich auf 37W. Komplett ohne laufende Container.

 

Danke für den Vergleich. Ich glaube, ich unterschätze möglicherweise auch meine Lüfter: 5 Gehäuselüfter + 1 CPU-Luftkühler - da kommt am Ende auch schon was zusammen.

Von Zwischentests im Laufe der Tage weiß ich, dass ich bei laufendem IPMI (+ Lüftern) ohne gestartetes OS bei einer Grundlast von mindestens 6W bin. Ehrlich gesagt muss ich dann wohl vielleicht auch einfach schon zufrieden sein, dass ich jetzt in so einer Größenordnung bin wie jetzt. Man liest halt diese ganzen <30W posts und denkt sich dann so: da muss doch noch was gehen! Wie gesagt: ich schau mal über Nacht, wenn die Platten wirklich schlafen.

 

EDIT: was auf jeden Fall richtig zuschlägt ist die Windows VM, in die per SR-IOV eine VF der iGPU durchgeschleift ist - da pendel ich jetzt gerne mal zwischen 74 und 106W. Hatte ich jetzt tagsüber mal ausgelassen und jetzt mal kurz testweise zugeschaltet. Gut, die bleibt also jetzt zumindest für den idle aus und wird nur angemacht, wenn benötigt. 😉

Edited March 4 by HumanTechDesign

[worli]

9 hours ago, HumanTechDesign said:

Danke für den Vergleich. Ich glaube, ich unterschätze möglicherweise auch meine Lüfter: 5 Gehäuselüfter + 1 CPU-Luftkühler - da kommt am Ende auch schon was zusammen.

Ja die hab ich auch unterschätzt.

Heute morgen getestet. Die beiden 80mm PWM und die drei 120mm Molex Lüfter abgesteckt und es waren ~10W weniger Verbrauch.

Gestern abend sind auch noch die 120mm PWM Lüfter gekommen. Wieder mit allen 5 Lüftern aktiv, jetzt alle PWM, sind das ~5W weniger im idle.

Das die Standard Lüfter mit 12V und 0,3A beschriftet waren hab ich erst beim Austausch gesehen.

 

Ich habe auch noch getestet was die inaktiven Backplanes ziehen. Also die beiden derzeit verbundenen meines InterTech Gehäuses abgesteckt, aber das war <1W. Fällt also nicht ins Gewicht und vielleicht auch in die Messungenauigkeit.

 

Das Ziel im Normalbetrieb auf <60W zu kommen ist greifbar. Soviel braucht nämlich meine derzeitige Homeserver und NAS Kombi.

Edited March 5 by worli

[MPC561]

Das ist trotzdem alles viel zu viel bei Idle Boards. Spricht nicht gerade für den W680.

Gut IPMI kostet was. Lüfter sind bei mir manuell geregelt. Ich hab auch 3 laufen. Die laufen halt auf geringster Stufe und nur beim Parity Rebuild drehe ich die manuell hoch.

 

Zum Vergleich. Ich bin mit dem W480m Vision M von Gigabyte (ohne ECC) und i3-10100 bei etwa 17W mit 8 schlafenden Platten und inkl. Lüftern. Der idlelt aber vor sich hin und bietet nur Jellyfin als Dienst an. Eigentlich ist der sogar immer im Suspend to RAM und wird nur via WOL geweckt. Für Alltagsservices (Adguard, Unbound, Nextcloud, Hausautomatisierung, meine Musik und ein Musikserver multiple Clients etc.) hab ich noch einen kleinen Server mit 5.5-6.5W Verbrauch 7/24 laufen. (N100 System oder alter Esprimo mit i5-6500T und nur SSDs als Datenträger mit insgesamt 8TB). Die 8TB reichen auch lange beim normalen arbeiten bevor ich mal den dicken Server wecken muss. Bei euren Verbräuchen würde ich mal überlegen ob so ein Szenario wie bei mir, nicht auch bei euch passen würde.

 

Edited March 5 by MPC561

[HumanTechDesign]

1 hour ago, MPC561 said:

ch bin mit dem W480m Vision M von Gigabyte (ohne ECC) und i3-10100 bei etwa 17W mit 8 schlafenden Platten und inkl. Lüftern. Der idlelt aber vor sich hin und bietet nur Jellyfin als Dienst an.

Genau um solche Builds wie bei Dir geht es mir aber auch: ich nehme mal nicht an, dass die 17W bei suspend to RAM sind, sondern bei laufendem System + Disks im Spindown. Wieviel ist es bei Suspend to RAM? Ich habe halt auch bei mir das Gefühl, dass ich irgendwo was übersehe. Oder es ist einfach so und ich müsste es akzeptieren. Was mich halt irritiert: ich bin selbst im Spindown dann bei mehr als dem doppelten als Du. Die 6W vom IPMI mal abgezogen spielen wir trotzdem in unterschiedlichen Hausnummern - und ich weiß nicht wieso. Bleibt wohl wirklich nur abklemmen und neu messen. Hab gestern schon nochmal irgendwo gelesen, dass anscheinend auch die Strommessung an einer USV (also wenn das Messgerät zwischen Server und USV steckt) fehlerhaft sein kann. Aber werde ich wohl mal überprüfen müssen.

 

1 hour ago, MPC561 said:

Bei euren Verbräuchen würde ich mal überlegen ob so ein Szenario wie bei mir, nicht auch bei euch passen würde.

Ich sage mal so: wäre grundsätzlich schon auch eine Option: aus meinem früheren Build habe ich noch einen 4650G + B550M Steel Legend + 32GB RAM hier rumliegen, bei dem ich noch nicht wusste, was ich damit machen soll. Vielleicht ist das jetzt seine Bestimmung. Läuft bei Deinem Zweitserver auch Unraid?

[MPC561]

1 hour ago, HumanTechDesign said:

enau um solche Builds wie bei Dir geht es mir aber auch: ich nehme mal nicht an, dass die 17W bei suspend to RAM sind, sondern bei laufendem System + Disks im Spindown.

Jop

 

1 hour ago, HumanTechDesign said:

Wieviel ist es bei Suspend to RAM?

Das Messgerät ist in dem LowPower Bereich sicher sehr ungenau. Angezeigt werden ca. 2,5W

 

 

1 hour ago, HumanTechDesign said:

aus meinem früheren Build habe ich noch einen 4650G + B550M Steel Legend + 32GB RAM hier rumliegen, bei dem ich noch nicht wusste, was ich damit machen soll.

Das Ding bekommst nicht sparsam (glaube ich). Wenns wirklich nur um eine NVME und ggf. 2xSSD geht besorg Dir den Fujitsu Esprimo Q957 mit i5-6500T oder i5-7400T und bastel in den 16GB RAM rein.

 

Die Teile gibts refurbished für ca. 100 Euro inkl. 16GB RAM bei Ebay. Bei dem Teil hab ich ohne Docker zwischen 2,6 und 3,6W Idle gemessen ohne Docker. Mit Dockern (oben erwähnt) dann immer noch nur 5,5W. ich behandle da auch den Q556/s. Der ist eigentlich genau so gut, aber da muss man ziemlich hacken den Realtek Netzwerkchip in C8 zu bekommen. Beim Q957 der Intel Netzwerkchip hat geht das ohne "gehacke".

 

Wir diskutieren diese Systeme gerade hier wenns interessiert: Klick Mich

 

Funfact: Auf dem Fujitsu esprimo kann man sogar MacOS Sonoma installieren. ich hab mal eine EFI dafür gebaut und im Hackintosh Forum ur Verfügung gestellt.

 

[HumanTechDesign]

Mal abgesehen von der Thematik bezüglich mehrerer Server: ich hab meinen Übeltäter bezüglich der C-States in Unraid - es war der fr24feed-piaware docker container. Wenn ich diesen deaktiviere, geht es bei mir im Pkg bis runter auf C6. Beobachte jetzt mal den standarmäßigen Verbrauch.

[HumanTechDesign]

Kann berichten: die C-State-Suche hat sich gelohnt: im Disk-Spindown (Lüfter, IPMI, verschiedene laufende Docker etc.) geht es jetzt runter bis auf 22W. Mit aufgeweckten (aber nicht angesprochenen) Platten ~50W. Ist jetzt wirklich kein Energiesparwunder, aber ich denke, grundsätzlich kann ich damit leben. Werde jetzt versuchen, die meisten Dienste wirklich konsequent auf SSDs umzuziehen, sodass die Platten wirklich die meiste Zeit schlafen können. Da die in einem ZFS Pool hängen, bin ich am Überlegen, eine SSD als L2ARC davorzuhängen. Dann könnte es mit Glück sogar so sein, dass die gar nicht anspringen müssten, selbst wenn auf Shares zugegriffen wird, die auf dem Pool liegen.

Suspend to RAM schaue ich mir auch auf jeden Fall mal noch an.

[HumanTechDesign]

Wäre auch zu einfach gewesen: hab mir spontan zwei Verbatim Vi3000 geholt. Stecken jetzt in den beiden M.2 Slots. Leider kam es, wie ich befürchtet habe: nur noch C3 und wieder hoch auf ~64W bei angelaufenen Platten (Spin-Down noch nicht getestet). An sich scheinen die eigentlich alles zu unterstützen, was man sich wünschen könnte (ASPM L1, ASPT etc.). Soweit ich weiß ist allerdings der eine M.2-Slot direkt an die CPU angebunden und könnte da deshalb einen niedrigeren State verhindern. Muss mal schauen, ob ich das noch mit anderen SSDs in der Belegung testen kann.

 

Frage in die Runde: wie habe ich den folgenden Output zu den L1 Substates zu deuten?

 

root@tower:~# lspci -vv | grep 'L1SubCap'
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
                L1SubCap: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+
root@tower:~# lspci -vv | grep 'L1SubCtl1'
                L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
                L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
                L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
                L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
                L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-
                L1SubCtl1: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-

 

Wenn ich das richtig verstehe, würden prinzipiell ALLE PCI links und devices L1.1 und L1.2 sprechen, aber keiner tut es - stimmt das?

 

L1 scheinen sie nämlich (weiterhin) alle zu sprechen/aktiviert zu haben:

00:06.0 PCI bridge: Intel Corporation 12th Gen Core Processor PCI Express x4 Controller #0 (rev 02) (prog-if 00 [Normal decode])
                LnkCap: Port #5, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1a.0 PCI bridge: Intel Corporation Alder Lake-S PCH PCI Express Root Port #25 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #25, Speed 16GT/s, Width x4, ASPM L0s L1, Exit Latency L0s <1us, L1 <4us
                LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk-
00:1b.0 PCI bridge: Intel Corporation Device 7ac0 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #17, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <4us
                LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk-
00:1b.4 PCI bridge: Intel Corporation Alder Lake-S PCH PCI Express Root Port #???? (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #21, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1c.0 PCI bridge: Intel Corporation Alder Lake-S PCH PCI Express Root Port #1 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #1, Speed 8GT/s, Width x1, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1c.3 PCI bridge: Intel Corporation Device 7abb (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #4, Speed 8GT/s, Width x1, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1d.0 PCI bridge: Intel Corporation Alder Lake-S PCH PCI Express Root Port #9 (rev 11) (prog-if 00 [Normal decode])
                LnkCap: Port #9, Speed 8GT/s, Width x4, ASPM L0s L1, Exit Latency L0s <1us, L1 <4us
                LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk-
01:00.0 Non-Volatile memory controller: MAXIO Technology (Hangzhou) Ltd. NVMe SSD Controller MAP1202 (DRAM-less) (rev 01) (prog-if 02 [NVM Express])
                LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
04:00.0 Non-Volatile memory controller: MAXIO Technology (Hangzhou) Ltd. NVMe SSD Controller MAP1202 (DRAM-less) (rev 01) (prog-if 02 [NVM Express])
                LnkCap: Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <64us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
05:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-LM (rev 06)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
06:00.0 PCI bridge: ASPEED Technology, Inc. AST1150 PCI-to-PCI Bridge (rev 06) (prog-if 00 [Normal decode])
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <512ns, L1 <32us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+

 

[mgutt]

On 3/10/2024 at 10:05 AM, HumanTechDesign said:

Kann berichten: die C-State-Suche hat sich gelohnt: im Disk-Spindown (Lüfter, IPMI, verschiedene laufende Docker etc.) geht es jetzt runter bis auf 22W

Du hast nicht geschrieben wie weit der C-State nun runter ging und warum?!

 

Ich würde erstmal eine Messung ohne alles machen. Manchmal sind es einzelne Slots und manchmal bestimmte Hardware.

[HumanTechDesign]

1 hour ago, mgutt said:

Du hast nicht geschrieben wie weit der C-State nun runter ging und warum?!

Danke für den Hinweis! Sorry für den missverständlichen Ablauf. Hätte einen Edit zu dem Post davor machen sollen:

 

On 3/8/2024 at 11:23 AM, HumanTechDesign said:

es war der fr24feed-piaware docker container. Wenn ich diesen deaktiviere, geht es bei mir im Pkg bis runter auf C6.

Der war der Übeltäter. ADSB-Tracking ist jetzt wieder umgezogen auf einen Raspberry Pi.

 

Bei C6 ist es am Ende nicht geblieben, weil ich dann wie gesagt die M.2 Slots wieder belegt habe.

 

Meine Beobachtungen sehen daher jetzt ungefähr so aus:

• Mit fr24feed-piaware docker (und anderen containern): nur C2 und im Spindown auf minimum 33W
• Ohne fr24feed-piaware docker (und anderen containern) und dem PCH M.2 Slot belegt: C6 und im Spindown minimum 22W
• Ohne fr24feed-piaware docker (und anderen containern) und mit beiden M.2 Slots belegt: C3 und im Spindown minimum 25W

Der Hauptgewinn in der real world Umsetzung ist der konsequente Umzug von "heißen" Daten (Nextcloud etc.) vom großen Pool auf den Toshibas und Exos auf die M.2. Ich habe mich früher immer vom Spindown ferngehalten, weil ich 1. bei früheren Synologys die Erfahrung hatte, dass die wegen jedem Mini-Datenpaket im Netzwerk aufgewacht (oder gar nicht schlafen gegangen) sind und 2. ich immer noch nicht ganz sicher bin, ob häufiges Aufwecken jetzt nicht doch schlecht für die drives ist.

Ich war quasi schon immer mit meiner Unraid Box auf ZFS, sodass ich niemals das Erlebnis von "nur eine Platte läuft an" hatte, sondern wenn schon immer gleich der ganze zpool lief. Nach dem Umzug auf die M.2s schläft der große pool jetzt auch tagsüber 80% der Zeit. Ich werde mal schauen, ob ich in Zukunft noch einmal Arbeit reinstecke und noch weiter nach Potenzial suche, aber zum aktuellen Zeitpunkt bin ich eigentlich okay damit, würde ich sagen.

Warum ich selbst unter den besten Bedingungen nicht über C6 hinauskomme (selbst wenn bis heute nichts in den PCIe-Slots steckt und alle angeschlossenen Geräte grundsätzlich ASPM, DIPM etc. mitbringen), kann ich nicht genau sagen, aber für mich wäre das erstmal okay, wie es jetzt ist.

 

Ich danke euch aber für eure Hilfestellungen und den guten Austausch!

Und ein riesen Lob und Danke an @mgutt - ohne Dich und Deine Hilfestellungen hätte ich vorher nicht mal gewusst, wo ich anfangen müsste zu suchen!