Jump to content

Alle Devices sind ASPM Enabled aber trotzdem kein C10


Recommended Posts

Posted

Hallo Community 

ich weiß langsam nicht mehr weiter. Aktuell stecke ich trotz ASPM enabled bei all meien Devices in C3 fest. Anbei meine Config:

 

Model:Custom

M/B:ASRock Z590M-ITX/ax s/n M80-E1004400157

BIOS:American Megatrends International, LLC. Version L1.62 Dated 01/18/2024

CPU:11th Gen Intel® Core™ i5-11400 @ 2.60GHz

HVM:Enabled

IOMMU:Enabled

Cache:L1 Cache: 288 KiB, L1 Cache: 192 KiB, L2 Cache: 3 MiB, L3 Cache: 12 MiB

Memory:32 GiB DDR4 (max. installable capacity 32 GiB)

Network:eth0: 1000 Mbps, full duplex, mtu 1500

Kernel:Linux 6.1.79-Unraid x86_64

OpenSSL:1.1.1v

 

Im Bios habe ich alle nötigen und möglichen einstellungen getestet dabei kommt beim Powertop Plugin und beim Autotune Plugin folgenedes raus:

 

powertop:

image.png.5648f1d1f95c704f7a043bbf6fd0daaf.png

image.png.6a896ca9c853e3f42d9331bc03153f18.png

 

Autotune:

Quote

 

00:01.0 PCI bridge: Intel Corporation Device 4c01 (rev 01) (prog-if 00 [Normal decode]) Capabilities: Port #2, Speed 8GT/s, Width x16, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us Settings: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk+ Status: Speed 2.5GT/s, Width x16 Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+) Status: D0 NoSoftRst- PME-Enable- DSel=0 DScale=0 PME-

00:06.0 PCI bridge: Intel Corporation Device 4c09 (rev 01) (prog-if 00 [Normal decode]) Capabilities: Port #5, Speed 16GT/s, Width x4, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us Settings: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+ Status: Speed 8GT/s, Width x4 Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+) Status: D0 NoSoftRst- PME-Enable- DSel=0 DScale=0 PME-

00:14.0 USB controller: Intel Corporation Tiger Lake-H USB 3.2 Gen 2x1 xHCI Host Controller (rev 11) (prog-if 30 [XHCI]) Flags: PMEClk- DSI- D1- D2- AuxCurrent=375mA PME(D0-,D1-,D2-,D3hot+,D3cold+) Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=0 PME-

00:16.0 Communication controller: Intel Corporation Tiger Lake-H Management Engine Interface (rev 11) Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0-,D1-,D2-,D3hot+,D3cold-) Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=0 PME- 00:17.0 SATA controller: Intel Corporation Device 43d2 (rev 11) (prog-if 01 [AHCI 1.0]) Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0-,D1-,D2-,D3hot+,D3cold-) Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=0 PME-

00:1c.0 PCI bridge: Intel Corporation Device 43bd (rev 11) (prog-if 00 [Normal decode]) Capabilities: Port #6, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us Settings: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+ Status: Speed 5GT/s, Width x1 Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+) Status: D0 NoSoftRst- PME-Enable- DSel=0 DScale=0 PME-

00:1d.0 PCI bridge: Intel Corporation Tiger Lake-H PCI Express Root Port #9 (rev 11) (prog-if 00 [Normal decode]) Capabilities: Port #9, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <16us Settings: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+ Status: Speed 8GT/s, Width x4 Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold+) Status: D0 NoSoftRst- PME-Enable- DSel=0 DScale=0 PME-

01:00.0 VGA compatible controller: NVIDIA Corporation GA106 [GeForce RTX 3060] (rev a1) (prog-if 00 [VGA controller]) Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0+,D1-,D2-,D3hot+,D3cold-) Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=0 PME- Capabilities: Port #0, Speed 8GT/s, Width x16, ASPM L0s L1, Exit Latency L0s <512ns, L1 <16us Settings: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk+ Status: Speed 2.5GT/s (downgraded), Width x16 ASPM Capabilities: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+ ASPM Settings: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-

01:00.1 Audio device: NVIDIA Corporation GA106 High Definition Audio Controller (rev a1) Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0-,D1-,D2-,D3hot-,D3cold-) Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=0 PME- Capabilities: Port #0, Speed 8GT/s, Width x16, ASPM L0s L1, Exit Latency L0s <512ns, L1 <4us Settings: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk+ Status: Speed 2.5GT/s (downgraded), Width x16 02:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller SM981/PM981/PM983 (prog-if 02 [NVM Express]) Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0-,D1-,D2-,D3hot-,D3cold-) Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=0 PME- Capabilities: Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <64us Settings: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+ Status: Speed 8GT/s, Width x4 ASPM Capabilities: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+ ASPM Settings: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-

03:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8125 2.5GbE Controller (rev 05) Flags: PMEClk- DSI- D1+ D2+ AuxCurrent=375mA PME(D0+,D1+,D2+,D3hot+,D3cold+) Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=0 PME- Capabilities: Port #0, Speed 5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s unlimited, L1 <64us Settings: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+ Status: Speed 5GT/s, Width x1 ASPM Capabilities: PCI-PM_L1.2+ PCI-PM_L1.1+ ASPM_L1.2+ ASPM_L1.1+ L1_PM_Substates+ ASPM Settings: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1- 04:00.0 Non-Volatile memory controller: Sandisk Corp SanDisk Extreme Pro / WD Black SN750 / PC SN730 / Red SN700 NVMe SSD (prog-if 02 [NVM Express]) Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0-,D1-,D2-,D3hot-,D3cold-) Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=0 PME- Capabilities: Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <8us Settings: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+ Status: Speed 8GT/s, Width x4 ASPM Capabilities: PCI-PM_L1.2+ PCI-PM_L1.1- ASPM_L1.2+ ASPM_L1.1- L1_PM_Substates+ ASPM Settings: PCI-PM_L1.2- PCI-PM_L1.1- ASPM_L1.2- ASPM_L1.1-

 

 

Woran kann es liegen, dass ich nicht tiefer komme? Ich bin langsam am verzweifeln.

 

Diagnostics:edith-diagnostics-20240530-2202.zip

 

 

Posted (edited)
2 hours ago, ApfelBirneKreis said:

ich weiß langsam nicht mehr weiter. Aktuell stecke ich trotz ASPM enabled bei all meien Devices in C3 fest. Anbei meine Config:

 

Model:Custom

M/B:ASRock Z590M-ITX/ax s/n M80-E1004400157

BIOS:American Megatrends International, LLC. Version L1.62 Dated 01/18/2024

CPU:11th Gen Intel® Core™ i5-11400 @ 2.60GHz

HVM:Enabled

IOMMU:Enabled

Cache:L1 Cache: 288 KiB, L1 Cache: 192 KiB, L2 Cache: 3 MiB, L3 Cache: 12 MiB

Memory:32 GiB DDR4 (max. installable capacity 32 GiB)

Network:eth0: 1000 Mbps, full duplex, mtu 1500

Kernel:Linux 6.1.79-Unraid x86_64

OpenSSL:1.1.1v

...

Woran kann es liegen, dass ich nicht tiefer komme? Ich bin langsam am verzweifeln.

 

Diagnostics:edith-diagnostics-20240530-2202.zip

 

 

 

Ich kenne mich zwar nicht so ganz mit den dGPU in unraid aus, aber Deine (NVidia) Grafikkarte (welche Du oben in der Auflistung nicht angegeben hast) im System kann sich da schon mal auswirken.

Zupf die doch mal raus und schau was unraid dann macht.

 

Auch sind WD NVMe SSD jetzt in einigen Fällen doch schon als Problematisch aufgefallen, was die C-States angeht.

Würde ich testweise auch mal rausnehmen.

Edited by DataCollector
Posted
8 hours ago, DataCollector said:

 

Ich kenne mich zwar nicht so ganz mit den dGPU in unraid aus, aber Deine (NVidia) Grafikkarte (welche Du oben in der Auflistung nicht angegeben hast) im System kann sich da schon mal auswirken.

Zupf die doch mal raus und schau was unraid dann macht.

 

Auch sind WD NVMe SSD jetzt in einigen Fällen doch schon als Problematisch aufgefallen, was die C-States angeht.

Würde ich testweise auch mal rausnehmen.

 

Das hat leider keinen unterschied gemacht :/ Auch wenn die RTX entfernt wurde stecke ich in c3. Die WD kann ich aktuell auf die schnelle nicht tauschen :/ 

Posted
9 minutes ago, ApfelBirneKreis said:

 

Das hat leider keinen unterschied gemacht :/ Auch wenn die RTX entfernt wurde stecke ich in c3. Die WD kann ich aktuell auf die schnelle nicht tauschen :/ 

Mal abgesehen von den Fähigkeiten des Mainboard hängen die C-States weitestgehend davon ab on irgendein PCIe Device die CPU wach hält (wenn die ansonsten idle ist).

Somit ist jedes PCIe Device vielleicht schuld.

 

Und nur so als ganz krude Vorgehensweise:

Und nur um per Hardwareentfernung herauszufinden ob die eine oder andere Komponente Schuld ist, muß das System ja nicht vollständig laufen.

Mach Dir einen neuen/sauberen Linux/unraid Stick mit Powertop, rupf die Komponenten raus, die in Verdacht stehen und boote dann von dem Stick.

Dann kannst Du nachsehen ohne deine bestehende Unraidkonfig in irgendeiner Weise zu beeinflussen.

Wenn Du alles getestet hast (und hoffenlich den Verursacher gefunden hast), kannst Du ja alles wieder rein stecken, den normalen urnaid Stick wieder booten und alles sollte wie vorher weiter laufen.

 

Posted
5 minutes ago, ich777 said:

Wie immer:

 

Linux ≠ Windows

aber woran könnte es liegen? gibt es ein MB das im Linux c10 erreicht? Oder eventuell warten bis die Linux Treiber ein update bekommen und in den Unraid kernel wandern?

 

Posted
7 minutes ago, ApfelBirneKreis said:

aber woran könnte es liegen?

Von wieviel Stromverbrauch sprechen wir denn hier mehr gegenüber Windows?

 

Ich war glaub ich noch nie auf C10

Posted

Unraid: 4xHDD spun down

           2xNvme im pool 

           Docker deaktiviert 

           42W nach 30min

 

Windows: 18W nach 30min (hier weis ich nicht wie windows die nvmes und hdds regelt)

 

Der unterschied ist leider signifikannt. 

Posted
8 minutes ago, ApfelBirneKreis said:

Der unterschied ist leider signifikannt. 

Ohne oder mit GPU?
Ist denn die GPU auch in P8?

Hast du ASPM denn explizit auf AUTO bzw. an gestellt im BIOS?

 

8 minutes ago, ApfelBirneKreis said:

           42W nach 30min

Ich brauch 50W mit 7x HDD, 2x NVME & 4x SSD

Posted (edited)
45 minutes ago, ich777 said:

Ohne oder mit GPU?
Ist denn die GPU auch in P8?

Hast du ASPM denn explizit auf AUTO bzw. an gestellt im BIOS?

 

Ich brauch 50W mit 7x HDD, 2x NVME & 4x SSD

Mit gpu (RTX3060). Die nvidia Treiber laufen. Ich führe nach dem startup ein script mit 

nvidia-persistenced

aus. Dadurch geht die gpu in P8 und verbleibt dort bis sie von Plex/Handbrake genutzt wird.

DIe GPU ist konstant in P8 mit 5-6W. 

 

siehe Unraid:

image.png.3d7cc5f8342cf72403c92aca06b4db56.png

Hier sieht man auch schön, dass die PCIe gen runter gefahren wird

 

 

Zusätzlich ist die CPU von mir mit 80mv undervolted und der Turbo deaktiviert. 

 

Alle ASPM Relevanten bios einstellungen sind aktiviert. Turbo boost deaktiviert. Wie gesagt die gleichen einstellungen führen im Windows zu c10. 

die verschiedernen C States sind dort explizit Aktiviert und nicht auf Auto.

Edited by ApfelBirneKreis
Posted (edited)
1 hour ago, ApfelBirneKreis said:

aber woran könnte es liegen? gibt es ein MB das im Linux c10 erreicht? Oder eventuell warten bis die Linux Treiber ein update bekommen und in den Unraid kernel wandern?

 

 

Viele Hersteller entwickeln unter Windows Treiber, die erheblich mehr optimiert sind. Für Linux werden generische Treiber erstellt, damit der Bumms irgendwie läuft.

 

Nicht ohne Grund kann man zwar irgendein Linux auf annähernd jedem Notebook irgendwie zum laufen bringen, aber es gibt auch Anbieter, die extra Notebooks raustesten und teils optimieren, die wirklich GUT unter Linux laufen und auch alle Hardware gut unterstützt wird.

 

Das ist schon ein Unterschied.

 

Und zum Thema Treiber/bzw Update unter Linux:

mal so ganz grob gefragt: wieviele Treiber hast Du denn unter unraid gezielt für Dein System selber installiert?

 

Unraid kommt out of the box mit Standardtreibern die dann eben ggf. eine ganze Gerätefamilie unterstützt. Die könne nicht auf jede Besonderheit jedes Herstellers eingehen.

Die paar GB auf dem unraid Bootstick haben eben nicht jeden fein ziselierten Spezialtreiber absolut jeder Hardware auf der Welt im Gepäck.

Bei Windows wird es so gelöst, daß die Hersteller eben Ihre Treiber (und die darauf folgenden Updates) entweder bei MS zertifiezieren und dann auch über das MS-Update einspielen lassen oder selber Treiber anbieten.

Da wohl kaum jeder Hersteller seine Treiber (& jedes neue Update) bei unraid dafür einreicht und diese (wenn ich recht informiert bin) auf Slackware aufsetzen ist nur das drin, was eben Unraid/Slackware da ursprünglich drin hat. Wenn Du selber manuell da nichts optimierst, kommt da auch nichts neues bei unraid rein.

Mit dem nächsten urnaid/Slackware update wird zwar bestimmt wieder etwas verändert, aber ob gerade Deine Hardware dann besser oder gar schlechter unterstützt wird, bleibt abzuwarten.

Schließlich wollen die unraid ja auch nicht unendlich aufblasen.

Edited by DataCollector
Posted (edited)

Stell im Bios mal um das die Energiesparoptionen nicht vom Bios sondern vom OS gesteuert werden (ASPM native oder nicht ist glaube ich die Option).

Dann mache nochmal die lspci Ausgabe mit dem markierten ASPM. 

 

Und vor allem nutze nicht Autotweak.

Autotweak verzerrt die lspci Ausgaben. Es hilft nicht beim Realtek Netzwerktreiber Problem seit 6.12.5 (zumindest nicht bei mir). Besser ist da Powertop autotune. Trotzdem wird bei Dir beim Netwerkchip ASPM als aktiv angezeigt, das wundert mich. Dein Powertop Bild zeigt übrigens starke Last auf deinen Kernen (wenn man em Bild trauen kann), auch ein Grund nicht in tiefe C-States zu kommen (nur zu 15% im C3). 

 

 

Edited by MPC561
Posted
On 5/31/2024 at 10:58 AM, ApfelBirneKreis said:

gibt es ein MB das im Linux c10 erreicht?

 

Da gibt es einige.

Ich erreiche aktuell C10, Verbrauch um die 37W.
Zwar keine dGPU, dafür aber ne Menge Platten...

  • 4 months later...

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
×
  • Create New...