skies

Members
  • Posts

    16
  • Joined

  • Last visited

Everything posted by skies

  1. Thank you @CyrIng. Just to be sure: amdgpu.ppfeaturemask=0xffffffff is only for CPUs with a GPU, right? After doing the changes as described above, amd_pstate is not loaded and all cores are clocked at 550 MHz: analyzing CPU 23: driver: amd-pstate CPUs which run at the same hardware frequency: 23 CPUs which need to have their frequency coordinated by software: 23 maximum transition latency: 131 us. hardware limits: 550 MHz - 4.95 GHz available cpufreq governors: conservative, ondemand, userspace, powersave, performance, schedutil current policy: frequency should be within 550 MHz and 4.95 GHz. The governor "powersave" may decide which speed to use within this range. current CPU frequency is 550 MHz. However, powertop seems not to be able to access any c states. Also, the system seems to draw a little more power then before. PowerTOP 2.15 Overview Idle stats Frequency stats Device stats Tunables WakeUp Pkg(OS) | Core(OS) | CPU(OS) 0 CPU(OS) 12 | Core(OS) | CPU(OS) 1 CPU(OS) 13 | Core(OS) | CPU(OS) 2 CPU(OS) 14 | Core(OS) | CPU(OS) 3 CPU(OS) 15 | Core(OS) | CPU(OS) 4 CPU(OS) 16 | Core(OS) | CPU(OS) 5 CPU(OS) 17 | Core(OS) | CPU(OS) 6 CPU(OS) 18 | Core(OS) | CPU(OS) 7 CPU(OS) 19 | Core(OS) | CPU(OS) 8 CPU(OS) 20 | Core(OS) | CPU(OS) 9 CPU(OS) 21 | Core(OS) | CPU(OS) 10 CPU(OS) 22 | Core(OS) | CPU(OS) 11 CPU(OS) 23 PowerTOP 2.15 Overview Idle stats Frequency stats Device stats Tunables WakeUp Package | Core | CPU 0 CPU 12 Idle 56.0% | Idle 96.1% | Idle 97.9% 98.0% 550 MHz 44.0% | 550 MHz 3.9% | 550 MHz 2.1% 2.0% | Core | CPU 1 CPU 13 | Idle 92.4% | Idle 96.7% 95.1% | 550 MHz 7.6% | 550 MHz 3.3% 4.9% | Core | CPU 2 CPU 14 | Idle 91.6% | Idle 95.5% 95.6% | 550 MHz 8.4% | 550 MHz 4.5% 4.4% | Core | CPU 3 CPU 15 | Idle 96.5% | Idle 98.0% 98.1% | 550 MHz 3.5% | 550 MHz 2.0% 1.9% | Core | CPU 4 CPU 16 | Idle 94.4% | Idle 97.7% 96.4% | 550 MHz 5.6% | 550 MHz 2.3% 3.6% | Core | CPU 5 CPU 17 | Idle 94.9% | Idle 95.6% 99.0% | 550 MHz 5.1% | 550 MHz 4.4% 1.0% | Core | CPU 6 CPU 18 | Idle 96.5% | Idle 97.9% 98.1% | 550 MHz 3.5% | 550 MHz 2.1% 1.9% | Core | CPU 7 CPU 19 | Idle 91.7% | Idle 93.9% 97.4% | 550 MHz 8.3% | 550 MHz 6.1% 2.6% | Core | CPU 8 CPU 20 | Idle 94.8% | Idle 97.0% 97.6% | 550 MHz 5.2% | 550 MHz 3.0% 2.4% | Core | CPU 9 CPU 21 | Idle 94.9% | Idle 96.6% 97.8% | 550 MHz 5.1% | 550 MHz 3.4% 2.2% | Core | CPU 10 CPU 22 | Idle 94.0% | Idle 96.9% 96.9% | 550 MHz 6.0% | 550 MHz 3.1% 3.1% | Core | CPU 11 CPU 23 | Idle 95.3% | Idle 96.8% 98.1% | 550 MHz 4.7% | 550 MHz 3.2% 1.9% Is that the desired state here or am I doing something wrong?
  2. Where are you seeing that, in nvidia-smi or on a power meter? Is that even true if nvidia-smi displays that? Both. Nvidia-smi says 28 before / 17-18 after, my measuring power plug shows about 10W less. And after all the fiddling, 18w is the lowest I see with the 3090 (Gigabyte)
  3. Hallo zusammen, ist das immer noch der aktuelle Stand? Bei mir (Ryzen 9 5900x) ist acpi-cpufreq noch geladen. Die CPPC Settings im BIOS habe ich umgestellt, aber ein "lscpu | grep "cppc" ist nicht vorhanden. Muss ich jetzt erst den Treiber umstellen oder erst sicherstellen, dass die CPU das Feature aufweist? Fehlt ggf. noch ein BIOS-Setting? Ist initcall_blacklist=acpi_cpufreq_init amd_pstate.enable=1 amd_pstate.replace=1 und ein modprobe amd_pstate dann alles, was nötig ist? Wenn ich bei mir lediglich acpi-cpufreq entferne und amd_pstate versuche zu laden, bekomme ich eine Fehlermeldung. Zuletzt habe ich noch nicht ganz verstanden, inwiefern CoreFreq da jetzt etwas ersetzt. Ich habe das Tool installiert und es läuft auch, Einstellungen habe ich bisher nicht geändert. Wird das Tool momentan nur zu Diagnose verwendet oder müssen damit auch aktiv Einstellungen geändert werden um den Verbrauch zu senken? Wenn amd_pstate läuft, kann ich theoretisch doch den geringeren Takt auch über die Boardmittel einstellen, oder? So viele Fragen... Viele Grüße, skies
  4. Danke für die Infos @ich777. Ich habe an der 3090 zwei DP-Displays permanent angeschlossen. Jedoch wird nichts ausgegeben im Unraid-Betrieb, noch nicht mal ein Terminal. Ich bin mir nicht sicher, ob sich das irgendwie auf den Stromverbrauch auswirkt. Die Karte ist nur da, um bei Bedarf in eine Windows-VM durchgereicht zu werden. Daher soll die auch möglichst wenig Strom verbrauchen, wenn die VM aus ist. Ohne P8 liegt die deutlich über 100W, daher bin ich über die 28W ja schonmal froh, aber (wie auch in anderen Thread schon geschrieben), senkt der start/stop der Windows-VM den Verbrauch zusätzlich nochmal um ca. 11W. Anscheinend werden da nochmal settings geändert, die der Unraid-Treiber mit P8 nicht setzt. Klar kann ich jetzt bei jedem Reboot des Servers die VM starten und stoppen, aber ich würde der Sache gerne auf den Grund gehen. Jetzt wird aber für alle weiteren Settings nvidia-settings benötigt, die X brauchen. Daher komme ich da jetzt nicht weiter. Bzw. macht Nvidia-settings auch nichts anderes, als mit der API des Treibers zu kommunizieren. Daher die Frage, ob das evtl. in einem tool das kein X benötigt evtl. irgendwo mal nachgebaut wurde. Einige Miner scheinen das ja auch zu tun. Leider stecke ich nicht allzu tief im Thema, deshalb ist das natürlich viel ausprobieren und lesen. Ich versuche einfach nur zu verstehen, welche Schrauben man wie drehen muss, um den geringsten Verbrauch zu erhalten (das Thema mit den angeschlossenen Displays ist auch noch so ein Ding). Am liebsten wäre mir ja ein Abschalten der Karte bei ausgeschalteter VM, aber pcie hotplug scheint es ja in der Form nicht zu geben/laufen. Viele Grüße, skies
  5. Using "nvidia-smi --persistence-mode=1" instead of Nvidia-persistenced (never tries that one actually) brings the card to P8 and lets you pass it through to a VM without crashes or any other additional modifications. At least for me.
  6. Thanks @ich777. That is actually what I am doing at the moment (I am using "nvidia-smi --persistence-mode=1"). In this state, the card is down to 28 watts of power consumption. However, that does not seem to be the lowest consumption. As soon as I start and stop a Windows VM with installed Nvidia-drivers, consumption goes down to 17 watts. So the Windows VM seems to make additional changes that persist even after shutting it down and loading the Unraid-nvidia-drivers again. So I am trying to find put what the Windows VM does to lower the consumption even more. And still, there should even be lower consumption possible (<10watts). So for further changing clocks, timings etc, the features of Nvidia-settings seem to be required. I am very open to any suggestions regarding that topic. cheers, skies
  7. Hello there, is there any chance to get access to the nvidia-settings options? I try to reduce power consumption but without access to the nvidia-settings options that will not work. Or does anyone know another option to tweak settings without nvidia-settings? cheers, skies
  8. Uff. Danke für die ganzen Infos. Somit habe ich da wohl noch einiges an Arbeit vor mir. wie bekommst Du die GPUs denn so runter? Ich habe den NVIDIA-Docker laufen und setze persistence-Mode=1 um in P8 zu kommen. Damit komme ich auf 28w für eine 3090. Wenn ich meine Windows-VM starte, stoppe und dann wieder den Treiber lade, komme ich auf 18w. Reproduzierbar. Was macht die VM mit der Karte das den Verbrauch anschließend nochmal um 10w senkt? Und was machst Du. Um auf <10w zu kommen? Deine 3080ti-Werte sollten ja mit ner 3090 erreichbar sein. Kann ich mir irgendwie alle relevanten Einstellungen der GPU anzeigen lassen, um sinnvoll vergleichen zu können? Und nette Verbrauchs-Übersicht. Da bastel ich auch gerade noch dran. Viele Grüße, skies
  9. Hallo zusammen, gibt es irgendwo eine Übersicht, wohin die Reise bezüglich Einsparpotential gehen kann? Ich meine was wäre denn ein "guter Wert" für z.B. eine Geforce 3090? Der Verbrauch lässt sich ja einfach per nvidia-smi ermitteln. Ich bin jetzt auf 18W runter (P8 mit Nvidia docker). Das erscheint mir ganz gut, aber kann ich irgendwo nachlesen, was das das Ende der Fahnenstange ist? Das gleich bei der CPU (hier Ryzen 5900x). Direkte Leistung lässt sich ja nicht gleich ermitteln (oder doch, und wenn ja, wie?). Ich schätze, hier ist das indirekt über den Takt abzuleiten. was ist denn da gut bzw. niedrig? Ich habe auch irgendwo gelesen, dass der CPU die Kerne ganz abschalten kann, und die angezeigten Werte somit auch nie korrekt sind (?). Den Powertop-Thread hab ich jetzt durch und hier bin ich noch dran. Mir ist halt noch völlig unklar, an welcher Ecke es sich noch zu testen lohnt. Hat jemand ne grobe Schätzung, bei wieviel Watt mein System so landen könnte? Viele Grüße, skies
  10. Ich schaue mir gerade die Cyberpower-USVs an. Haben die einen Lüfter und kann man die auf die Seite legen? Konkret die PFC Sinewave-Reihe. Viele Grüße, skies
  11. Danke DataCollector für Deine ausführliche Antwort. Für Datensicherheit ist ausreichend gesorgt, mir geht es in dem Szenario ausschließlich um Ausfallsicherheit. Grundsätzlich möchte ich die VM und Docker-Daten auf möglichst schnellen Speichern vorhalten. Meine NAS-"Daten" könnten ruhig auf langsamen Speichern liegen, da greife ich eh nur übers Netz drauf zu (aktuell im Raid5 auf HDDs). Da wir hier in Summe aber lediglich über max. 2TB an Daten reden, würde ich mir gerne viele Datentöpfe sparen und alles zusammenlegen. Wenn ich das so richtig gelesen habe, kämen für mich drei Szenarien in Frage: 1. Array mit 2 Datenträgern (2x 2TB NVMe), wobei einer die Parität wäre und ich somit 2TB Kapazität hätte. Dann kein Pool/Cache. Hier habe ich nur gelesen, dass der Zugriff durch das Schreiben der Parität langsamer wird, und man sich daher seine VMs/Docker nicht aufs Array legt. Ob das jetzt nur für den Fall HDD Array gilt oder auch für ein NVMe Array und wieviel da verloren geht, weiss ich nicht. Dateisystem wäre hier zwingend XFS, oder? 2. Pool mit 2x 2TB NVMe, Kein (bzw. dummy) Array. Dateisystem wäre dann hier Raid 1 BTRFS, 2TB Kapazität. Somit lägen dann alle meine Daten im Pool/Cache. 3. Array mit ein paar SATA SSDs (oder ggf. auch HDDs). Eine NVMe als Cache. Dabei kämen dann die Docker/VMs aufs Cache, die Daten aufs Array und ich würde den Cache regelmäßig aufs Array sichern, da ich in dem Falle ja keine Ausfallsicherheit des Caches habe. Das wäre wohl der "klassische" Weg, aber ich versuche aktuell möglichst overhead/Hardware einzusparen. Außerdem würde ich gerne Ganz auf HDDs verzichten, bzw. nur noch für Offline-Backups einsetzen. Bisher habe ich immer Qnap-NAS ganz klassisch mit HDDs im Raid1 oder 5 eingesetzt und einfach keine Erfahrung mit Unraid und welche Konstellation am besten funktioniert/sinn macht. Danke Dir, damit wäre die 1. ja komplett raus? Habe das hier gefunden, das bestätigt das Ganze ja auch nochmal. Somit Taugen also nur HDDs fürs Array? Oder man nimmt mit der Zeit massive Geschwindigkeitseinbußen hin... Ich bin immer noch recht ratlos. Tipps sind sehr willkommen. Viele Grüße, skies
  12. Hallo zusammen, Ich würde mein NAS gerne in Rente schicken und die Daten auf dem Unraid-System lagern. Dazu habe ich ein paar Fragen zum sinnvollen Setup. Aktuell besteht mein Array aus einer einzigen NVMe Platte. Da liegen primär Docker Container und VMs drauf. In die Optionen mit Unraid lese ich mich gerade ein. Die Datenmenge von NAS ist sehr überschaubar, außerdem möchte ich am liebsten alle Daten gleich redundant vorhalten. Daher würde ich am liebsten gleich alles zusammen (also Docker, VMs und Daten) auf 2 NVMe-Platten vorhalten (redundant). Macht das sinn und wenn ja, würde ich die dann als Array nutzen oder als Cache aufsetzen und ein Dummy-Device als Array einbinden? Ich hab die Vor- und Nachteile der Optionen und damit dann auch Dateisysteme noch nicht ganz durchdrungen. Was meint Ihr? Viele Grüße, skies
  13. Hallo zusammen, Bei meinen Bemühungen den Stromverbrauch der Unraid-Systeme zu senken, bin ich bei der GPU angekommen und suche Möglichkeiten, die Leistungsaufnahme weiter zu senken. Aktuell habe ich eine Nvidia GeForce 3090 im System. Die Karte wird ausschließlich in einer VM genutzt, die bei Bedarf gestartet wird. Wenn die VM nicht läuft, benötige ich die Karte nicht. Den Nvidia-Treiber zu laden hat den Verbrauch von ca. 120W auf 28W heruntergebracht. Jetzt frage ich mich, ob da nicht noch mehr geht. Ich meine, irgendwann in dem System auch mal 18W gesehen zu haben, das ist aber hier nicht reproduzierbar. Habt Ihr Tipps für mich? Oder ist das schon der erreichbare Minimalwert? Ich nutze den Nvidia-Docker mit Treiber in der aktuellen Version. Kleiner Nebenkriegsschauplatz wäre die Intel dGPU im Testsystem. Die zieht zwar "nur" gut 2W, das sind aber auch 33% des Gesamtverbrauchs. Gibt es da noch optimierungspotential? Viele Grüße, skies
  14. Hallo zusammen, Nachdem ich hier schon eine Weile weitgehend lesend im Forum unterwegs bin, wollte ich jetzt mit einem Hallo in die Runde mein Setup und Zweck vorstellen. Mein Unraid System nutze ich schon eine Weile und habe bisher ein wenig ausgelotet was geht, und was nicht geht. Die Hardware sollte ursprünglich mein Daily-Driver-Workstation-System werden, dann kam da aber Unraid dazwischen. Hier mal die Eckdaten: AMD Ryzen 9 5900X ROG STRIX B550-F GAMING (WI-FI) 128GB RAM 2x NVMe 3x SATA SSDs 1x Nvidia Geforce 3090 1x ThunderboltEX 3-TR (Sowohl mit eGPUs als auch für Thunderbolt Networking getestet und für weitestgehend gut/funktionierend befunden) Netzteil: Corsair RM750x 80 PLUS Gold Die Idee war eine Art „eierlegende Wollmilchsau“ zu bauen und somit alle meine Anforderungen im einem System zusammenzufassen: Windows Gaming VM Docker Diverse On-Demand VMs / generelles Server-System NAS Mein aktuell größtes Problem ist der Stromverbrauch, der liegt bei ca. 70 Watt idle. Testsystem: Asrock J4125M 8GB RAM 2x SATA SSD PicoPSU Hier bin ich mit 6W idle halbwegs zufrieden. Bei Fragen zu Komponenten/Werten gerne melden. Ich mache für meine Fragen neue Posts auf. Viele Grüße, skies
  15. Dear all, after encountering issues with firewire hot plug on Unraid I alternatively tried to passthrough the whole controller instead of just single devices. However, I am not successful with that. I am using a Asus STRIX B550-F WIFI mainboard with a Asus ThunderboltEX3-TR attached. This add-on card sits in a PCIe slot and additionally is connected to the onboard thunderbolt header and an onboard USB Controller. My IOMMU Groups look like this: In the VM config, I am able to passthrough the USB component of the card (Group 31), but not Group 30. When manually (via XML) passing through Group 30, I can see a Thunderbolt controller in the VM, but neither the drivers install, nor do I see attached devices. What do I miss here or is it maybe not possible to do this at all? Do I need to pass through any additional components? I.e. was bluetooth only available after I passed through the WIFI adapter and a certain USB Controller. How can I move on and do additional troubleshooting? skies
  16. Hi all, I am stuck with the same issues. I want to passthrough eGPUs via Thunderbolt3. Latest OS version. Everything works fine when plugged in and powered up on initial boot. Once I power down the external enclosures, only a reboot of Unraid seems to bring back the eGPUs. After powering down the enclosures, the GPUs are still visible via lspci. /sys/bus/thunderbolt/ does not exist. I am using a ASUS STRIX B550-F WIFI with an ASUS ThunderboltEX3-TR card, attaching GPUs via Sonnet Breakaway boxes: 04:00.0 PCI bridge: Intel Corporation JHL7540 Thunderbolt 3 Bridge [Titan Ridge 4C 2018] (rev 06) 05:00.0 PCI bridge: Intel Corporation JHL7540 Thunderbolt 3 Bridge [Titan Ridge 4C 2018] (rev 06) 05:01.0 PCI bridge: Intel Corporation JHL7540 Thunderbolt 3 Bridge [Titan Ridge 4C 2018] (rev 06) 05:02.0 PCI bridge: Intel Corporation JHL7540 Thunderbolt 3 Bridge [Titan Ridge 4C 2018] (rev 06) 05:04.0 PCI bridge: Intel Corporation JHL7540 Thunderbolt 3 Bridge [Titan Ridge 4C 2018] (rev 06) 06:00.0 System peripheral: Intel Corporation JHL7540 Thunderbolt 3 NHI [Titan Ridge 4C 2018] (rev 06) 07:00.0 PCI bridge: Intel Corporation DSL6540 Thunderbolt 3 Bridge [Alpine Ridge 4C 2015] (rev ff) 08:01.0 PCI bridge: Intel Corporation DSL6540 Thunderbolt 3 Bridge [Alpine Ridge 4C 2015] (rev ff) 1f:00.0 USB controller: Intel Corporation JHL7540 Thunderbolt 3 USB Controller [Titan Ridge 4C 2018] (rev 06) Now I am wondering: Is this a general problem or hardware related? Is anyone successfully hotplugging TB3 devices? If it is a general problem, what is missing? Do we only have kernel drivers enabled? Only partially? Userland tools missing? If so, what needs to be done here / how can we help? Are there any workarounds available? Any scripts to manually disconnect / connect the devices? I am willing to investigate / help / test, any hints are highly appreciated. cheers, skies