jammsen Posted June 25 Share Posted June 25 Hallo, ich habe aktuell als NAS ein System folgenden Hardware: Mobo: Asus B550 Prime Plus CPU: Ryzen 7 5700G RAM: 128GB DDR4 3200MT SSD: 2x8TB SATA + 2x1TB NVMe PSU: 550/650W EVGA Gold Addons: 1x 10Gbit Mellanox 3 Card 1x RTX4060Ti 16GB (LLMs) 1x PI-KVM an USB+HDMI-Port Power-Draw: 65-75w im Idle (GPU-Idle 7-9w) VM:2-3 ohne PCIe-Passthrough, 24/7 an Docker: 15 Container, Plex, Monitoring-Tools, Development Tools, LLM Tools und hier und da ein Gameserver Nun wollte ich gucken ob ich mein altes Gaming System mit nachfolgender Hardware nehmen kann und daraus mein neues NAS bauen kann (und teile aus dem alten NAS ausbaue und übertrage), weil ich gerne für LLMs wenn nötig 2 GPUs im Idle im System haben möchte und damit zusätzlich mehr Docker-Container wie Plex HW-beschleunigen kann. Problem ist der Power-Idle-Draw, weil ich im End-Effekt an den Strom-Kosten irgendwann verblute wenn das 40Cent/kWh sind. (Das neue alte Gaming System/Neue NAS hat statt b550 x570 Chipsatz und ein Layout was Dual-GPU + 10Gbit Nic auch zulässt, während das alte dies nicht zulassen würde.) Mobo: Asus x570 Prime Pro (gekauft weil Asus gute Bios mit IOMMU-Groups hat) CPU: Ryzen 9 5950x RAM: 128GB DDR4 3200MT SSD: 2x1TB NVMe PSU: 850/1000W EVGA Gold Addons: 1x 10Gbit Mellanox 3 Card 1x RTX3080Ti 12GB (HW-Gpu-Acceleration) Power-Draw: 180-210w im Idle (GPU-Idle 90-120w) Wie man sieht frisst das neue System durchaus mehr Strom, kann aber auch mehr. Weil der Ryzen 5700g eine iGPU hat wird diese für Console und PI-KVM genutzt. Das neue System hat aber keine iGPU also ist die erste GPU immer hart im Power-Draw obwohl sie gar nichts wirklich macht 90-120w. Durch den Tipp von @ich777 habe ich nvidia-persistenced genutzt um die GPU die sonst nicht so richtig idled in P8 Power-State zu bekommen und de idled nun bei 20w, mehr als die 4060Ti vorher aber weniger als 120w . Danach habe ich im Bios bei den PBO Settings geguckt ob man die 120w TDP für den 5950x nicht auf 65w Eco stellen kann, das klappt auch, nun idled das System bei 95-105w. Ich finde das schon besser als vorher, aber immer noch krass hoch, weil das System zu 99,9% idled und da noch keine Load drauf ist. Wenn nun mehr Disks via 2x8TB Sata rüber kommen und noch eine GPU geht die Last bestimmt höher. Was wären Punkte wo man noch Strom sparen könnte? (Ich würde ungern solange Undervolten bis das System fast gar nicht mehr Stabil ist, das NAS sollte stabil 24/7 laufen und ja mir ist klar das man bei AMD einfach den 24/7 Power-Idle-Draw nicht soweit runter bekommt wie bei Intel, dass ist nun mal so, verstehe ich auch.) Bin für Ideen und Feedback offen Vielen Dank vorab Quote Link to comment
alturismo Posted June 25 Share Posted June 25 14 minutes ago, jammsen said: Was wären Punkte wo man noch Strom sparen könnte? naja, die AMD Base ist da halt einfach ... Gegenrechnung asrock z590 velocity core i9 10850k 64 GB (2x32) DDR4 3200 2tb nvme samsung 970evo 2tb nvme WD SN750 3 x 8tb seagate HDD Nvidia GTX 1060 6GB Nvidia RTX 3080ti 12 GB FE 2.5G Lan onboard 2 x Wakü Pumpen Alphacool AIO (CPU und RTX 3080ti im loop) 9 x 120er Lüfter 1 x Aquo Quadro Steuerung Lüfter USB angeschlossen 1 x vrm Lüfter 1 x mos Lüfter idle Unraid 45 Watt ..., mit Docker (32) 48 - 50 Watt (immer HDD spindown) kein undervolting oder so, aber auch kein OC oder XMP ... alles Standard. nur CPU Core Isolation (wegen VM Gaming usage) und gut ist ... in Summe, AMD ist da einfach "schlecht" (leider), mehr gibt es nicht wirklich dazu ... du kannst jetzt anfangen etwas hier und da zu optimieren, aber am Ende ... viel Erfolg bei dem was noch kommt an Vorschlägen. 1 1 Quote Link to comment
jammsen Posted June 25 Author Share Posted June 25 1 minute ago, alturismo said: naja, die AMD Base ist da halt einfach ... Keine Frage genau die AMD-Base ist wenig NAS-Zentrisch, bin ich voll bei dir! (Side-Note/Kommentar, zu der die Idee von dieser AMD-Base im Background war "evtl. später" wenn mal in Deutschland "FTTH" mit Symmetrischem Internet kommt (oder 200Mbit+ up) meinen Root bei Hetzner zu kündigen und von zu Hause zu hosten, unter anderem 6-8 Gameserver, aber das ist so weit weg und so viel "Was wäre wenn Szenario" das ich das nicht auch noch mit in den ersten Post packen wollte, dann wäre jeder überfordert was nun eigentlich die Idee ist. ABER so könnte ich 130-145 Euro im Monat sparen und anders investieren.) 1 Quote Link to comment
jj1987 Posted June 25 Share Posted June 25 Mit dGPU + VMs zu vernachlässigen, aber die Mellanox macht kein aspm mit. Ansonsten sagt man ja auch "Kraft kommt von Kraftstoff"... Bei der Zusammenstellung sollte der Stromverbrauch jetzt nicht ganz so überraschen. Und auch wen die VMs idlen verhindern diese an sich schon dass die CPU tiefere Schlafzustände erreicht (und AMD ist da insgesamt im Nachteil) 1 2 Quote Link to comment
jammsen Posted June 25 Author Share Posted June 25 Was wären den die Ideen für ein Intel-Basiertes System was "in etwa" einen gleichen UMPF-Faktor hätte? Und was könnte man da an Idle-Power-Draw rausholen? (Die Option die Hardware einfach zu verkaufen und in ein Intel System zu re-investieren besteht ja durchaus). Quote Link to comment
SebastianSchmidt Posted June 26 Share Posted June 26 11 hours ago, jammsen said: Was wären den die Ideen für ein Intel-Basiertes System was "in etwa" einen gleichen UMPF-Faktor hätte? Ich denke, das kommt auf die exakte HW-Wahl drauf an...es muss alles "stimmig sein", damit der Energieverbrauch aus Deiner Sicht passt. In diesem Forum gibt es dazu ja haufenweise sinnvolle, getestete Setups die Du nachbauen könntest und bei denen Du Dir dann sicher sein kannst, dass das Ergebnis am Ende für Dich stimmt. Mein System: 192 GB RAM Intel 14700T (auf 65W P1, statt 35W) 3x SATA SSDs 870 EVO SSDs von Samsung 3x Lexar NM790 1x 16TB Seagate X18 RTX3060 12TB (P8) X710-DA2 Netzwerkkarte über DAC-Kabel angeschlossen M.2 ASM1166 Controller (da ist die Festplatte angeschlossen) MB Gigabyte Z790 Gaming X Seasonic Prime Ultra Titanium (650 W) Es laufen gerade 16 Docker Container, 2 davon haben Daten in den RAM der Grafikkarte geladen, die Festplatte ist im Preclear und eine Home Assistant VM läuft. In genau diesem Zustand zieht der Server zwischen 49-54W. Ich finde den Verbrauch, gemessen am Nutzen, ganz gut - aber das ist eben letztlich eine sehr individuelle Sache und mein Setup passt ja sicher nicht für jeden. Für einen reinen Fileserver wäre mir der Verbrauch zum Beispiel deutlich zu hoch. Wieviel dürfte denn Dein System "ziehen", damit Du Dich damit wohl fühlst? Quote Link to comment
alturismo Posted June 26 Share Posted June 26 20 hours ago, jammsen said: Was wären den die Ideen für ein Intel-Basiertes System was "in etwa" einen gleichen UMPF-Faktor hätte? Und was könnte man da an Idle-Power-Draw rausholen? mit 2 dGPU's im idle wie oben beschrieben Hardware als Anhaltspunkt 1 Quote Link to comment
jammsen Posted June 26 Author Share Posted June 26 10 hours ago, SebastianSchmidt said: Wieviel dürfte denn Dein System "ziehen", damit Du Dich damit wohl fühlst? (Kurze Sidenote: Meine Gedanken an dem Punkt sind ein wenig AMD zentrisch weil fast alle Systeme die ich baue für mich oder für andere sind Fast AMD only, keiner möchte mehr Intel, die wollen alle Price-To-Performance und da sind meisten 5800x3D gewollt. Ist nicht so das ich es nicht beantworten möchte, keine Frage, die Antwort könnte nur etwas AMD-Orientiert wirken, darum bitte ich das zu entschuldigen.) Ich glaube wenn die GPUs keine Load haben und im Idle also P8 State sind, dass muss ich wohl oder übel mit (8w(4060Ti)+20w(3080Ti)) ~30w rechnen, was glaube ich okay?gut?Spitze? ist für 2 Nvidia GPUs? Der aktuelle Idle vom 5700G ist um die 75w, ideal wäre das System bei 40-50w (Full-Idle) + GPUs evtl.? Ist das möglich mit Hardware die im Falle der Fälle trotzdem UMPF hat um Dedicated-Server wie ARK zu hosten? (Ark braucht viele Cores und die sollten sehr hohe Ghz haben, basiert darauf wie der Server-Manager intern mit dem Master und Client-Thread arbeitet, ist very complex) Quote Link to comment
jammsen Posted July 6 Author Share Posted July 6 @SebastianSchmidt Hast du meine Antwort gelesen? Quote Link to comment
SebastianSchmidt Posted July 8 Share Posted July 8 @jammsen Ich habe Deine Antwort gelesen. Ich weiss allerdings nicht ob es "gut/spitze" ist, wenn zwei GPUs im Idle knapp 30W brauchen - aus meiner Sicht ist die 3080Ti im Server nicht am richtigen Ort (wesentlich zu hoher Idle-Verbrauch) und ich würde versuchen sie evtl. mit einer weiteren 4060 zu ersetzen. Ich hoste keine Gameserver....ich kann Dir deshalb kaum etwas raten. Ist einfach nicht mein Nutzungsprofil. Für meine Desktop PCs setze ich schon seit vielen Jahren auf AMD Prozessoren (schon vor Barton). Aufgrund des hohen Grundverbrauchs meiner Server mit AMC CPUs (z.B. 75W Verbrauch mit einem Ryzen 7900 bei einer Last von 1-3%, ohne zusätzliche Grafikkarte) bin ich in dem Bereich allerdings auf eine Intel Plattform umgeschwenkt. Aktuell habe ich einen 28-Core auf einem mittelpreisigen Gigabyte Board - leistungshungrige Anwendungen und VMs lege ich auf Performance Cores und habe dann jede Menge Efficiency Cores für Docker Container etc. "übrig". Dass ist für meine Zwecke sehr praktisch und durch geschickte Verteilung/Nutzung von P- und E-Cores kann ich die Effizienz des Servers maximieren. Vielleicht stellst Du noch ein paar gezielte Fragen, die jemand mit mehr Erfahrung im Bereich Gaming-Server beantworten kann? Was möchtest Du denn exakt wissen? Quote Link to comment
jammsen Posted July 8 Author Share Posted July 8 59 minutes ago, SebastianSchmidt said: Aktuell habe ich einen 28-Core auf einem mittelpreisigen Gigabyte Board - leistungshungrige Anwendungen und VMs lege ich auf Performance Cores und habe dann jede Menge Efficiency Cores für Docker Container etc. "übrig". Dass ist für meine Zwecke sehr praktisch und durch geschickte Verteilung/Nutzung von P- und E-Cores kann ich die Effizienz des Servers maximieren. Welche CPU wäre das? Welche Idle-Power-Draw hast du da? Supported Unraid P und E Cores gut? Quote Link to comment
SebastianSchmidt Posted July 9 Share Posted July 9 (edited) @jammsen Ich habe weiter oben im Thread mein System schon beschrieben: On 6/26/2024 at 9:54 AM, SebastianSchmidt said: Mein System: 192 GB RAM Intel 14700T (auf 65W P1, statt 35W) ... Die CPU war ein Gelegenheitskauf – ein 14700k wäre sicher sowohl leistungsfähiger als auch allgemein günstiger zu haben. Alternativ käme vielleicht preislich auch ein 13900K für Dich in Frage? Die Cores sind aus Sicht von Unraid schlicht "nutzbare Kerne". Welche Cores für welche Arbeit genutzt werden lege ich per Pinning fest - ich weise meinen VMs exklusiv Kerne zu und Unraid verteilt die übriggebliebenen auf Docker Container und das Unraid-OS. Einzige Ausnahmen sind der Paperless-Container, dem ich 3 E-Cores zugewiesen habe und Photoprism mit 4 E-Cores. In der Konstellation bleibt die Prozessorauslastung etwas konstanter und der Verbrauch ist nahezu stabil. Im Idle (ohne Grafikkarte und ohne Docker/VMs) verbraucht der Server etwa 26-29W. Bei der Messung steckt dann aber eine X710 Netzwerkkarte drin, 3x NVMe-SSDs + 3x SATA SSDs.. Das Board erreicht damit C6 - was sicher nicht optimal ist, aber doch schon ganz gut. Im Betrieb liege ich aktuell zwischen 40-45W, mit Peaks bis 165W wenn ich z.B. meinen Chatbot oder FasterWhisper nutze. Edited July 9 by SebastianSchmidt 1 Quote Link to comment
jammsen Posted July 9 Author Share Posted July 9 Nice danke fürs Teilen! Sehr interessant Quote Link to comment
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.