SebastianSchmidt

Es gibt auch die XL710-Variante > https://www.intel.de/content/www/de/de/products/sku/83967/intel-ethernet-converged-network-adapter-xl710qda2/specifications.html Bezüglich der X710 (10G) kann ich bestätigen, dass ich C8 States (womöglich geht auch höher?) erreicht habe, aber die XL710-Variante habe ich selbst nicht.

@jammsen Ich habe weiter oben im Thread mein System schon beschrieben: Die CPU war ein Gelegenheitskauf – ein 14700k wäre sicher sowohl leistungsfähiger als auch allgemein günstiger zu haben. Alternativ käme vielleicht preislich auch ein 13900K für Dich in Frage? Die Cores sind aus Sicht von Unraid schlicht "nutzbare Kerne". Welche Cores für welche Arbeit genutzt werden lege ich per Pinning fest - ich weise meinen VMs exklusiv Kerne zu und Unraid verteilt die übriggebliebenen auf Docker Container und das Unraid-OS. Einzige Ausnahmen sind der Paperless-Container, dem ich 3 E-Cores zugewiesen habe und Photoprism mit 4 E-Cores. In der Konstellation bleibt die Prozessorauslastung etwas konstanter und der Verbrauch ist nahezu stabil. Im Idle (ohne Grafikkarte und ohne Docker/VMs) verbraucht der Server etwa 26-29W. Bei der Messung steckt dann aber eine X710 Netzwerkkarte drin, 3x NVMe-SSDs + 3x SATA SSDs.. Das Board erreicht damit C6 - was sicher nicht optimal ist, aber doch schon ganz gut. Im Betrieb liege ich aktuell zwischen 40-45W, mit Peaks bis 165W wenn ich z.B. meinen Chatbot oder FasterWhisper nutze.

@jammsen Ich habe Deine Antwort gelesen. Ich weiss allerdings nicht ob es "gut/spitze" ist, wenn zwei GPUs im Idle knapp 30W brauchen - aus meiner Sicht ist die 3080Ti im Server nicht am richtigen Ort (wesentlich zu hoher Idle-Verbrauch) und ich würde versuchen sie evtl. mit einer weiteren 4060 zu ersetzen. Ich hoste keine Gameserver....ich kann Dir deshalb kaum etwas raten. Ist einfach nicht mein Nutzungsprofil. Für meine Desktop PCs setze ich schon seit vielen Jahren auf AMD Prozessoren (schon vor Barton). Aufgrund des hohen Grundverbrauchs meiner Server mit AMC CPUs (z.B. 75W Verbrauch mit einem Ryzen 7900 bei einer Last von 1-3%, ohne zusätzliche Grafikkarte) bin ich in dem Bereich allerdings auf eine Intel Plattform umgeschwenkt. Aktuell habe ich einen 28-Core auf einem mittelpreisigen Gigabyte Board - leistungshungrige Anwendungen und VMs lege ich auf Performance Cores und habe dann jede Menge Efficiency Cores für Docker Container etc. "übrig". Dass ist für meine Zwecke sehr praktisch und durch geschickte Verteilung/Nutzung von P- und E-Cores kann ich die Effizienz des Servers maximieren. Vielleicht stellst Du noch ein paar gezielte Fragen, die jemand mit mehr Erfahrung im Bereich Gaming-Server beantworten kann? Was möchtest Du denn exakt wissen?

Ich denke, das kommt auf die exakte HW-Wahl drauf an...es muss alles "stimmig sein", damit der Energieverbrauch aus Deiner Sicht passt. In diesem Forum gibt es dazu ja haufenweise sinnvolle, getestete Setups die Du nachbauen könntest und bei denen Du Dir dann sicher sein kannst, dass das Ergebnis am Ende für Dich stimmt. Mein System: 192 GB RAM Intel 14700T (auf 65W P1, statt 35W) 3x SATA SSDs 870 EVO SSDs von Samsung 3x Lexar NM790 1x 16TB Seagate X18 RTX3060 12TB (P8) X710-DA2 Netzwerkkarte über DAC-Kabel angeschlossen M.2 ASM1166 Controller (da ist die Festplatte angeschlossen) MB Gigabyte Z790 Gaming X Seasonic Prime Ultra Titanium (650 W) Es laufen gerade 16 Docker Container, 2 davon haben Daten in den RAM der Grafikkarte geladen, die Festplatte ist im Preclear und eine Home Assistant VM läuft. In genau diesem Zustand zieht der Server zwischen 49-54W. Ich finde den Verbrauch, gemessen am Nutzen, ganz gut - aber das ist eben letztlich eine sehr individuelle Sache und mein Setup passt ja sicher nicht für jeden. Für einen reinen Fileserver wäre mir der Verbrauch zum Beispiel deutlich zu hoch. Wieviel dürfte denn Dein System "ziehen", damit Du Dich damit wohl fühlst?

Ahso...naja, ich habe keine vergleichbaren Geräte, die ich messen müsste. Eine der Steckdosen hängt normalerweise an meiner Waschmaschine, um über den aktuellen Verbrauch Aktionen und Meldungen über den Waschzustand auslesen zu können. Meine Home Assistant VM informiert mich auf diese Weise, wenn die Wäsche fertig ist. Den möglichst exakten "echten Verbrauchswert" (oder Kalibrationswert) für die Nutzung mit einem PC-Netzteil wüsste ich zwar schon gerne, aber der Server ist ja leider kein reiner ohmischer Verbraucher - daher meine Überlegung mit dem Shunt. Ich muss aber sagen, dass mich die Messsituation nicht sonderlich stört weil es für mich eher unerheblich ist, ob der Server im Idle jetzt 9w oder 11w verbraucht. Es ist höchstens ein bisschen schade, dass ich hier im Forum nur "relative" Werte angeben kann. Deshalb habe ich auf die Messunsicherheit hinweisen wollen. 🤷‍♂️ Bezüglich Stromsparmassnahmen bin ich zwar nicht ignorant, aber für meine Anwendungszwecke brauche ich ja ohnehin eine Grafikkarte und eine zusätzliche NIC. Dadurch rutsche ich verbrauchsmässig aktuell in den 30W+ Bereich im Idle und hier fällt der Messunterschied meiner zwei Steckdosen prozentual nicht mehr so ins Gewicht. Für Dich als Kenner habe ich aber noch zwei Messwerte... ☺️ > im Trockner-Modus bei ~1680W "Heizleistung" misst eine Steckdose 1680W und die andere 1679W. Ich habe sie einfach direkt hintereinander gehängt und dabei die Steckdose, die die niedrigeren Werte misst in die andere Messsteckdose gesteckt (Daisy-Chain), damit der Momentanverbrauch identisch war.

@MPC561 Ich habe mir schon überlegt, ein paar ohmsche Verbrauchsmessungen durchzuführen, indem ich ein Multimeter für die Strommessung dazwischenschalte. Allerdings war ich bisher immer zu faul dazu - mich hat die "ungefähre Grössenordnung" des Verbrauchs zwar schon interessiert, aber ich war doch eher auf die Vergleichbarkeit der Messungen aus. Deshalb habe ich mich für die Steckdose entschieden, die die trägste Anzeige hat...das ist zufällig die, die auch die höchsten Messwerte anzeigt. Eine genaue Messung mit einem kalibrierten Messgerät wäre aber natürlich schon schön....ich hab bloss keins. Eine 100W Glühbirne braucht halt leider auch nicht genau 100W, wie Du schon geschrieben hast und ich kenne auch keine Glühbirnen, die eine Genauigkeitsklasse aufweisen. Ein niedriginduktiver Shunt wäre vielleicht etwas? 🤔

Ich habe nur den Testbericht von Computerbase zum grösseren Bruder (850W) gelesen - dort wird aber nicht explizit auf die Verlustleistung bei einem Verbrauch von sagen wir mal 10W eingegangen. Ich habe eigene Vergleichswerte: be quiet! DARK POWER 13 750W - beim Setup mit Trendnet 10Gbe with AQC100 messe ich einen Verbrauch von 16W (sehr stabile Anzeige) Seasonic Prime Ultra Titanium (650 W) - beim Setup mit Trendnet 10Gbe with AQC100 messe ich einen Verbrauch von 13-14W (Anzeige schwankt, daher kann man von einem Wert um die 13.5W ausgehen) Das Seasonic ist in diesem Bereich offenbar 2-2.5W effizienter. Wenn ich die zusätzliche Netzwerkkarte herausziehe, fällt der Stromverbrauch um ca. 2W bei beiden Messungen. Demzufolge fällt die Effizienzkurve beider Netzteile in dem Bereich in der Tendenz etwa gleich ab. Dasselbe Bild zeigt sich bei Verwendung der X540-AT2 (rev 01) mit Verbrauchswerten um 20W (be quiet!) bzw. 17-18W (Seasonic). Mehr Vergleichsmessungen kann ich leider anbieten... Das habe ich nur mit dem be quiet! DARK POWER 13 750W probiert (das Seasonic kam erst später hinzu). Mit sämtlichen SSDs (3x SATA, 2x NVMe) lag das System so etwa bei 11-12W idle. Die Messung ist bezüglich der Genauigkeit aber etwas problematisch. Ich habe zwei baugleiche Tasmota-Steckdosen und die beiden unterscheiden sich im Niedriglastbereich "deutlich"....eins misst bis zu 1.2W niedrigere Stromaufnahme als das andere Gerät. Bei meinen Messungen habe ich immer die "schlechtere" Messung verwendet.

@DataCollector Interessant, das war mir echt neu! Bei der Nutzung meiner drei SATA SSDs fällt das gerade noch nicht auf.... 😅 In einem Setup mit 3 NVMe im RAIDz Verbund plus einem Array mit 8 SATA SSDs oder vielleicht auch 2 RAIDz würde aber auch diese Einschränkung nur in ganz seltenen Fällen zu Engpässen führen, nehme ich an. Oder was denkst Du? Alternativ könnte man ja auch einen der drei M.2 Schnittstellen des Boards für einen ASM1166 Controller verwenden und hätte dann genügend Bandbreite für 8 SSDs....wie Du schon vorgeschlagen hast.

😂 .... nice! Alternativen? - Ich finde mein Kontron Kontron K3842-Q2 und mein Gigabyte Z790 Gaming X beide ausgezeichnet, aber nur das Gigabyte Board deckt wirklich alle Anforderungen ab (wegen der 2x PCIe x4 angebundenen Slots). Was wäre denn, wenn Du Dein Setup so planst, dass Du tagsüber auf ein NVMe-SSD ZFS RAIDz schreibst und in der Nacht den Moverdienst laufen lässt? Dazu eine X540-AT2 im Server > ein Port 1:1 mit Deinem Desktop verbunden und den 2. Port am Server für den Anschluss an Deinen Router oder wie auch immer Dein Netzwerk aussieht? Dann könntest Du die Onboard-NIC am Server ausschalten....und es würde "nur" eine NIC aktiviert sein.

Hm. Den ersten Punkt sehe ich mittlerweile etwas anders...ich habe jetzt ein Kontron, ein Asus und ein Gigabyte Board getestet und alle haben ausnahmslos miese Verbrauchswerte mit 2.5 Gbe Onboard-NICs (egal ob Intel oder Realtek), weil sich bei mir die ASPM-States auf disabled verändert haben, sobald die NICs im BIOS eingeschaltet wurden. Nur die 1Gbe Onboardkarten waren sehr sparsam (beinahe nicht messbar...so um die 1 W?). Mit den Intel X710er Karten bin ich ohne weitere Einstellungen/Tweaks sowohl deutlich schneller als auch ein paar Watt sparsamer unterwegs als mit den Onboard 2.5G Karten. Die Link-Down-Situation habe ich aber nicht weiter berücksichtigt, weil ich keine 1:1 Verkabelung habe, sondern mein Switch dazwischengeschaltet ist. Der Geschwindigkeitsunterschied lag (wenn ich mich noch richtig erinnere) bei 8.4-8.7 Gbits/sec mit RJ45 zu um die 9.5 Gbits/sec mit Glasfaser. Aber auch erst, nachdem ich ziemlich teure, mechanisch sehr steife CAT 8 Kabel gekauft hatte. Mit günstigeren Cat 7 Kabeln kam ich anfangs nur auf bis zu 6.5 Gbits/sec. Ausserdem sind die Glasfaserkabel unauffälliger hinter Sockelleisten zu verlegen und weil sie so dünn sind, passen sie unter der Tür durch den Türschlitz. 😅

Jep...total! 😏 Ich hab so ein RJ45 auf SFP Adapter um meinen qhora 301w Router an mein SFP-Switch anzuschliessen und das wird superheiss (> 55°C)...und der Stromverbrauch meines Switch steigt dabei um fast 3.5 Watt, sobald ich es einstecke. Auf der anderen Seite brauchen die restlichen Netzwerkkarten mit SFP selbst dann pro Port/Karte einige Watt weniger, selbst wenn man Glasfaserkabel verwendet statt DAC (also Kupferkabel mit SFP Konnektor). Ausserdem sind meine Durchsatzmessungen bei RJ45 basiertem 10Gbe Netzwerk immer niedriger gewesen als mit den Glasfaserkabeln - gemessen mit 15m Netzwerkkabeln.

Oha...ein echtes Biest - das kannte ich noch garnich! 😎 Bezüglich Stromverbrauch kommt es immer drauf an, welcher Chipsatz, welcher Kabeltyp....ein paar reale Testwerte habe ich mal ermittelt und in diesem Thread in die Config-Datei geschrieben: Intel hat für X710 Karten auch offizielle Verbrauchswerte publiziert > https://cdrdv2-public.intel.com/641693/Intel Ethernet Converged Network Adapter X710-DA2-DA4.pdf Für eine 1:1 Verkabelung würde ich heutzutage nur noch SFP Karten und Kabel verwenden. Die bekommt man zu akzeptablen Preisen direkt aus China (meine X710er Karten haben so um die 65 EUR das Stück gekostet). Kürzere Netzwerkkarten mit AQC100-Chips kosten in China etwa genausoviel, haben nur eine PCIe x4 Länge und sind auch super sparsam, brauchen meistens aber ein paar Tweaks (sieh oben verlinkten Post von mir).

Da hast Du wohl Recht - das neue Jonsbo n4 packt z.B. zwar 8 Drives (davon 2x 2.5"), aber eben auch mATX Boards! - Auf der anderen Seite könnte man ja mit etwas Geschick und Phantasie auch ein SSD-only System mit 8x SATA SSDs in ein winziges Gehäuse bauen...? Die SDDs bräuchten eigentlich keine Kühlung und könnten deshalb extrem dicht gepackt werden. Einfach einen entsprechenden Rahmen drucken.... @_alo_ MPC561 schreibt, dass es nicht unbedingt so sein muss, dass der 1. PCIe-Slot einem den Stromverbrauch in die Höhe treibt. Es würde mich ja freuen, wenn das bei dem H670er Board auch der Fall wäre! Dein Plan mit der NIC, die sich abschaltet wenn der Link down bezieht sich aber nicht darauf, dass der Stromverbrauch der Karte dann stark sinkt, oder? Bei meiner X710-DA2 sinkt der Stromverbrauch um vielleicht 1-1.5 W, wenn ich das DAC abziehe. Aber sie schaltet sich nicht "ab" in dem Sinne dass es vergleichbar damit wäre, dass man die Karte entfernen würde. Sie ist elektrisch immer noch verbunden, braucht immer noch Strom...ist bloss im Schlafmodus.

@MPC561 Uff...genau! Ich habe jetzt insgesamt 3 Mini PCs chinesischer Machart daheim (1x J3169 und 2x N100) und alle haben ein schlecht umgesetztes BIOS, keins hat eine saubere ASPM-Implementierung. Einfach ernüchternd...

@MPC561 Das gilt IMHO für die beiden ersten Boards, die hier besprochen werden. Das dritte Board mit dem H670 (oder Q670) Chipsatz ist doch ein ganz anderes Kaliber? Ich hätte mir das H670-Board beinahe zum testen bestellt, aber da ist schlicht das Problem, dass das Board nur einen einzigen PCIe Slot hat (Mini-ITX eben) und der wird ganz sicher direkt über die CPU angebunden sein. Wenn man da eine Karte reinsteckt (egal ob SATA-Controller, NIC oder Grafikkarte), wird der PKG-C-State wohl nicht über C3 kommen - das ist der einzige Grund, warum Mini-ITX Boards nicht für mich in Frage kommen.

Crucial Pro 4x 48GB Module > CP2K48G56C46U5 Der läuft mit 1.1V verhältnismässig sparsam und bleibt kühl.

@Nasianer Bin heute früher daheim gewesen und musste sowieso am Server schrauben. Daher gibt`s die Verbrauchswerte schon heute. System: 192 GB RAM Intel 14700T 3x SATA SSDs 870 EVO SSDs von Samsung Monitor eingesteckt aber ausgeschaltet (DisplayPort) USB-Tastaturempfänger eingesteckt Array gestoppt, Messung per SSH und ohne WebUI Test 1: mit Onboard 2.5 Gbe NIC > ASPM der NIC ist disabled; C3 und 19 Watt (dauerhaft) Test 2: mit X710-DA2, 1x DAC Kabel 1m eingesteckt > ASPM durchgängig enabled, C8 17-18 Watt (schwankend) Test 3 (Array gestartet und 15 Docker + 1x Home Assistant VM laufen): mit ASUS GeForce PH RTX 3060 und X710-DA2, 1x DAC Kabel 1m eingesteckt und 2x Lexar NM790 > ASPM durchgängig enabled, Grafikkarte in C8; CPU PKG C3 36-39W (schwankend)

Oh - tatsächlich. Allerdings gefällt es mir nicht so gut wie eine Kombination aus z.B. einem i3-12100 und diesem Board hier: https://cwwk.net/products/cwwk-q670-8-bay-nas-motherboard-is-suitable-for-intel-12-13-14-generation-cpu-3x-m-2-nvme-8x-sata3-0-2x-intel-2-5g-network-port-hdmi-dp-4k-60hz-vpro-enterprise-class-commercial-nas?pr_prod_strat=collection_fallback&pr_rec_id=a62136fd7&pr_rec_pid=8736324387048&pr_ref_pid=8830928060648&pr_seq=uniform Beides zusammen ist nur wenig teurer als das N305-Board, ist aber deutlich besser ausgestattet und liesse sich auch von mild bis wild aufrüsten. Standard DIMM x2, insgesamt 3 NVME, eine PCIe X16, 8x SATA...

@MPC561 Danke für Deinen Post! Der ist sehr hilfreich für mich. 🙂 Der fehlende Schubs in die richtige Richtung für mich ist Dein Hinweis, dass meine Powertop-Version im PKG (also im Package-Bereich) falsche Werte anzeigt. Ich hatte im Review ja geschrieben, dass ich mir keinen Reim darauf machen kann wie es die CPU schaffen soll, gute Package-States zu erreichen, wenn doch ASPM disabled ist und sowohl die Netzwerkkarten als auch die NVMe nicht in Ruhezustände gelangen. Mit dem Powertop-Hinweis passt plötzlich alles zusammen > Ubuntu 24.04 zeigte ja PKG-States von C3 an (das wäre dann wohl der erreichbare "echte Package-C-State"). Ich werde vielleicht am WE nochmal ein paar Tests mit Ubuntu 24.04 machen und schauen, ob ich da mit Powertop oder TLP den Strombedarf etwas reduzieren kann. Wegen der x520er-Karte habe ich keine allzu grossen Hoffnungen. Die scheint sowieso kein ASPM zu unterstützen, aber die SSD könnte ich vielleicht per setpci in den Ruhezustand bringen, oder ich baue eine kleine mSATA-SSD ein. Der Rechner hat übrigens keinen JMB-SATA-Controller, sondern nutzt die zwei verfügbare SATA-Schnittstellen (1x mSATA Slot + 1x SATA).

Ich muss mich sowieso mal darum kümmern, die C-States zu verbessern. Ich kann das für Dich testen, wenn Du bis zum Wochenende warten kannst? Möchtest Du die Daten für das nackte System, also Idle ohne Array und Docker? 🤔

@DataCollector Den Thread kannte ich noch nicht....danke für den Hinweis! Ich habe die Kommentare allerdings nur überflogen und nicht komplett durchgelesen, aber das klingt doch sehr vielversprechend: @Timmey85 Wenn ich Deine Wunschliste richtig einschätze, dann kämen zu den 25W nochmal 1-2W für zwei HDD-Lüfter zuzüglich des Spindown-Verbrauchs Deiner Platten mit 8x 0.8W hinzu? Das wären dann etwa 9W und in Summe 34-35W Idle? Wenn Du noch eine Grafikkarte hinzufügst, einen Zusatz-SATA Controller und evtl. auf 10 Gbe aufrüstest, lägst Du also bei etwa 45-49W. Das ist nicht viel mehr als mein Setup braucht.

Das sehe ich auch so....aber ich bin auch eine Privatperson und es droht kein hoher finanzieller Schaden, falls auf dem Weg zwischen CPU/RAM und den Speichermedien Daten korrupt werden. Mehr Wert lege ich eher auf Datensicherung und neuerdings auch auf ZFS (RAIDz). Ausserdem nutze ich meinen RAM innerhalb der Standard-Specs und übertakte nicht (wenn man von dem erhöhten PL1-Wert einmal absieht).

@Timmey85 Dass Asus W680-Ace ist ja ein Workstation/Server Board und ist vermutlich nicht besonders stromsparend? Bezüglich Aufrüstbarkeit habe ich mir natürlich auch Gedanken gemacht und überlegt, dass 3 von 4 M.2-Slots auf meinem Gigabyte Board über den Chipsatz angebunden sind und deshalb die C-States nicht unbedingt aushebeln, wie das bei Lanes, die direkt über die CPU angebunden sind eben üblicherweise der Fall zu sein scheint. Kurz: Ich könnte einen der drei M.2 Slots des Chipsatzes für einen ASM1166 Controller verwenden und hätte dann insgesamt 10 SATA Ports (weil in dieser Kombi 2 der 6 SATA Ports des Boards wegfallen). Die restlichen Lanes reichen mir für Grafikkarte und LAN-Karte. Ich habe aus Stromspargründen ausserdem den Chipsatz auf PCIe 3.0 gedrosselt. Meine NVME SSDs werden bei PCIe 4.0 Anbindung super heiss und der Durchsatz liegt auch bei PCIe 3.0 über dem möglichen Netzwerkdurchsatz. Wozu bräuchtest Du PCIe 5.0...hast Du da konkrete Überlegungen, oder geht es Dir rein um die Anzahl freier Steckplätze? Sind die "oberen" x16 Steckplätze über die CPU angebunden?

@Timmey85 Ich nutze jetzt ein Gigabyte Z790 Gaming X. Das Board erreicht zwar „nur“ bis zu C8 ohne Zusatzkarten, aber es hat 6x SATA, 4x M.2 und 2x PCIe x16 (x4). Ich brauche die zwei x4 Slots für die 10Gbe Nic und die Grafikkarte (zur Beschleunigung von Spracherkennung etc.). Aktuell braucht das System mit geladenem Sprachmodell (RTX3060 12GB im C8), einer Home Assistant VM und einer grösseren Anzahl Docker Container knapp unter 40W. Allerdings ist die CPU auf ein PL1 von 60W eingestellt + Boost enabled. Denke es geht auch 5-8W sparsamer. Muss auch mal mit den M.2 Steckplätzen spielen um zu schauen, ob ich mit der aktuellen Bestückung auch höher als C6 komme. Abgesehen davon bin ich mit dem Board echt sehr zufrieden. Warum möchtest Du ein W-Board nehmen? Wegen ECC RAM? 🤔

@Timmey85 Hm...ich habe inzwischen ein anderen Mainboard eingebaut, aber der Verbrauch ohne zusätzliche NIC, nur mit 2x NVME, 3x SATA SSD über die 1Gbe-Onboard Karte lag bei 18-19W (Edit - dieser Verbrauch bezieht sich auf ein laufendes System mit 14+ Docker Containern und einer Home Assistant VM) und ich habe dabei noch C10 erreichen können. Die 2.5 Gbe-Karte macht mir die C-States kaputt...wenn die verwendet wurde, kam ich nicht über C3 (Edit - stimmt nicht...es lag sogar nur C2 drin) und der Verbrauch lag um die 24W. Reicht Dir das? 🤔