Kontron K3842-Q2 mit verschiedenen Nics

[SebastianSchmidt]

Hallo 

Ich habe auf der Suche nach der "besten" NIC heute einige Tests gemacht und möchte die Ergebnisse gerne mit Euch teilen.

 

Meine Hardware:

• Kontron K3842-Q2 (Bios Version V5.0.0.27 R2.12.0 for K3842-Q2x)
• Intel i7-14700t (der war leicht günstiger als ein 14700k - also keine komischen Fragen diesbezüglich, bitte) 😉
• 192 GiB DDR5 (50CR9656-2046PRO)
• 2x Lexar 790 2TB (ZFS Cache) mit PCIe 3.0 angesteuert
• 3x SATA Samsung 870 EVO 4TB
• 1x SATA SanDisk SSD Plus 2TB
• be quiet! DARK POWER 13 750W
• VM und Docker ausgeschaltet
• Powertop auto-tune

 

Anbei der Teil meines /boot/config/go Files mit den Testergebnissen und den notwendigen setpci-Settings um ASPM einzuschalten. Achtung > für die 10Gbe NIC mit AQC100 Chipsatz musste ich noch einen Kernel-Parameter mitgeben, weil mein Log-File sonst mit PCI-Fehlermeldungen geflutet wurde.

 

#--------------------------------------------------
# NIC Tweaks for ASPM
# Requires kernel parameter "pci=nommconf"
#
# Notes:
# - Trendnet 10Gbe with AQC100, native x4 in x4-slot / 16W supports C10 > requires ASPM tweak + kernel parameter "PCI=nommconf"
# - Realtek RTL8125 2.5Gbe (rev 05), native x1 in x1-slot / 15W supports C6 > requires ASPM tweak
# - Intel Corporation Ethernet Controller 10-Gigabit X540-AT2 (rev 01), native x8 in x4-slot / 20W supports C6 > ASPM L1 works
# - Intel Corporation Ethernet Controller I226-V 2.5Gbe (rev 04), native x1 in x1-slot / 14W supports C6 > ASPM L1
#   >> system hangs when this card is inserted but onboard gigabit card is used for GUI and measurement
# - Onboard  Intel Corporation Ethernet Controller I225-LM (rev 03) / 19W supports C2 > ASPM L1.1+
#
#--------------------------------------------------

#setpci -s 00:1a.0 0x50.B=0x43 # PCIe x16 (x4) slot
#setpci -s 00:1c.0 0x50.B=0x43 # PCIe x1 slot 2 (bottom)

#setpci -s 03:00.0 0x50.B=0x43 # Trendnet PCIe 10Gbe NIC with AQC100 chipset
#setpci -s 03:00.0 0x80.B=0x43 # Realtek RTL8125 2.5GbE Controller (rev 05)

 

 

Ich warte derzeit noch auf eine X710-DA2 10G SFP+ 2PORT > das ist eine x8 Karte, die ich aber in einen x4 Slot stecken werde, weil der über den Chipsatz angebunden ist.

 

Vielleicht nützen jemandem hier ja meine Notizen. 

 

Langzeittests der AQC100 kann ich leider nicht anbieten, weil das meine erste und einzige SFP-Karte ist und ich hier auch noch auf DAC-Kabel und Switch warte. 

 

Bei Interesse melde ich hier meine Ergebnisse zurück.

 

Grüsse, Sebastian

 

EDIT:

Damit alle Verbrauchswerte untereinander vergleichbar sind, habe ich bei den Tests immer nur die Onboard 1Gbit NIC verwendet, ausser bei den Tests mit der I226-V NIC, da hing das System nach dem Booten sofort und ich konnte nur testen, wenn ich das Netzwerkkabel in die I226-V NIC eingesteckt habe. 

 

Edited May 8 by SebastianSchmidt

[Timmey85]

Hallo,

 

hast du mal die Ergebnisse? Grade der Stromverbrauch ohne PCIe Netzwerkkarte wäre für mich von Interesse

 

Danke

 

Tim

[SebastianSchmidt]

@Timmey85 Hm...ich habe inzwischen ein anderen Mainboard eingebaut, aber der Verbrauch ohne zusätzliche NIC, nur mit 2x NVME, 3x SATA SSD über die 1Gbe-Onboard Karte lag bei 18-19W  (Edit - dieser Verbrauch bezieht sich auf ein laufendes System mit 14+ Docker Containern und einer Home Assistant VM) und ich habe dabei noch C10 erreichen können. Die 2.5 Gbe-Karte macht mir die C-States kaputt...wenn die verwendet wurde, kam ich nicht über C3 (Edit - stimmt nicht...es lag sogar nur C2 drin) und der Verbrauch lag um die 24W.

 

Reicht Dir das? 🤔

Edited June 9 by SebastianSchmidt
Ergänzung wegen "hohem Idle-Wert" und falschem C-State bei 2.5Gbe-Nutzung

[Timmey85]

1 hour ago, SebastianSchmidt said:

@Timmey85 Hm...ich habe inzwischen ein anderen Mainboard eingebaut, aber der Verbrauch ohne zusätzliche NIC, nur mit 2x NVME, 3x SATA SSD über die 1Gbe-Onboard Karte lag bei 18-19W  (Edit - dieser Verbrauch bezieht sich auf ein laufendes System mit 14+ Docker Containern und einer Home Assistant VM) und ich habe dabei noch C10 erreichen können. Die 2.5 Gbe-Karte macht mir die C-States kaputt...wenn die verwendet wurde, kam ich nicht über C3 (Edit - stimmt nicht...es lag sogar nur C2 drin) und der Verbrauch lag um die 24W.

 

Reicht Dir das? 🤔

 

@SebastianSchmidt Ja das Reicht mir, darf ich fragen, welches Board du jetzt drin hast? Weil mir schwebt ein Setup mit dem 14700 und wahrscheinlich ein W680 Chipsatz vor, bin mir da aber nicht sicher.

[SebastianSchmidt]

@Timmey85 Ich nutze jetzt ein Gigabyte Z790 Gaming X.

 

Das Board erreicht zwar „nur“ bis zu C8 ohne Zusatzkarten, aber es hat 6x SATA, 4x M.2 und 2x PCIe x16 (x4). Ich brauche die zwei x4 Slots für die 10Gbe Nic und die Grafikkarte (zur Beschleunigung von Spracherkennung etc.).

Aktuell braucht das System mit geladenem Sprachmodell (RTX3060 12GB im C8), einer Home Assistant VM und einer grösseren Anzahl Docker Container knapp unter 40W. Allerdings ist die CPU auf ein PL1 von 60W eingestellt + Boost enabled.

 

Denke es geht auch 5-8W sparsamer. Muss auch mal mit den M.2 Steckplätzen spielen um zu schauen, ob ich mit der aktuellen Bestückung auch höher als C6 komme.

 

Abgesehen davon bin ich mit dem Board echt sehr zufrieden. 
 

Warum möchtest Du ein W-Board nehmen? Wegen ECC RAM? 🤔

[Timmey85]

@SebastianSchmidt Danke. Auch für die Messungen.

 

Meine recherchen haben ergeben, dass ECC bei Unraid nicht unbedingt sein muss, oder ich habe ich was falsch verstanden?

 

Der W680 ist grade mit dem Asus W680-Ace finde ich Interresant. Weil 2x 2,5GBe, 3x NVMe und 8x Sata finde ich sehr nice, Ich brauche kein 10GBe.

 

Auch die Erweiterungsmöglichkeiten mit den 2x 16x PCIe 5.0 (wenn beide belegt sind x8) Sowie den 2x x4 PCIe 3.0 (16er Länge) und dem 3.0 x1 Slot finde gut, da man nie weiß, was noch so kommt.

 

Bin aber auch für alternativen zu haben.

[SebastianSchmidt]

@Timmey85 Dass  Asus W680-Ace ist ja ein Workstation/Server Board und ist vermutlich nicht besonders stromsparend? Bezüglich Aufrüstbarkeit habe ich mir natürlich auch Gedanken gemacht und überlegt, dass 3 von 4 M.2-Slots auf meinem Gigabyte Board über den Chipsatz angebunden sind und deshalb die C-States nicht unbedingt aushebeln, wie das bei Lanes, die direkt über die CPU angebunden sind eben üblicherweise der Fall zu sein scheint.

Kurz: Ich könnte einen der drei M.2 Slots des Chipsatzes für einen ASM1166 Controller verwenden und hätte dann insgesamt 10 SATA Ports (weil in dieser Kombi 2 der 6 SATA Ports des Boards wegfallen). Die restlichen Lanes reichen mir für Grafikkarte und LAN-Karte.

 

Ich habe aus Stromspargründen ausserdem den Chipsatz auf PCIe 3.0 gedrosselt. Meine NVME SSDs werden bei PCIe 4.0 Anbindung super heiss und der Durchsatz liegt auch bei PCIe 3.0 über dem möglichen Netzwerkdurchsatz. Wozu bräuchtest Du PCIe 5.0...hast Du da konkrete Überlegungen, oder geht es Dir rein um die Anzahl freier Steckplätze? Sind die "oberen" x16 Steckplätze über die CPU angebunden?

[SebastianSchmidt]

55 minutes ago, Timmey85 said:

Meine recherchen haben ergeben, dass ECC bei Unraid nicht unbedingt sein muss, oder ich habe ich was falsch verstanden?

Das sehe ich auch so....aber ich bin auch eine Privatperson und es droht kein hoher finanzieller Schaden, falls auf dem Weg zwischen CPU/RAM und den Speichermedien Daten korrupt werden. Mehr Wert lege ich eher auf Datensicherung und neuerdings auch auf ZFS (RAIDz). Ausserdem nutze ich meinen RAM innerhalb der Standard-Specs und übertakte nicht (wenn man von dem erhöhten PL1-Wert einmal absieht). 

 

[Timmey85]

Die Beiden PCIe 5.0 Steckplätze sind über die CPU angebunden.  Die M2 Plätze soweit ich das beurteilen kann alle über den Chipsatz.

 

Auf das letzte W kommt es mir nicht an.

 

Ich habe jetzt einen 8700k mit 4x16GB Ram und 2 NVMes, 2 Sata SSDs und ins insgesamt 126 TB in 8 Sata festplatten. Die nächste Sata Platte liegt hier schon rum. Alle Sata Laufwerke laufen auf einen SAS Kontroler. Dieses Setup braucht IDLE 55W im Spindown. Ich erreiche damit C3 (höhere Stats blockiert der SAS Controler).

 

Ich brauche aber mehr CPU Leistung, da ich 2-4 Gameserver hosten will.

[DataCollector]

3 hours ago, Timmey85 said:

Der W680 ist grade mit dem Asus W680-Ace finde ich Interresant. Weil 2x 2,5GBe, 3x NVMe und 8x Sata finde ich sehr nice, Ich brauche kein 10GBe.

Kennste den schon:

https://forums.unraid.net/topic/156467-nur-c-state-c2-mit-asus-pro-ws-w680m-ace-se/

 

Edited June 10 by DataCollector

[SebastianSchmidt]

@DataCollector Den Thread kannte ich noch nicht....danke für den Hinweis!

 

Ich habe die Kommentare allerdings nur überflogen und nicht komplett durchgelesen, aber das klingt doch sehr vielversprechend:

Quote

....beiden M.2 Slots belegt: C3 und im Spindown minimum 25W

 

@Timmey85 Wenn ich Deine Wunschliste richtig einschätze, dann kämen zu den 25W nochmal 1-2W für zwei HDD-Lüfter zuzüglich des Spindown-Verbrauchs Deiner Platten mit 8x 0.8W hinzu? Das wären dann etwa 9W und in Summe 34-35W Idle?

Wenn Du noch eine Grafikkarte hinzufügst, einen Zusatz-SATA Controller und evtl. auf 10 Gbe aufrüstest, lägst Du also bei etwa 45-49W. Das ist nicht viel mehr als mein Setup braucht. 

Edited June 10 by SebastianSchmidt
Antwort an falsche Person gerichtet (sorry DataCollector!)

[Nasianer]

9 hours ago, SebastianSchmidt said:

Aktuell braucht das System mit geladenem Sprachmodell (RTX3060 12GB im C8), einer Home Assistant VM und einer grösseren Anzahl Docker Container knapp unter 40W. Allerdings ist die CPU auf ein PL1 von 60W eingestellt + Boost enabled.

Darf ich fragen, was du ohne GPU verbrauchst? Oder was du schätzt?

[SebastianSchmidt]

2 hours ago, Nasianer said:

Darf ich fragen, was du ohne GPU verbrauchst? Oder was du schätzt?

Ich muss mich sowieso mal darum kümmern, die C-States zu verbessern. Ich kann das für Dich testen, wenn Du bis zum Wochenende warten kannst? Möchtest Du die Daten für das nackte System, also Idle ohne Array und Docker? 🤔

[Timmey85]

6 hours ago, DataCollector said:

Kennste den schon:

https://forums.unraid.net/topic/156467-nur-c-state-c2-mit-asus-pro-ws-w680m-ace-se/

 

@DataCollector Ja danke, den hab ich schon ausführlich gelesen. Werde mich da auch nochmal an den TE wenden. Hab Ihn nur vergessen^^

 

6 hours ago, SebastianSchmidt said:

@Timmey85 Wenn ich Deine Wunschliste richtig einschätze, dann kämen zu den 25W nochmal 1-2W für zwei HDD-Lüfter zuzüglich des Spindown-Verbrauchs Deiner Platten mit 8x 0.8W hinzu? Das wären dann etwa 9W und in Summe 34-35W Idle?

Wenn Du noch eine Grafikkarte hinzufügst, einen Zusatz-SATA Controller und evtl. auf 10 Gbe aufrüstest, lägst Du also bei etwa 45-49W. Das ist nicht viel mehr als mein Setup braucht. 

@SebastianSchmidt Eine Graka brauche ich stand jetzt nicht, als Sata Controller würde ich dann vermutlich auf einen ASM1166 wechseln und so den Raidcontroller los werden. Und ganz viel später vllt. einen weiteren ASM1166 in eine der x4 Slots unten. Außerdem denke ich, dass mir die beiden 2,5GBe Ports reichen würden. 

 

Aber mal abwarten, das Upgrade steht vermutlich erst zu Weihnachten an.

[Nasianer]

17 hours ago, SebastianSchmidt said:

Ich muss mich sowieso mal darum kümmern, die C-States zu verbessern. Ich kann das für Dich testen, wenn Du bis zum Wochenende warten kannst? Möchtest Du die Daten für das nackte System, also Idle ohne Array und Docker? 🤔

Ach klar. Bei mir eilt es nicht. 🙂

[SebastianSchmidt]

@Nasianer Bin heute früher daheim gewesen und musste sowieso am Server schrauben. Daher gibt`s die Verbrauchswerte schon heute.

 

System:

• 192 GB RAM
• Intel 14700T
• 3x SATA SSDs 870 EVO SSDs von Samsung
• Monitor eingesteckt aber ausgeschaltet (DisplayPort)
• USB-Tastaturempfänger eingesteckt
• Array gestoppt, Messung per SSH und ohne WebUI

 

Test 1: mit Onboard 2.5 Gbe NIC > ASPM der NIC ist disabled; C3 und 19 Watt (dauerhaft)

Test 2: mit X710-DA2, 1x DAC Kabel 1m eingesteckt > ASPM durchgängig enabled, C8 17-18 Watt (schwankend)

 

Test 3 (Array gestartet und 15 Docker + 1x Home Assistant VM laufen): mit ASUS GeForce PH RTX 3060 und X710-DA2, 1x DAC Kabel 1m eingesteckt und 2x Lexar NM790 > ASPM durchgängig enabled, Grafikkarte in C8; CPU PKG C3 36-39W (schwankend)

Edited June 12 by SebastianSchmidt
Test 3 ergänzt

[Timmey85]

17 minutes ago, SebastianSchmidt said:

System:

• 192 GB RAM

Welcher Speicher ist das? War das ein Set oder 4x Einzelmodul?

[SebastianSchmidt]

4 minutes ago, Timmey85 said:

Welcher Speicher ist das? War das ein Set oder 4x Einzelmodul?

Crucial Pro 4x 48GB Module > CP2K48G56C46U5

 

Der läuft mit 1.1V verhältnismässig sparsam und bleibt kühl. 

[mgutt]

On 5/8/2024 at 11:35 PM, SebastianSchmidt said:

• be quiet! DARK POWER 13 750W
•  

 

Wurde das schon in Sachen Low Load getestet? Bei Be Quiet ist ja leider nicht jedes Modell in der Hinsicht gut. Evtl verschenkst du da schon 3 bis 4W.

[mgutt]

On 5/8/2024 at 11:35 PM, SebastianSchmidt said:

• 2x Lexar 790 2TB (ZFS Cache) mit PCIe 3.0 angesteuert
•  

Je nachdem wie sich ZFS verhält, könnte es sein, dass die NVMe nie in den tiefen Schlafzustand verfallen. Hast du es mal ohne probiert? Das sollte man eh, also mit möglichst wenig Datenträgern anfangen und sich dann langsam vorantasten.

[SebastianSchmidt]

9 hours ago, mgutt said:

Wurde das schon in Sachen Low Load getestet?

Ich habe nur den Testbericht von Computerbase zum grösseren Bruder (850W) gelesen - dort wird aber nicht explizit auf die Verlustleistung bei einem Verbrauch von sagen wir mal 10W eingegangen.

 

Ich habe eigene Vergleichswerte:

• be quiet! DARK POWER 13 750W - beim Setup mit Trendnet 10Gbe with AQC100 messe ich einen Verbrauch von 16W (sehr stabile Anzeige)

• Seasonic Prime Ultra Titanium (650 W) - beim Setup mit Trendnet 10Gbe with AQC100 messe ich einen Verbrauch von 13-14W (Anzeige schwankt, daher kann man von einem Wert um die 13.5W ausgehen)

Das Seasonic ist in diesem Bereich offenbar 2-2.5W effizienter.  Wenn ich die zusätzliche Netzwerkkarte herausziehe, fällt der Stromverbrauch um ca. 2W bei beiden Messungen. Demzufolge fällt die Effizienzkurve beider Netzteile in dem Bereich in der Tendenz etwa gleich ab.

 

Dasselbe Bild zeigt sich bei Verwendung der X540-AT2 (rev 01) mit Verbrauchswerten um 20W (be quiet!) bzw. 17-18W (Seasonic). Mehr Vergleichsmessungen kann ich leider anbieten...

 

9 hours ago, mgutt said:

Je nachdem wie sich ZFS verhält, könnte es sein, dass die NVMe nie in den tiefen Schlafzustand verfallen. Hast du es mal ohne probiert?

Das habe ich nur mit dem be quiet! DARK POWER 13 750W probiert (das Seasonic kam erst später hinzu). Mit sämtlichen SSDs (3x SATA, 2x NVMe) lag das System so etwa bei 11-12W idle. Die Messung ist bezüglich der Genauigkeit aber etwas problematisch. Ich habe zwei baugleiche Tasmota-Steckdosen und die beiden unterscheiden sich im Niedriglastbereich "deutlich"....eins misst bis zu 1.2W niedrigere Stromaufnahme als das andere Gerät. Bei meinen Messungen habe ich immer die "schlechtere" Messung verwendet.

Edited June 17 by SebastianSchmidt

[MPC561]

43 minutes ago, SebastianSchmidt said:

Ich habe zwei baugleiche Tasmota-Steckdosen und die beiden unterscheiden sich im Niedriglastbereich "deutlich"....eins misst bis zu 1.2W niedrigere Stromaufnahme als das andere Gerät. Bei meinen Messungen habe ich immer die "schlechtere" Messung verwendet.

Wie sagte mein alter Messtechnik Professor immer so schön: "Wer misst misst Mist."

 

Im Niedriglastbereich hat man schon starke Streuungen bei günstigen Messgeräten. Ich habe selber mit 2 Messgeräten beim selben MiniPC einmal 2,7W und einmal 3,7W Stromaufnahme im Idle gemessen. Was ist jetzt richtig? Ich glaube die 2,7W weil ich mit dem Messgerät auch andere Boards ausgemessen habe deren Werte mir von Forenkollegen die die gleichen hatten bestätigt wurden. Ich schreibe ich "glaube" weil der Lastbereich mit 2,7W rum trotzdem ungenau sein kann. 

 

Wichtig für Dich: Immer mit dem gleichen Messgerät. Dann hast Du zumindest "halbwegs" Vergleichbarkeit wenn zwei Sachen sich im gleichen Lastbereich bewegen.

 

 

Die Tasmota Dosen hast Du mit einer rein ohmschen Last (100W Glühbirne die einige Zeit lief sprich warm ist) mal kalibriert? Das "soll" helfen...

 

Edited June 17 by MPC561

[SebastianSchmidt]

@MPC561 Ich habe mir schon überlegt, ein paar ohmsche Verbrauchsmessungen durchzuführen, indem ich ein Multimeter für die Strommessung dazwischenschalte. Allerdings war ich bisher immer zu faul dazu - mich hat die "ungefähre Grössenordnung" des Verbrauchs zwar schon interessiert, aber ich war doch eher auf die Vergleichbarkeit der Messungen aus. Deshalb habe ich mich für die Steckdose entschieden, die die trägste Anzeige hat...das ist zufällig die, die auch die höchsten Messwerte anzeigt. 

 

Eine genaue Messung mit einem kalibrierten Messgerät wäre aber natürlich schon schön....ich hab bloss keins. Eine 100W Glühbirne braucht halt leider auch nicht genau 100W, wie Du schon geschrieben hast und ich kenne auch keine Glühbirnen, die eine Genauigkeitsklasse aufweisen. Ein niedriginduktiver Shunt wäre vielleicht etwas? 🤔

[MPC561]

@SebastianSchmidt

 

Ich glaube Du hast mich missverstanden.

 

Es geht nicht darum das die Dosen total genau messen im LowLast Bereich. Dazu wäre eine 100W Glühbirne sowieso nicht geeignet. Übrigens haben die ziemlich genau 100W und selbst wenn eine mal 102W haben sollte ist das ein Messfehler von nur 2% rum.

 

Es geht darum alle Tasmota Dosen mit der gleichen 100W Glühbirne (warm) zu Kalibrieren damit Du eben nicht mehr mit einer 90W und der anderen 100W misst. Und auch im Lowlastbereich werden die Ergebnisse von Messungen mit hoher Wahrscheinlichkeit näher beieinander liegen.

 

Gruss,

Joerg

[SebastianSchmidt]

5 minutes ago, MPC561 said:

Es geht darum alle Tasmota Dosen mit der gleichen 100W Glühbirne (warm) zu Kalibrieren damit Du eben nicht mehr mit einer 90W und der anderen 100W misst.

 

Ahso...naja, ich habe keine vergleichbaren Geräte, die ich messen müsste. Eine der Steckdosen hängt normalerweise an meiner Waschmaschine, um über den aktuellen Verbrauch Aktionen und Meldungen über den Waschzustand auslesen zu können. Meine Home Assistant VM informiert mich auf diese Weise, wenn die Wäsche fertig ist.

 

Den möglichst exakten "echten Verbrauchswert" (oder Kalibrationswert) für die Nutzung mit einem PC-Netzteil wüsste ich zwar schon gerne, aber der Server ist ja leider kein reiner ohmischer Verbraucher - daher meine Überlegung mit dem Shunt.

 

Ich muss aber sagen, dass mich die Messsituation nicht sonderlich stört weil es für mich eher unerheblich ist, ob der Server im Idle jetzt 9w oder 11w verbraucht. Es ist höchstens ein bisschen schade, dass ich hier im Forum nur "relative" Werte angeben kann. Deshalb habe ich auf die Messunsicherheit hinweisen wollen. 🤷‍♂️
Bezüglich Stromsparmassnahmen bin ich zwar nicht ignorant, aber für meine Anwendungszwecke brauche ich ja ohnehin eine Grafikkarte und eine zusätzliche NIC. Dadurch rutsche ich verbrauchsmässig aktuell in den 30W+ Bereich im Idle und hier fällt der Messunterschied meiner zwei Steckdosen prozentual nicht mehr so ins Gewicht.

Für Dich als Kenner habe ich aber noch zwei Messwerte... ☺️ > im Trockner-Modus bei ~1680W "Heizleistung" misst eine Steckdose 1680W und die andere 1679W. Ich habe sie einfach direkt hintereinander gehängt und dabei die Steckdose, die die niedrigeren Werte misst in die andere Messsteckdose gesteckt (Daisy-Chain), damit der Momentanverbrauch identisch war.