Gigabyte B760M Gaming X DDR4 Messung und SATA Erweiterung

[mgutt]

7 hours ago, Kaisar said:

However I seem to get nowhere near the power consumption of < 20 watts. I am more around 45 - 60.

Which device is used for power measurement? Did you start the array in maintenance Mode? By that Docker and vm Services are stopped, so they don't influence the measurement.

 

8 hours ago, Kaisar said:

Samsung Evo Plus 1TB NVMe

Samsung Evo Plus 1TB NVMe

Did you try to install them in the m.2 slots of the chipset?

 

8 hours ago, Kaisar said:

be quiet! Pure Power 12 M 550W

The pure Power FM should be the better choice.

 

But at the moment I think it is because of a bad measurement device as you are already reaching c8.

[Kaisar]

@mgutt thanks for the response. Via another forum is was also doing tests and trying out advise but in the end when having +- 45 watt withouth the disks attached I knew something must have been wrong. I replaced the meter and now with all dockers running and my disk array spun down I have around 18-22watts of powerusage which is very acceptable for me.

 

I would really like to thank you for doing the tests and efforts that you did and sharing this with the communicty. On a different forum we already have a couple of guys with similair builds as yours all benefitting from your information, so thank you very much!

[fschubi]

Moin Zusannen 

 

ich muss mich hier mal mir ein klinken. 

Habe meinen Unraid gerage von AMD auf Intel umgebaut. 

 

Hardware

Gigabyte B560M D3H

Intel I3-10100T

2 x 16 GB DDR4 Ram Corsair

1 NvMe Samsung  970 evoplus 1 TB

1 x Samsung 870 QVO  8 TB

Pico PSU 150 W

 

Habe das Gigabyte Board auf die neuste Firmware gebrecht und alle eintellungen aus dem 1. Post übernommen. 

 

Leider Brauche ich Docker / VM und Array aus gute 12 - 14 Watt

 

C States gehen nicht über C3

 

bei meinem Nachbarn mit der gleichen Konfiguration einzigster Unterschied das Mainboard ein MSI B560m Pro-E 

liege ich hier bei 6-7,5 watt schwankend und mit allen dockern und 2 VM`s liege ich hier dann bei 14 Watt 

 

hat einer ne idee was man bei dem Gigabyte Mainboiard noch einstellen kann / muss / sollte ?

 

vielen dank für unterstützung. 

 

 

 

[mgutt]

52 minutes ago, fschubi said:

 

C States gehen nicht über C3

Auto tune ausgeführt?

 

52 minutes ago, fschubi said:

Intel I3-10100T

iGPU Treiber installiert?

 

52 minutes ago, fschubi said:

1 NvMe Samsung  970 evoplus 1 TB

Anderen M.2 Slot getestet?

[fschubi]

Auto tune habe ich aus geführt

 

mit igpu treiber meinst du Intel-GPU-Top ?

 

es ist egal in welchem M2 slot die nvme ist

 

[mgutt]

1 minute ago, fschubi said:

Intel-GPU-Top

Ja bei powertop runterscrollen und du solltest sehen, dass die iGPU auf RC6 steht.

 

 

[fschubi]

jap den habe ich installiert gehabt 

 

die GPU steht zu 100 prozent auf RC6

 

[fschubi]

hab die M2 nochmal auf den anderen Port Gesteck da erkennt das Board sie überhaupt nicht , Bezeichnung M2A. Auf Port M2P erkenn er sie ohne Probleme 

 

habe gerade ohne die m2 gestartet keine Verbesserung ohne auto tune mx c2 nach auto tune c3

Edited September 28, 2023 by fschubi
schreibfehler

[P0t]

@mgutt

Looks interesting.

I'm looking forward to build a similar Setup.

What you think about 13600T instead of the 700T?

[Linse77]

Also ich habe folgendes Setup: Intel 13900 (ohne f k oder s), Gigabyte Z790 Gaming X, 64GB DDR 5 RAM, 6xHDD + 3xNVME, Intel ARC 750 verbaut, HDDs, im Spindown, Docker VMS alles aus....komme nicht unter 80 Watt bzw mehr als C3 ist nicht drin. Habe die gleichen BIOS EInstellungen wie im Startpost aktiviert und die iGPU läuft auch im RC6.

 

[mgutt]

5 minutes ago, Linse77 said:

Intel ARC 750

Ausbauen und vergleichen.

[Linse77]

On 10/14/2023 at 11:36 AM, mgutt said:

Ausbauen und vergleichen.

Damit komm ich auf 35-50 Watt, aber nicht über C3. Ist auch eine A380 und keine 750! Verwechselt

 

Und bei meiner Mellanox 10G Karte steht auch Disabled

 

 

 

P.S: musst im BIOS HotPlug und DEVSlp in den Bios Sata Einstellungen deaktivieren....der PC startete ständig neu

PS2: daran lag es nun auch nicht, irgendeine BIOS EInstellung aus dem Startpost lässt den jetzt inaktiv werden und der bootet neu

Edited October 15, 2023 by Linse77

[jj1987]

4 hours ago, Linse77 said:

Und bei meiner Mellanox 10G Karte steht auch Disabled

Das ist leider so. Deswegen ist die bei mir wieder rausgeflogen 

[boyish-stair3681]

On 4/28/2023 at 1:35 AM, mgutt said:

Ich versuche mich gerade an der 13ten Intel Generation. Ziel ist es ein günstiges Board mit 2.5G LAN und 4x SATA mit einer SATA Karte so zu erweiteren, dass das Setup trotzdem noch wenig Strom verbraucht (um überhaupt als Heimserver in Frage zu kommen). Das Ziel wäre ein Leerlaufverbrauch unterhalb von 10W.

Hast bzw. hattest du eine 2.5GBe Verbindung bestehen?

Edited November 3, 2023 by boyish-stair3681

[mgutt]

2 minutes ago, boyish-stair3681 said:

Hast bzw. hattest du eine 2.5GBe Verbindung bestehen?

Nein. Aber im Leerlauf geht es auch bei 2.5G sehr weit runter. Vorausgesetzt Karte und Switch unterstützen 802.3az (EEE)

 

Mein Tipp nach mehreren Messungen ist der QNAP QSW-2104-2T welcher bei 1G + 2x 2.5G nur 6,22W zieht. Bei 1G + 2.5G + 10G auch nur 6.43W. Ohne EEE jeweils plus 1W (beide Seiten, also auch beim Server).

[boyish-stair3681]

Ich habe jetzt ebenfalls das Board (*) und habe den Verdacht, dass eine 2.5 GBe-Verbindung tiefere C-States als C3 verhindert. Ich nutze zwar TrueNAS Scale, das aber ebenfalls ein Linux ist und daher keine großen Unterschiede machen dürfte. Als ich eben das Netzwerkkabel abgezogen habe, ging C8. Jetzt stecke ich gerade auf 1 GBe um. Edit: scheint keinen Unterschied zu machen.

Mein verwendeter Switch: MS510TX von Netgear. Nach 802.3az (EEE) muss ich schauen.

Danke für den Tipp mit dem Switch.

 

 

(*)
bequiet pure power 12 m
B760M Gaming X DDR4
Intel Core i3-12100
970 EVO Plus
Crucial DIMM 32GB, DDR4-3200, CL22-22-22

(Weitere HDDs und NVMe-SSD liegen hier aber sind noch nicht angeschlossen)

 

Edit:

ASPM ist für den Ethernet Controller und eine PCI Bridge nicht aktiviert (getestet mit TrueNAS Scale und aktuellem Ubuntu und dem aktuellem UEFI/BIOS). Finde ich seltsam, dass ihr das Problem offenbar nicht hattet?

sudo lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM |Disabled;|Enabled;)'

 

Edit 2:

Mit Unraid funktioniert ASPM OOTB. Seltsam!?

TueNAS Scale nutze ich insbesondere wegen ZFS. Ich würde auch Unraid nutzen, wenn es ZFS gut genug unterstützt. Scheint mir aktuell aber noch nicht der Fall zu sein, z.B. "ZFS native encryption is not supported at this time." In Zukunft sieht das dann aber vielleicht mal anders aus.

 

Edit 3:

Unter TrueNAS Scale habe ich es geschafft ASPM manuell zu aktivieren. 

=> echo 1 > /sys/bus/pci/devices/0000:03:00.0/link/l1_aspm

 

Edit 4: 

Das manuelle Aktivieren von ASPM hat dazu geführt, dass der Rechner sich ab und an neugestartet hat. Daher ist das keine Lösung, auch wenn der Verbrauch dann ziemlich gut war.

 

Edit 5: Möglicherweise würde es jetzt auch diese Probleme mit Unraid geben? Getestet habe ich es nicht aber mit einem anderen Board geht mit der neuen Unraid-Version offenbar auch kein ASPM mit dem Realtek NIC mehr: 

 

Edited November 30, 2023 by boyish-stair3681
Ergänzung

[eLpresidente]

On 11/3/2023 at 5:26 PM, boyish-stair3681 said:

Ich habe jetzt ebenfalls das Board (*) und habe den Verdacht, dass eine 2.5 GBe-Verbindung tiefere C-States als C3 verhindert. 

Das kann ich bei meinem jetzigen Board bestätigen, als ich den 2,5gb switch gekauft habe, ging die C-States nicht mehr über C3 hinaus, wenn ich direkt in der Fritzbox war, dann wieder C8.. 

Board: Gigabyte Technology Co., Ltd. B760I AORUS PRO DDR4 mit dem intel nic i266

 

[boyish-stair3681]

Die Fritz!Box hat vermutlich _kein_ 2.5 GBe.

 

Ich hatte kurze Tests gemacht. 

Sofern ich es noch richtig in Erinnerung habe, lief ASPM und damit auch tiefe c-states out-of-the box mit Unraid (der Version, die Anfang November aktuell war - mag mit aktueller Version wieder anders sein) und der Beta von Fedora. In der aktuellen TrueNAS Scale Version, dem aktuellen Ubuntu und ich glaube auch Debian (TrueNAS Scale basiert auf debian) ging kein ASPM out-of-the-box.

 

 

 

Edited November 30, 2023 by boyish-stair3681

[eLpresidente]

28 minutes ago, boyish-stair3681 said:

Die Fritz!Box hat vermutlich _kein_ 2.5 GBe.

meine schon..  zumindest 1x LAN von den 4.

 

Mal kurz was anderes.. das Board was ich oben gepostet habe.. versteh ich das Richtig.. 

der hat einmal PCI mit 16 Lanes und 2x PCI mit 1 Lane oder?

 

 

ich würde gern irgendwann ne Grafikkarte und ein 10gb NIC betreiben.. ich glaub der 10GB NIC braucht 4 Lanes oder?

[DataCollector]

4 hours ago, eLpresidente said:

der hat einmal PCI mit 16 Lanes und 2x PCI mit 1 Lane oder?

 

Ohne mir das Mainboard angesehen zu haben und nur aus dem Screenshot heraus: Ja.

 

Eine heute verfügbare 10GBLan Karte wird mit mindestens 4 Lanes angeboten (es gibt auch einige mit 8 Lanes) und die laufen meines Wissens nach alle mit PCIe 3.0 (wozu das PCIe 4.0 kompatibel ist).

Sofern Du dafür also nicht einen vielleicht vorhandenen M.2 NVMe/PCIe Steckplatz adaptieren & opfern willst wirst Du die 10GBLan wohl im CPU angebundenen x16 Slot betreiben müssen, wodurch die CPU kaum in tiefere Schlafzustände kommen wird.

Wie gesagt, ich habe Deine Hardware jetzt nicht genau betrachtet: Sollte Dein Mainboard+CPU vielleicht Bifurcation beherrschen kannst Du den PCIe Slot vielleicht damit aufsplitten.

Alternativ kannst Du auch eine PCIe Switchkarte in den x16 Slot einsetzen, was aber auch einiges an mechanischem & elektrischem Adaptieren notwendig macht und den Stromverbrauch weiter hebt.

 

Grafikkarten (wenn man keinen großen Datentransfer braucht) hingegen, fühlen sich auch mit x1 Anbindungen wohl. Zehntausende/hunderttausende von Minern haben es ja vorgemacht. 

Edited December 1, 2023 by DataCollector

[pappaq]

On 4/30/2023 at 3:28 AM, mgutt said:

Es erforderte ein Firmware Update, aber nun konnte ich C8 im unteren PCIe Slot mit einer ASM1166 Karte erreichen:

 

NVMe + ASM1166 PCIe X4 Karte (Slot 2) + SATA SSD

ASM1166 Karte wurde erst nach Firmware-Update erkannt

9.5 W

C8

 

Bei der Karte "I156-B00" handelt es sich um die PE-156 von Lycom, die ohne nervige LEDs auskommt. Die gibt es auch als Delock 89042 oder Ableconn PEX-SA156 oder Renkforce RF-4599662 oder Startech 6P6G-PCIE-SATA-CARD oder KALEA-INFORMATIQUE 11261040 🤪

 

Direkt aus China gibt es ansonsten ASM1166 Karten ab 30 €. Wobei ich hier gerade eine echt günstige M.2 Karte für 18 € gefunden habe.

Ich bin gerade dabei auf einen Intel i3 12100 Build umzusteigen. Auf dem Foto sehe ich, dass auf dem Board auch noch eine NVME M2A_CPU Slot steckt. Verhindert diese nicht C8?

Ich brauche 16 Sata Anschlüsse + 1x nvme in meiner jetzigen Konfiguration und frage mich, ob ich das Board entsprechend so bestücken könnte deiner Meinung nach und weiterhin C8 erreichen können würde?

[Chr1sch]

Kommt vermutlich stark auf die NVMe an. Bei meinem Gigabyte B760I Board hatte ich die NVMe anfangs auch zum testen in den M2A_CPU und C8 wurde trotzdem ohne Probleme erreicht. Hab die NVMe letzten Endes nur in den M2A_SB gesteckt weil der auf der Rückseite vom Board ist und ich keine Lust habe wenn ich noch eine 2te einbauen möchte extra das Board auszubauen.

[pappaq]

Hey, danke für die schnelle Antwort! Welche SSD war das? Ich habe zur Zeit eine WD Black SN850X, die ich aber noch zurückgeben kann. Habe hier schon gelesen, dass die Samsungs gut funktionieren sollen?

 

Wäre natürlich krass das Board mit den ganzen Komponenten bestücken zu können und trotzdem C8 zu erreichen!

[Chr1sch]

Ich hab noch ne was ältere Kingston A2000 NVMe welche als Cache dient. Bzgl. aktuellere NVMe's gibts hier aber bestimmt noch mehr Infos. Der @mgutt hat ja auch ne Samsung verbaut und erreicht damit C8 👍

[boyish-stair3681]

Der Realtek NIC ist je nach verwendetem Betriebssystem der Spielverderber! 

Es kann sein, dass mit der aktuellen Unraid-Version auch kein ASPM mit dem Realtek NIC mehr geht. Zumindest bei einem N100 Board scheint es auf einmal so zu sein, dass ASPM nicht mehr geht (siehe einer der N100er Threads).

Edit:

Siehe https://forums.unraid.net/topic/143055-asrock-n100dc-testmessungen/?do=findComment&comment=1332311

Edited December 2, 2023 by boyish-stair3681