Gigabyte B760M Gaming X DDR4 Messung und SATA Erweiterung

[pappaq]

Da gibt es so viele Faktoren, dass es schon schwierig ist den ganzen Aufwand für ein paar Watt im Jahr zu rechtfertigen...Aber plane jetzt mit:

Board:

https://www.amazon.de/dp/B0BPMK4MJV/?coliid=I1UEIFGGN3I31F&colid=1Y80W1IS2T62H&psc=1&ref_=list_c_wl_lv_ov_lig_dp_it

PCIe Controller:

https://www.amazon.de/dp/B08F56WKW7/?coliid=I1MHSRJ23IIVBI&colid=1Y80W1IS2T62H&psc=1&ref_=list_c_wl_lv_ov_lig_dp_it

M.2 Controller:

https://www.amazon.de/dp/B0BVMC37SX/?coliid=I1DQ62N6SKOF3A&colid=1Y80W1IS2T62H&psc=1&ref_=list_c_wl_lv_ov_lig_dp_it

 

Ich bin auf Unraid 6.12.5, da ich inzwischen ZFS nutze. Mein HBA H310 von Dell verbraucht wirklich viel und soll raus.

Bezüglich des Realtek NICs gibt es leider keine Alternative die irgendwie kostenmäßig in die Rechnung passen würde.

 

Ziel ist es also C8 unter Unraid 6.12.5 mit insgesamt 10HDDs und 6 Sata SSDs und einer NVMe auf dem Board zu erreichen...Mal sehen, ob das klappt!

 

Zur Zeit läuft das alles auf einem ASUS PRIME B760-PLUS Gaming (https://www.amazon.de/dp/B0BRYY69YD?psc=1&ref=ppx_yo2ov_dt_b_product_details) mit DDR5, das ich aber leider nicht über C3 bekomme, selbst ohne den HBA. Mit den beiden Controllern (HBA + altem 4x Sata) läuft das Ganze bei 33W im idle, mit knapp 30 Dockern.

 

Finde ich schon ganz gut, würde aber gerne unter 20W kommen. Ohne alles schafft es das System bei max. C3 auf 14,8W im Idle. Als Netzteil kommt das Seasonic PRIME FOCUS Modular (80+Platinum) 550 Watt zum Einsatz. Sollte für die sub 20W ausreichen. Auch sub 25W wären schon absolut super. Mein vorheriges Ryzen System war bei 60W Idle, also ist es jetzt schon ein Win.

[jj1987]

11 minutes ago, pappaq said:

Bezüglich des Realtek NICs gibt es leider keine Alternative die irgendwie kostenmäßig in die Rechnung passen würde.

Benötigst du denn 2,5GbE? Als Workaround soll es wohl klappen die Geschwindigkeit auf 1GbE zu begrenzen bzw. wenn das Netzwerk eh nicht mehr hergibt, passiert das ja von alleine. Ist aber natürlich nicht für jeden eine "Lösung"

[pappaq]

Tatsächlich ja, ich habe gerade mein gesamtes Netz auf 2,5GbE hochgezogen. Auf dem Asus von jetzt meldet der RTL8125 2.5GbE Controller ASPM L1 Enabled. Also hoffe ich mal drauf, dass es beim Gigabyte auch funktioniert.

Edited December 2, 2023 by pappaq

[boyish-stair3681]

41 minutes ago, pappaq said:

Tatsächlich ja, ich habe gerade mein gesamtes Netz auf 2,5GbE hochgezogen. Auf dem Asus von jetzt meldet der RTL8125 2.5GbE Controller ASPM L1 Enabled. Also hoffe ich mal drauf, dass es beim Gigabyte auch funktioniert.

Du musst hoffen.

 

Ich nutze wegen ZFS TrueNAS Scale und da ging ASPM nicht. Ebenso nicht mit aktuellem Ubuntu und ich glaube auch Debian.

Mit der Beta von Fedora und Unraid ging es out-of-the-box. Mit Unraid 6.12.5 oder 6.12.6 sieht das aber möglicherweise wieder anders aus.

Bin auf ein Kontron gewechselt. 

 

Edited December 2, 2023 by boyish-stair3681

[boyish-stair3681]

28 minutes ago, jj1987 said:

Benötigst du denn 2,5GbE? Als Workaround soll es wohl klappen die Geschwindigkeit auf 1GbE zu begrenzen bzw. wenn das Netzwerk eh nicht mehr hergibt, passiert das ja von alleine. Ist aber natürlich nicht für jeden eine "Lösung"

Sofern ich das nicht falsch in Erinnerung habe, hatte das bei mir nicht geholfen - unter TrueNAS Scale. Mit der damals aktuellen Unraid Version lief ASPM wie gesagt out-of-the-box. 

Aber ich wollte wie pappaq auch 2.5GBe haben, weswegen das für mich keine dauerhafte Lösung gewesen wäre, sofern es etwas gebracht hätte.

[pappaq]

17 minutes ago, boyish-stair3681 said:

Du musst hoffen.

 

Ich nutze wegen ZFS TrueNAS Scale und da ging ASPM nicht. Ebenso nicht mit aktuellem Ubuntu und ich glaube auch Debian.

Mit der Beta von Fedora und Unraid ging es out-of-the-box. Mit Unraid 6.12.5 oder 6.12.6 sieht das aber möglicherweise wieder anders aus.

Bin auf ein Kontron gewechselt. 

 

Ein Kontron ist leider mindestens doppelt so teuer wie das angestrebte Gigabyte, deswegen fällt das raus. Egal ob C8 oder C3, so oder so sollte ich mit der Kombi unter 30W kommen. Was die Hälfte meines vorigen Systems bedeutet und damit könnte ich sehr gut leben.

[boyish-stair3681]

11 minutes ago, pappaq said:

Ein Kontron ist leider mindestens doppelt so teuer wie das angestrebte Gigabyte, deswegen fällt das raus. Egal ob C8 oder C3, so oder so sollte ich mit der Kombi unter 30W kommen. Was die Hälfte meines vorigen Systems bedeutet und damit könnte ich sehr gut leben.

Kann ich verstehen. Ich habe das hier alles zwischen Tür und Angel gemacht und habe eigentlich keine Zeit dafür und war bzw. bin bzgl. ZFS und Unraid verunsichert, so dass mir dann in dem Moment der durchaus heftige Aufpreis lieber war als Zeit für weitere Experimente zu vergeuden. Ansonsten wäre ich einfach auf Unraid gewechselt. Weil mit manueller Aktivierung von ASPM war das Gigabyte unter TrueNAS SCale schon ziemlich sparsam aber nicht mehr richtig stabil (gelegentlich hat es neu gebootet). Wenn es mit dem Stromverbrauch unter Unraid stabil läuft, dann passt das. 

 

Da es aber aktuell gerade diesen ZFS-Bug gibt, habe ich das System nicht in Betrieb und warte ab. Ironischerweise hat Unraid bei ZFS schneller mit einer neuen Version reagiert, als TrueNAS Scale.

 

Das Kontron K3842-Q2 läuft aber auch nicht optimal. Ich komme mit aktuellem Bios und meiner aktuellen Konfiguration nicht tiefer als C3 - egal ob Unraid oder Scale. Mit C3 ist es aber sparsamer als es das Gigabyte ohne ASPM war. Bzw. die Unterschiede zwischen C3 und C6 oder C8 scheinen mir sehr, sehr gering (die habe ich erreicht durch Ausbau beider NVMe SSDs und dem Booten von Unraid per USB-Stick).

Ich habe zwar einige Kombinationen durchgetestet aber nicht alle systematisch. Leider das auch nur teilweise notiert.

 

Edited December 2, 2023 by boyish-stair3681

[pappaq]

Bisher war das System mit ZFS stabil, aber es gab immer wieder iowait Probleme. Wären die Vorteile von Unraid nicht mit dem guten Software Array und dem HDD Spindown würde ich wahrscheinlich auf Proxmox wechseln aufgrund der Stabilität...

 

Mal sehen, wie gut es funktioniert mit dem neuen Setup.

[boyish-stair3681]

13 minutes ago, pappaq said:

Bisher war das System mit ZFS stabil, aber es gab immer wieder iowait Probleme. Wären die Vorteile von Unraid nicht mit dem guten Software Array und dem HDD Spindown würde ich wahrscheinlich auf Proxmox wechseln aufgrund der Stabilität...

Ich weiß nicht was du genau mit Software Array meinst - in der Unraid Terminologie stecke ich nur bedingt drin. Ich habe aber den Eindruck allgemein bekommen, dass hier einige im Forum ZFS nicht verstanden haben oder es so nutzen, wie es gar nicht gedacht ist aber mit Unraid halt möglich ist (und damit der Mehrwert von ZFS zum Teil flöten geht). ZFS nutzt man normalerweise in einem Mirror oder RAIDZ.

Bei mir laufen die HDDs 24 x 7 durch. Es sind aber auch nur 2 x 12 TB (Helium) im ZFS-Mirror - war eine bewusste Entscheidung.

[pappaq]

Ich nutze es für einen meiner Cache Arrays mit 4 SSDs im RAIDZ. Nutze aber den XFS von Unraid für meine 10HDDs, da dieser leichte Erweiterung und HDD Spin-Down ermöglicht. Das können TrueNAS oder Proxmox nicht oder nicht so gut/einfach. Darum bin ich noch bei Unraid. Habe aber inzwischen alle infrastrukturkritischen VMs und Container auf einen Mini PC mit Proxmox umgezogen, weil ich keine Lust mehr hatte, wenn Unraid mal wieder sponn ohne z.B. meine HomeAssistant VM und somit ohne Lichtsteuerung dazustehen

 

Aber wir weichen vom Thema des Threads ab! Danke erstmal an alle für den Input. Ich habe das MB und die Controller bestellt und werde die kommende Woche berichten!

[pappaq]

On 4/28/2023 at 1:35 AM, mgutt said:

Ich versuche mich gerade an der 13ten Intel Generation. Ziel ist es ein günstiges Board mit 2.5G LAN und 4x SATA mit einer SATA Karte so zu erweiteren, dass das Setup trotzdem noch wenig Strom verbraucht (um überhaupt als Heimserver in Frage zu kommen). Das Ziel wäre ein Leerlaufverbrauch unterhalb von 10W.

 

Hardware:

Gigabyte B760M Gaming X DDR4

Intel i7-13700T

Samsung 16GB RAM DDR4 Modul

Samsung Evo Plus 2TB NVMe

Corsair RM550x (2021) Netzteil

Swissbit U-56n 4GB USB 3.1 Flash Drive

Samsung QVO 8TB SATA SSD

diverse SATA Karten zum Testen verfügbar (ASM1166 und JMB585, beide als PCIe und M.2 Karten)

BIOS-Anpassungen siehe unten

Statt powertop --auto-tune, setze ich die Tweaks manuell als Kommando ab (siehe powertop Thread)

 

NVMe

7,4 W

Dabei spielt es keine Rolle, ob die NVMe im CPU oder Chipsatz M.2 Slot steckt

C8

 

NVMe + ASM1166 PCIe X1 Karte (Slot 1 oder Slot 2) + SATA SSD

Die Karte wird weder im oberen (CPU), noch unteren PCIe Slot (Chipsatz) erkannt

15,4 W

C3

 

NVMe + JMB585 PCIe X4 Karte (Slot 1) + SATA SSD

18,2 W

C2

 

NVMe + JMB585 PCIe X4 Karte (Slot 1) + SATA SSD

13,4 W

C3

 

NVMe + ASM1166 M.2 Karte (Slot 2) + SATA SSD

9,8 W

C8 ("med_power_with_dipm" Tweak nur für "/sys/class/scsi_host/host[1-8]", ansonsten verliert die SATA SSD die Verbindung. Ich versuche die Tage ein Firmware-Update zu installieren, was dieses Problem beheben sollte)

 

NVMe + ASM1166 M.2 Karte adaptiert in 1. PCIe Slot + SATA SSD

16,3 W

C2

eigentlich hätte ich erwartet, dass die Karte nicht erkannt wird, wie im vorherigen Test mit der X1 Karte

 

NVMe + ASM1166 PCIe X4 Karte (Slot 1) + SATA SSD

ASM1166 Karte wurde erst nach Firmware-Update erkannt

16,3 W

C2

 

NVMe + ASM1166 PCIe X4 Karte (Slot 2) + SATA SSD

ASM1166 Karte wurde erst nach Firmware-Update erkannt

9.5 W

C8

 

 

Geänderte BIOS Einstellungen:

 

 

 

 

 

@mgutt Absolut Gold wert solche Posts! Ich habe deine Posts jetzt quer durchs Internet immer wieder zu Low Power Systemen gesehen und muss mich an dieser Stelle einmal bedanken! Vielen Dank für das ganz Experimentieren und die Leute, so wie mich, in die richtige Richtung schicken!

 

Ich kann mit meinem System folgendes zurückmelden:

Auf weniger werde ich mit den ganzen SSDs und Controllern wohl nicht kommen. 17 Drives in total, HDDs natürlich spun down. Aber 5 min nach Boot. Das Setup ist nun wie oben beschrieben.

Erfolg auf ganzer Linie, würde ich sagen!

 

PS: 2,5GbE funktioniert einwandfrei!

Edited December 5, 2023 by pappaq

[saakuwa]

@pappaq

Moin, hätte eine kurze Frage, welche HW und FW vom Board sind bei dir vorhanden? 

Bin auch alles durchgegangen und komme nicht über c3 und habe "nur" 2 HDDs und eine NVME dran, dabei komme ich auf ca. 27W+/-

 

Danke

[pappaq]

5 minutes ago, saakuwa said:

@pappaq

Moin, hätte eine kurze Frage, welche HW und FW vom Board sind bei dir vorhanden? 

Bin auch alles durchgegangen und komme nicht über c3 und habe "nur" 2 HDDs und eine NVME dran, dabei komme ich auf ca. 27W+/-

 

Danke

Die Links stehen alle oben. Ich habe genau diese Hardware gekauft. Die BIOS Version vom Board habe ich leider nicht zur Hand. Unraid zeigt diese auch nicht im Dashboard an.

 

Ich glaube das wichtigste ist die Einstellungen von mgutt exakt im BIOS einzustellen und die Controller auf den richtigen Slots zu installieren.

[Chr1sch]

1 hour ago, saakuwa said:

@pappaq

Moin, hätte eine kurze Frage, welche HW und FW vom Board sind bei dir vorhanden? 

Bin auch alles durchgegangen und komme nicht über c3 und habe "nur" 2 HDDs und eine NVME dran, dabei komme ich auf ca. 27W+/-

 

Danke

unRaid 6.12.6? Wenn ja, ggf. Downgrade auf 6.12.4 vornehmen. Die aktuelle Version (der Kernels) scheint Probleme mit Realtek NICs zu haben und damit kommen div. User nicht mehr über C3.

Edited December 12, 2023 by Chr1sch

[eLpresidente]

2 hours ago, pappaq said:

Die Links stehen alle oben. Ich habe genau diese Hardware gekauft. Die BIOS Version vom Board habe ich leider nicht zur Hand. Unraid zeigt diese auch nicht im Dashboard an.

 

Ich glaube das wichtigste ist die Einstellungen von mgutt exakt im BIOS einzustellen und die Controller auf den richtigen Slots zu installieren.

kann ich so bestätigen, ich hab das gleiche Mainboard und den PCIe Controller, bei mir geht der bis C10 und das bei ca. 22 Watt mit laufenden Dockern.. 

2 hours ago, saakuwa said:

Moin, hätte eine kurze Frage, welche HW und FW vom Board sind bei dir vorhanden? 

Danke

Meine Bios Version ist F16b, ist die aktuellste gerade.. 

[faxxe71]

Guten Morgen,

hat jemand an diesem Board die PWM Lüfter Kontrolle mittels Dynamix System Autofan Plugin in Betrieb nehmen können?

 

Ich sehe zwar die Drehzahlen aber die Regelung funktioniert nie.

 

Danke ,

faxxe

 

[pappaq]

41 minutes ago, faxxe71 said:

Guten Morgen,

hat jemand an diesem Board die PWM Lüfter Kontrolle mittels Dynamix System Autofan Plugin in Betrieb nehmen können?

 

Ich sehe zwar die Drehzahlen aber die Regelung funktioniert nie.

 

Danke ,

faxxe

 

Fände ich auch sehr interessant, ich sehe leider nicht mal den Controller. Wie hast du es so weit bekommen, das er den Controller detected?

[MPC561]

@faxxe71

@pappaq

ITE IT87 Driver oder Nuvoton NCT6687 Driver könntet ihr mal probieren. Sind Treiberpakete im App. Erst das eine dann deinstallieren, dann das 2. testen.

[pappaq]

22 minutes ago, MPC561 said:

@faxxe71

@pappaq

ITE IT87 Driver oder Nuvoton NCT6687 Driver könntet ihr mal probieren. Sind Treiberpakete im App. Erst das eine dann deinstallieren, dann das 2. testen.

Danke! Das hat sofort geklappt!

Jetzt muss ich nur noch testen, auf welchen Anschluss ich alle Lüfter gesteckt habe und ob sie dann auch abhänging davon drehen

[faxxe71]

So weit war ich auch schon und der Lüfter wurde auch erkannt. Am Dashboard zeigt er ihn an und die % Rate wird geändert.

Aber der Lüfter selbst dreht mit konstanter Drehzahl und geht auch nie aus bzw volle Drehzahl.

Auch das detektieren der Minimum PWM funktioniert nicht.

21 minutes ago, pappaq said:

Danke! Das hat sofort geklappt!

 

Bin gespannt, was er bei dir bringt...

 

Danke,

faxxe

 

[saakuwa]

19 hours ago, Chr1sch said:

unRaid 6.12.6? Wenn ja, ggf. Downgrade auf 6.12.4 vornehmen. Die aktuelle Version (der Kernels) scheint Probleme mit Realtek NICs zu haben und damit kommen div. User nicht mehr über C3.

 

Ja korrekt. 

Dann werd ich das nochmal zum Vergleich ausprobieren. Danke

[saakuwa]

@Chr1sch

Danke, hatte tatsächlich ca.3W ausgemacht aber ging trotzdem nicht über c3.

 

Hatte als nächstes die NVME (Lexar NM620 2TB) ausgebaut und siehe da es ging bis c8 hoch und war knapp unter 20W (-4-5W)

 

Jetzt mal sehen, ob ich an der NVME irgendetwas machen kann.

 

Update: 

Blind wie ich manchmal bin, habe ich nicht darauf geachtet, in welchem Zustand die Platten sind. Also Einstellungen vorgenommen, dass die "Schlafen" gehen und siehe da.... ca. 17W. Zu den Lexar habe ich keine Lösung gefunden und werden dann mal im nächsten Monat eine Samsung zulegen.

Edited December 19, 2023 by saakuwa

[flobert]

Hat hier schon mal jemand eine ASM1166 mit SFF8087 im Einsatz gehabt und kann was bzgl. C-States sagen? Suche noch was für den Passthrough und habe gesehen, das die SFF8087 Version vom ASM1166 8 Platten durchschleifen kann.

[mgutt]

2 hours ago, flobert said:

SFF8087 Version vom ASM1166 8 Platten durchschleifen kann.

Das kann nicht sein, weil der Controller nur 6x SATA unterstützt:

https://www.asmedia.com.tw/product/45aYq54sP8Qh7WH8/58dYQ8bxZ4UR9wG5

 

Da wird was anderes verbaut sein.

[DataCollector]

3 hours ago, flobert said:

Hat hier schon mal jemand eine ASM1166 mit SFF8087 im Einsatz gehabt und kann was bzgl. C-States sagen? Suche noch was für den Passthrough und habe gesehen, das die SFF8087 Version vom ASM1166 8 Platten durchschleifen kann.

 

Mir sind diese Kontroller (gerade bei Ali) mehrfach schon in M.2 Bauweise aufgefallen. Das scheinen Beschreibungsfehler zu sein.

Wie mgutt schon schrieb sind die ASM1166 (man beachte die letzte "6") nur mit 6 SATA Ports gesegnet.

 

Wie ich in einem anderen Beitrag schon andeutete, habe ich mir die bei Ali (oft im Zusammenhand mit PCIe Switchen) angebotenen Karten mal auf den Bildern genauer angesehen.

Das sind keine ASM1166 Chips, ich glaube bei starker Vergrößerung der Chipabbildungen JMB gelesen zu haben, was auf JMB585 Chips (für 5 SATA Ports) hinweist, bei denen man eben nur 4 Ports auf einen SFF-8087 verbindet.

https://forums.unraid.net/topic/149911-vielleicht-doch-bald-sparsamere-pcie-switchkarten-verfügbar/

 

Und ja, auch PCIe Steckkarten mit so einer Beschreibung und einem fetten Kühlkörper habe ich mit 2x SFF-8087 gefunden. Dort sind mehrere Sachen möglich:

a) Ein ASM1166 für 6 SATA Ports und an einem der Ports ist ein Portmultiplier angeschlossen um dann einmal 5 native ASM1166 Ports durchzureichen und die restlichen 3 teilen sich (zeitlich nacheinander) die Bandbreite eines nativen SATA Ports. (Dann würden diese 3 Ports aber ziemlich Performanceschwach sein.)

b) Ein ASM1166 für 6 SATA Ports und an zwei der Ports ist je ein Portmultiplier angeschlossen um dann einmal 4 native ASM1166 Ports durchzureichen und dann den gemultiplieten Ports weingstens (zeitlich nacheinander) die Hälfte der verfügbaren Bandbreite eines echten SATA Ports zu bieten. (das wäre schonmal besser für die Performance, erfordert aber mehr Chips und Energie)

c) auch hier Lug und Betrug und es sind keine ASM1166.

 

c) wäre dreist

b) wäre teuerer als a)

Deswegen vermute ich, daß es wohl a) ist.

Alle 3 Varianten wären in meinen Augen möglichst zu meiden, wenn man alle der Ports gleichzeitig in einem Array nutzen will.

Edited January 17 by DataCollector