Gigabyte B760M DS3H DDR4 - Verschiedene Messungen & Werte

[DataCollector]

Hallihallo Allerseits.

 

Ich habe des öfteren das Mainboard Gigabyte B760M DS3H DDR4 als ein sparsames Mainboard benannt.

Daraufhin haben mich ebenfalls des öfteren Fragen dazu erreicht.

Da ich das Mainboard sowieso nur für Testzwecke (eigentlich für Windows zum Festplatten und SSD testen & prüfen) gekauft habe, habe ich aktuell Zeit es auch für Unraidtests zu nutzen.

Ggf. werde ich diesen Beitrag von Zeit zu Zeit mit weiteren Infos erweitern.

 

Aktuell geht es erst einmal um den Stromverbrauch/C-States des Boards und einiger NVME SSD.

 

Ergänzend zu meiner Testorgie mit verschiedenen Steckkarten und Bestückungen unter

https://forums.unraid.net/topic/152936-hilfe-bei-entscheidungsfindung-erster-build/?do=findComment&comment=1367540

will ich es auch mal nutzen um auf dem (fast) nackten Mainboard verschiedene angefragte oder von mir gelegendlich erwähnte Komponenten zu prüfen (die ich auch aktuell noch so in meinem Fundus habe & aktuell nicht direkt anderweitig brauche).

 

Erst einmal die Ausgangssituation:

 

Hardware und Beschaltung:
- Gigabyte B760M DS3H DDR4 (BIOS/UEFI: 2023-11-09 F16b) (BIOS auf Default und dann die unten im Bild 1 erkennbaren Abweichungen eingestellt).

!! (Beachte ich habe aus Stromspargründen im BIOS die CPU und PCH Geschwindigkeit auf PCIE 3.0 reduziert! Somit laufen auch die später eingesteckten Komponenten (auch die NVME SSDs) mit PCIE 3.0) !!
- Intel I3-12100 boxed (incl. Intel boxed CPU Kühler)
- 2x 16GB DDR4-3200 Mushkin Essentials (MES4U320NF16)
- kein SATA
- interne Netzwerkkarte (Realtek RTL8125BG) 1GBLan Link aktiv
- PCIe 4.0 x16: leer
- M.2 NVME Slot neben CPU: leer
- 1. PCIe 3.0 x1: leer
- 2. PCIe 3.0 x1: leer
- M.2 NVME Slot (Chipsatz) am Ende des Mainboard: leer
- QNAP Netzteil (12V 5A max. 67W) des QNAP TR-004 (vernmutlich nicht so effizient wie die oft empfohlenen Leicke) hatte ich noch rumfliegen. Ein Leicke 156W 12V ist unterwegs.
- Inter-Tech Mini-ITX PSU 160W, Wandlerplatine (88882188) 12V Input
- USB Bootstick: Transcend Jetflash 600 32GB
- USB 2.0 Kabelpeitsche: USB_SanDisk_3.2 Gen1 32GB als einzige Disk im Array (weil sich unraid sowieso ja nur mit Array vollständig nutzen läßt).

Array mit Autostart, damit es imme rgleich ist und ich nach einem Reboot für die Tests nicht erst ins WebGUI zum Starten gehen muß.

Unraid hat alle Systemshares automatisch auf die USB Stick gelegt (weil ich ja keinen Pool/Cache-SSD eingebunden habe) und damit den USB Stick schon mit 28GB von den vorhandenen nominal 32GB belegt.

 

Software:
unraid 6.12.4 stable (weil ich keine Lust habe mich nur für diese Tests mit manuellen ASPM Einstellungen rumzuschlagen. Ich weiss da immer noch nicht so ganz, was ich da wirklich tue und will nicht durch Hardwareveränderungen wieder die passenden 'setpci' parameter rausfummeln.)

Community App
nerdtools + powertop-2.15-x86_64-1.txz

Dynamix Cache Dirs
Dynamix File Manager
Dynamix System Temperature

Unassigned Devices
Unassigned Devices Plus
Unassigned Devices Preclear

 

im Go File: powertop --auto-tune
alle tunables stehen auf "Good"

 

WebGUI und Terminal geschlossen,
idle,
der Bildschirmschoner hat den angeschlossenen HDMI Ausgang schwarz geschaltet (das spart hier noch mal rund 1W, deshalb warte ich mindestens diesen 'Bildschirmschoner' ab).

Messungen wieder mit AVM DECT200 Funksteckdose.

 

Messung 1:

nur die nackte (oben genannte Konfiguration)

- knapp unter 10W (Siehe Bild 2)

 

Messung 2:

M.2 NVMe/PCIe SSD AData Legend 960 4TB PCIe 4.0 x4 (mit dem Max Kühlkörper) im M.2 Slot (Chipsatz) am unteren Ende des Mainboard eingebaut.

Wird in den Unassigned Devices gelistet.

Ich werde sie nicht weiter einbinden/Formatieren, da es mir hier nur um die Auswirkungen auf den Energieverbrauch idle bzw. die C-States geht.

- wieder knapp unter 10W (Siehe Bild 4).

Sie wird in Powertop tunables übrigens gelistet und auch da steht sie auf "Good"

 

Messung 3:

Die Selbe M.2 NVMe/PCIe SSD AData Legend 960 4TB PCIE 4.0 x4 (mit dem Max Kühlkörper) im M.2 Slot der CPU, da sich das Verhalten der CPU ändern kann, wenn etwas direkt angeschlossen ist und das vielleicht tiefere C-States verhindern könnte oder ob etwas am Chipsatz hängt.

Sie wird wieder als Unassigned Devices gelistet. Auch hier nicht weiter eingebunden/formatiert.

- Hier werden wieder rund 10W dargestellt (Siehe Bild 6). Diese NVMe SSD wirkt sich also in beiden M.2 Slots identisch aus.

Weiterhin in Powertop tunables "Good"

 

Messung 4:

M.2 NVMe/PCIe SSD Patriot Viper VP4300 Lite 4TB PCIe 4.0 x4  (VP4300L4TBM28H) im M.2 Slot (Chipsatz) am unteren Ende des Mainboard eingebaut.

Auch die wird in den Unassigned Devices gelistet.

- wieder knapp unter 10W (Siehe Bild 8).

Sie wird in Powertop tunables übrigens als "MAXIO Technology (Hangzhou)" gelistet und auch da steht sie auf "Good"

 

Messung 5:

die Selbe M.2 NVMe/PCIe SSD Patriot Viper VP4300 Lite 4TB PCIe 4.0 x4  (VP4300L4TBM28H) im M.2 Slot der CPU.

Auch die wird in den Unassigned Devices gelistet.

- wieder knapp unter 10W (Siehe Bild 10).

weiterhin in Powertop tunables als "MAXIO Technology (Hangzhou)" auf "Good"

 

Messung 6:

M.2 NVMe/PCIe SSD Samsung SSD 960 PRO 512GB,PCIe 3.0 x4 (MZ-V6P512BW) (Beifang aus einem gebraucht gekauften PC) im M.2 Slot des Chipsatzes.

Auch die wird in den Unassigned Devices gelistet.

- wieder knapp unter 10W (Siehe Bild 10).

weiterhin in Powertop tunables als "Samsung Electronics Co Ltd NVMe SSD Controller SM961/PM961/SM963" auf "Good"

 

Messung 7:

M.2 NVMe/PCIe SSD Samsung SSD 960 PRO 512GB,PCIe 3.0 x4 (MZ-V6P512BW) (Beifang aus einem gebraucht gekauften PC) im M.2 Slot der CPU.

Auch die wird in den Unassigned Devices gelistet.

- Hier werden nun 10,08W gemeldet. Ob das nun Messtoleranz ist oder wirklich ein paar Millliwatt mehr kann ich nicht entscheiden. (ich spare mir die beiden Screenshots... sieht fast so aus, wie in Messung 6 und auch hier wird C10 überwiegend erreicht).

 

Messung 8:

M.2 NVMe/PCIe SSD Lexar NM790 4TB PCIe 4.0 x4 (LNM790X004T-RNNNG)  im M.2 Slot des Chipsatzes.

Auch die wird in den Unassigned Devices gelistet.

- wieder bleibt es knapp unter 10W (Siehe Bild 14).

In Powertop wird sie mit "Shenzhen Longsys Electronics Co., Ltd" gelistet und ist auch als "good" angegeben

 

Da sich bei vorangegangenen Beispielen kein wirklicher Unterschied zwischen den M.2 Slots ergab (Chipsatz und CPU) erspare ich allen hier die Messung im CPU M.2 Slot. (Ja, ich bin gerade wieder faul).

 

 

Fazit bis hier hin:

Entweder ich mache etwas falsch (dann bitte Info) oder alle hier getestete SSD beeinflußen, unter den gegebenen Bedingungen, die C-States bei mir in dem System nicht und wirken sich auf den Verbrauch des Systemes idle nur im (von mir) nicht meßbaren Bereich aus.

 

 

 

Bild 1: BIOS Default mit folgenden Abweichungen:

 

Bild 2: Messung 1 (nackte Ausstattung) - AVM DECT200 Anzeige in Fritzbox

 

Bild 3: Messung 1 - Powertop Anzeige der C-States nach rund 10 Minuten

 

Bild 4: Messung 2 (mit Legend 960 im Chip-M.2) - AVM DECT200 Anzeige in Fritzbox

 

Bild 5: Messung 2 - Powertop Anzeige der C-States nach rund 5 Minuten (die niedrigeren C10-Prozentzahlen liegen vermutlich an dem kürzeren Messzeitpunkt seit Boot).

 

Bild 6: Messung 3 (mit Legend 960 im CPU-M.2) - AVM DECT200 Anzeige in Fritzbox

 

Bild 7: Messung 3 - Powertop Anzeige der C-States nach rund 5 Minuten (die niedrigeren C10-Prozentzahlen liegen vermutlich an dem kürzeren Messzeitpunkt seit Boot).

 

Bild 8: Messung 4 (mit Viper VP4300 Lite im CHIP-M.2) - AVM DECT200 Anzeige in Fritzbox

 

Bild 9: Messung 4 - Powertop Anzeige der C-States nach rund 5 Minuten

 

Bild 10: Messung 5 (mit Viper VP4300 Lite im CPU-M.2) - AVM DECT200 Anzeige in Fritzbox

 

Bild 11: Messung 5 - Powertop Anzeige der C-States nach rund 5 Minuten

 

Bild 12: Messung 6 (mit Samsung SSD 960 PRO im CHIP-M.2) - AVM DECT200 Anzeige in Fritzbox

 

Bild 13: Messung 6 - Powertop Anzeige der C-States nach rund 5 Minuten

 

Bild 14: Messung 8 (mit Lexar NM790 im CHIP-M.2) - AVM DECT200 Anzeige in Fritzbox

 

Bild 15: Messung 8 - Powertop Anzeige der C-States nach rund 5 Minuten

Edited March 3 by DataCollector

[MPC561]

3 hours ago, DataCollector said:

Entweder ich mache etwas falsch (dann bitte Info) oder alle hier getestete SSD beeinflußen, unter den gegebenen Bedingungen, die C-States bei mir in dem System nicht und wirken sich auf den Verbrauch des Systemes idle nur im (von mir) nicht meßbaren Bereich aus.

Ich glaube nicht das Du was falsch machst. Die meisten NVME liegen im Idle auf einem Niveau das Du verglichen mit der Leistung die Mainboard und Prozessor konsumieren im nicht sinnvoll messbaren Bereich liegst. Das wird vermutlich erst messbare unterschiede geben wenn die SSDs wirklich markant arbeiten müssen, VM aktiv oder massen an Dockern laufen.

 

Im Hardwarluxx hatte einer eine Tabelle mit SSD/NVME gepostet mit Idle Vebrauch. Bis aus wenige Aussreisser liegen 80% im unter 0,1W Bereich. 

Klick mich

 

 

Gruss,

Joerg

[tropfen]

Hallo,

hat bei dem RAM Mushkin Essentials DDR4-3200 CL 22-22-22-52 die letzte -52 eine Bedeutung für das System? Oder geht auch ein Crucial DIMM  DDR4-3200, CL22-22-22 ohne die -52? (letzere wären schon vorhanden)

Grüße und Dank im Voraus

Frank

[DataCollector]

2 hours ago, tropfen said:

hat bei dem RAM Mushkin Essentials DDR4-3200 CL 22-22-22-52 die letzte -52 eine Bedeutung für das System? Oder geht auch ein Crucial DIMM  DDR4-3200, CL22-22-22 ohne die -52? (letzere wären schon vorhanden)

 

Das sind nur die technischen Werte Latenz/Timing des Modules.

Bei Mushkin haben die die eben direkt angebenen, bei Crucial sind die in den Datenblättern versteckt.

 

Sieh auch hier:

https://de.wikipedia.org/wiki/DDR-SDRAM#Latenzzeiten_im_Vergleich

 

Grundlegend: Die Module sind sich annähernd gleich und somit kannst Du die nehmen.

 

[viab]

Danke für diesen Post @DataCollector! Da ich das gleiche MB bei meinem neuen Build habe, wollte ich mich auch direkt das erste Mal an powertop wagen.

 

Kannst du mir einen Tip geben, wie ich herausfinden kann was mich an C10 hindert? Ich komme aktuell nur in C3 (bei ~24W). Alle Tunables sind auf Good.

BIOS Settings habe ich von dir übernommen, bis auf PCI Gen3 - das habe ich erstmal auf Gen4 gelassen.

 

Mein Build:

Gigabyte b760m ds3h DDR4

Intel i5-14500

64GB Vengeance LPX CL16 DDR4

2x 20TB Toshiba MG10 (spun down)

2x 4TB Lexar NM790

[DataCollector]

9 minutes ago, viab said:

Kannst du mir einen Tip geben, wie ich herausfinden kann was mich an C10 hindert?

...

Gigabyte b760m ds3h DDR4

 

Lass mich raten: Du nutzt aktuelles unraid 6.12.8?

Zum Testen habe ich zuletzt unraid 6.12.4 verwendet, weil ich keine Lust habe (bei wechselnder Hardware) den ASPM Einstellungen für den realtek LAN-Chip hinterher zu rennen (der sich bei Hardwarewechsel in der PCIe Position ändern kann).

 

bei unraid 6.12.4 kommt unraid out of the box mit diversen Lan-Chips von Realtek noch gut kart, bei den neueren Versionen war es schlechter.

Seit 6.12.8 geht es, wenn man manuell die ASPM Einstellungen korrektz anpasst.

Da ich die Sache mit ASPM aber auch noch nicht so ganz begriffen habe, teste ich mit 6.12.4.

 

Das hatte ich in meinem Ursprungsbeitrag hier unter "Software" beschrieben.

https://forums.unraid.net/topic/156160-gigabyte-b760m-ds3h-ddr4-verschiedene-messungen-werte/

 

Siehe auch hier ab Ergänzung 7, 8 und 9:

https://forums.unraid.net/topic/152936-hilfe-bei-entscheidungsfindung-erster-build/?do=findComment&comment=1367540

 

[buscopina]

1 hour ago, DataCollector said:

Lass mich raten: Du nutzt aktuelles unraid 6.12.8?

Zum Testen habe ich zuletzt unraid 6.12.4 verwendet

Das ist im übrigen auch meine Erfahrung. Alles über 6.12.4 verhindert ordentliche C States. Allerdings habe ich mich dumm und dämlich gesucht, ein altes Unraid Image zu bekommen… Danke hier an @mgutt der die so brav sammelt und bereit stellt.

[worli]

Danke euch für die Messungen. Ein biscchen OT: Gibt es eine Möglichkeit auf 6.12.4 zu schwenken, wenn man Unraid mit 6.12.8 installiert hat?

[buscopina]

Das geht. Aus dem alten ZIP file müssen die bz* Dateien auf den USB Stick kopiert werden (also die vorhandenen ersetzen) inkl. der changelog.txt. Nennt sich manuelles Downgrade und steht auch in der Dokumentation.

 

Den inoffiziellen Mirror findest Du hier:

https://www.unraid.gutt.it/

 

 

[Redhannes]

@DataCollector ich habe nach deiner Empfehlung mir ja auch diese Board besorgt. Nochmal danke dafür!

 

Mein Setup:

Mainboard: GIGABYTE B760M DS3H DDR4

CPU: Intel Core i3-12100, 4C/8T, 3.30-4.30GHz, boxed (BX8071512100) [oder doch i5?]

RAM: Mushkin Essentials DIMM 32GB, DDR4-3200, CL22-22-22-52 (MES4U320NF32G)

PSU: be quiet! Pure Power 12 M 550W ATX 3.0 (BN341)

 

Habe extra mal 6.12.4 drauf laufen lassen, weil ich mit 6.12.8 auch mit manuellen ASPm Einstellungen nicht auf C10 komme nur C8. Zu deinem Aufbau sind nur RAM und die PSU anders. Komme trotzdem auch mit 6.12.4 nur auf C8. 
Bioseinstellungen identisch. Gleiche Firmware.

 

Verbrauchstechnisch gibt sich aber kein großer Unterschied. System läuft bei 9,2 Watt. Frage für mich ist jetzt, ob ich noch weniger hinbekommen würde, wenn ich auf C10 kommen würde. Und wenn ja, wie bekomme ich das hin?

 

 

[DataCollector]

1 minute ago, Redhannes said:

Mein Setup:

Mainboard: GIGABYTE B760M DS3H DDR4

CPU: Intel Core i3-12100, 4C/8T, 3.30-4.30GHz, boxed (BX8071512100) [oder doch i5?]

RAM: Mushkin Essentials DIMM 32GB, DDR4-3200, CL22-22-22-52 (MES4U320NF32G)

PSU: be quiet! Pure Power 12 M 550W ATX 3.0 (BN341)

...

Komme trotzdem auch mit 6.12.4 nur auf C8. 
Verbrauchstechnisch gibt sich aber kein großer Unterschied. System läuft bei 9,2 Watt.

Frage für mich ist jetzt, ob ich noch weniger hinbekommen würde, wenn ich auf C10 kommen würde. Und wenn ja, wie bekomme ich das hin?

 

Der Unterschied C2 zu C8 ist 'gewaltig'.

 

Der Unterschied C8 zu C10 spielt sich bei den meisten Mainboards im Bereich kaum zu ermittelnder 0,x Watt ab.

Ich würde mir nicht die Mühe machen (schlaflose Nächte investieren) um vielleicht in Summe ein halbes Watt zu ereichen, welches im realen betrieb mit Festplatten und SSDs etc... dann sowieso wieder futsch ist.

 

[Redhannes]

17 minutes ago, DataCollector said:

 

Der Unterschied C2 zu C8 ist 'gewaltig'.

 

Der Unterschied C8 zu C10 spielt sich bei den meisten Mainboards im Bereich kaum zu ermittelnder 0,x Watt ab.

Ich würde mir nicht die Mühe machen (schlaflose Nächte investieren) um vielleicht in Summe ein halbes Watt zu ereichen, welches im realen betrieb mit Festplatten und SSDs etc... dann sowieso wieder futsch ist.

 

 

Danke! Ich hätte jetzt wirklich schlaflose Nächte gehabt, woher wusstest du das

 

Ok. Dann gehe ich jetzt produktiv. 6.12.8. wieder drauf und Festplatten drinnen.

 

Habe auch schon Caddy 2 Container zum laufen gebracht und damit ohne Öffnung nach draussen jetzt alle anderen Container und VMs auf SSL gestellt. Nextcloud, Homeassistant, Vaultwarden etc. sogar Unraid selber. War aber nicht so einfach den Unraid eigenen Caddy 2 dazu zu bringen ohne auf Composer etc. auszuweichen.

 

Jetzt noch Synology rüber et voila.

[DataCollector]

EDIT!!!!!

Mir ist bei der Messung der SAS Kontroller ein Fehler unterlaufen!!!!!!!
Es war noch eine 14TB SATA Festplatte mit dem Stromanschluß am Netzteil.

Also wiederhole ich das Ganze besser nochmal!
 

So, aufgrund einer gerade stattfindenen Diskussion um SAS Kontroller war ich so frei und habe mal 3 Modelle aus meinem Funduns auf die Schnelle vermessen.

 

Nur vorab: die SAS Kontroller versauen durch die Bank alle die C-States!

 

Man sollte im Hinterkopf behalten, daß die hier gelistete Minimalkonfiguration (mit einem anderen 230V Netzteil) idle unter 8W bedurfte.

 

Wieder einmal:

- Gigabyte B760M DS3H DDR4 (BIOS/UEFI: 2023-11-09 F16b)
- Intel I3-12100 boxed (incl CPU Kühler)
- 2x 16GB DDR4-3200 Mushkin Essentials

- keine NVMe SSD
- kein SATA

- interne Netzwerkkarte (Realtek RTL8125BG) mit 1GBLan Link
- PCIe 4.0 x16 wird hier benutzt um die verschiedenen SAS Kontroller nacheinander zu beherbergen
- 1. PCIe 3.0 x1 leer
- 2. PCIe 3.0 x1 leer
- Leicke 157W 12V Netzteil
- Inter-Tech Mini-ITX PSU 160W, Wandlerplatine (88882188) 12V Input
- USB Bootstick: Transcend Jetflash 600 32GB; unraid 6.12.4 stable (weil es mit Realtek LAN sparsamer ist)

- USB 2.0 Kabelpeitsche: USB_SanDisk_3.2 Gen1 32GB als einzige Disk im Array (weil sich unraid sowieso ja nur mit Array vollständig nutzen läßt).

Array mit Autostart, damit es immer gleich ist und ich nach einem Reboot für die Tests nicht erst ins WebGUI zum Starten gehen muß.

 

Die getesteten SAS-Kontroller sind idle und ohne Beschaltung (kein Kabel, kein Laufwerk, kein extra Lüfter)

 

Broadcom MegaRAID 9261-8i, PCIe 2.0 x8, 8x SAS 6Gb/s, 2x SFF-8087
(ein recht alter Raidkontroller mit BBU)

unraid zeigt den Kontroller an als: RAID bus controller: Broadcom / LSI MegaRAID SAS 2108 [Liberator] (rev 05)

Der Verbrauch (mit DETC200 angezeigt) liegt nach Bildschirm schwarz und rund 5 Minuten gewartet bei rund 38,76 W. (was wohl durch das alte PCIe 2.0 Interface zu erklären ist). Siehe Screenshot 1

Powertop zeigt alle Tunables als "Good" an (auch den Broadcom /LSI MegaRAID SAS 2108)

Aber das System kommt nicht mehr unter C2 runter. Siehe Screenshot 2

 

 

Broadcom SAS 9207-8i, PCIe 3.0 x8, 8x SAS/SATA 6Gb/s, 2x SFF-8087
(schon etwas moderner als der vorherige. Ein reiner HBA ohne Raid und ohne BBU)

unraid erkennt ihn als: Broadcom / LSI SAS2308 PCI-Express Fusion-MPT SAS-2 (rev 05)

Der Verbrauch (mit DETC200 angezeigt) liegt nach Bildschirm schwarz und rund 5 Minuten gewartet bei rund 42,41  W. (Hier schlägt PCIe 3.0 zu) Siehe Screenshot 3

Powertop zeigt alle Tunables als "Good" an (auch den Broadcom / LSI SAS2308 PCI-Express Fusion-MPT SAS-2)

Aber das System kommt nicht mehr unter C2 runter. Screenshot 4

 

Broadcom SAS 9300-8i, PCIe 3.0 x8, 8x SAS 12Gb/s, 2x SFF-8643

(hier sind wir schon so ungefär in der Genereation des MegaRaid 9361-8i, der in der erwähnten Diskussion angesprochen wurde. Nur ist das hier nur ein HBA, was ihn minimal sparsamer machen sollte als den Megaraid) Laut Datenblatt ist er mit 13W nominaler Leistung angegeben.

unraid erkennt ihn als: Broadcom / LSI SAS3008 PCI-Express Fusion-MPT SAS-3 (rev 02)

Der Verbrauch (mit DETC200 angezeigt) liegt nach Bildschirm schwarz und rund 5 Minuten gewartet bei rund 41,91 W. (Hier schlagen PCIe 3.0 und 12GB SAS zu. Dafür ist es eine neuere Chipgeneration) (Screenshot 5)

Powertop zeigt alle Tunables als "Good" an (auch den Broadcom / LSI SAS3008 PCI-Express Fusion-MPT SAS-3)

Aber das System kommt nicht mehr unter C2 runter. Screenshot 6

 

Fazit: alle 3 SAS Kontroller schubsen den energetischen Verbrauch des gesamtes Systemes von ursprünglich rund 8 Watt auf nun rund 40 Watt hoch, weil sie selber idle schon etwas ziehen und leider die Energiesparmodi des Mainboard von optimalen C10 auf miserable C2 anheben.

 

Screenshot 1: Broadcom MegaRAID 9261-8i, PCIe 2.0 x8, 8x SAS 6Gb/s, 2x SFF-8087

Screenshot 2: Broadcom MegaRAID 9261-8i, PCIe 2.0 x8, 8x SAS 6Gb/s, 2x SFF-8087

Screenshot 3: Broadcom SAS 9207-8i, PCIe 3.0 x8, 8x SAS/SATA 6Gb/s, 2x SFF-8087

Screenshot 4 Broadcom SAS 9207-8i, PCIe 3.0 x8, 8x SAS/SATA 6Gb/s, 2x SFF-8087

Screenshot 5: Broadcom SAS 9300-8i, PCIe 3.0 x8, 8x SAS 12Gb/s, 2x SFF-8643

Screenshot 6: Broadcom SAS 9300-8i, PCIe 3.0 x8, 8x SAS 12Gb/s, 2x SFF-8643

 

 

 

 

 

 

Edited March 15 by DataCollector
MESSUNGEN alle Falsch!! Ich wiederhole

[worli]

Danke dir für den Aufwand und die Messungen. 

Ich weiß das sind jetzt nur Vermutungen, aber glaubst du ein Sas 4i Controller könne sparsamer sein? Und was ich gar nicht einschätzen kann ist, was der Unterschied ausmacht, wenn man nur noch auf C2 statt C3, bzw wie bei dir noch tiefer kommt.

Dank meines Supermicro Board siehts sehr stark danach aus das C3 bei mir sowieso das Maximum ist.

Mag mir das jetzt halt ausrechnen: Kostenlose Platten, gegenüber dem mehr an Stromkosten plus Controller kosten. 

[zero_neverload]

Danke für den Aufwand und die schnellen Messergebnisse.

 

Kann ich als nicht so erfahrerner Linuxuser solche Messungen selbst durchführen?

 

ich kenne nur lscpu oder cat /proc/cpuinfo

Edited March 15 by zero_neverload

[DataCollector]

10 hours ago, worli said:

Ich weiß das sind jetzt nur Vermutungen, aber glaubst du ein Sas 4i Controller könne sparsamer sein?

 

Die Technik (Chip) der 8i und 4i ist eigentlich identisch, man hat auf er Platine eben nur keinen zweiten SFF Anschluß aufgelötet.

Man beachte: ich habe diese Kontroller alle ohne bschaltung gemessen. Somit ist es auch egal ob nun ein Chip mit mechanisch 4 leeren Ports oder mit 8 leeren Ports verbunden ist.

 

Nein, ich gehe nicht davon aus, daß ein -4i sich da in irgendeiner Weise besser verhält.

Unter Beschaltung und Last wird es eher nur noch mehr werden.

 

10 hours ago, worli said:

Und was ich gar nicht einschätzen kann ist, was der Unterschied ausmacht, wenn man nur noch auf C2 statt C3, bzw wie bei dir noch tiefer kommt.

 

Wie ich anfangs schrieb: Das Mainboard+CPU+RAM+(anderes) Netzteil kommt absolut idle und ohne irgendwelche zusätzliche Komponenten auf rund 8 Watt.

Wenn LSI/Broadcom recht hat, das der 9300-8i nominal 13W schluckt (was vermutlich eben betrieb unter Last bedeuten wird) gehe ich bei dem Kontroller von idle selber auch mal grob von 8 Watt aus.

Somit hätte die Hardware selber eigentlich 8+8 = 16W brauchen müssen.

 

Da ich aber Meßfehler mit den SAS Kontrollern begangen habe, wiederhole ich die Meßrunde nochmal.

 

Edited March 15 by DataCollector

[DataCollector]

8 hours ago, zero_neverload said:

Kann ich als nicht so erfahrerner Linuxuser solche Messungen selbst durchführen?

 

Also in unraid geht das recht einfach.

Du mußt das Tool Powertop installieren. Hier gibt es mehrere Wege, aber recht einfach geht es so:

Eine gute Seele hat die App "NerdTools" gebastelt.

Also man installiert das Plugin "NerdTools", dann von da aus kann man in der Liste der Tools runter scrollen und bei "powertop" den Schalter umlegen und mit dem Button "Apply" installieren.

 

Nun muß man das Tool starten.

man öffnet in unraid ein Terminalfenster (oben rechts im Menü eines der eher links angeordneten kleinen Symbole).

In dem Terminalfenster tippt man dann powertop   ein und drückt Return.

Wie man das Tool bedient ist unten in der Zeile zu lesen. Aussteigen kann man mit der ESC Taste. Achtung: das Aussteigen kann einige Sekunden verzögert sein. Bitte etwa Geduld.

 

Info: damit wird das Tool nur zum Anzeigen einmalig gestartet ohne etwas zu optimieren.

Man kann im terminal mit dem befehl

powertop --auto-tune

dieses so ausführen, daß es versucht alles mögliche zu optimieren.

Das kann zwar auch Problemen führen, aber wenn das passiert braucht man nur neu zu starten, da das Tool im terminal gestartet keinen Neustart überlebt.

 

Sollt eman es permanent bei jedem Start von unraid nutzen wollen, macht es sinn dieses Tool in dem  go  file von unraid einzutragen.

 

P.S.: Ich habe von Linux eigentlich kaum eine Ahnung 😁

Wenn Du mehr wissen willst, es gibt eine sehr ausgeuferte Diskussion:

https://forums.unraid.net/topic/108966-strom-sparen-mit-powertop-stromverbrauch-von-unraid-verbessern/

 

[DataCollector]

So, da ich bei meinen Messung der SAS Kontroller gestern Abend einen groben Fehler begangen habe, wiederhole ich das Ganze nochmal.
(Ich hatte übersehen, daß da am Stromanschluß des Inter-Tech Netzteiles noch eine Festplatte hing. Ich hatte nur die SATA Datenverbindung getrennt.)

 

Also Ausgangslage:

Wieder einmal:
- Gigabyte B760M DS3H DDR4 (BIOS/UEFI: 2023-11-09 F16b)
- Intel I3-12100 boxed (incl. CPU Kühler)
- 2x 16GB DDR4-3200 Mushkin Essentials
- keine NVMe SSD
- kein SATA
- interne Netzwerkkarte (Realtek RTL8125BG) mit 1GBLan Link
- PCIe 4.0 x16 wird benutzt um die verschiedenen SAS Kontroller nacheinander zu beherbergen
- 1. PCIe 3.0 x1 leer
- 2. PCIe 3.0 x1 leer
- Leicke ULL 156W Netzteil 12V 13A 5,5 * 2,5mm
- Inter-Tech Mini-ITX PSU 160W, Wandlerplatine (88882188) 12V Input
- USB Bootstick: Transcend Jetflash 600 32GB; unraid 6.12.4 stable (weil es mit Realtek LAN sparsamer ist)
- USB 2.0 Kabelpeitsche: USB_SanDisk_3.2 Gen1 32GB als einzige Disk im Array (weil sich unraid sowieso ja nur mit Array vollständig nutzen läßt).
- Monitoranschluß und USB Kastatur/Mouse (per IPKVM, da das System im Keller steht)

 

Array mit Autostart, damit es immer gleich ist und ich nach einem Reboot für die Tests nicht erst ins WebGUI zum Starten gehen muß.

Meßergebnisse per AVM DECT200 über Fritzbox Webseite.

 

Die unten getesteten SAS-Kontroller sind idle und ohne Beschaltung (kein Kabel, kein Laufwerk, kein extra Lüfter)

Messung 1:
System ohne Steckkarten
So, zuerst einmal das nackte System: alle PCIe Slots leer, keine M.2 verbaut.

Verbrauch ca. 9,08W  (siehe Screenshot 1 links)
Überraschung! Das Leicke und der USB Stick im Array scheinen rund 1W mehr zu schlucken, als das vorher verwendete QNAP TR-004 Netzteil (welches aber auch weniger maximale Leistung hatte) und ohne USB Stick im Array.
Powertop: Es wird C10 erreicht (siehe Screenshot 1 rechts)

Messung 2:
Broadcom MegaRAID 9261-8i, PCIe 2.0 x8, 8x SAS 6Gb/s, 2x SFF-8087
(ein recht alter Raidkontroller mit BBU)
unraid zeigt den Kontroller an als: RAID bus controller: Broadcom / LSI MegaRAID SAS 2108 [Liberator] (rev 05)

 

Der Verbrauch liegt nach Bildschirm schwarz und rund 5 Minuten gewartet bei rund 36,40 W. (was wohl durch das alte PCIe 2.0 Interface zu erklären ist). (Siehe Screenshot 2 links)
Powertop zeigt alle Tunables als "Good" an (auch den Broadcom /LSI MegaRAID SAS 2108)
Aber das System kommt nicht mehr unter C2 runter. (Siehe Screenshot 2 rechts)

Messung 3:
Broadcom SAS 9207-8i, PCIe 3.0 x8, 8x SAS/SATA 6Gb/s, 2x SFF-8087
(schon etwas moderner als der vorherige. Ein reiner HBA ohne Raid und ohne BBU)
unraid erkennt ihn als: Broadcom / LSI SAS2308 PCI-Express Fusion-MPT SAS-2 (rev 05)

 

Der Verbrauch liegt nach Bildschirm schwarz und rund 5 Minuten gewartet bei rund 36,19 W. (Hier schlägt PCIe 3.0 zu) (siehe Screenshot 3 links)
Powertop zeigt alle Tunables als "Good" an (auch den Broadcom / LSI SAS2308 PCI-Express Fusion-MPT SAS-2)
Aber das System kommt nicht mehr unter C2 runter. (siehe Screenshot 3 rechts)

Messung 4:
Broadcom SAS 9300-8i, PCIe 3.0 x8, 8x SAS 12Gb/s, 2x SFF-8643
(hier sind wir schon so ungefär in der Genereation des MegaRaid 9361-8i, der in der erwähnten Diskussion angesprochen wurde. Nur ist das hier nur ein HBA, was ihn minimal sparsamer machen sollte als den Megaraid) Laut Datenblatt ist er mit 13W nominaler Leistung angegeben.
unraid erkennt ihn als: Broadcom / LSI SAS3008 PCI-Express Fusion-MPT SAS-3 (rev 02)

 

Der Verbrauch liegt nach Bildschirm schwarz und rund 5 Minuten gewartet bei rund 35,69 W. (Hier schlagen PCIe 3.0 und 12GB SAS zu. Dafür ist es eine neuere Chipgeneration) (Screenshot 4 links)
Powertop zeigt alle Tunables als "Good" an (auch den Broadcom / LSI SAS3008 PCI-Express Fusion-MPT SAS-3)
Aber das System kommt nicht mehr unter C2 runter. (Screenshot 4 rechts)

Leider habe ich keine SAS Kontroller der neueren NVME und PCIe 4.0 Generation (weil die mir aktuell viel zu teuer sind).

 

Fazit: es bleibt auch hier dabei, daß alle 3 SAS Kontroller den energetischen Verbrauch des gesamtes Systemes ziemlich anheben.
Von ursprünglich rund 9 Watt auf nun rund 36 Watt, weil sie selber idle schon etwas ziehen und leider die Energiesparmodi des Mainboard von optimalen C10 auf miserable C2 anheben.,

 

Wenn ich mal ein bisschen nach Milchmädschenart rechne:
System alleine 9W
Kontroller 9300-8i nominal 13W, idle und unbeschaltet vermutlich ca. 8W.
9W+8W = 17W für die Technik.
Bei einem gemessenen Verbrauch von rund 36W werden also durch den Anstieg von C10 auf C2 rund 20 Watt extra im System ver(sch)wendet.

 

Ich kann mich nur wirklich nochmal für die falsch Messung vorher entschuldigen. Ich hatte eien angeschlossene Festplatte übersehen, die ich hier wirklich komplett abgezogen habe.

 

 

Screenshot 1: System ohne jegliche installierte Steckkarte

 

Screenshot 2: Broadcom MegaRAID 9261-8i, PCIe 2.0 x8, 8x SAS 6Gb/s, 2x SFF-8087

 

Screenshot 3: Broadcom SAS 9207-8i, PCIe 3.0 x8, 8x SAS/SATA 6Gb/s, 2x SFF-8087

 

Screenshot 4: Broadcom SAS 9300-8i, PCIe 3.0 x8, 8x SAS 12Gb/s, 2x SFF-8643

Edited March 15 by DataCollector

[zero_neverload]

Da hast du aber dennoch Werte wo ich nur von träumen kann...

 

 

powertop --auto-tune mag er nicht ausführen

 

 

Eben hier nochmal eingelesen, aber das ist wohl auch alles nicht so klar. 

 

Hab mal zum testen powertop --calibrate probiert.

 

Edited March 15 by zero_neverload

[DataCollector]

2 hours ago, zero_neverload said:

Da hast du aber dennoch Werte wo ich nur von träumen kann...

 

Serverhardware ist eben nicht dafür bekannt wirklich den Fokus auf energieeffizienz zu legen.

Da geht es eher darum, daß es stabil ist und dafür werden eben auch mal ein paar Watt extra gegönnt.

Wäre doch blöd (oder teuer), wenn eine Bank auf einmal Rechenfehler hat oder ihre Transaktionen nur noch verspätet abliefern könnte, nur weil wegen zu strammen Energieeinstellungen, da ein paar Systeme im Cluster aus dem Konzept kommen oder sich gegenseitig verzögern.

 

2 hours ago, zero_neverload said:

powertop --auto-tune mag er nicht ausführen

 

Doch, mag er.

Er wirft bei Dir (und auch mir) nur ein paar Zusatzmeldungen aus, die man ignorieren kann.

 

Boote unraid mal ohne Powertop --auto-tune

udn schaue dann in Powertop mal die "Tuneables" an.

Da werden viele Devices auf "Bad" stehen = nicht optimiert.

Dann führe mal powertop --auto-tune aus und scahue danach mit einem weiteren Aufruf von powertop die Tuneables nochmal an.

In der Regel sollten weitaus mehr (oder bei mir alle) auf "Good" stehen.

 

Wenn sich da also was getan hat, hat der Parameter etwas getan.

[DataCollector]

Ein neuer Tag... eine neue nagende Frage...

 

Im Zusammenhang zu diesem Mainboard wurde die Frage an mich heran getragen, wie die Verbrauchswerte mit angeschlossenen Festplatten aussehen.

Und da mich sowas nicht los läßt, also bitte.

 

Wieder einmal:
- Gigabyte B760M DS3H DDR4 (BIOS/UEFI: 2023-11-09 F16b)
- Intel I3-12100 boxed (incl. CPU Kühler)
- 2x 16GB DDR4-3200 Mushkin Essentials
- keine NVMe SSD
- kein SATA
- interne Netzwerkkarte (Realtek RTL8125BG) mit 1GBLan Link
- PCIe 4.0 x16 leer
- 1. PCIe 3.0 x1 leer
- 2. PCIe 3.0 x1 leer
- Leicke ULL 156W Netzteil 12V 13A 5,5 * 2,5mm
- Inter-Tech Mini-ITX PSU 160W, Wandlerplatine (88882188) 12V Input
- USB Bootstick: Transcend Jetflash 600 32GB; unraid 6.12.4 stable (weil es mit Realtek LAN sparsamer ist); "powertop --auto-tune" im go file.
- USB 2.0 Kabelpeitsche: diesmal leer, weil ich als Array nun 4 echte Festplatten nutze
- Monitoranschluß und USB Kastatur/Mouse (per IPKVM, da das System im Keller steht) 

 

Als Festplatten nutze ich 4 alte Seagate Archive v2 8TB ST8000AS0002-1NA17Z und habe 3 als Datenfestplatten und 1 als Parityfestplatte in ein neu erstelltes Array geworfen.

Achtung: diese Festplatten sind nicht wirklich 'optimal' in einem ernsthaft genutzten Array! Dies ist nur als Test für die Messungen gedacht.

Nach anfänglichen Erfahungen vor Jahren rate ich heute von SMR als Parity ab.

Auch sind Arrays, welche auf Schreibgeschwindigkeit setzen wollen, mit Festplatten <7200Rpm langsamer als welche mit eben 7200Rpm.

Die Parity(s) sollte(n), in meinen Augen, immer die flotteste der Festplatten sein (wenn es von der Kapazität her paßt), weil die Parity maßgeblich die Schreibperformance beeinflußt.

 

Technische Daten der Festplatten: ST8000AS0002-1NA17Z (laut www.gh.de)
Formfaktor 3.5" 
Drehzahl 5900rpm 
Cache 128MB 
Leistungsaufnahme 7.5W (Betrieb), 5W (Leerlauf) 
Aufnahmeverfahren Shingled Magnetic Recording (SMR), Drive Managed SMR

 

Ergänzung: als diese Festplatten damals in den Markt entlassen wurden, hatte man sie eben als Langzeitarchiv mit wenig Schreibbedarf entworfen und auch mit mehreren innovativen Stromsparstati beworben. Somit sind die elektrischen Werte (oben die Angaben und unten die Messungen) dieser Festplattentype nur als Anhaltspunkt zu sehen. Andere Festplattentypen können etwas andere Werte haben/erreichen.

Ich warte, bis der Bildschirmschoner anspringt und er Bildschirm somit schwarz geschaltet wird, verlasse das WebGUI, weil auch ein offenes WebGUI einen kleinen Einfluß hat.
Die Docker und VM Dienste sind gestartet, aber es ist kein Dockercontainer oder eine VM installiert.

Gemessen wie üblich mit der selben DECT200 Steckdose und ausgelesen über eine Fritzbox. Ich nenne den Mindestwert einer ca. 10 Minuten Zeitperiode in der Anzeige.

Alle Powertop Tuneables werden wieder als "Good" gemeldet.

Messung 1: Parity building
Alle Festplatten drehen, weil ich gerade die Parity erstellen lasse.
Also 3 Datenfestplatten lesen und schreiben ihre Daten auf die Parityfestplatte.
 nach rund 10 Minuten Wartezeit liegt der Verbrauch bei 55,00 W. (Siehe Screenshot 1 links)
Powertop meldet folgendes: (Siehe Screenshot 1 rechts)
Keine Überraschung. Wenn die CPU was zu tun hat, warum sollte sie stromsparend auf der C10 Sonnenliege dösen? Also sehen die C-Angaben mies aus.

Messung 2: idle Spin up
Alle Festplatten drehen (spin up; Kreise sind grün ausgefüllt), aber langweilen sich. Ich habe einfach das Parity Building abgebrochen.
Angezeigte Schreib-/Lesegeschwindigkeit 0MByte/s.
 nach rund 10 Minuten Wartezeit liegt der Verbrauch bei 30,61 W. (Siehe Screenshot 2 links)
Powertop meldet folgendes: (Siehe Screenshot 2 rechts)
Zu beachten, da ich nicht neu gebootet habe sind die Prozentzahlen nicht so hoch, weil ja vorher in fast gleicher Zeit das Paritybuilding lief. Aber C10 wird dennoch gut erreicht.

Messung 3: idle Spin down
Alle Festplatten schlafen tief und fest (spin down, Kreise sind grau). Ich habe sie manuell schlafen gelegt per Button "Spin down"
Angezeigte Schreib-/Lesegeschwindigkeit 0MByte/s.
 nach rund 10 Minuten Wartezeit liegt der Verbrauch bei 9,58 W. (Siehe Screenshot 3 links)
Powertop meldet folgendes: auch hier wieder C10 großteils erreicht (Siehe Screenshot 3 rechts)

 

 

Messung 4: Preclear auf allen 4 Festplatten
Da ich sowieso die Datenreste von den Festplatten wieder entfernen muß habe ich im dn UD (Unassigned Devices) alle Festplatten gleichzeitig in Preclear geschickt (ohne PreRead).
 nach rund 10 Minuten Wartezeit liegt der Verbrauch bei 64,80 W. (Siehe Screenshot 4 links)

Da nun alle 4 Festplatten gleichzeitig schreiben verbrauchen alle gleichzeitig ihr Maximum. Lesend sind sie etwas sparsamer.
Powertop meldet folgendes: Auch hier hat die CPU was zu tun, weshalb die C-States wieder grottenschlecht aussehen. (Siehe Screenshot 4 rechts)

 

Screenshot 5 zeigt das Array, wie es in Messung 1-3 zusammengestellt war.

Screenshot 6 zeigt die einzelnen Disks in UD als preclear gestartet wurde für Messung 4.

 

Fazit: genau wie erwartet.
Wenn die CPU etwas zu tun hat, sind die Energiesparmaßnahmen (C-States) kaum wirksam.
Idle sinkt der Verbrauch und die CPU kann die C10 Sonnenliege aupacken. die drehenden Festplatten (Spin up) fressen aber zusammen rund 21 Watt (= ca. 4x 5,25 W).
Und wenn dem ganzen System langweilig ist erreicht es sogar fast die Werte, die das nackte System ohne Festplatten erreicht. Die 4 Festplatten im Spin down schlagen alle zusammen also mit vielleicht 0,5 bis 1 W zu Buche.

 

 

Screenshot 1: Array erstellt; 4 Festplatten; Parity building

 

Screenshot 2: Array erstellt; 4 Festplatten; idle, Spin up

 

Screenshot 3: Array erstellt; 4 Festplatten; idle, Spin down

 

Screenshot 4: Array aufgelöst; 4 Festplatten alle UD preclear gleichzeitig

 

Screenshot 5: Array erstellt für Messungen 1-3

 

Screenshot 6: Array aufgelöst, UD Preclear für alle gerade gestartet

Edited March 15 by DataCollector

[Uarnid]

Moin,

ich würde mir auch gern das Gigabyte B760m DS3H DDR4 kaufen. Gibt es schon eine funktionierende Lösung für das Problem mit den verhinderten C-states unter neueren Unraid Versionen bei den Realtek NICs?

 

Oder sollte ich mir lieber ein anderes Board heraussuchen mit Intel NIC?

[tropfen]

Moin,

 

bei mir geht es unter Nutzung des Weges von https://forums.unraid.net/topic/153787-unraid-os-version-6128-available/page/3/ 

sudo setpci -s 00:1c.2 0x50.B=0x42
sudo setpci -s 03:00.0 0x80.B=0x42

 

Und natürlich powertop --auto-tune

 

Grüße

Frank

Edited March 24 by tropfen

[Uarnid]

34 minutes ago, tropfen said:

Moin,

 

bei mir geht es unter Nutzung des Weges von...

 

Super, vielen Dank!

 

Gilt das eigentlich immer noch das man 2,5Gb Realtek NICs den Intel 2,5Gb NICs vorziehen sollte?

Edited March 24 by Uarnid

[MPC561]

23 hours ago, Uarnid said:

Gilt das eigentlich immer noch das man 2,5Gb Realtek NICs den Intel 2,5Gb NICs vorziehen sollte?

War das schon jemals so? Wenn Intel NICs erstmal unterstützt werden sind die in der "Regel" wesentlich stabiler von den Treibern her, als die verdammten Realteks. Sieht man ja hier an dem Board gut welchen Ärger die machen. Erst alles gut, dann plötzlich kein ASPM mehr...