Kaaarl

@_alo_ Kurze Zwischenfrage: Welche Steckdose/Messgerät benutzt du und Data für die Strommessung über die Zeit? Irgendein AVM produkt?

Da könntest du mir dem Ds3H Probleme bekommen. Ich habe diese Kombination gerade am ausprobieren und es scheint so als ob die Karte die CPU recht wach hält. Bei alo mit dem chipset pcie sieht es deutlich besser aus.

Achso, das macht natürlich Sinn. Probier ich gleich mal aus. Edith: also nach knapp fünf bis zehn Minuten ist der Verbrauch um ca 2 Watt gefallen mit abgezogenem Kabel an der 10g karte. Idle states sind weiterhin nur bis C2 PS: die realtek könnte ich noch im BIOS deaktivieren, aber davor erwarte ich keine Wunder.

Wie sind die bei dir konfiguriert? Ich habe gesehen, dass Unraid direkt ein Bonding mit active/passive Failover bei mir gemacht hat. Ich hab das jetzt mal deaktiviert und fahre nur über die 10G Karte; die RTL ist laut Unraid "shutdown (inactive)". hast du die Fenvi AQC113C noch zusätzlich im ASPM Helper drin? Ich hab jetzt mal das Kabel vom 2.5G interface abgezogen, das macht quasi keinen unterschied. Das 10G wird aktuell als einziges Interface verwendet.

Flashen auf dem B760M ging problemlos mit Windows. Evtl mach ich noch einen Mini-Guide damit der Prozess dokumentiert ist. | Wattage | 10G Card | Removed 10G Card | M2 in SB slot | RTL8125 ASPM | 10G ASPM | |------------------|----------|------------------|---------------|--------------|----------| | Stock | 41W | 29W | 27W | | 38W | | Drives spun down | 33W | 21W | 19W | | 30W | | Autotune | 31W | 19-20W | 18-19W | 13-14W | 29W | Nach Einbau der 10G Karte ist der Verbrauch wieder deutlich hochgegangen. Das System kommt auch nur bis zum C2 package state. Allerdings sind hier jetzt auch die beiden NICs angeschlossen. ASPM: 00:01.0 PCI bridge: Intel Corporation Raptor Lake PCI Express 5.0 Graphics Port (PEG010) (rev 01) (prog-if 00 [Normal decode]) LnkCap: Port #2, Speed 16GT/s, Width x16, ASPM L1, Exit Latency L1 <16us LnkCtl: ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+ 00:1a.0 PCI bridge: Intel Corporation Raptor Lake PCI Express Root Port #25 (rev 11) (prog-if 00 [Normal decode]) LnkCap: Port #25, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <64us LnkCtl: ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+ 00:1c.0 PCI bridge: Intel Corporation Raptor Lake PCI Express Root Port #1 (rev 11) (prog-if 00 [Normal decode]) LnkCap: Port #1, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <4us LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, LnkDisable- CommClk- 00:1c.2 PCI bridge: Intel Corporation Raptor Point-S PCH - PCI Express Root Port 3 (rev 11) (prog-if 00 [Normal decode]) LnkCap: Port #3, Speed 8GT/s, Width x1, ASPM L1, Exit Latency L1 <64us LnkCtl: ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+ 01:00.0 Ethernet controller: Aquantia Corp. AQC113C NBase-T/IEEE 802.3an Ethernet Controller [Marvell Scalable mGig] (rev 03) LnkCap: Port #0, Speed 8GT/s, Width x2, ASPM L0s L1, Exit Latency L0s <4us, L1 <64us LnkCtl: ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+ 02:00.0 Non-Volatile memory controller: Shenzhen Longsys Electronics Co., Ltd. Lexar NM790 NVME SSD (DRAM-less) (rev 01) (prog-if 02 [NVM Express]) LnkCap: Port #0, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <64us LnkCtl: ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+ 04:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8125 2.5GbE Controller (rev 05) LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s unlimited, L1 <64us LnkCtl: ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+

So, mit dem ASPM Helper die RTL8125 NIC auf Mode=2 gesetzt. Mode = 2 war halb geraten bzw von anderen abgeschaut. Woher bekommt man diese Info denn? Brauch es denn auf Unraid 7 immer noch die RTL8125 Treiber als explizites install/plugin? ASPM L1 ist jetzt auf allen devices aktiv. Output lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )' Powertop zeigt dass auch Package state C10 erreicht wird. | Wattage | 10G Card | Removed 10G Card | M2 in SB slot RTL8125 ASPM |---------------------------------|-----------------------------|----------------------------------|----------------------------------|----------------------------------| | Stock | 41W | 29W | 27W | | Drives spun down | 33W | 21W | 19W | | Autotune | 31W | 19-20W | 18-19W | 13-14W

Ich habe jetzt nochmal mit den Treibern unter Windows gespielt und auch die offiziellen Treiber vom Hersteller installiert (Die Chinesische Anleitung hat zum Glück genug Bilder). Ich vermute dass mein Haupt-Mobo (MSI) hier zickt. Wie du richtig erwartet hast werden die Daten (PCIE Identifier etc) von der Karte im Device Manager angezeigt, nur starten will sie Windows nicht (Code 10). Auf Unraid hab ich auch paar kb traffic auf dem Interface gesehen, daher denke ich nicht dass es ein Hardwaredefekt ist. Aber, das flashing tool liest ja zuerst die DeviceIdentifier aus, was bei mir scheitert (Secure Boot off), daher werde ich das flashen wohl direkt mal im DS3H probieren - sobald ich hier einen USB stick auftreibe. Ansonsten muss der Unraid Stick herhalten. Hier habe ich die Version 1.5.42 mit ASPM enabled genommen; so wie ich deinen Bericht dazu verstanden habe ist das die von dir verwendete. Im Bios sind die Settings richtig gesetzt, mit der Ausnahme zu den PCIe speed und dem Turbo-boost. Werde ich aber nacher trotzdem nochmal prüfen. Der ASPM-Helper für die 2,5G Karte ist noch nicht installiert. Genau das mache ich auch Nachdem ich kapiert habe dass man die Arretierung beim SB M2 Port einfach ziehen muss, ist die M2 jetzt da rein gewandert. Es sind noch keine größeren Veränderungen erkennbar, allerdings ist auch noch nichts mit dem ASPM helper gemacht. | Wattage | 10G Card | Removed 10G Card | M2 in SB slot |---------------------------------|-----------------------------|----------------------------------|----------------------------------| | Stock | 41W | 29W | 27W | Drives spun down | 33W | 21W | 19W | Autotune | 31W | 19-20W | 18-19W Output lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )'

@_alo_ Interessanterweise läuft die 10G Karte auf meiner Windows 10 Kiste nicht. Sie wird im Device manager als unbekannt angezeigt, Treiber hat Windows keine. Manuelle Installation der Treiber von Fenvi mag Windows auch nicht... Wurde die Karte denn "out of the box" bei dir auf Win erkannt? Das Flashen funktioniert auch nicht, da er die Device IDs nicht lesen kann... aber das hängt vermutlich am vorherigen Problem. War die Karte bei dir Plug and Play?

| Wattage | 10G Card | Removed 10G Card | |---------------------------------|-----------------------------|----------------------------------| | Stock | 41W | 29W | | Drives spun down | 33W | 21W | | Autotune | 31W | 19-20W | Ohne 10G Karte wird auch ohne tuning C3 Package state erreicht

So, initiale Konfiguration ist gemacht. Noch keine Docker o.Ä. installiert, sondern nur Unraid. 2.5G onboard network und 10G PCI-E Karte werden automatisch erkannt und beide Karten haben Link. Die CPU Cores kommen auch bis C7 herunter, aber das ganze Package hängt bei C2. Stromverbrauch ist im idle bei ca. 41W - gemessen mit einem TP-LINK HS110 (was nicht für super Genauigkeit bekannt ist) Spindown der Drives bringt uns auf circa 33W (for dev in /dev/sd?; do /usr/local/sbin/emcmd cmdSpindown="$(grep -zoP "(?<=name=\")[a-z0-9]+(?=\"\ndevice=\"${dev: -3})" /var/local/emhttp/disks.ini | tr -d '\0')"; done) Powertop auto-tune kann alle turnables auf "good" stellen. (wo muss das auf dem USB drive hin? /boot/extra oder /extras/? Manuelle Installation über installpkg funktioniert allerdings). Stromverbrauch sinkt minimal auf 31W lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )' listet eine Handvoll Probleme - wie zu erwarten auch die 10G Netzwerkkarte. Hier ist noch das Firmware Update zu machen Entfernen des 10G Netzwerkkabels senkt den Verbauch gleich nochmal 2W auf 29W

Ich hoffe sehr dass sich bei den c-states nicht groß ändert, aber mit 10g Netzwerk und m2 direkt an CPU pcie lanes wird es interessant

So, dank der massiven Schoko-Hasen-Vorräte die sich über Ostern angehäuft haben, konnte ich den Server über die letzten Stunden im Zuckerrausch zusammen schrauben. Fazit: Schönes Gehäuse, aber paar extra Schrauben für extra Lüfter hätte man beilegen können. Die Lüftungssteuerung des Gehäuses verdient den Namen nicht (und wird daher auch nicht benutzt). Mit 8 Platten wird es ganz schön kuschelig im Case werden, aber im moment sind ja erstmal nur 2 drin, und die Anschlüsse für zwei zusätzliche sind parat. Bios wurde auf F20 upgedated (Feb 2025 IIRC) und dann die meisten Einstellungen von Datacollector übernommen - ErP, C-States, Virtualisierung etc Was nicht übernommen wurde: CPU PCI -> nicht auf 3x beschränkt (weil ich die M2 in den Slot der über die CPU angebunden ist gesteckt habe. Warum? Ich war zu blöd die Arretierung vom Southbridge M2 aufzubekommen) Automatisches Hochtakten der Intel CPU (Boost? Turbo? Begriff fällt mir gerade nicht ein) Mouse-Acceleration Das Mainboard hat leider einen Fan Header zu wenig, daher brauche ich noch ein Y-Kabel. Einrichtung wird dann Mi/Do gemacht.

So, bestellt ist jetzt, der Krempel kommt aber hauptsächlich erst nach Ostern. CPU: Intel Core i5-14400 (C0 stepping) (Amazon hat mir erst einen 14100 geschickt) Kühler: CPU Boxed Mainboard: GIGABYTE B760M DS3H DDR4 (Intel Sockel 1700) (bestellt) RAM: 64GB DDR4-3200, CL22 (2 Module a 32GB von Crucial) (schon da) SSD (Cache/VMs): Lexar NM790 4TB (bestellt) Gehäuse: Fractal Node 804 (bestellt) Netzwerkkarte: 10G-over-Ethernet Fenvi AQC113C-RJ45 (schon da) Festplatten: 2x Toshiba Cloud-Scale Capacity MG10F AFA 20TB (bestellt) Netzteil: BeQuiet BN341 (bestellt) USB-Stick: Transcend Jetflash 780 (bestellt) Extra Lüfter und SATA Kabel hab ich hier noch paar rumliegen. Gehäuse hat allerdings schon 3, das Netzteil auch einen... also viel mehr Luft brauch die Kiste vermutlich nicht wenn ich den Luftstrom über die HDDs und die M2 hinbekomme

Zwischenstand Komponenten CPU: Intel Core i5-14400 (C0 stepping) Kühler: CPU Boxed Mainboard: GIGABYTE B760M DS3H DDR4 (Intel Sockel 1700) RAM: 64GB DDR4-3200, CL22 (2 Module a 32GB von Crucial) SSD (Cache/VMs): Lexar NM790 4TB (<--- Irgendwelche Probleme hiermit bekannt? Meine Foren-Suche hat mir eher positives gezeigt) Gehäuse: evtl uATX - also doch das Fractal Node 80x Netzwerkkarte: 10G-over-Ethernet Fenvi AQC113C-RJ45 Festplatten: 2x Toshiba Cloud-Scale Capacity MG10F AFA 22TB (aktuell am günstigsten) Netzteil: BeQuiet BN341 USB-Stick: TBD Habe ich das vom logischen Setup richtig verstanden bzw macht das Sinn: Unraid bootet vom USB Stick und läuft aus dem RAM Plex-Cache (Vorschaubilder, etc) liegen auf der M2, ebenso Docker, images, temp-files etc... also alles was 24/7 gebraucht wird bzw. ständig läuft Internet-Downloads kommen auch erstmal auf die M2 wegen dem 10G speed die Hdds laufen als Partity + Storage für Long Term data storage. Irgendein Job schiebt dann regelmässig daten von der M2 auf die Hdds Welches logische Setup ist hier zu bevorzugen? xfs, zfs, btfrs, ... cluster, arrays, spanning-volumes, etc?

Ich bin immer noch etwas am hadern mit mir wegen der Konfiguration. Die SCEWIN-Problematik zu lösen traue ich mir zu, aber es ist trotzdem extra Arbeit und eine zusätzliche Fehlerquelle. Vermutlich werde ich bei den Platten auch nicht so schnell auf mehr als 60 TB Befüllung kommen, was sich problemlos über die 4 Sata Ports des B760M DS3H realisieren könnte. Situation hier sieht ungefähr so aus: