Crazy-Bytes

Guten Abend, Ich glaube ich habe jetzt zumindest was den Stromverbrauch angeht soweit alles hin bekommen. Ich habe noch ein paar Guides gefunden und ab gearbeitet. Unter anderem diesen passend zum Board (ist zwar das B760 und nicht B760M, aber die Settings stimmen trotzdem): https://github.com/denisiglesiasgarcia/B760-DS3H-DDR4-unraid Den Guide von mgutt: https://forums.unraid.net/topic/98070-reduce-power-consumption-with-powertop/ Habe den ASM166 Controller neu geflasht: https://docs.phil-barker.com/posts/upgrading-ASM1166-firmware-for-unraid/ Zusätzlich habe ich das BIOS von F20 auf F21 aktualisiert uns zusätzlich die LEDs im BIOS deaktiviert. Aktuell habe ich die folgenden Plugins installiert: Community Applications (Das hat vermutlich fast jeder) Unraid Connect (Backup des Boot Sticks) Intel GPU TOP (für die iGPU) ITE IT87 Driver (Dadurch werden ein paar Features in den Einstellungen verfügbar und die PWM Controller werden erkannt) Nuvoton NCT6687 Driver (Dadurch werden zusätzliche Sensoren auf dem Board erkannt) RTL8125 (B) Drivers (für LAN, gestattet mir die ASPM Settings anzupassen ohne dass die Netzwerk Verbindung irgendwann verloren geht) Tipps und Tweaks (Um den CPU Governor auf Power Save zu setzen. Geht auch anders, ich fand es aber so besser) User Scripts (führt ein powertop --auto-tune beim Start des Arrays aus, da die Einstellungen nach einem Neustart verloren gehen) ASPM Helper (Zur Übersteuerung der ASPM bei RTL8125 NIC und ASM1166 Controller) Dynamix System Temperature (Zur Anzeige von CPU und MB Temperaturen, sowie Lüfter Geschwindigtkeien im Footer) Tasmota Power Monitor (Zum Monitoren des Strom Verbrauchs) Das System läuft stabil und nachdem die Platten nach 15 Min. im Idle in den Spin Down gehen pegelt sich das System im Idle nach insgesamt ca. 30 Min. zwischen 30W und 40W ein. Im Durchchnitt ca. 34,5W. Finales Setup ist jetzt wie folgt: CPU: Intel i9-14900K (125W Power Limit, kein Turbo) Cooler: Noctua NH-L12S Mainboard: Gigabyte B760M DS3H DDR4 RAM: 128 GB (4x Samsung M391A4G43BB1-CWE 32GB 2Rx8 ECC DDR4-3200, arbeitet leider non-ECC) PCIe Cards: ASM1166 6x SATA III Controller (PCIe 3.0 x1) Storage: 6x Seagate Ironwolf Pro 16 TB 2x Samsung 870 EVO 2TB 2x Samsung 990 PRO 2TB PSU: Corsair SF600 Platinum Case: Jonsbo N4 (Gehäuse Lufter ersetzt durch Noctua NF-A14x25 G2 PWM) Aktuell ist das System noch über den on-board 2,5 GB/s NIC im Netz (Ein Problem nach dem anderen :) ). Ich werde als nächstes versuchen eine meiner Mellanox ConnectX-3 SFP28 Karten eingerichtet zu bekommen und dann per OM3/4 Kabel direkt an einen der beiden SFP+ Ports des Routers mit 10GB/s zu verbinden. Vielen Dank für die Links, Tipps, Hinweise und Empfehlungen. Grüße, Carl

Naja, sollte die CPU mal Amok laufen weil irgendein Prozess falsch läuft (Endlosschleife, aktives Warten, etc.) könnte die schon heiß werden. Dann wäre es aus meiner Sicht besser das Systen so kalibiriert zu haben (z.B. Power Limit auf 125W) das es nicht überhitzt bzw. Schaden nimmt. Und wenn die CPU dann gestresst wird, zieht sie ja auch entsprechend Strom und da wäre es meiner Meinung nach auch besser sicher zu stellen dass das Netzteil das auch liefern kann anstatt durch Überspannungsschutz oder Überhitzungsschutz, etc. einfach abzuschalten. Hab halt noch diverse gebrauchte Hardware rumlegen und wollte mir daraus eine erste DIY NAS zimmern. Der erste Versuch mit nem Serverboard und AMD CPU war schon mal nicht gut. Es lief zwar - soweit es eingerichtet war - schon alles, aber der Verbauch war mit mit 100W im Idle zu hoch. Auch mit Hilfe von powertop und Co. habe ich das System halt nur auf max. 55W drücken können, Durchschnitt war aber 65W - 70W. Dank der netten Leute hier hatte ich die Empfehlung bekommen lieber den 14900K zu nutzen den ich noch da hatte. Im Gehäuse (Jonsbo N4) kann ich nur einen Lüfter mit max. 70mm Höhe verwenden.

Board ist gestern angekommen. Habe es auch schon eingebaut und muss es noch neu verkabeln. Hab jetzt den 14900K drauf mit dem NH-L12S und den 4x 32GB RAM. Ich denke mal der 14900K ist mehr als ausreichend für Transcoding, oder? So daß ich nicht noch eine A310 drauf bauen muss. Hab jetzt noch eine ASM1166 6-Port Karte bestellt, welche vorraussichtlich morgen an kommt. Werde dann die 6 Spinner entweder and die Karte oder das Board anschließen und die beiden SSDs dann die anderen verbleiben Ports oder macht es Sinn das separat zu verkabeln? Sprich 3 HDDs + 1 SSD auf Board und das gleiche nochmal auf die Karte oder ggf. auch anders? PCIe 3.0 x1 hat glaube ich ca. 970 MB/s, da sollten 6x HDDs doch okay sein. Ich hatte gelesen dass die durchschnittliche Lese/Schreibgeschwindigkeit wenn der Cache ausgeschöpft bei ca. 160 MB/s liegt. Hatte auch welche mit 10 oder mehr Ports gesehen aber das kann von der verfügbaren Bandbreite doch gar nicht passen. Werde dann erstmal das 1600W ATX Netzteil dran machen und dann schauen wie stark ich die CPU limitieren muss, damit der Kühler nicht überfordert wird. Gibt es da was zum Stress testen? Ich hoffe das ich nicht mehr als das 600W Netzteil brauche. Und falls ich es noch nicht gesagt habe, vielen Dank für die umfangreiche Hilfe und Unterstützung. Grüße, Carl

Hab jetzt das Gigabyte B760M DS3H DDR4 bestellt. Hoffe das es bis Freitag ankommt und werde dann am WE umbauen und berichten.

Das hatte ich vorgestern gemacht. Die Befehle stehen jetzt in der go Datei, weil die Einstellungen vom powertop --auto-tune den Reboot nicht überlebt haben. BIOS ist v1.70, das ist auch das neueste auf der Seite von ASRock. BMC ist v2.01.00, also sogar noch neuer als auf der Support Seite (v1.35.00)

Das Gigabyte B760M DS3H DDR4 hat nur 4 SATA Ports. Gibt es eine gute Empfehlung für PCIe SATA Karten (PCIe 3.0 x1 oder M.2 zu SATA)? Ich würde gerne meine 8 Platten (6 HDD + 2 SSD) weiter verwenden und mind. 1 der beiden M.2 NVMes

Das Gehäuse kann max. micro-ATX (µATX). Das Gigabyte B760M DS3H DDR4 und DDR5 sind beide micro-ATX. Würden also beide passen. Wenn ich das Board und CPU tausche muss ich da die Lizenz auf das die neue Kombo um ziehen?

Ist das ein Vertipper und Du meinst den 14900K von mir oder 14600K als alternativen Vorschlag? Bei dem 14900K hätte ich Bedenken den ausreichend in dem Gehäuse gekühlt zu bekomen wenn dieser dann mal Last hat, kann in dem Gehäuse (Jonsbo N4) nur einen 70mm Kühler verbauen. Machen die T bzw U Prozessren hier Sinn? Hatte hier schon Builds mit einem 12100T gesehen. Die Modelle sind ja generell auf niedrigeren Verbrauch getrimmt oder geht das zu sehr auf Kosten der Leistung? Grüße, Carl

Entwickeln werden meine Frau und ich auf dem Ding nicht direkt. Dient mehr als große Festplatte für die KI Modelle und digitalen Papierkram. Unser Junior hatte angefragt ob man darauf auch einen MineCraft Server einrichten kann, er sagte mir das so ein Server nicht sehr anspruchsvoll ist. Ich weiß aber nicht was das an Anforderungen hat.

Hi, Danke für die Info. Ist wie gesagt mein erstes DIY NAS. Ich hatte den 14900K wegen seinem hohen Verbrauch unter Last ausgeschlossen. Ich dachte dass ich mit einer Low Power CPU wie dem 5750GE besser fahre - wieder etwas gelernt. Dann retourniere oder verkauf ich das X570D4U-2L2T wieder. Hätte ich besser mal vorher gefragt, naja hinter her ist man immer schlauer. Ist es schlimm wenn der RAM nicht mit ECC arbeitet? Ich hatte gelesen das ECC bei einer NAS sinnvoll ist und bei QNAP ist bei vielen Geräten (ab SMB Klasse) wo man RAM verbauen kann i.d.R. auch ECC-Unterstützung vorhanden. Deswegen hatte ich auch extra ECC-RAM gekauft. Hätte sonst auch noch 2x 48 GB DDR5 XMP RAM da.

Ich habe jetzt 10x alle 15 Min. ein powertop --calibrate ausgeführt. Ich hatte gelsen das der --calibrate diverse Einstellungen versucht und es sinnvoll ist das System mehrmals zu messen. Das hat aber erstaml zu keiner Veränderung im Verbrauch geführt. Schließlich habe ich powertop --auto-tuneausgeführt. Bis jetzt ist noch alles erreichbar. Die Platten sind im Spin Down. Das System ist seit ca. 45 Min. Im Idle und zieht aktuell 55W - 75W. Wenn ich versuche was zu lsen oder zu schreiben drehen die Platten wieder hoch und nach 15 Min. ohne Tätigkeit wieder runter. Leider gehen die Einstellungen nach einen Reboot verloren. Und bei Tunables steht das meiste wieder auf "Bad". Ich hatte nur das ab kopiert wo ich Änderungen gemacht hatte. Es gibt im BIOS unter Advanced noch 2 weitere Einträge: Wenn man da drauf geht kommt aber eine Warnung das man durch Ändern der Einstellungen das System schädigen kann und dort explizit erstmal mit "Accept" zustimmen muss. Bei AMD Overclocking kann man Frequenzen und Voltages setzen. Ich denke das man da neben Overclocking auch zu einem gewissen Grad Undervolting machen kann. Das habe ich aber nicht angepackt. In den tieferen Menüs unter AMD CBS > CPU Common Options habe ich eine Einstellung zu CStates (Global C-state Control) gefunden, welcher Default auf Auto ist. Verfügbar ist noch Disabled und Enabled.

Mag sein das für das meiste auch weniger Hardware gereicht hätte, aber ich gebe lieber etwas mehr aus anstatt mich später zu ärgern das ich am falschen Ende gespart habe. Bei den Platten würde ich aber ungerne was abschneiden. Zum einen hat unsere Film/Serien Sammlung ca. 18TB (Lossless 4K mit allen Sprachen und Untertiteln). Gerade die Serien fressen ein Menge Platz. Die Sammlung wird nicht zusätzlich gesichert. Desweiteren sind dort sensible und persönliche Daten in Form von Dokumenten, Verträgen, medizinische Unterlagen, Fotos, etc. drauf. Diese werden täglich auf einen ausrangierten Laptop und Offsite gesichert. Ich teste und trainiere unter anderem Sprachmodelle, Bilderkennung und -generierung, etc. Je nach Modell kommt da mit einer Iteration mal eben 400 - 480GB an unkomprimierten Daten zusammen. Und sofern man dann bei Iteration 6 merkt das man bei Iteration 3 die falschen Trainingsdaten verwendet hat ist es gut noch die Vorgänger Versionen zu haben. Ich hatte schon Modelle wo ich 20+ Iterationen hatte. Da kommen schnell ein paar TB zusammen. Die Modelle werden live Offsite gesichert, weil der Transfer einfach ewig läuft (größere Modelle ca 2-3 Stunden, und die sind schon gepackt und komprimiert). Wir haben 2x 250MBit (1 privat / 1 von der Firma) Leitungen von der Teledumm mit theoretisch je 40MBit Upload (eher 28 - 32). Außerdem wollte ich Ausfallsicherheit, deswegen nutze ich 1 zfs Pool mit RAIDz2 mit den 6 HDDs (1 Vol / 6 Devices), 2 der 6 HDDs sind als Parity definiert. so das bis zu 2 Platten gleichzeitig ausfallen dürfen ohne das was verloren geht. Die SSDs sind als zfs Cache Pool (Mirror) für Lese/Schreib Cache gedacht. Und die beiden NVMes sind ebenfalls als Container Pool (Mirror) für Container gedacht. Kein Plan ob das so funktioniert wie ich es mir vorgestellt habe. Ursprünglich war der Plan Q-Tier von QNAP zu nutzen um Daten automatisch in Hot, Warm und Cold Storage zu unterteilen, aber das Ding war leider zu laut.

Hab jetzt htop ausgeführt Und powertop: Bei den Tunables steht aktuell jede Menge "Bad".

Ich habe jetzt den ASPM Helper installiert. Dies ist der Inhalt von "ASPM INFO, lspci PRE RUN state" / "ASPM CURRENT State". Was ich sehe sind 8x "ASPM L1 Enabled" und 26x "ASPM Disabled". Ich kann aber nicht sagen ob das gut oder schlecht ist oder was da bedeutet. 00:01.2 PCI bridge: Advanced Micro Devices, Inc. [AMD] Renoir/Cezanne PCIe GPP Bridge (prog-if 00 [Normal decode]) LnkCap: Port #2, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <32us LnkCtl: ASPM Disabled; RCB 64 bytes, LnkDisable- CommClk+ 00:02.1 PCI bridge: Advanced Micro Devices, Inc. [AMD] Renoir/Cezanne PCIe GPP Bridge (prog-if 00 [Normal decode]) LnkCap: Port #1, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L1 <64us LnkCtl: ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+ 00:08.1 PCI bridge: Advanced Micro Devices, Inc. [AMD] Renoir Internal PCIe GPP Bridge to Bus (prog-if 00 [Normal decode]) LnkCap: Port #0, Speed 8GT/s, Width x16, ASPM L0s L1, Exit Latency L0s <64ns, L1 <1us LnkCtl: ASPM Disabled; RCB 64 bytes, LnkDisable- CommClk+ 00:08.2 PCI bridge: Advanced Micro Devices, Inc. [AMD] Renoir Internal PCIe GPP Bridge to Bus (prog-if 00 [Normal decode]) LnkCap: Port #0, Speed 8GT/s, Width x16, ASPM L0s L1, Exit Latency L0s <64ns, L1 <1us LnkCtl: ASPM Disabled; RCB 64 bytes, LnkDisable- CommClk+ 20:00.0 PCI bridge: Advanced Micro Devices, Inc. [AMD] Matisse Switch Upstream (prog-if 00 [Normal decode]) LnkCap: Port #2, Speed 16GT/s, Width x8, ASPM L1, Exit Latency L1 <32us LnkCtl: ASPM Disabled; LnkDisable- CommClk+ 21:01.0 PCI bridge: Advanced Micro Devices, Inc. [AMD] Matisse PCIe GPP Bridge (prog-if 00 [Normal decode]) LnkCap: Port #1, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <32us LnkCtl: ASPM L1 Enabled; LnkDisable- CommClk+ 21:02.0 PCI bridge: Advanced Micro Devices, Inc. [AMD] Matisse PCIe GPP Bridge (prog-if 00 [Normal decode]) LnkCap: Port #2, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <32us LnkCtl: ASPM Disabled; LnkDisable- CommClk+ 21:04.0 PCI bridge: Advanced Micro Devices, Inc. [AMD] Matisse PCIe GPP Bridge (prog-if 00 [Normal decode]) LnkCap: Port #4, Speed 16GT/s, Width x1, ASPM L1, Exit Latency L1 <32us LnkCtl: ASPM L1 Enabled; LnkDisable- CommClk+ 21:05.0 PCI bridge: Advanced Micro Devices, Inc. [AMD] Matisse PCIe GPP Bridge (prog-if 00 [Normal decode]) LnkCap: Port #5, Speed 16GT/s, Width x1, ASPM L1, Exit Latency L1 <32us LnkCtl: ASPM L1 Enabled; LnkDisable- CommClk+ 21:06.0 PCI bridge: Advanced Micro Devices, Inc. [AMD] Matisse PCIe GPP Bridge (prog-if 00 [Normal decode]) LnkCap: Port #6, Speed 16GT/s, Width x1, ASPM L1, Exit Latency L1 <32us LnkCtl: ASPM Disabled; LnkDisable- CommClk+ 21:08.0 PCI bridge: Advanced Micro Devices, Inc. [AMD] Matisse PCIe GPP Bridge (prog-if 00 [Normal decode]) LnkCap: Port #0, Speed 16GT/s, Width x16, ASPM L0s L1, Exit Latency L0s <64ns, L1 <1us LnkCtl: ASPM Disabled; LnkDisable- CommClk+ 21:09.0 PCI bridge: Advanced Micro Devices, Inc. [AMD] Matisse PCIe GPP Bridge (prog-if 00 [Normal decode]) LnkCap: Port #0, Speed 16GT/s, Width x16, ASPM L0s L1, Exit Latency L0s <64ns, L1 <1us LnkCtl: ASPM Disabled; LnkDisable- CommClk+ 21:0a.0 PCI bridge: Advanced Micro Devices, Inc. [AMD] Matisse PCIe GPP Bridge (prog-if 00 [Normal decode]) LnkCap: Port #0, Speed 16GT/s, Width x16, ASPM L0s L1, Exit Latency L0s <64ns, L1 <1us LnkCtl: ASPM Disabled; LnkDisable- CommClk+ 23:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller S4LV008[Pascal] (prog-if 02 [NVM Express]) LnkCap: Port #0, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <64us LnkCtl: ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+ 24:00.0 Ethernet controller: Broadcom Inc. and subsidiaries BCM57416 NetXtreme-E Dual-Media 10G RDMA Ethernet Controller (rev 01) LnkCap: Port #0, Speed 8GT/s, Width x8, ASPM not supported LnkCtl: ASPM Disabled; RCB 64 bytes, LnkDisable- CommClk+ 24:00.1 Ethernet controller: Broadcom Inc. and subsidiaries BCM57416 NetXtreme-E Dual-Media 10G RDMA Ethernet Controller (rev 01) LnkCap: Port #0, Speed 8GT/s, Width x8, ASPM not supported LnkCtl: ASPM Disabled; RCB 64 bytes, LnkDisable- CommClk+ 26:00.0 Ethernet controller: Intel Corporation I210 Gigabit Network Connection (rev 03) LnkCap: Port #4, Speed 2.5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <2us, L1 <16us LnkCtl: ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+ 27:00.0 Ethernet controller: Intel Corporation I210 Gigabit Network Connection (rev 03) LnkCap: Port #5, Speed 2.5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <2us, L1 <16us LnkCtl: ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+ 28:00.0 PCI bridge: ASPEED Technology, Inc. AST1150 PCI-to-PCI Bridge (rev 04) (prog-if 00 [Normal decode]) LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <2us, L1 <2us LnkCtl: ASPM Disabled; RCB 64 bytes, LnkDisable- CommClk+ 2a:00.0 Non-Essential Instrumentation [1300]: Advanced Micro Devices, Inc. [AMD] Starship/Matisse Reserved SPP LnkCap: Port #0, Speed 16GT/s, Width x16, ASPM L0s L1, Exit Latency L0s <64ns, L1 <1us LnkCtl: ASPM Disabled; RCB 64 bytes, LnkDisable- CommClk+ 2a:00.1 USB controller: Advanced Micro Devices, Inc. [AMD] Matisse USB 3.0 Host Controller (prog-if 30 [XHCI]) LnkCap: Port #0, Speed 16GT/s, Width x16, ASPM L0s L1, Exit Latency L0s <64ns, L1 <1us LnkCtl: ASPM Disabled; RCB 64 bytes, LnkDisable- CommClk+ 2a:00.3 USB controller: Advanced Micro Devices, Inc. [AMD] Matisse USB 3.0 Host Controller (prog-if 30 [XHCI]) LnkCap: Port #0, Speed 16GT/s, Width x16, ASPM L0s L1, Exit Latency L0s <64ns, L1 <1us LnkCtl: ASPM Disabled; RCB 64 bytes, LnkDisable- CommClk+ 2b:00.0 SATA controller: Advanced Micro Devices, Inc. [AMD] FCH SATA Controller [AHCI mode] (rev 51) (prog-if 01 [AHCI 1.0]) LnkCap: Port #0, Speed 16GT/s, Width x16, ASPM L0s L1, Exit Latency L0s <64ns, L1 <1us LnkCtl: ASPM Disabled; RCB 64 bytes, LnkDisable- CommClk+ 2c:00.0 SATA controller: Advanced Micro Devices, Inc. [AMD] FCH SATA Controller [AHCI mode] (rev 51) (prog-if 01 [AHCI 1.0]) LnkCap: Port #0, Speed 16GT/s, Width x16, ASPM L0s L1, Exit Latency L0s <64ns, L1 <1us LnkCtl: ASPM Disabled; RCB 64 bytes, LnkDisable- CommClk+ 2d:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller S4LV008[Pascal] (prog-if 02 [NVM Express]) LnkCap: Port #0, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <64us LnkCtl: ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+ 30:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Cezanne [Radeon Vega Series / Radeon Vega Mobile Series] (rev db) (prog-if 00 [VGA controller]) LnkCap: Port #0, Speed 8GT/s, Width x16, ASPM L0s L1, Exit Latency L0s <64ns, L1 <1us LnkCtl: ASPM Disabled; RCB 64 bytes, LnkDisable- CommClk+ 30:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI] Renoir Radeon High Definition Audio Controller LnkCap: Port #0, Speed 8GT/s, Width x16, ASPM L0s L1, Exit Latency L0s <64ns, L1 <1us LnkCtl: ASPM Disabled; RCB 64 bytes, LnkDisable- CommClk+ 30:00.2 Encryption controller: Advanced Micro Devices, Inc. [AMD] Family 17h (Models 10h-1fh) Platform Security Processor LnkCap: Port #0, Speed 8GT/s, Width x16, ASPM L0s L1, Exit Latency L0s <64ns, L1 <1us LnkCtl: ASPM Disabled; RCB 64 bytes, LnkDisable- CommClk+ 30:00.3 USB controller: Advanced Micro Devices, Inc. [AMD] Renoir/Cezanne USB 3.1 (prog-if 30 [XHCI]) LnkCap: Port #0, Speed 8GT/s, Width x16, ASPM L0s L1, Exit Latency L0s <64ns, L1 <1us LnkCtl: ASPM Disabled; RCB 64 bytes, LnkDisable- CommClk+ 30:00.4 USB controller: Advanced Micro Devices, Inc. [AMD] Renoir/Cezanne USB 3.1 (prog-if 30 [XHCI]) LnkCap: Port #0, Speed 8GT/s, Width x16, ASPM L0s L1, Exit Latency L0s <64ns, L1 <1us LnkCtl: ASPM Disabled; RCB 64 bytes, LnkDisable- CommClk+ 30:00.5 Multimedia controller: Advanced Micro Devices, Inc. [AMD] Audio Coprocessor (rev 01) LnkCap: Port #0, Speed 8GT/s, Width x16, ASPM L0s L1, Exit Latency L0s <64ns, L1 <1us LnkCtl: ASPM Disabled; RCB 64 bytes, LnkDisable- CommClk+ 30:00.6 Audio device: Advanced Micro Devices, Inc. [AMD] Family 17h/19h/1ah HD Audio Controller LnkCap: Port #0, Speed 8GT/s, Width x16, ASPM L0s L1, Exit Latency L0s <64ns, L1 <1us LnkCtl: ASPM Disabled; RCB 64 bytes, LnkDisable- CommClk+ 31:00.0 SATA controller: Advanced Micro Devices, Inc. [AMD] FCH SATA Controller [AHCI mode] (rev 81) (prog-if 01 [AHCI 1.0]) LnkCap: Port #0, Speed 8GT/s, Width x16, ASPM L0s L1, Exit Latency L0s <64ns, L1 <1us LnkCtl: ASPM Disabled; RCB 64 bytes, LnkDisable- CommClk+ 31:00.1 SATA controller: Advanced Micro Devices, Inc. [AMD] FCH SATA Controller [AHCI mode] (rev 81) (prog-if 01 [AHCI 1.0]) LnkCap: Port #0, Speed 8GT/s, Width x16, ASPM L0s L1, Exit Latency L0s <64ns, L1 <1us LnkCtl: ASPM Disabled; RCB 64 bytes, LnkDisable- CommClk+ Und hier der Inhalt von "ASPM INFO, lspci tree". Auch hier habe ich aktuell keinen Plan was das bedeutet. -[0000:00]-+-00.0 +-00.2 +-01.0 +-01.2-[20-2c]----00.0-[21-2c]--+-01.0-[23]----00.0 | +-02.0-[24]--+-00.0 | | \-00.1 | +-04.0-[26]----00.0 | +-05.0-[27]----00.0 | +-06.0-[28-29]----00.0-[29]----00.0 | +-08.0-[2a]--+-00.0 | | +-00.1 | | \-00.3 | +-09.0-[2b]----00.0 | \-0a.0-[2c]----00.0 +-02.0 +-02.1-[2d]----00.0 +-08.0 +-08.1-[30]--+-00.0 | +-00.1 | +-00.2 | +-00.3 | +-00.4 | +-00.5 | \-00.6 +-08.2-[31]--+-00.0 | \-00.1 +-14.0 +-14.3 +-18.0 +-18.1 +-18.2 +-18.3 +-18.4 +-18.5 +-18.6 \-18.7

Hallo und danke für die Infos / Hinweise. Ich habe das Board neu bei jacob.de gekauft. BIOS und BMC sind auf aktuellstem oder sogar neuerem Stand. BIOS Version v1.70 vom 15.09.2022 war bereits vorinstalliert. ASRock bietet als neueste Version die v1.70 vom 21.11.2022 an. BMC Version 2.01.00 war bereits vorinstalliert. ASRock bietet als neueste Version die v1.35.00 vom 21.11.2022 an. Beim Testen der BIOS Einstellungen musste ich das BIOS mehrmals Resetten, weil die meisten Einstellungen die ich getestet hatte dazu führten dass das System nicht mher gebootet hat. Dabei habe ich sowohl das CMOS über die Kontakt-Pads auf dem Board resettet, sowie das System komplett vom Strom gebommen und die CMOS Batterie gezogen und ein paar Minuten gewartet. Der RAM (Samsung M391A4AG3BB1-CWEQ, 32GB, 2Rx8) ist zwar nicht in der QVL gelistet, aber auf Nachfrage hat mir der Support versichert dass der RAM mit dem Board kompatibel ist. Allerdings gab der Support mir auch den Hinweis das 3200 MHz nur mit 2 RAM Modulen möglich ist und auch nur wenn diese keine DR-Chips haben. Der RAM funktioniert und auch ECC ist nutzbar, er läuft leider nur mir 2666 MHz. Der Chipsatz wird wirklich so heiß, selbst im Idle wenn man nur nach Boot im BIOS ist. Ich habe diverse Threats im Netz gefunden, wo auch bei anderen Boards (ASUS, ASRock, MSI, Gigabyte) der Chipsatz ungewöhnlich heiß wird. Bei meinem Board vermute ich aber keinen Designfehler. Es ist ein Serverboard und in einem Rackmount Gehäuse würde vermutlich konstant Luft über das Board gepustet, was den Chipsatz ausreichend kühlen würde. Ich hab das Board in ein reguläres Desktop Gehäuse gepackt wo das nicht passiert. Der kleine Noctua NF-A4x25 PWM kompensiert aber ausreichend. Ich habe u.a. auch hier im Forum diverse Einträge gefunden, welche von heißen Chipsätzen bei diesem Board berichten, sowie 3D Printables zur Montage eines Lüfters auf der Heatsink verlnkt hatten. Die Tools hatte ich bereits mehrfach im Forum gelesen. Leider ist das nerdpack für die von mir genutze Unraid Version v7.1.4 nicht verfügbar. Ich hatte im Forum als alternativen Nachfolger un-get als "Paket Manager" gelesen. Wenn ich das installiere, welches Paket muss ich installieren damit ich htop und powertop verfügbar habe? Ich bin da jetzt nicht so tief im Thema drin, aber sind die meisten Server Systeme - zumindest im Storage Bereich - gerade wegen dem 24/7 Betrieb nicht auf Effizienz getrimmt? Ich meine dass die meisten Data Center ihre Planung auf (kilo)Watt pro Stunde auslegen. Ich hatte testweise noch weitere Karten installiert: Dual 25Gbe NIC als alternative zum RJ45 USB-C Add-on Karte für Front USB-C Sparkle Intel ARC A310 ECO weil die iGPU nicht erkannt wurde. Mit Radeon-TOP wird die iGPU aber erkannt. Die habe ich erstmal wieder alle ausgebaut, so dass alle PCIe Slots leer sind. Zusätzlich habe ich alle Plugins deinstalliert, außer Community Applications und Unraid Connect. Nach Spin Down aller Platten springt das System nach 30 Min. im Idle zwischen 60W bis 80W. Dabei ist mir noch aufgefallen, dass das System im ausgeschalteten Zustand immer noch 15W zieht, ich vermute mal das dies das BMC ist. Nach dem Ableben meiner alten QNAP TS-431+ hatte ich mir für eine QNAP TS-855X den Samsung DDR4-3200 ECC RAM, und die 6 HDDs und 2 SSDs gekauft und noch 2 NVMEs vorrätig. Leider war das Ding wesentlich lauter als unser alter 2400W Staubsauger und so für meine Frau nicht Wohnzimmer tauglich. Hab das Ding wieder zurück geschickt. Ausgehend von den verbleibenden Teilen habe ich dann nach entsprechenden Mainboards auf geizhals.de gesucht: mind. 6 SATA Ports, vorzugsweise 8 4 Slots für DDR4 ECC RAM (dadurch waren dann alle mini-ITX Boards raus weil die max. nur 2 Slots haben) 2 M.2 NVME Slots; mind. PCIe 3.0 x4, vorzugsweise PCIe 4.0 x4 möglichst kleiner Form-Faktor, vorzugsweise mini-ITX Möglichkeit zur Anbindung über SFP+ Ich hatte noch einen AMD Ryzen 7 PRO 5750GE, Intel i5-6600K und i9-14900K rumliegen. Da ich ECC nutzen will aber der Server nicht so viel Strom ziehen sollte dachte ich das die 35W AMD CPU die richtige Wahl ist. Deswegen Filter weiter eingeschränkt auf AM4 Sockel Da blieb als einziges micro-ATX Mainboard das ASRock Rack X570D4U-2L2T/BCM übrig. Gehäuse wurde mehr oder weniger von meiner Frau vorgegeben, da ihr andere passende Gehäuse nicht gefallen hatten. Der Server soll: unsere Film und Serien Sammlung hosten und an unsere Smart-TVs streamen Backups von den Arbeitsechnern meiner Frau und mir machen/erhalten Photoarchiv stellen Speicher/Archiv für LLMs stellen Speicher für die Spiele / Daten von unserem Junior stellen Ein paar kleinere Container hosten (PiHole; MineCraft Server; Plex, Jellifin oder ähnliches; GitHub Repository; etwas Smart Home/Home Assistant) Backups auf einen Offsite-Backup Server synchronisieren Ich habe noch 2 Mellanox Connect-X4 Dual 25Gbe NICs (MCX4121A-ACAT, PCIe 3.0 x8) hier rumliegen, sowie ein paar SFP+ und SFP28 Komponenten (DAC, SR-Transceiver und OM4 Kabel). Der Plan ist das System per DAC oder FibreChannel direkt an die beiden 10Gbe Ports von meinen Switch (TP-Link Omada SG2200 Desktop / SG2210XMP-M2) anzuschließen. Ich vermute mal das ich über FC gehen muss, da der Switch nur SFP+ kann und die Karten SFP28. Die DACs habe ich nur als SFP+/SFP+ oder SFP28/SFP28. Ansonsten kann ich testen ob die Karten auch mit den 10G DACs zurecht kommen. Parallel hätte ich noch 2 Netzteile vorrätig: Corsair SF600 Platinum (SFX) und Corsair AX1600i (ATX). Letzteres passt aber leider nicht ins Gehäuse. Ich kann dann vielleicht am Wochenende das 600W Netzteil mal tauschen. Die Verkabelung ist ein Alptraum in dem Gehäuse. Ich werde dann (vermutlich heute Abend dann mal versuchen irgendwie htop, powertop und ASPM-Helper zu installieren und testen ob ich hier noch etwas reißen kann, Mit freundlichen Grüßen, CB

Hallo, ich habe mich dazu entschieden mich an das Thema DIY NAS heran zu wagen. Ich habe mit neuen und vorhandenen Teilen folgendes Setup erstellt: CPU: AMD Ryzen 7 PRO 5750GE MB: ASRock Rack X570D4U-2L2T/BCM RAM: 128GB DDR4-3200 ECC (4x Samsung 32GB 2Rx8) Storage: 6x Seagate Ironwolf Pro 16TB 2x Samsung 570 EVO 2TB 2x Samsung 990 PRO 2TB PSU: Corsair SF450 Gold (2014) Case: Jonsbo N4 Unraid 7.1.4 / Unleashed Verwendete Plugins: CA Auto Update Applications Community Applications Dynamix S3 Sleep Dynamix System Buttons Dynamix System Information Dynamix System Statistics Dynamix System Temperature Fix Common Problems IPMI support Tasmota Power Monitor Unassigned Devices Unassigned Devices Plus Unassigned Devices Preclear Unraid Connect Geänderte Settings: Disk Spin Down: After 15 minutes Power mode: Best power efficiency Ich habe diverse Einstellungen im BIOS getestet mit mehr oder weniger Erfolg. Ich habe versucht heraus zu finden was relevant für Transcoding, Container und niedrigen Stromverbrauch sind. Der RAM läuft leider nur mir 2666 MHz, alles darüber und der Server startet nicht mehr. SR-IOV scheint auch nicht zu gehen. Soweit ich in Erfahrung bringen konnte gibt es das nur für Intel? Warum wird mir das dann auf einem AMD Mainboard angeboten? Ich kann leider auch nicht die Lüfter aus der Oberfläche heraus steuern. Dynamix erkennt die leider nicht. Im Forum habe ich gelesen dass das netzteil nicht das Beste für den Zweck ist. Ich hätte alternativ noch ein Corsair SF600 Platinum (2018) da und zur not besorge ich mir auch ein neues / gebrauchtes Netzteil wenn es sein muss. Das Gehäuse gestattet leider nur SFX Netzteile Ich habe schon den Gehäuse Lüfter gegen einen Noctua NF-A12x25 G2 PWM getauscht, weil der vorhandene Lüfter mir zu laut war. Zusätzlich habe ich noch einen Noctua NF-A4x25 auf den Kühler vom Chipsatz gepackt, weil der Chipsatz sonst bei ungemütlichen 94-98°C brutzelt. Das System idled im Leerlauf mit allen Platten im Spin Down bei 100W, 130 wenn die Platten drehen. Ich hatte die Hoffnung das ich irgendwo bei zwischen 35W und 65W lande. Mag einer der BIOS affinen Experten bitte mal über meine BIOS Einstellungen schauen und mir ggf. ein paar Tipps oder Verbesserungsvorschläge geben? Ich bin aktuell mit den folgenden Einstellungen unterwegs: ########################################################### # Main ########################################################### UEFI Version : X570D4U-2L2T/BCM P1.70 System Product : X570D4U-2L2T/BCM BMC Version : 2.01.00 Processor Type : AMD Ryzem 7 PRO 5750GE with Radeon Graphics Processor Speed : 3251MHz Microcode Update : A60F00/A50000D L1 Instruction Cache : 32KB L1 Data Cache Size : 32KB L2 Cache Size : 512KB L3 Cache per Socket : 16MB Total Memory : 128GB DDR4_A1 : 32GB (DDR4-2666) DDR4_A2 : 32GB (DDR4-2666) DDR4_B1 : 32GB (DDR4-2666) DDR4_B2 : 32GB (DDR4-2666) ########################################################### # Advanced ########################################################### > CPU Configuration ########################################################### PSS Support [Enabled] SVM Mode [Enabled] SPI/LPC/fTPM TPM switch [SPI TPM] (Vorher LPC TPM) > Chipset Configuration ########################################################### Above 4G Decoding [Enabled] (Vorher Disabled) SR-IOV Support [Disabled] Re-Size BAR Support [Disabled] (Nur sichtbar mit Above 4G Decoding Enabled) Onboard Debug Port LED [Auto] Onboard Broadcom LAN [Enabled] Restore AC Power Loss [Power Off] (Vorher Last State) > Storage Configuration ########################################################### SATA Mode [AHCI] SATA Hot Plug [Enabled] (Vorher Disabled) Sata Port Enable [Enabled] > ACPI Configuration ########################################################### PCIE Devices Power On [Disabled] RTC Alarm Power On [By OS] > USB Configuration ########################################################### Legacy USB Support [Enabled] > Super IO Configuration ########################################################### AST2500 Super IO Configuration Super IO Chip AST2500 > Serial Port 1 Configuration Serial Port [Enabled] Serial Port Address [3F8h/IRQ4] > SOL Configuration SOL Port [Enabled} Serial Port Address [2F8h/IRQ3] > Serial Port Console Redirection ########################################################### COM1 Console Redirection [Disabled] > Console Redirection Settings SOL Console Redirection [Disabled] > Console Redirection Settings Legacy Console Redirection > Legacy Console Redirection Settings Redirection COM Port [COM1] Resolution [80x24] Redirect After POST [Always Enable] Console Redirection EMS [Enabled] > Console Redirection Settings Out-of-Band Mgmt Port [COM1] Terminal Type EMS [VT-UTF8] Bits per second EMS [115200] Flow Control EMS [None] Data Bits EMS 8 Parity EMS None Stop Bits EMS 1 > Network Stack Configuration ########################################################### Network Stack [Enabled] IPv4 PXE Support [Disabled] IPv4 HTTP Support [Disabled] IPv6 PXE Support [Disabled] IPv6 HTTP Support [Disabled] PXE boot wait time 0 Media detect count 1 > Trusted Computing ########################################################### TPM 2.0 Device Found Firmware Version 7.2 Vendor NTC Security Device Support [Enabled] Active PCR banks SHA256 Available PCR banks SHA256, SHA384 SHA256 PCR Bank [Enabled] SHA384 PCR Bank [Enabled] (Vorher Disabled) Pending Operation [None] Platform Hierarchy [Enabled] Storage Hierarchy [Enabled] Endorsement Hierarchy [Enabled] Physical Presence Spec Version [1.3] TPM 2.0 InterfaceType [TIS] Device Select [Auto] Disable Block Sid [Disabled] > AMD PBS ########################################################### Special Display Features [Disabled] Discrete GPU's USB Port [Keep Default Settings] Discrete GPU's SSID/SVID [Keep Default Settings] Primary Graphics Adaptor [PCI Express] Onboard VGA [Auto] MITT/WITT Selection [Both disable] PCIE6 Link Width [x16] power policy [Energy efficiency mode] (Vorher Performance mode) Unused GPP Clocks Off [Enabled] Clock Power management(CLKREQ#) [Disabled] Adjust APU VDDP [Disabled] Adjust V1.8 [Disabled] AddCmd MemVref Adjust [Disabled] External Clock Gen [Disabled] PCIE REDRIVER TX (J3600). [Enabled] Equalizer Setting (db) [0.2_1.1_2.6_6.2] Flat Gain Setting (db) [-0.5] Swing Setting (mVp-p) [1000] PCIE REDRIVER RX (J3600) [Enabled] Equalizer Setting (db) [0.2_1.1_2.6_6.2] Flat Gain Setting (db) [-0.5] Swing Setting (mVp-p) [1000] AMD KVM Mouse Protocol [Auto] NVME RAID mode [Disabled] ACP Power Gating [Disabled] ACP Clock Gating [Disabled] M.2 NVME/SATA Switch (J3705-Slot2) [M.2 NVME/PCIe] M.2 NVME/SATA Switch (J3706-Slot3) [M.2 NVME/PCIe] > AMD Overclocking (All default) > AMD CBS (All default) Mit freundlichen Grüßen, CB