Verrannt mit AMD Epyc 7313… neues System mit Intel inkl. iGPU..?

[enect]

Hallo

 

Vorab Sorry, da der Text länger ist und vermutlich das Thema manch einen nerven kann.

 

Seit drei Monaten betreibe ich von Synology kommend, meinen ersten Unraid-Server.

 

Chassis: CSE-743TQ-903B-SQ inkl. originale Supermicro Fans, CPU-Kühler SNK-P0064AP4 und Netzteil
Motherboard: Supermicro H12SSL-CT , Version 1.10
Processor: AMD EPYC 7313P 16-Core @ 3000 MHz
RAM: 4x Micron RDIMM 32GB, DDR4-3200, CL22-22-22, reg ECC
Array: 4x Toshiba MG10ACA 20TB
Cache NVMe: 2x WD Black SN850X 4TB
Surveillance NVMe: WD Red SN700 2TB
3x Coral M.2 Accelerator B+M key
EZDIY-FAB Quad M.2 PCIe 4.0/3.0 X16 (4x NVMe Adapter)

 

Grundlast/Idle inkl Frigate, Jellyfin und PhotoPrism, Wireguard-Verbindung bei ca. 110 Watt (out of wall). Wenn das System „arbeitet“ inkl. volle Array-Operation, dann zieht es aktuell 160 Watt. Aktuell keine VM.

Inklusive der Nutzung von powertop, AutoTweak, Tips and Tweaks und CoreFreq (ohne ist der Idle bei 145 Watt).

 

Meine Synology DS1821+ mit 7 HDDs hat unter Last bei mir ca. 80 Watt inkl. 10GB verbraucht.

 

Fazit: Irgendwie bin ich am Ziel vorbei gerauscht und habe zu viel Rechenpower, Erweiterungsmöglichkeiten und natürlich… Stromverbrauch.

Auch wenn ich ein Fan von „echter“ Serverhardware für meine Daten bin, will ich nochmal einen Neuanfang wagen, gerne mit Intel und iGPU.

 

Wichtig ist mir:

ECC (auf „reg“ könnte ich verzichten)
IPMI
10GB wohl eine Intel X550-T2 die nur einen x4 Slot belegt und somit die x8 freibleiben (obwohl ich hier erstmal schauen könnte, wie sehr mich 2,5GB nerven)
8x SATA, 3x NVMe , 1x NVMe für Google Coral (E oder M-Key)
Chassis von oben würde ich gern weiterverwenden, da es sehr wertig ist und ich für mich für ATX und 8 SATA noch nichts vergleichbares außer das HL15 von homelab gefunden habe..?

 

Diesmal würde ich gern auch den Stromverbrauch leicht im Auge behalten und wieder Richtung 80 Watt unter leichter Last inkl HDDs kommen… gern auch besser.

 

Intels 13. und 14. Generation hat ja anscheinend ab i5 600 bis i9 900 aktuell seine Langzeitprobleme.

Daher hatte ich jetzt den i9-12900k oder den i5-14500 im Auge.

 

Motherboard: Supermicro X13SAE-F (wenn Preis wieder fällt) oder GIGABYTE MW34-SP0 (wenn verrfügbar), ASUS Pro WS W680 überzeugt mich nicht. Auswahl mit W680 Chipsatz ist ja irgendwie dünn. Kontron K3851-R ATX nicht verfügbar und ich müsste mit zahlreichen Adapterkarten arbeiten.

 

Bei Supermicro müsste ich mir noch einn PCIe-Adapter für eine NVMe/Google Coral installieren (ich möchte die USB-Variante von Coral vermeiden). Bei GIGABYTE könnte ich alle 3 NVMe’s installieren und den Google Coral mit E-Key in den WiFi-Slot packen.

Hier im Forum hat aber einer beim GIGABYTE „aufgegeben“ und man liest generell immer mal wieder schlechtes...?

Man sieht, es ist bei mir primär ein Datengrab + Videos abrufen + Surveillance Station. Als Erweiterung kann ich mir aktuell nur Home Assistant VM und eine DVB-S2 TV Karte vorstellen.

 

Gehen wir mal davon aus, dass Geld bei der Hardware jetzt nicht der Faktor ist, was würdet ihr unter den Rahmenbedingungen zusammenbauen. Gehäuse, Netzteil, Lüfter können meinetwegen weichen, auch wenn es schade ist. Was wichtig bei mir ist, hab ich ja geschrieben. Leistungsreserven darf es ruhig haben, aber halt nicht so viel wir der aktuelle Epyc.

Angenehmer Stromverbrauch wäre gut, wobei ich keine 30 Watt im Idle erwarte.

 

Ich will beim zweiten Aufbau halt nicht noch einmal falsch abbiegen…

Edited September 16, 2024 by enect
tipo

[ich777]

On 9/16/2024 at 12:16 PM, enect said:

Diesmal würde ich gern auch den Stromverbrauch leicht im Auge behalten und wieder Richtung 80 Watt unter leichter Last inkl HDDs kommen… gern auch besser.

Sieh dir mein System hier an:

 

Da hat sich mittlerweile auch viel geändert und ich hab mittlerweile einen i9-10900 drin und ich bin genau bei den ca. 80-90W auf die du hinauswillst wenn alles läuft, wenn der im idle ist läuft der bei ca. 50W <- das ist aber auch nur dem geschuldet das ich 2x PM983 Enterprise SSDs drin hab und die brauchen eben dauerhaft Strom, sonst wäre ich ca bei 40W (bei dem Verbrauch ist aber noch ein QNAP QSW-2104-2S Switch und ein RockPi-E <- für PiKVM und Zigbee2MQTT dabei).

 

Bei deinen Anforderungen würde ich sogar eher zu einem 10400 bzw. 10600 tendieren, wenn du was neueres willst wäre sicher auch die 12th Gen interessant wegen big-little Architektur (wenn es denn keine Server hardware sein muss).

 

On 9/16/2024 at 12:16 PM, enect said:

Supermicro X13SAE-F (wenn Preis wieder fällt) oder GIGABYTE MW34-SP0

Ich bin von beiden Herstellern kein Fan weil beide oft Firmware (BIOS) probleme haben speziell mit addon Karten falls du mal welche einbaust.

 

 

Im großen und ganzen für deine Anforderungen würde auch auf alle Fälle Consumer Hardware reichen, wie gesagt 10th gen beispielsweise, du kannst aber auch auf 12/13/14th gen gehen aber ich würd ich persönlich auf ASUS gehen und nur sehen das ausreichend PCIe Steckplätze hast, klar die Anbindung ist auf Intel eher schwirig aber wenn du ein Board findest so wie meines hast du auf jeden Fall genug Steckplätze zum rumspielen (auch wenn sie dann nicht die volle Bandbreite haben).

 

Wenn du einen Dual Edge TPU nimst brauchst du sowieso den Adapter hier: https://www.makerfabs.com/dual-edge-tpu-adapter.html

Die wenigsten A+E Key M.2 slots sind mit PCIe x2 angebunden was der ja braucht.

 

In meinem Server ist jetzt auch nur mehr eine Digital Devices DVB-C Karte (in einem , eine Hyper Card M2 (Bifurcation, die werden nämlich unglaublich warm und die Hyper Card hat einen riesen Kühlkörper der die auch ohne aktive Kühlung unter Kontrolle hält) und eine ASM1166 6-Port SATA Karte verbaut, so sieht das jetzt CA aus bei mir:

 

Wenn du so ein Motherboard hast wäre noch genug Platz für die Coral TPU und noch ein paar andere Spielereien/Upgrades.

 

Nur so nebenbei, ich kompiliere auch die Plugins Treiber Pakete und natürlich auch den Kernel für jede neue Unraid version und hab den Turbo aus, das kompilieren (inklusive Packen, Upload der Packages und allem anderem drum) dauert mit Turbo ca 40 minuten und ohne Turbo nur 5 bis 8 Minuten mehr. Für mich also vertretbar.

 

...ehrlich gesagt den 10900 hab ich nur für das Kompilieren weil es doch ein wenig schneller geht, sonst hätte ich vermutlich einen 10400 oder so in die richtung, für den Heimgebrauch für die meisten ausreichend.

 

Zu deinem ECC Thema, warum? Sieh dir DDR5 an, da könntest im Consumer Bereich auch darauf verzichten.

ECC ist zwar gut und schön aber für den Heimgebrauch (und selbst wenn du ZFS verwendest was für zu Hause meiner Meinung nach übertrieben ist) nicht nötig.

 

Zu IPMI würd ich dir nicht raten mit Intel iGPU da dies nur Probleme macht, gibt unzählige posts hier im Forum zu dem Thema und läuft meistens darauf raus das du die ASPEED IPMI GPU dann schlussendlich abschalten musst, sieh dir lieber eine PiKVM an, hab ich hier auch am laufen.

 

Zum 10Gbit Thema, bei mir zu Hause hab ich überall Glasfaser liegen jedoch ich bin wieder zurück auf 2.5Gbit/s weil ich persönlich so wenig verwendung für 10Gbit/s habe und 2.5Gbit/s völlig ausreichen und das auch auf meinem Motherboar nativ verbaut ist und keine zusätzlichen Strom verbraucht.

[Timmey85]

Also Stromsparend ist das w680 von Asus nicht. Ich kam damit nie über c3 raus. Ich würde wenn ipmi nicht sein muss, einfach ein z790 Board kaufen, welches genug pcie slots hat.

[enect]

Zunächst vielen Dank für die ersten Rückmeldungen. Besonders der Input von ich777 regt an, weil es eine andere Herangehensweise ist und nochmals unterstreicht, dass ich es ein wenig übertrieben habe und auch andere Wege denken könnte.

 

Quote

Wenn du einen Dual Edge TPU nimst brauchst du sowieso den Adapter

Aktuell hab ich für frigate 3x M.2 Accelerator B+M key drin, weil ich nicht wusste, wieviel ich brauche bei 10 Kameras und ich die kleinen Karten auch aus den USA beschaffen musste, weil sie in D zu meinen Kaufzeitpunkt fast 60 EUR gekostet haben und drüben nur $20. Aber alle drei haben bei mir nur eine Auslastung von je unter einen Prozent. Sprich, ich komme mit einer einzelnen TPU locker aus und kann auf Dual verzichten.

--------------------------------------------

Quote

Zu IPMI würd ich dir nicht raten mit Intel iGPU da dies nur Probleme macht...

 

Das scheint sich gelöst zu haben, da es wohl nur an den richtigen Einstellungen im Bios liegt und zB. Supermicro sein Support, was Fachwissen angeht wohl auch nicht mehr der beste ist... hab ich bei einem anderen Thema zu meinem aktuellen Board jedenfalls auch bemerkt. Hier ist anscheinend zumindest für die iGPU die Lösung, welche dokumentiert für X11 und X12 funktioniert.

 

--------------------------------------------

ECC ist vermutlich weiterhin eine Glaubensfrage. Aber ja On-Die-ECC bei DDR5 wäre zumindest schon mal ein Kompromiss, obwohl es mittlerweile z.B. von Kingston auch reg ECC RDIMM gibt.

--------------------------------------------

PiKVM als Ersatz für ein onboard IPMI wäre nach erster Sichtung mal eine Überlegung werd. Müsste man dann wohl die HW selbst zusammenbauen, weil die fertige Version preislich doch ein wenig hochgegriffen ist.

--------------------------------------------

Quote

Also Stromsparend ist das w680 von Asus nicht. Ich kam damit nie über c3 raus. Ich würde wenn ipmi nicht sein muss, einfach ein z790 Board kaufen, welches genug pcie slots hat.

 

Konnte ich leider auch schon lesen, dass keines der Board mit W680 mehr als C3 schafft. Aber da ich halt auch z.B. frigate mit 10 Kameras und Alarm-Tricker laufen habe, ist bei mir vermutlich eh immer eine gewisse Grundlast, die deutlich mehr verhindert. Meinen aktuellen gedrosselten Epyc treibt das alleine auf 2-7 %, je nach Action bei den Kameras. Wobei der Epyc natürlich jetzt das Bild für die TPU rechnet, was man dann mit einer iGPU erledigen könnte.

--------------------------------------------

 

Noch eine andere Frage:

Wenn jetzt spätestens im Oktober die neuen Intel LG1851 mit Z890 oder W880 kommen. Ist es bei Unraid unproblematisch sofort brandneue HW einzusetzen oder muss Unraid da erst was tuen, damit es sauber läuft? Obwohl das Neuste vom Neusten wohl auch wieder Geldverschwenung wäre... Man liest nur, dass die neuen Intel wahrscheinlich in Sachen Effizienz einen guten Schritt gehen.

 

 

[DataCollector]

1 hour ago, enect said:

Noch eine andere Frage:

Wenn jetzt spätestens im Oktober die neuen Intel LG1851 mit Z890 oder W880 kommen. Ist es bei Unraid unproblematisch sofort brandneue HW einzusetzen oder muss Unraid da erst was tuen, damit es sauber läuft? Obwohl das Neuste vom Neusten wohl auch wieder Geldverschwenung wäre... Man liest nur, dass die neuen Intel wahrscheinlich in Sachen Effizienz einen guten Schritt gehen.

 

1. unraid basiert ja auf Linux und bei Linux ist es nicht ratsam Hardware zu verwenden, die gerade erst aus dem Labor entkommen ist.

 

2. Ja, wenn man den neuesten Hype sofort kauft, kauft man meist sehr überteuert.

 

3. Die CPUs sollen effizienter sein (können), aber ob die ECC fähigen Mainboards dann energetisch besser sind als die W680 Serie bleibt abzuwarten. Ich hege Zweifel.

[enect]

On 9/21/2024 at 6:56 PM, DataCollector said:

 

1. unraid basiert ja auf Linux und bei Linux ist es nicht ratsam Hardware zu verwenden, die gerade erst aus dem Labor entkommen ist.

 

2. Ja, wenn man den neuesten Hype sofort kauft, kauft man meist sehr überteuert.

 

3. Die CPUs sollen effizienter sein (können), aber ob die ECC fähigen Mainboards dann energetisch besser sind als die W680 Serie bleibt abzuwarten. Ich hege Zweifel.

 

Jetzt musste ich mich erstmal weiter belesen, um deine Anmerkung "zu verstehen". Soweit ich jetzt verstanden habe, ist Unraid aktuell mit Linux Kernel 6.1.106 (mit Unraid 7 dann 6.8.12).

Wenn ich es nicht falsch rausgesucht habe, ist Intel 12th im aktuell Kernel von Unraid integriert, sodass auch der Intel-Idle Treiber funktioniert. Intel 13th und 14th wird dann mit Unraid 7 und den neueren Kernel abgedeckt. In Unraid 6 dann halt der ACPI-Treiber für 13th und 14th verwendet, der aber anscheinend auch nur ein paar Watt mehr bedeutet.
Ähnliche Probleme hat man dann wohl teilweise auch mit der iGPU, wobei das wohl bis zum i5-14500 weiteshegend reibungslos gehen sollte, da der eigentlich 13th Generation ist..?

Mit diesem Verständnis wird für mich dann deutlich, dass die neuen Intel Ultras mit Xe iGPU wohl erstmal nicht die beste Wahl für Unraid mit seinem älteren Kernel darstellt. Die CPU wird laufen (sicher nicht mit der Besten Performance oder Effizient) die iGPU wird schon mehr Probleme machen..?

 

Ein i5-10600 wie von ich777 wäre mir etwas zu alt und auch nur PCI 3.0.

 

Mit dem Input von hier würde ich jetzt zwischen i9-12900K und i5-14500 schwanken..?

[alturismo]

15 hours ago, enect said:

Mit dem Input von hier würde ich jetzt zwischen i9-12900K und i5-14500 schwanken..?

laufen beide ohne issues

 

15 hours ago, enect said:

Ein i5-10600 wie von ich777 wäre mir etwas zu alt und auch nur PCI 3.0.

 

gemäß den Anforderungen oben sehe ich jetzt nichts was PCIe 4++ benötigt, wirst aber deine Gründe haben

[ich777]

17 hours ago, enect said:

Ein i5-10600 wie von ich777 wäre mir etwas zu alt und auch nur PCI 3.0.

Ehrlich...?
Verläufst du dich nicht wieder? Für was brauchst du so viel Bandbreite?

Die 11. Generation unterstützt zB auf meinem Board PCIe 4.0 aber ich wüsste nicht wo ich das jetzt einsetzen sollte weil für ein HomeLab (und selbst das was ich mache mit Kernel kompilieren usw.) könnte ich die volle Bandbreite gar nicht ausnutzen.

 

Ich meine du hast schon recht, der Prozessor is jetzt schon älter aber vom Verbrauch usw. super für meine Zwecke und läuft auch stabil, würd aber vermutlich auch auf 12th Gen (wegen big little) gehen.

 

Problem ist eben das die meisten zu "groß" denken und über-über dimensionieren was dann eigentlich gar nicht notwendig ist.

Selbst für eine Desktop VM hat der i5-10600 genug reserven meiner Meinung nach, frage is eben ob du VMs überhaupt laufen lassen musst, dann reicht ein i3 auch meistens aus, selbst für deine Anforderungen von oben (die haben heutzutage auch schon meistens 6Cores+ 6Threads).

[DataCollector]

21 hours ago, enect said:

und auch nur PCI 3.0.

 

Wenn ich es richtig in Erinnerung hatte stört Dich der hohe Stromverbrauch des vorherigen Systemes.

Nun legst Du wieder Wert auf hohe Taktfrequenzen (bei PCIe 4.0 oder gar 5.0), fette Prozessoren, etc...?

Warum und wofür?

 

PCIE 3.0 ist vollkommen in Ordnung und von PCIe 4.0 oder 5.0 sehe ich in einem NAS keine Vorteil.

 

Ich habe in meinem Testboard sogar das PCIe 5.0 oder 4.0 auf PCIe 3.0 reduziert, weil das bei den meisten daran hängenden Komponenten ein brauchbarer Kompromiß zwischen flott genug und stromsparend ist.

Edited September 25, 2024 by DataCollector

[enect]

Wenn das falsch rüberkam, entschuldige bitte ich777. War nicht meine Absicht.

Mein Gedanke war primär, dass ich bei der 10th Generation bei CPU und Mainboard fast ähnlich viel bezahlen muss. Ich kaufe eigentlich nur Neuware im Server/HomeLab-Bereich. Und da fällt es mir vom Typ her schwer, in ältere HW zu investieren. Ist ja mein Grundproblem, dass ich gern zu viel investiere und Input zum Erden brauche… und eigentlich komme ich ja von Synology mit einem AMD Ryzen V1500B….

Somit hast du und auch DataCollector sicher Recht und ich muss noch mehr über meinen Schatten springen. Danke für euren Input.

[ich777]

56 minutes ago, enect said:

Wenn das falsch rüberkam, entschuldige bitte ich777. War nicht meine Absicht.

Nein kam es nicht, wollte mich nur erklären.

 

Ich spiele auch schon länger mit dem Gedanken auf 12th Gen zu gehen aber nicht weil ich es brauche sondern weil ich kann.

Aber ich werd erst mal auf Arrow Lake warten und dann auf die CPU Varianten ohne K ob da was brauchbares dabei is.

 

Wie gesagt, wenn ich das Kernel kompilieren nicht hätte dann wäre ich vermutlich auf einem 10300 bzw. evtl. sogar einem 10200, auf 11th gen bin ich deswegen nicht gegangen weil die oftmals nicht viel schneller sind als die 10th gen.

 

1 hour ago, enect said:

Ich kaufe eigentlich nur Neuware

Bei dem is die Frage ob du das brauchst...

Motherboard wäre nicht schlecht neu ja, aber wenn du ein Z board findest das Enthusiasten in Verbindung mit einer guten CPU abgeben würde ich da gleich zuschlagen, nur meine Meinung.

 

Wenn du neu kaufen willst machen neuere Systeme mehr Sinn natürlich.

[enect]

58 minutes ago, ich777 said:

Aber ich werd erst mal auf Arrow Lake warten und dann auf die CPU Varianten ohne K ob da was brauchbares dabei is.

Ich weiß, dass Folgende geht wieder in die falsche Richtung… ...sagen wir mal aus Neugier...

Hast du bei Arrow Lake selbst mit Unraid 7 und Kernel 6.8.12 keine Bedenken? Ja, CPU sollte laufen auch wenn vermutlich nur mit ACPI-Treiber und nicht den passenden Intel-Idle. Aber ich hätte Angst, dass ich die iGPU selbst unter Docker nicht nutzen kann..?

[ich777]

39 minutes ago, enect said:

Hast du bei Arrow Lake selbst mit Unraid 7 und Kernel 6.8.12 keine Bedenken?

Doch aber mich stört das nicht, ich hab da nicht so Probleme custom builds zu machen aber für den Großteil der user könnte das zum Problem werden.

Ich teste doch auch viel...

 

Außerdem kann ich dir auch verraten das Unraid 7 vermutlich mit dem letzten LTS Kernel 6.6.x ausgeliefert weil ZFS noch keine implementation für den Kernel 6.11.x hat weil 6.10.x vermutlich bald wieder EoL ist.

Außer ZFS hat dann support für den neuesten Kernel, vermutlich eben wie schon erwähnt 6.11.x

 

Problem ist eben jetzt das Unraid sich an den release cycle von ZFS halten muss weil Unraid jetzt ZFS Unterstützt, was meiner Meinung nach für zu Hause noch immer zu viel ist aber ich verstehe es aus Sicht eines Unternehmens das es eben dring sein muss.

 

39 minutes ago, enect said:

Aber ich hätte Angst, dass ich die iGPU selbst unter Docker nicht nutzen kann..?

Das wird vermutlich auch der Fall sein, ist aber nicht wirklich ein Problem für mich, dann kommt meine ARC oder Nvidia Karte rein bis der Kernel alles unterstützt.

Nicht falsch verstehen aber ich heul da nicht gleich rum, ich such mir eine Alternative bis es dann funktioniert.