Hardware tausch - Beratung

[i-B4se]

Moinsen,

 

hab jetzt lang genug mit Unraid rumgespielt und alles läuft so wie ich das mag. Da das System nicht mehr das neuste bzw. das sparsamste ist, würde ich gerne die Hardware austauschen. 
Was ich bisher nutze, kann man meiner Signatur entnehmen. Dieses System verbraucht im Idle inkl. Spindown ca. 180 Watt. 
Ich weiß das ist viel und bestimmt sind da noch ein paar Watt Luft nach unten, aber Wunder darf man da nicht erwarten.

Aktuell läuft:

Docker:

- Nextcloud inkl. MariaDB/NginxProxy 

- 2x Minecraft

- PiHole

- Plex

 

VM:

- HomeAssistant mit diversen Plugins

- 1x Win 2019 Server mit DayZ (nur sporadisch)

- 1x Win 10 (nur sporadisch für bestimmte Sachen)

 

Auf den Server haben 3 Personen zugriff inkl. Nextcloud und SMB. Des Weiteren läuft der Server 24/7. 

 

Was möchte ich:

- mind. 8 Kerne / 16 Threads

- 64GB ECC RAM

- 10Gbit

- NVMe

 

Vorhanden ist:

- Netzteil 600Watt BeQuiet

- Gehäuse Fractal Define R5

- Festplatten die vom alten System übernommen werden

 

Ich schwanke jetzt zwischen zwei CPUs. Intel i9 9900k oder Ryzen7 3800X. Ich tendiere eher zum Intel, da er doch etwas sparsamer ist und eine GPU eingebaut hat. Dafür hat der Ryzen PCIE 4.0 und mehr Lanes. Dann würde ich eine günstige GPU kaufen. 
Evtl. könnt ihr mir eine Empfehlung aussprechen und vielleicht hat jemand ein paar Verbrauchsangaben. 
 

Besten Dank euch

 

 

 

[mgutt]

Braucht Plex eine GPU? Dann wäre der Intel logisch, da du dir eine Grafikkarte sparen könntest.

 

Die 4 zusätzlichen Lanes bringen dir nur was, wenn du zwei potente GPUs verbauen willst, damit du 2x x8 für die GPUs und 1x x4 für eine NVMe über die CPU bedienen möchtest. Wäre es dagegen nur eine potente GPU, eine 10G Karte und eine NVMe, also 1x x8 und 2x x4, dann reichen die 16 Lanes des Intel.

 

PCIe 4.0 finde ich gar kein Argument außer bei der Anbindung des Chipsatzes. Dadurch kann der Ryzen besser parallele Lasten auf den CPU und Chipsatz Lanes verarbeiten. Aber schafft man es überhaupt alle Komponenten so stark parallel auszulasten, dass man den DMI des Intel überlastet?

 

Du hast allerdings ein Problem in deiner Wunschliste. Du willst ECC RAM und 8 Kerne. Das geht nur mit einem Xeon. Hier die Liste:

https://en.wikipedia.org/wiki/List_of_Intel_Coffee_Lake-based_Xeon_microprocessors

 

Und wie du siehst gibt es nur zwei Optionen:

E-2278G

E-2288G

 

Such lieber nicht nach den Preisen ^^

 

Preislich attraktiver wäre ein W-1270, aber mit langer Vorbestellzeit. Hier die komplette Liste:

https://en.wikipedia.org/wiki/List_of_Intel_Comet_Lake-based_Xeon_microprocessors

 

 

[i-B4se]

Oh... hatte ich gar nicht mehr aufm Schirm... ach Intel.

Auf den Xeon möchte ich ungern warten, da ich aktuell zu Hause bin nach meiner OP. 

Ich glaube dann wird es der Ryzen 3800x und eine günstige Quadro P400

Auch mit dieser Kombi werde ich weit unter dem jetzigen System bleiben. 
 

29 minutes ago, mgutt said:

Aber schafft man es überhaupt alle Komponenten so stark parallel auszulasten, dass man den DMI des Intel überlastet?

Nein, zumindest nicht bei meinen Anwendungen. 

 

32 minutes ago, mgutt said:

Braucht Plex eine GPU?

Theoretisch nicht. Aber dann würde eine günstige kaufen - s.o.

[mgutt]

Den W-1270P kann man bestellen:

https://www.future-x.de/intel-xeon-w-1270p-3-8-ghz-16-mb-box-set-p-8748879/

 

Aber eben auch nicht gerade günstig. Aber das Gigabyte W480M ist schon ein schickes Board. Dafür dann keine extra GPU. Ich würde es mir durch den Kopf gehen lassen.

[i-B4se]

Für den Preis kann könnte ich mir ja schon den 12 Kerner von AMD holen und hab bei AM4 noch die Möglichkeit einen größeren drauf zu packen. 
Bei den Intel ist beim 10 Kerner Schluss. Also ganz so zufrieden bin ich mit der Lösung nicht. 
was mich beim AMD stutzig mach, ist das die Foren voll sind bezüglich ECC-Support. Viele sagen das der RAM passen würde, aber die eigentliche ECC-Funktion nicht unbedingt funktioniert. 
Die Beiträger sind zwar schon was älter. Nutzt hier jemand ein AMD inkl. ECC und weiß ob der Error Report funktioniert und an Unraid weitergegeben wird?

 

Sonst muss ich wohl wirklich auf Intel umschwenken. 

[i-B4se]

Ich glaube ich habe mich entschieden 😅

 

Board: https://www.asus.com/Commercial-Servers-Workstations/Pro-WS-X570-ACE/

CPU: https://www.amd.com/de/products/cpu/amd-ryzen-7-3800x

2x RAM: https://www.kingston.com/dataSheets/KSM32ED8_32ME.pdf

+

Einer Quadro P400, ein paar Lüfter und den Rest den ich schon habe.

 

Meint ihr ich komme über 100Watt im Idle?

@Smolo dein System ist ja ähnlich. Hast du schon mal den Verbrauch gemessen? Mir gehts nicht um genaue Werte nur um eine Richtung. 

 

Edited March 24, 2021 by i-B4se

[ich777]

22 minutes ago, i-B4se said:

Ich glaube ich habe mich entschieden 😅

Ich hab mich damals bewusst gegen AMD entschieden (bin von meinen Dual Xeon 2670 umgestiegen) und bin soweit zufrieden mit meinem i5-10600 mit iGPU und nutz die iGPU auch in Emby, bin auch froh das ich mir die Nvidia GPU jetzt sparen kann und hab die jetzt nur mehr in meinem DevServer aktiv.

 

Brauchst du denn die Power vom 3800X?

Für 2 Minecraft Server (Geschwindigkeit steht bei Minecraft über vielen Kernen) reicht auch was anders, DayZ ist leider nicht auf Linux vernünftig zum laufen zu bekommen deshalb gibts auch noch keinen Container...

 

Darf ich fragen warum HA in einer VM, warum kein Container?

[sd007]

45 minutes ago, i-B4se said:

Ich glaube ich habe mich entschieden 😅

 

Board: https://www.asus.com/Commercial-Servers-Workstations/Pro-WS-X570-ACE/

CPU: https://www.amd.com/de/products/cpu/amd-ryzen-7-3800x

2x RAM: https://www.kingston.com/dataSheets/KSM32ED8_32ME.pdf

+

Einer Quadro P400, ein paar Lüfter und den Rest den ich schon habe.

 

Meint ihr ich komme über 100Watt im Idle?

@Smolo dein System ist ja ähnlich. Hast du schon mal den Verbrauch gemessen? Mir gehts nicht um genaue Werte nur um eine Richtung. 

 

 

Hast Du Dir mal das ASRock Rack X570D4U angeschaut? Was dieses Board auszeichnet, es hat IPMI.

 

Somit nimmt unraid die OnBoard Grafik und die P400 kannst Du dann direkt durchreichen.

 

Den 3800X kann ich Dir empfehlen, der hat wirklich reichlich Power für die nächste Zeit.

 

Was mich halt nur an AM4 stört, das nur 4xDDR4 RAM verbaut werden kann, somit ist ein vernünftiger RAM Ausbau nur begrenzt möglich.

[i-B4se]

11 minutes ago, ich777 said:

Darf ich fragen warum HA in einer VM, warum kein Container?

Klar. Liegt am Supervisor. Es ist bei einer VM einfacher, da er schon dabei ist. Ich konnte so von meiner früheren Lösung einfach das Backup, einspielen und alles lief wieder. Hat mir viel Zeit erspart 😀

 

15 minutes ago, ich777 said:

DayZ ist leider nicht auf Linux vernünftig zum laufen zu bekommen

Jup, deswegen die Win 2019 VM. 

 

17 minutes ago, ich777 said:

Für 2 Minecraft Server (Geschwindigkeit steht bei Minecraft über vielen Kernen)

Das stimmt, aber für uns ist es ausreichend. RAM ist auch wichtig. Wir haben bisher keine lags etc. bemerkt auf dem jetzigen Server. 

 

18 minutes ago, ich777 said:

Brauchst du denn die Power vom 3800X?

Das ist natürlich immer so eine Frage  Den jetzigen Server lass ich schon sehr lange laufen. Vorher als Win Server mit ein paar VMs. Deswegen möchte ich gerne die Kosten etwas senken, aber nicht auf die 8 Kerne + ECC verzichten. 
Wenn ich einige Nextcloud-Ordner (16000 Dateien), dann ist die jetzigen CPUs am Limit. 
 

Was mich aber bei Intel stört, ich bin dann beim Xeon 1270 schon fast am Limit. Bei AMD kann ich zur Not, was ich jetzt noch glaube, noch auf 16 Kerne gehen. 

[i-B4se]

5 minutes ago, sd007 said:

 

Hast Du Dir mal das ASRock Rack X570D4U angeschaut? Was dieses Board auszeichnet, es hat IPMI.

 

Somit nimmt unraid die OnBoard Grafik und die P400 kannst Du dann direkt durchreichen.

 

Den 3800X kann ich Dir empfehlen, der hat wirklich reichlich Power für die nächste Zeit.

 

Was mich halt nur an AM4 stört, das nur 4xDDR4 RAM verbaut werden kann, somit ist ein vernünftiger RAM Ausbau nur begrenzt möglich.

Ja, das habe ich mir angeschaut, aber das sprengt den Rahmen ein wenig

Unraid benötigt bei mir gar keine Graka, da der Server im Keller steht. Es geht alles übers Netzwerk. 
Vier Bänke ist tatsächlich grenzwertig. Deswegen die 32GB Module. Bei 128GB ist eh schluss und sollte auch reichen 😅

 

 

[Smolo]

1 hour ago, i-B4se said:

Ich glaube ich habe mich entschieden 😅

 

Board: https://www.asus.com/Commercial-Servers-Workstations/Pro-WS-X570-ACE/

CPU: https://www.amd.com/de/products/cpu/amd-ryzen-7-3800x

2x RAM: https://www.kingston.com/dataSheets/KSM32ED8_32ME.pdf

+

Einer Quadro P400, ein paar Lüfter und den Rest den ich schon habe.

 

Meint ihr ich komme über 100Watt im Idle?

@Smolo dein System ist ja ähnlich. Hast du schon mal den Verbrauch gemessen? Mir gehts nicht um genaue Werte nur um eine Richtung. 

 

Liess mal meinen Thread (Signatur) durch das Problem was du hast ist das du einen Zen2 einsetzen möchtest. Ich bin daher gleich auf den x5600 gegangen weil die IPC auch entsprechend besser ist.

 

Die 4 RAM Bänke reichen locker oder brauchst du mehr als 128gb?

 

[sd007]

9 minutes ago, i-B4se said:

Ja, das habe ich mir angeschaut, aber das sprengt den Rahmen ein wenig

Unraid benötigt bei mir gar keine Graka, da der Server im Keller steht. Es geht alles übers Netzwerk. 
Vier Bänke ist tatsächlich grenzwertig. Deswegen die 32GB Module. Bei 128GB ist eh schluss und sollte auch reichen 😅

 

 

 

Das ASRock kostet grad mal 40Euro mehr und IPMI möchte ich nicht mehr missen. Der Vorteil ist halt dann, das Du die Grafikkarte nicht nur im Docker Container nutzen kannst, sondern direkt in eine VM durchreichen kannst. Was ohne IPMI bzw. zweiter Grafikkarte nicht möglich wäre.

Edited March 24, 2021 by sd007

[ich777]

13 minutes ago, i-B4se said:

Klar. Liegt am Supervisor. Es ist bei einer VM einfacher, da er schon dabei ist. Ich konnte so von meiner früheren Lösung einfach das Backup, einspielen und alles lief wieder. Hat mir viel Zeit erspart 😀

Okay, das mit dem Supervisor hab ich bis heute noch nicht verstanden weil ich noch keine Zeit hatte mir das ganze im Detail anzusehen...

 

14 minutes ago, i-B4se said:

Win 2019 VM. 

Nicht ein wenig übertrieben?

 

15 minutes ago, i-B4se said:

ECC verzichten

Okay..

 

16 minutes ago, i-B4se said:

Was mich aber bei Intel stört

Kann mich bis jetzt nicht beschweren und hab glaub ich noch mehr Dateien als du in meiner Nextcloud, versteh aber nicht in wie fern das mit den Dateien zusammenhängt.

Ich hab auch lange überlegt auf AMD zu gehen aber bin mit dem 10600 vollkommen zufrieden bin im Idle jetzt bei ca 58W (15 Datenträger davon 5x SSD's, 1x M.2 NVME, 1x 3.5 HDD immer aktiv) hab aber auch noch einen HBA (Dell Perc H310 im IT Mode) und eine Mellanox ConnectX3 am laufen.

 

 

Aber ich hab schon gemerkt, du hast dich entschieden...

[i-B4se]

11 minutes ago, sd007 said:

Das ASRock kostet grad mal 40Euro

Das X570D4U hat aber kein 10Gbit

Erst das X570D4I-2T hat 10Gbit Port, aber nur einen M2 Slot. Liegt dann aber bei 430€
 

17 minutes ago, Smolo said:

Liess mal meinen Thread (Signatur) durch das Problem was du hast ist das du einen Zen2 einsetzen möchtest. Ich bin daher gleich auf den x5600 gegangen weil die IPC auch entsprechend besser ist.

 

Die 4 RAM Bänke reichen locker oder brauchst du mehr als 128gb?

 

Hast du deinen Verbrauch mal überprüft?

Doch, die reichen dicke. 
 

7 minutes ago, ich777 said:

Nicht ein wenig übertrieben?

Bin ich günstig drangekommen 🙃

 

10 minutes ago, ich777 said:

Kann mich bis jetzt nicht beschweren und hab glaub ich noch mehr Dateien als du in meiner Nextcloud

Die 16000 Bilder/Dateien sind in einem Order. Sobald der Ordner geöffnet wird fangen die CPUs an zu arbeiten. Die Nextcloud selbst umfasst knapp 5TB

 

13 minutes ago, ich777 said:

Okay, das mit dem Supervisor

Kurz und Knapp: Addons in HA
 

9 minutes ago, ich777 said:

Aber ich hab schon gemerkt, du hast dich entschieden...

Nein, das nicht. Aber es gibt bei Intel keine passenden Alternative. Zumindest finde ich nichts

[Smolo]

30 minutes ago, i-B4se said:

Das X570D4U hat aber kein 10Gbit

Erst das X570D4I-2T hat 10Gbit Port, aber nur einen M2 Slot. Liegt dann aber bei 430€
 

Hast du deinen Verbrauch mal überprüft?

Doch, die reichen dicke. 

Nimm mein Board das hat 2xm.2 uns 2x10g + 2x1g + 1xbmc Netzwerk ich hatte mir das ace Board auch mal angeschaut aber mir fällt grad der Grund nicht mehr ein irgendwas hat mir an dem zwecks Erweiterbarkeit nicht gepasst.

 

Schau wie gesagt in den Thread da ist das im Detail erklärt ohne 10g im idle etc. bin ich bei ca.30w gelegen.

[mgutt]

4 hours ago, i-B4se said:

Wenn ich einige Nextcloud-Ordner (16000 Dateien), dann ist die jetzigen CPUs am Limit. 

Unraid? Das hat in der Regel andere Gründe wie zb die Nutzung von /mnt/user statt /mnt/cache (SHFS overhead vermeiden).

 

4 hours ago, i-B4se said:

Was mich aber bei Intel stört, ich bin dann beim Xeon 1270 schon fast am Limit. Bei AMD kann ich zur Not, was ich jetzt noch glaube, noch auf 16 Kerne gehen. 

Die Kerne nützen dir aber voraussichtlich nichts, da Webserver nicht einfach so auf 16 Kerne skalieren. Eher bleibt es bei einem. Daher ist eine hohe Single Core Leistung wichtiger. Ich würde mir überlegen wie viele Kerne die VMs brauchen, können die teilweise mehrfach verwendet werden und dann 2 Kerne für Unraid/Docker dazu rechnen. Da bist du weit weg von einem 16 Kerner. Daher sehe ich für dich eher einen 5800X oder eben einen W-1270(P).

 

5 hours ago, i-B4se said:

Meint ihr ich komme über 100Watt im Idle?

Mit stehenden Platten bestimmt nicht. Aber ein 5xxx Ryzen würde 10 bis 20W sparen.

 

 

[i-B4se]

16 minutes ago, mgutt said:

Unraid? Das hat in der Regel andere Gründe wie zb die Nutzung von /mnt/user statt /mnt/cache (SHFS overhead vermeiden).

Ne, das ist ein Nextcloud-Ordner. Ich meine damit das in der Weboberfläche eine großen Ordner öffne. Dann fängt natürlich die Datenbank an zu rattern. 
Nextcloud ist an einer festen Platte gebunden ohne wie zb /mnt/disk1/Nextcloud 

Das liegt einfach daran das viele Daten darin sind. 
 

Mit der Anzahl an Kernen hatte ich ja schon geschrieben. Ich glaube nicht das ich mehr brauche, aber wissen tue ich es nicht. 
Alle Docker/VM haben bei mir fest zugeordnete Cores/Threads. 
Lieber man kann es später upgraden als wieder alles umzubauen. 

Den 5800x hab ich im PC. Falls ich die letzten Watt rauskitzeln möchte, dann wechsel ich einfach die CPUs. 
 

Hab eben die Teile bestellt:

- 3800x

- 64GB ECC

- Asrock X570D4U-2L2T 

 

Wenn ich den Verbrauch halbiere, dann bin ich schon zufrieden. Wie gesagt, der Server ist schon ein paar Jahre im Einsatz und bisher hat es mich nicht wirklich gestört. 

 

[mgutt]

28 minutes ago, i-B4se said:

zb /mnt/disk1/Nextcloud 

Die DB auch? Also die direkt auf /mnt/cache?

[i-B4se]

Nicht direkt auf der Cache, sondern auf einer zusätzlichen SSD. 
Aber auch da ist der Pfad direkt angegeben. 

[mgutt]

Dann machst du alles richtig. 

 

Warum hast denn 16k Dateien in einem Ordner? Oder meinst du insgesamt?

[Smolo]

1 hour ago, i-B4se said:

Alle Docker/VM haben bei mir fest zugeordnete Cores/Threads. 

Lieber man kann es später upgraden als wieder alles umzubauen. 

Ich weiß nicht was du noch so laufen lässt aber das würde ich nicht machen. CPU Pinning ist schon was spezielles, da machst du mehr kaputt als du damit etwas gewinnst solange du da keine 100% Last Szenarien fährst!

[mgutt]

Verstehe ich auch nicht. Die CPU macht das automatisch eigentlich schon sehr gut.

[i-B4se]

1 hour ago, mgutt said:

Warum hast denn 16k Dateien in einem Ordner? Oder meinst du insgesamt?

Ist ein Archiv-Ordner von einigen Personen. Muss man so nicht verstehen, hat aber seinen Grund. Das wird schon seit zick Jahren so gemacht. 
 

Es werden hauptsächlich den Gameservern Cores zugewiesen. Damit beim Zugriff der Datenbank keine Lags bzw. Microruckler entstehen. 

Edited March 24, 2021 by i-B4se

[Smolo]

4 minutes ago, i-B4se said:

Ist ein Archiv-Ordner von einigen Personen. Muss man so nicht verstehen, hat aber seinen Grund. Das wird schon seit zick Jahren so gemacht. 
 

Es werden hauptsächlich den Gameservern Cores zugewiesen. Damit beim Zugriff der Datenbank keine Lags bzw. Microruckler entstehen. 

Damit musst du trotzdem aufpassen weil du in den meisten Szenarien ein overprovisioning betreiben musst und genau das wirkt sich dann schlecht aus.

 

Also wenn ich jetzt einen Server mit App und DB Server habe dann macht es manchmal Sinn dem Appserver 6 CPUs und dem DB Server 2 CPU zu verpassen damit der Rechner nicht in gewissen Situationen durch das Switchen der Prozesse aus gebremst wird. Wenn jetzt aber das System selbst noch auf sen 2Kernen vom DB Server fahren dann bremst du da massiv das System Haus. Ich würde CPU Pinning nur verwenden wenn ich mehr physikalische Cores habe als Anwendungsszenarien.

 

Wir haben in der Firma lustigerweise unsere CPU sogar auf 4 Kerne reduziert weil sich rausgestellt hat das es massiv Performance gekostet hat wenn die Kerne auf zwei CPUs verteilt waren. Soll heißen über lass das der CPU das wird meist besser funktionieren 🙂

[i-B4se]

So, alle Teile sind heute angekommen, bis auf den CPU-Kühler. Den werde ich später montieren. 

Läuft wieder alles so wie es soll und der Verbrauch ist auf ca. 70 Watt im Idle gesunken. 
Ich werde noch ein paar Einstellungen vornehmen und ggf. den Prozessor leicht undervolten. 

 

Aber das Boarddesign ist echt nicht prickelnd, aber ist halt ein Board für Workstation. 
Auf dem Bild fehlen noch die zwei 8TB Platten. 
 

Danke nochmal für die Hilfe!