Setup für Unraid Server, Ersatz für Syno-NAS und 5xVM / Docker

[Gr24]

Hallo zusammen,

 

aktuell habe ich noch zwei Syno DS181x+ im Einsatz (jeweils 30TB, eine funktioniert als Backup für die andere), wobei meine 1813 jetzt schon in die Jahre gekommen ist und gewechselt werden soll. Im Haushalt sind diverse Notebooks und Raspberrys verteilt, die nun ebenfalls den Weg in Richtung VM/Docker gehen sollen.

Bei Docker werden AgentDVR (5 Full-HD Kameras) und Home Assistant genutzt

Bei den VMs ist geplant

1x Linux Mint Server laufen (Piwigo, Mailserver, Plex),

1x Windows 10 Pro VM (Videobearbeitung tlws. 4K)

1x Windows 10 VM für normale Bürotätigkeiten und Internet-Surfen

1x Windows VM neben allgemeinen Tätigkeiten auch fürs Coding genutzt und braucht ab und an auch etwas mehr Grafikpower 

1x Windows VM wird für die Tochter dann noch dazu kommen (für die Schule).

 

Nun gehe ich in die Vorplanung und hätte auch gerne einige Meinungen/Anregungen bzgl. meines geplanten Hardwaresetups, evtl. habe ich ja einen massiven Denkfehler am Start. Das Setup soll auch einige Jahre halten, es ist nicht geplant das ich hier im 2-3 Jahrestakt upgrade. Außerdem ist die Sache ja sehr weit weg von günstig, daher lieber einmal zu viel als zu wenig gefragt 🙂

 

Gehäuse: 4HE-Rackserver Gehäuse von Silverstone, mit 2x5 fach SATA-Backplanes

CPU: i9-13900 - Kühlung ?? (AIO oder beQuiet Lüfter)

Netzteil: 1000 Watt, Platinum (Empfehlung?)

RAM: 128GB DDR4/ 5(?) - 64GB würde ich der VM für Videobearbeitung zuweisen, die anderen Win10-VMs 1x16GB und 2x8GB, 32GB

Grafik: 1x GTX1650 / 1x Radeon HD550 (sind schon vorhanden) - beide zum Durchschleifen an die VMs, die interne GPU des i9 für Unraid

Paritätsplatten: 2x Seagate EXOS 20TB - beide bewusst groß gewählt, auch wenn ich nicht vor habe direkt 20TB Platten als Speicherplatten zu verbauen

Speicher: vorerst aus den bestehenden NAS-Platten (7x4TB/1x8TB)

SSD: 1x Samsung 980 1TB

 

Wie seht ihr das Hardwaresetup? Zu viel, zu wenig, zu teuer, zu billig.... ? 🙂

 

 

 

Edited May 20, 2023 by Gr24

[jj1987]

15 hours ago, Gr24 said:

1x Linux Mint Server laufen (Piwigo, Mailserver, Plex)

Kenne piwigo jetzt nicht. Aber Plex und Mailserver gibt es auch als Docker. Da könnte man also eventuell noch etwas "abspecken"

15 hours ago, Gr24 said:

Grafik: 1x GTX1650 / 1x Radeon HD550 (sind schon vorhanden) - beide zum Durchschleifen an die VMs, die interne GPU des i9 für Unraid

Sind ja jetzt beides auch nicht so die Monster. Da würde ich dann in Kombination mit obiger Nachfrage Mal schauen ob man nicht wenigstens eine davon einsparen kann.

Es wird derzeit ein iGPU sriov Plugin entwickelt, ähnlich dem gvt-g Plugin für frühere Core-i Generationen. Hab es jetzt nicht so genau verfolgt, da ich keine passende Hardware habe. Aber das würde ggfs für einige VMs ja schon ausreichen (zum zocken oder ähnlich GPU intensiven Kram natürlich nicht, aber YouTube etc welches durch eine GPU ja auch profitiert wird dadurch schon deutlich angenehmer)

15 hours ago, Gr24 said:

SSD: 1x Samsung 980 1TB

Erst den dicksten Prozessor und Maximum an RAM und dann an der SSD knausern?

Bedenke die VMs sollten auf der SSD abgelegt sein, diese hat also maßgeblich Einfluss auf die Performance der VMs.

Da würde ich dann schon zu einer 980 PRO oder ähnlichem greifen. Und vielleicht auch direkt 2TB. Und bedenke die SSD wird (standardmäßig) nicht von der Parity geschützt. Also entweder selbst ein Backup Konzept überlegen oder noch eine zweite einplanen und als RAID1 laufen lassen.

15 hours ago, Gr24 said:

Netzteil: 1000 Watt, Platinum (Empfehlung?)

mMn sollte auch ein 850w Netzteil reichen. Low Power Performance (<20w) dürfte bei deinem geplanten Setup ziemlich egal sein, insofern würde ich da auf ein beliebiges passendes Netzteil der bekannten Marken Corsair, Bequiet, Seasonic zurückgreifen

[jj1987]

Ach und ganz vergessen: laufen die ganzen VMs parallel oder immer nur ein paar zur Zeit? In letzterem Fall könnte man nämlich ebenfalls noch etwas abspecken.

Edited May 21, 2023 by jj1987

[Gr24]

Hi jj1987,

 

danke für die Anmerkungen, werde ich mit berücksichtigen. Stimmt, die SSD werde ich dann upgraden - macht absolut Sinn. Bei den VMs werden zumindest 3 immer gleichzeitig on sein. Das 1kW Netzteil hätte ich jetzt vorsorglich etwas höher dimensioniert, wenn die "alten" Grafikkarten erneuert werden - sprich eine potentere Grafik dann Einzug hält.

 

[mgutt]

22 hours ago, Gr24 said:

Gehäuse: 4HE-Rackserver Gehäuse von Silverstone

Die finde ich extrem überteuert. Sonderlich hochwertig sind die nämlich nicht. Aber du willst unbedingt was mit HotSwap Einschüben haben? Also keine fest verkabelten Platten?

 

22 hours ago, Gr24 said:

AIO

In einem Server? Ich finde es ehrlich gesagt im Gaming PC schon sinnfrei (mehr Komponenten, mehr Fehlerquellen, mehr Wartung).

 

22 hours ago, Gr24 said:

beQuiet Lüfter

Spielt die Marke da wirklich eine Rolle? Ich verbaue nur Noctua, aber wirklich relevant ist das ja nicht. Hauptsache pustet 😁

 

22 hours ago, Gr24 said:

DDR4/ 5(?)

Spielt keine Rolle

 

22 hours ago, Gr24 said:

 

 

22 hours ago, Gr24 said:

SSD: 1x Samsung 980 1TB

Da fehlt das "Pro" oder zumindest "Evo", die ohne ist mäh und bei mehreren VMs würde ich die VMs komplett mit eigener SSD ausstatten und wie bereits gesagt braucht es ein Konzept wegen der Ausfallaicherheit. 

 

22 hours ago, Gr24 said:

Netzteil: 1000 Watt

Was hast du vor? Oder werden die GPUs noch ersetzt?

 

22 hours ago, Gr24 said:

Paritätsplatten: 2x Seagate EXOS 20TB - beide bewusst groß gewählt, auch wenn ich nicht vor habe direkt 20TB Platten als Speicherplatten zu verbauen

Check ich nicht. Nimm doch lieber 3x 20TB und verwende nur eine als Parität und den Rest in den Müll. Eine Syno dann noch als Backup nur bei Bedarf hochfahren und sichern. Übrigens soll die 22TB Ultrastar sehr schnell sein. Bei 50% Fullrate bestimmt 50% schneller als die 20TB Exos.

 

22 hours ago, Gr24 said:

Videobearbeitung tlws. 4K

Weiß ich nicht. Taugt das was über eine VM? So einen DaVinci Renderserver wäre sicher eine gute Option, aber latenzfrei remote DaVinci bedienen, kann ich mir irgendwie nicht vorstellen.

 

Davon abgesehen. Wo renderst du denn hin? Auf das lahme Array wohl kaum und die 1TB SSD ist ja schnell voll.

[Ford Prefect]

22 hours ago, Gr24 said:

Gehäuse: 4HE-Rackserver Gehäuse von Silverstone, mit 2x5 fach SATA-Backplanes

CPU: i9-13900 - Kühlung ?? (AIO oder beQuiet Lüfter)

Netzteil: 1000 Watt, Platinum (Empfehlung?)

RAM: 128GB DDR4/ 5(?) - 64GB würde ich der VM für Videobearbeitung zuweisen, die anderen Win10-VMs 1x16GB und 2x8GB, 32GB

Grafik: 1x GTX1650 / 1x Radeon HD550 (sind schon vorhanden) - beide zum Durchschleifen an die VMs, die interne GPU des i9 für Unraid

Paritätsplatten: 2x Seagate EXOS 20TB - beide bewusst groß gewählt, auch wenn ich nicht vor habe direkt 20TB Platten als Speicherplatten zu verbauen

Speicher: vorerst aus den bestehenden NAS-Platten (7x4TB/1x8TB)

SSD: 1x Samsung 980 1TB

 

Wie seht ihr das Hardwaresetup? Zu viel, zu wenig, zu teuer, zu billig.... ? 🙂

 

....wie wäre es noch mit nem Motherboard? Ohne wird's ja wohl nicht gehen, oder hab ich was übersehen?

 

22 hours ago, Gr24 said:

1x Windows VM wird für die Tochter dann noch dazu kommen (für die Schule).

..und womit greift Tochter auf die VM zu? Was ist, wenn Tochter auf Teile / Daten in der VM zugreifen muss, während sie in der Schule ist (Präsentation o.ä.)?

Das würde ich sparen, bzw in ein Laptop für Tochter investieren.

Was gibt denn die Schule vor? Wirklich Windows & Office? MS-Teams ist bei uns hier verboten und seit Corona gibt es Apple Tablets...

 

....grundsätzlich finde ich einen AiO mit Desktops für User schwierig....diese benötigen eh ein Gerät mit passendem Zugriff und passender Grafik-Auflösung.

[Gr24]

13 hours ago, mgutt said:

Die finde ich extrem überteuert. Sonderlich hochwertig sind die nämlich nicht. Aber du willst unbedingt was mit HotSwap Einschüben haben? Also keine fest verkabelten Platten?

HotSwap habe ich sehr zu schätzen gelernt, zur Not würde ich das aber verschmerzen können. Andere Gründe waren die relativ vielen HDD-Einschübe und das 19" Format mit 4HE. Ich war früher mal ein Fan von LianLi Gehäusen, da bin ich mit 19" aber nicht wirklich fündig geworden. Hast du was bestimmtes im Sinn?

13 hours ago, mgutt said:

 

In einem Server? Ich finde es ehrlich gesagt im Gaming PC schon sinnfrei (mehr Komponenten, mehr Fehlerquellen, mehr Wartung).

 

Spielt die Marke da wirklich eine Rolle? Ich verbaue nur Noctua, aber wirklich relevant ist das ja nicht. Hauptsache pustet 😁

 

Spielt keine Rolle

 

Nein, Bedingung ist ein einigermaßen anständiges Lautstärkeverhältnis. Die Synos und andere IT-Geräte machen hier auch ihr Betriebsgeräusch, ich brauche also kein Silent-System - den Hurrican Stufe 4 brauche ich aber auch nicht. Ob das beQuiet, Noctua, Lüfti-Schlumpf oder sonst wen ist egal.

 

13 hours ago, mgutt said:

 

 

Da fehlt das "Pro" oder zumindest "Evo", die ohne ist mäh und bei mehreren VMs würde ich die VMs komplett mit eigener SSD ausstatten und wie bereits gesagt braucht es ein Konzept wegen der Ausfallaicherheit. 

 

ist aufgeschrieben, danke

13 hours ago, mgutt said:

 

Was hast du vor? Oder werden die GPUs noch ersetzt?

 

ja, irgendwann. und meistens macht man ja da auch noch eher mehr - daher wollte ich vermeiden das ich im Zuge von GPU auch Netzteil erneuern muss.

 

13 hours ago, mgutt said:

 

Check ich nicht. Nimm doch lieber 3x 20TB und verwende nur eine als Parität und den Rest in den Müll. Eine Syno dann noch als Backup nur bei Bedarf hochfahren und sichern. Übrigens soll die 22TB Ultrastar sehr schnell sein. Bei 50% Fullrate bestimmt 50% schneller als die 20TB Exos.

danke, ist vermerkt

 

13 hours ago, mgutt said:

 

Weiß ich nicht. Taugt das was über eine VM? So einen DaVinci Renderserver wäre sicher eine gute Option, aber latenzfrei remote DaVinci bedienen, kann ich mir irgendwie nicht vorstellen.

 

Davon abgesehen. Wo renderst du denn hin? Auf das lahme Array wohl kaum und die 1TB SSD ist ja schnell voll.

 

[Gr24]

13 hours ago, Ford Prefect said:

....wie wäre es noch mit nem Motherboard? Ohne wird's ja wohl nicht gehen, oder hab ich was übersehen?

nein, die Komponenten schmeiss ich so ins Gehäuse 🙂 Asus sollte es werden, da habe ich aber tatsächlich kein konkretes Modell. Asus war bei mir nur gesetzt, weil ich bisher immer gute Erfahrungen mit deren Mainboards gemacht habe.

 

13 hours ago, Ford Prefect said:

 

..und womit greift Tochter auf die VM zu? Was ist, wenn Tochter auf Teile / Daten in der VM zugreifen muss, während sie in der Schule ist (Präsentation o.ä.)?

Das würde ich sparen, bzw in ein Laptop für Tochter investieren.

Was gibt denn die Schule vor? Wirklich Windows & Office? MS-Teams ist bei uns hier verboten und seit Corona gibt es Apple Tablets...

 

mit Schule ist gemeint: Nutzung für den in der Schule anfallenden Bedarf, nicht in der Schule per RDP auf die VM. Das wäre aufgrund der WLAN Qualität und Betonbunker-1A-Mobilfunk der Worst-Case. Da ich in Bayern bin, gibt die Schule aktuell (noch) recht wenig vor. Das was sie vorgibt ist allerdings in puncto Design, Leistung und Nutzbarkeit grausam - man stelle sich sowas wie Teams als Textadventure vor...

 

Also: Wenn die Schule entsprechend vorgibt, dann werde ich um Tabletlösung oder Notebook sowieso nicht rumkommen.

13 hours ago, Ford Prefect said:

 

....grundsätzlich finde ich einen AiO mit Desktops für User schwierig....diese benötigen eh ein Gerät mit passendem Zugriff und passender Grafik-Auflösung.

 

[Gr24]

So kurzes Update: erstmal vielen Dank für die ganzen Beiträge, habe ich mir zu Herzen genommen. Wie der Zufall es will, hab ich von der Arbeit einen SuperMicroX10 für lau bekommen. Da werkeln 2 Xeon-16 Kerner fröhlich vor sich hin und hat eine monströse 4x10Gbit Karte drin (ich werd kaum einen Port ausgelastet bekommen). Thema Lautstärke ist da aber natürlich ein komplett anderes Format. Ich hab wie empfohlen 3x 20tb sas platten eingebaut und 2x 970 evo plus 2tb als Cache. Jetzt bin ich gerade am konfigurieren 😁

[mgutt]

Der Stromverbrauch ist kein Thema für dich? Weil Server-Komponenten bekommt man selten auf unter 100W im Leerlauf. Wenn man dann mindestens 200 € Stromkosten im Jahr hat, sind selbst kostenlose Teile fragwürdig.

[Gr24]

Das war tatsächlich (neben der Lautstärke) ein kleiner Bauchschmerzpunkt. Ich hab noch keinen Leistungsmesser eingebaut, aber wenn ich der IPMI-Weboberfläche vertrauen darf, dann waren es ca. 90W bei niedriger Prozessorlast (ca. 5%, bei einer laufenden Win10VM) und während das Paritätslaufwerk synchronisiert wurde.

 

Ich werde bestenfalls den gleichen Verbrauch haben wie die Summe der bisherigen Einzelgeräte (Raspberries, Synos, usw.), gefühlt werde ich wenigstens das doppelte meiner Haupt-NAS brauchen -> die läuft 24/7 mit 8 Platten -> braucht über 4 Wochen gemittelt 61W. Damit kann ich aber leben.

[Gr24]

Ein Nachtrag bzw. ein paar Informationen, für diejenigen die ein ähnliches Setup in Betracht ziehen. Mittlerweile läuft er ja schon einige Wochen:

- der Server läuft nun seit einigen Wochen 24/7 durch, mit 3 VMs und ca. 25 Docker-Container

- durchschnittliche Prozessorlast liegt bei ca. 25%

- in meinen Fall sind es 64 Kerne für die Zuweisung zu VMs/Docker: Macht man keine explizite Zuweisungen, so ziehen manche Docker wie z. B. Plex die Gesamt-Prozessorlast auch mal gepflegt auf über 90% hoch (beim Scannen der Mediathek).

- die durchschnittliche Leistungsaufnahme liegt bei 230 Watt, das ist natürlich eine Hausnummer. Wobei in meinen Fall die Rechnung aufgegangen ist: Ich brauche nicht mehr als die Summe der bisherigen Einzelgeräte. Mit PV ist das auch nicht das wirkliche Thema.

- es muss einen klar sein, das die standardmäßigen Lüfter eine extreme Lautstärke abgeben, bei 230 Watt Verbrauch muss natürlich auch eine entsprechende thermische Last abgeführt werden. Also die Variante "Ich stell mir das einfach ins Büro-Regal" fällt komplett aus, in meinen Fall nicht so schlimm - läuft in einen Nebenraum, trotzdem habe ich mal etwas probiert:

- Ich habe mit den 3D-Drucker die Supermicro-Hot-Swap Rahmen nachgedruckt und 4 Noctua AF8 eingebaut. Danach läuft der nahezu lautlos und auch stabil.

- Thermisches Problem war bei mir eher die Temperatur der Cache-Laufwerke (mit den 4 Standard-Lüftern ist die Temp da auch bei 55°C) und der RAID-Controller, die sind am weitest entfernten Punkt zu den Lüftern. Ich hab zur Kühlung auch da jeweils einen Noctua dazugesetzt. Ergebnis: Ist dann eine CPU-Temp von ca. 65-70°C, Cache Laufwerke 43-45°C. System stabil

- (den Test mit den Noctuas konnte ich auch nur machen, weil ich die noch über hatte)

[mgutt]

On 8/7/2023 at 6:44 PM, Gr24 said:

Macht man keine explizite Zuweisungen, so ziehen manche Docker wie z. B. Plex die Gesamt-Prozessorlast auch mal gepflegt auf über 90% hoch (beim Scannen der Mediathek).

Nicht vom unRAID Dashboard täuschen lassen. Dort wird I/O Wait mit eingerechnet. Die reale CPU Last siehst du mit dem Kommando "htop" über die Kommandozeile. Man könnte übrigens jede Platte einzeln an Plex mit /mnt/disk1/Filme usw übergeben. Das reduziert auch noch mal die CPU Last im Vergleich zu /mnt/user/Filme

 

On 8/7/2023 at 6:44 PM, Gr24 said:

3 VMs und ca. 25 Docker-Container

 

On 8/7/2023 at 6:44 PM, Gr24 said:

230 Watt Verbrauch

Und 8 HDDs? Mit sparsamer Hardware könntest du das deutlich unterbieten. Mein System liegt mit 8 HDDs, 10G Karte, 64GB RAM, NVMe und 6 Kern Xeon bei 20W ohne Docker und VM. Mit einer VM und Mincecraft als Docker komme ich auf 40W. Ich denke unter 100W sollte mit den meisten Consumer Setups machbar sein.