Unraid neue Hardwarekonfiguration, wie gehe ich vor ?

[toblerch00]

Hallo Zusammen,

bitte entschuldigt, wenn ich vielleicht die eine oder andere Regel des Forums nicht korrekt beachte, es ist mein erster Eintrag in meinem Leben in einem Forum 🙂 ( und das mit über 40 ) . Mir gefällt, dass hier sehr sachlich miteinander umgegangen wird und es keine "unnützen" Fragen gibt. Vielen Dank zunächst für die vielen Beiträge, die mir in der Vergangenheit schon sehr viel weitergeholfen haben. Nun zu meinem Anliegen. Ich benutze Unraid mittlerweile schon einige Zeit und habe folgende Hardwarekonfiguration.

 

DELL Poweredge R720 mit Intel Xeon E5-2680

Array bestehend aus:

 

- 5 x 8 TB WD Red

- 1 x Parity mit 8TB WD Red

- 2 Cache Data (  1x NVME SanDisk Extreme Pro 1TB, und 1 x SanDisk SSD Plus 1TB)  , die NVME ist über einen PCIe Adapter angebunden

 

Weiterhin habe ich noch via Passed Through folgende Platten eingebaut

 

- 1 x Crucial P2 CT1000P 1TB NVME ( über PCIe NVME Adapter)

- 1 x  SanDisk Ultra 3D 500GB SATA SSD

- 1 x  SanDisk SSD Plus 1TB SSD

 

Diese drei Speicher werden an VMs weitergereicht.

 

Der DELL Server hat 768 GB ECC RAM 

 

Als zusätzliche Hardware ist verbaut:

 

1. Coral TPU ( via PCIe Adapter) für Frigate, Tensorflow etc..

2. NVidia GTX 710 ( Passthrough Macinabox)

3. NVidia GTX 1030 ( Passthrough Windows 11)

4. NVidia GTX 3060 ( Passthrough KUbuntu 21.04 ) 

 

Das Linux KUbuntu mit der GTX 3060 wird für das Training von KI-Anwendungen verwendet ( Tensorflow, Cuda, Bildverarbeitung etc..) . Dafür ist auch der RAM entsprechend ausgestattet um 4096 x 4096 Bilder zu trainieren  ( Shape from Shading etc... ) . 

 

Neben den "produktiven VMs" laufen noch Dinge wie HomeAssistant und weitere Linux Distributionen für Tests und VPN Anwendungen ( Wireguard , OpenWB  etc..., Repetier Server  )

 

Weiterhin laufen auf dem System noch ca. 50 verschiedene Docker Anwendungen. Teilweise für den produktiven Einsatz, NVR, Reverse Proxy, Wiki, Backup, DMS, Visualisierung, Datenbanken, Websites, Mosquitto, Unifi , Plex etc..)

 

Grundsätzlich läuft das gesamte System recht ordentlich. Es ist stabil und soweit Ok. Allerdings gibt es zwei große Nachteile.

 

1. Die Leistungsaufnahme liegt mit aktiven VMs und gewisser Aktivität bei  ca. 700Watt, im Idle ( wenn man davon überhaupt bei der Grundlast reden kann ) bei 350 Watt. 

 

2. Die Performance für das kompilieren von Software etc.. ist aufgrund der mittlerweile recht alten CPU ziemlich langsam. Tensorflow braucht z.B.  ca. 2.5h-3h . Auch die eigene Bildverarbeitungssoftware braucht zum übersetzen ca. 20 Minuten bei der Nutzung aller verfügbaren Kerne inklusive HT.

 

Ich würde gerne auf ein alternatives System umsteigen, welches mehr Performance hat und dennoch mit der Hardware umgehen kann. Zudem sollte das System auch noch halbwegs bezahlbar sein. Ich bin an dieser Stelle überfordert, und habe keine Ahnung, wie ich anfangen soll. Die 786GB RAM sind z.B. nicht zwingend nötig. Trainingsprozess könnten z.B. nur bei Bedarf auf einem Rechner gestartet werden etc... D.h. ich würde durchaus auch mit 128 oder 256GB RAM auskommen.

 

Vielleicht könnt ihr mir hier einen Anstoß geben , wie ich ein bezahlbares System auslegen kann. Ich habe beruflich z.B. einen Threadripper 3990X mit einen Gigabyte Board und 256 GB RAM , NVidia GTX 3090 und NVidia GT 1050 . Das System ist eine Katastrophe mit Unraid. Legacy Boot funktioniert nicht, IMMO Groups funktionieren nicht zuverlässig. Und das bei einem System, welches mehr als 10.000 € kostet , ohne ECC RAM. Die Performance in VMs ist sehr gut. Aber eben doch deutlich über dem Level, was man daheim ausgeben möchte und kann.

 

Für Anregungen wäre ich sehr dankbar. Und habt bitte ein nachsehen, wenn ich vielleicht ein paar Regeln des Forums nicht beachtet haben sollte. Es ist wie gesagt mein erster Thread.

 

Ich freue mich auf eure Antworten

 

 

 

 

 

 

 

[mgutt]

1 hour ago, toblerch00 said:

Threadripper 3990X mit einen Gigabyte Board und 256 GB RAM , NVidia GTX 3090 und NVidia GT 1050 . Das System ist eine Katastrophe mit Unraid

Ja, das ist leider so. Es gab mal in einem Podcast die Erklärung, dass von AMD keinerlei Unterstützung in Sachen Treibern kommt. Ich denke es wird noch 1 bis 2 AMD Generationen dauern bis da was passiert. AMD holt ja gerade erst zu Intel im Enterprise Bereich auf.

 

1 hour ago, toblerch00 said:

D.h. ich würde durchaus auch mit 128 oder 256GB RAM auskommen.

 

Vielleicht könnt ihr mir hier einen Anstoß geben , wie ich ein bezahlbares System auslegen kann.

Brauchst du die ganzen dGPUS?

 

Weil das aktuell flexibelste Setup wäre ein Xeon W-1290P, der dank iGPU die Möglichkeit bietet mehrere vGPU kleineren VMs zuzuordnen. Von der Leistung her keine mega Steigerung, aber kommt auch drauf an ob deine Apps eher eine hohe Single Thread Leitung oder Multi Thread Leistung bevorzugen:

https://www.cpubenchmark.net/compare/[Dual-CPU]-Intel-Xeon-E5-2680-vs-Intel-Xeon-W-1290P/1221.2vs3831

 

Bei Single hätte der 100% mehr Leistung.

 

Der Nachfolger, der W-1390 hat nur 8 Kerne und die vGPU Geschichte geht damit auch nicht mehr.

 

Der Nachteil beim W-1290P wären die Lanes. Es ist kein Server Xeon und entsprechend hat er nur 16 Lanes. Also nichts um damit zig GPUs durchzuschleifen.

 

Aber gerade da liegt auch wieder der Vorteil bei der Effizienz. Verzicht auf dGPUs bedeutet viel Strom sparen.

 

Man könnte jetzt also das GIGABYTE W480 Vision W nehmen. Da hätte man 2x X8 und 1x X4 plus 2x M.2 NVMe. Also auf die GT1030 für Windows müsstet du verzichten, genauso wie auf NVMes direkt an VMs durchzuschleifen.

 

Wenn das nicht akzeptabel ist, müsste man auf einen Server Xeon oder AMD EPYC gehen. Bei hoher Single Core Leistung aber beide sehr teuer.

 

Vielleicht wäre da der Xeon W-3323 eine Option?

https://www.cpubenchmark.net/cpu.php?cpu=Intel+Xeon+W-3323+%40+3.50GHz&id=4570

 

Oder der Xeon W-3335. Wären dann aber schon 1000 bis 1500 € für die CPU und ohne iGPU, brauchst du wieder mehr dGPUs. Ich glaube nicht, dass du dann wirklich relevant Strom sparst, als dass sich diese Investition lohnt.

 

Ähnliches dürfte für den EPYC 7313 gelten, wobei laut Cloudflare die AMD CPUs viel effizienter bei voller Last sein sollen als Intel und die Leistung ist auch gut:

https://www.cpubenchmark.net/cpu.php?cpu=AMD+EPYC+7313&id=4443

 

Eventuell macht es sogar Sinn zwei Server mit Workstation Xeons zu bauen. So könntest du einen Server nur bei Bedarf hochfahren, musst dann aber mit ~2 Minuten Bootzeit leben.

[toblerch00]

Vielen Dank für die Hinweise,

in erster Linie geht es mir darum diverse Software mit cmake (gcc & g++ ) schnell zu kompilieren und diese Software dann mit hoher Performance zu nutzen. Ich habe beruflich neben den 3990X noch ein System mit Intel I9 10900X und AMD Ryzen 5900X . Meine Tests bei der Anwendung von Software haben folgende Rangfolge aufgezeigt. 1. Ryzen 5900X , hier partizipiert das System durch den höheren Basistakt, 2. Threadripper 39990X, 3. Intel I9 10900X. Beim reinen kompilieren ohne die Softwareperformance liegt der 3990X weit vorn. Nahezu unschlagbar. Um einen Vergleich herzustellen ein Beispiel. Die übersetzte Bildverarbeitungsanwendung benötigt für die Auswertung auf dem Ryzen 5900X (Auflösung 2046x2046) ca. 220 ms, der Threadripper 380 ms, der I9 590ms , die 2x Xeon E5-2680 ca. 1,4 sek. Bei der Übersetzung sieht es eher anders aus. Verwenden wir das Beispiel der Tensorflow Bibliothek mit GPU ( rev. 3.6 ) . Threadripper 3990X ca. 15 - 20 Minuten, Ryzen 5900X ca. 1h, I9 10900X ca. 2h, Xeon E5-8560 ca. 2,5h - 3h ( eher 3h)   Grundsätzlich scheint es so, dass der Basistakt für die Auswerteperformance relevant wäre. Allerdings haben sich die Ergebnisse beim Ryzen 5900X mit 4.5 Ghz Übertaktung um 50-60 ms verschlechtert ( ggf. höhere Latenz ? ). Mit mehreren Kernen scheint sich allerdings die Performance bei der Übersetzung von Software zu verbessern. Mir ist klar, dass ich deshalb vermutlich einen Kompromiss suchen muss. Wo liegt dieser ? Im Performance Vergleich wäre für die Auswertung ggf. der W-1290P im Vergleich zum Xeon E5-8560 deutlich besser. Allerdings würde er im Multithreading und auch Singel Thread Vergleich deutlich schlechter als der Ryzen 5900X oder I9 10900X abschließen. Die NVME Devices habe ich durchgereicht, um bei der Bildverarbeitung eine höhere Performance beim Laden von Bilddaten zu erzielen. Das macht sich auf jeden Fall deutlich bemerkbar bei größeren Dateigrößen. Die GPUs habe ich verwendet um die CUDA Cores der GPUs für openCV, Tensorflow etc.. zu verwenden. Die GT710 verliert dort klar gegen die CPU, jedoch hat man mit der GT1030 schon eine leicht bessere Performance als der Xeon E5. Ähnlich sieht es beim I9 aus, der ist mit reiner CPU Rechenleistung nur marginal schneller als die GT1030. Unschlagbar ist die GTX3090. Mit einer GTX3090 hätte das System noch deutlich bessere Performance ( Leider konnte ich diese nicht im R720 aufgrund der Bauform einsetzen). Zusammengefasst kann ich sagen, dass ich im zukünftigen System gerne eine GTX 3090 einsetzen würde. Womit ich mich nicht auskenne ist die Performance der iGPU. Zumindest in der Linux und Windows VM bräuchte ich für die Entwicklung viel Performance. MACOS nutze ich für Office Anwendungen & Videoschnitt ( ggf. könnte der Videoschnitt hier ein Problem darstellen, ist es zumindest aktuell mit der GT710 und hier ist die Performance eher bescheiden). Wenn ich diesen Text gerade schreibe, fällt mir auch auf, dass es vermutlich schwierig wird die Leistungsaufnahme zu begrenzen. Ich denke, wenn das System unter Last ca. 500 Watt und im Idle ca. 200 Watt benötigen würde, wäre das ebenfalls schon die richtige Richtung. Wichtiger als der Verbrauch wäre mir in der Tat ein Leistungszuwachs beim kompillieren von Software und bei der Anwendung der Software ( hohe Single Thread Performance , genügend Kerne, neue Architektur? ) . Ebenso wäre mir wichtig die Festplatten so weit wie möglich an die VMs durchzureichen, da meine bisherige Erfahrung gezeigt hat, dass eine NVME via Passthrough deutlich höhere Performance aufzeigt, als eine virtuelle Festplatte. 

 

 

[mgutt]

Vielleicht solltest du mal den TR mit Proxmox oder ESXi ausprobieren. unRAID kann zwar auch VM, aber die anderen Betriebssysteme sind einfach darauf spezialisiert.

 

Ansonsten wäre meine einzige Idee diesen EPYC zu nehmen:

https://www.cpubenchmark.net/cpu.php?cpu=AMD+EPYC+7443P&id=4391

 

Der hätte eine hohe Single Core Leistung, viele Kerne und es ist eine Server Plattform, die in Sachen IOMMU sicher nicht so empfindlich ist wie der TR.

 

Wegen Stromverbrauch kann ich dir allerdings nicht viel sagen, außer dass Cloudflare die Effizienz gelobt hat:

https://www.golem.de/news/cloudflare-server-der-generation-11-weiter-mit-amd-statt-intel-2109-159309.html