EliteGroup Posted April 23, 2021 Share Posted April 23, 2021 (edited) Hallo Leute, Ich hab jetzt lange gespart um mir einen starken NAS + VM/Docker Server zu leisten. Hab mir zuerst mal den QNAP TVS-h1688X als passend raus gesucht. Die Hardware wäre schon mal recht gut. Nachdem ich von (leider) zu vielen Leuten und Berichten gehört habe wie schlecht das QNAP OS ist/sein kann, sind mir ~3500€ doch etwas zu viel... Also hab ich mir diie letzten Wochen zeit genommen mir TrueNAS vs unRAID anzusehen. Nach einiger Zeit und einer Test installation auf meinen HP EliteDesk i5, habe ich mich für unRAID entschieden. So jetzt fehlt also nur noch die Hardware Da ich ja ursprünglich für den QNAP 3500€ springen lassen würde, ist für den Selbstbau doch recht üppiges Budget da. Aber als Neuling unter unRAID wünsche ich mir euren Segen bzw. Kritik an meinem Hardware-Setup: # CPU AMD Ryzen 9 5950X # Mainboard ASRock Rack X570D4U-2L2T # RAM ECC 2x Kingston Server Premier DIMM 32GB, DDR4-3200, CL22-22-22, ECC # Netzteil be quiet! Straight Power 11 850W Offen ist hier noch das Gehäuse, muss kein Rack sein, spontan habe ich mal das hier gesichtet für viele HDDs: Nanoxia Deep Silence 6 Rev. B hier bin ich auf jedenfall für gute Vorschläge offen. # Festplatten -Für Docker & VM hab ich schon eine 2TB M.2 SSD -Für den HDD Pool verwende ich Toshiba N300 8TB HDDs 6 Stück - 4 habe ich bereits, sind erst 6 Monate im Einsatz und können formatiert werden. Am Ende sollen es bis zu 8 HDDs sein. Frage zum Verständnis: Die Parity-Festplatte = auch die größte die man später hinzufügen kann, sollte ich dafür lieber gleich statt einer 8TB eine 10 oder 14TB Platte kaufen für die Parity? Kann die Parity-Festplatte im nachhinein getauscht werden gegen eine größere oder muss man sich zuerst dafür fix entscheiden? -Wie ich gesehen habe lässt sich nebenbei auch ein ZFS Pool per Command einrichten. Da würde ich einen Pool mit 3 oder 4 SSDs je 1TB einrichten für private Daten / Bilder etc. Eigentlich wollte ich ja fragen ob es sich lohnen würde auf AM5 bzw. DDR5 Ram zu warten. Aber wie ich gelesen habe wird sich das ganze noch länger hinziehen... Vilt erst irgend wann im Jahr 2022 oder gar 2023. Vilt. kommen dieses Jahr bereits die ersten DDR5 RAM raus, aber wie wird der Preis zum Start sein, geringe Auswahl an Mainboards die zu einem NAS passen, und bis die passenden Sockets raus kommen (zb AM5), ganz zu schweigen die aktuellen Probleme in der Produktion Denke ich ist es kein fehler zu investieren. Ich weis, wieso den Ryzen und wieso nicht lieber ein Xeon oder Epyc CPU die eher geeignet für Server sind... Aktuell finde ich AMD einfach Top und Intel zuckelt einfach nur noch nach, die Epyc sind halt doch recht teuer, der Ryzen 5950X hat einfach ein dickes Preis/Leistungsverhältnis. Das Mainboard ist in meiner Wahl da es denk ich sehr gut ausgestattet ist. ECC Support, IPMI Managment und ganz wichtig 10GbE NIC und das ganze 2x10GbE + 2x1GbE, gut bei anderen Boards würde ich das per PCI-E nachrüsten wäre kein Problem, aber das passt so direkt. Was evtl noch dazu kommen könnte ist eine nVidia Quadro GPU für Emby Transcodierung. Soweit ich gelesen habe geht das jedoch nur wenn unRaid die OnBoard ASPEED AST2500 GPU erkennt? Ich will aufjedenfall am Ende die nächsten 7 Jahre+ ruhe. Einige Docker Container mit Emby, ioBroker, Datenbanken etc und VMs mit Windows + Linux werden drauf laufen, Idealfall soll dann noch eine GPU Transcodieren. Was leider ja noch offen ist bei diesem Setup mit der ASPEED AST2500. Ihr könnt mir andere Setups zu Hardware vorschlagen, auch Intel oder eure Meinung zu diesem Setup. Beim Gehäuse auf jedenfall Hilfe/Erfahrung nötig, für 8 HDDs / 4 SSDs , HotSwap muss nicht sein. PS: Der unRaid Server kommt hinter meine OpnSense Firewall die mein Netzwerk betreibt. Ich wünsche euch auf jeden Fall bereits ein schönes Wochenende. Edited April 23, 2021 by EliteGroup Quote Link to comment
mgutt Posted April 23, 2021 Share Posted April 23, 2021 2 hours ago, EliteGroup said: Nanoxia Deep Silence 6 Rev. B 100 Liter Volumen sind für gerade mal 8 HDDs doch ein bisschen heftig. Schau dir mal das Nanoxia Silence 4 oder das Fractal Define R5 an. 2 hours ago, EliteGroup said: Die Parity-Festplatte = auch die größte die man später hinzufügen kann, sollte ich dafür lieber gleich statt einer 8TB eine 10 oder 14TB Platte kaufen für die Parity? Ja, aus zwei Gründen: a) die Parity ist beim Schreiben auf das Array der Flaschenhals und größere HDDs sind schneller als kleinere b) du kannst jederzeit größere Platten im Array verbauen 2 hours ago, EliteGroup said: -Wie ich gesehen habe lässt sich nebenbei auch ein ZFS Pool per Command einrichten. Da würde ich einen Pool mit 3 oder 4 SSDs je 1TB einrichten für private Daten / Bilder etc. Du kannst auch einen BTRFS RAID5/6 Pool oder RAID10 usw erstellen. 2 hours ago, EliteGroup said: Eigentlich wollte ich ja fragen ob es sich lohnen würde auf AM5 bzw. DDR5 Ram zu warten. Lohnt schon deswegen nicht, weil man in Linux mit Hardware, die gerade frisch auf den Markt gekommen ist, eher Probleme mit Treibern usw hat. 2 hours ago, EliteGroup said: Epyc CPU Würde ich jetzt eh nicht empfehlen, da die relativ wenige Single Thread Performance besitzen. Bei Unraid ist eine hohe von Vorteil. Braucht man mehr Lanes weil man zB viele GPUs verbauen will, dann würde ich erst einen Server-Xeon oder Threadripper empfehlen. 2 hours ago, EliteGroup said: Was evtl noch dazu kommen könnte ist eine nVidia Quadro GPU für Emby Transcodierung. Soweit ich gelesen habe geht das jedoch nur wenn unRaid die OnBoard ASPEED AST2500 GPU erkennt? Es geht jede GPU dafür. Du brauchst nicht gleich eine Workstation GPU dafür. Mit einem Ryzen 4750G hättest du gleich eine iGPU dabei. Da muss man abwägen was wichtiger ist (zB PCIe 4.0 oder eben noch mehr Leistung). 2 hours ago, EliteGroup said: 2x Kingston Server Premier DIMM 32GB Verbau ruhig das Maximum. Ist angenehmer in Sachen 10G Übertragung, wenn man auch noch VMs hat, die am RAM nagen. 2 hours ago, EliteGroup said: be quiet! Straight Power 11 850W Ist ein bissel groß, wobei es natürlich darauf ankommt was du so an GPUs verbauen willst. Rechne mit 30W pro HDD beim Booten + 50W fürs System. Macht bei 8 Platten 290W. Im Betrieb kommt es dann auf CPU und GPU an. Aber 850W ist schon eine Hausnummer. 2 hours ago, EliteGroup said: OnBoard ASPEED AST2500 GPU nVidia Quadro GPU X570D4U-2L2T 850W 2x10GbE + 2x1GbE ZFS Pool Stromverbrauch spielt also für dich keine Rolle? 2 hours ago, EliteGroup said: Was evtl noch dazu kommen könnte ist eine nVidia Quadro GPU für Emby Transcodierung. Soweit ich gelesen habe geht das jedoch nur wenn unRaid die OnBoard ASPEED AST2500 GPU erkennt? Wenn du Unraid die GPU zuweist, kann sie auch der Emby Container verwenden. Der kann sie nur noch verwenden, wenn du die GPU für eine VM verwenden möchtest. Die Frage ist also: Brauchen deine VMs eine GPU? Quote Link to comment
EliteGroup Posted April 24, 2021 Author Share Posted April 24, 2021 Zuerst mal danke für deine ausführliche Antwort. On 4/23/2021 at 7:01 PM, mgutt said: 100 Liter Volumen sind für gerade mal 8 HDDs doch ein bisschen heftig. Schau dir mal das Nanoxia Silence 4 oder das Fractal Define R5 an. Die größe ist egal. Der Server wird im Keller abgestellt. Aber der Fractal Define R5 sieht wirklich gut aus, danke für den Tipp. On 4/23/2021 at 7:01 PM, mgutt said: Ja, aus zwei Gründen: a) die Parity ist beim Schreiben auf das Array der Flaschenhals und größere HDDs sind schneller als kleinere b) du kannst jederzeit größere Platten im Array verbauen Ok gut, dann werde ich wohl eine Toshiba N300 12TB kaufen als Parity und ins Pool kommen zuerst mal meine 8TB Platten. On 4/23/2021 at 7:01 PM, mgutt said: Es geht jede GPU dafür. Du brauchst nicht gleich eine Workstation GPU dafür. Mit einem Ryzen 4750G hättest du gleich eine iGPU dabei. Da muss man abwägen was wichtiger ist (zB PCIe 4.0 oder eben noch mehr Leistung). Meine Aussage ging eher darum, das ich hier im Forum oft gelesen habe das unRaid die erste GPU für sich selbst nutzt und diese kann dann weiter nicht verwendet werden für zb einen Container. Manche dieser Einträge sind schon etwas älter, dann sind andere die schreiben das stimmt nicht, das verwirrt mich gerade etwas. Es wird zu CPUs geraten mit Grafikeinheit, dann können PCIe GPUs ganz verwendet werden wie man möchte. Deshalb habe ich gefragt passt es mit der kleinen Worstation GPU (ASPEED AST2500) für unRaid. On 4/23/2021 at 7:01 PM, mgutt said: Ist ein bissel groß, wobei es natürlich darauf ankommt was du so an GPUs verbauen willst. Rechne mit 30W pro HDD beim Booten + 50W fürs System. Macht bei 8 Platten 290W. Im Betrieb kommt es dann auf CPU und GPU an. Aber 850W ist schon eine Hausnummer. Ich habe einiges gelesen von gaming VMs. Evtl. möchte ich das einmal probieren, dann sind 2 GPUs in dem System 1x nVidia Quadro für Transcode und noch eine zb meine 5700XT für eine gaming VM. Klar laufen dann die 2 PCIe Lanes nur auf PCIe 4.0 x8 aber ich denke das ist in Ordnung. Dieses Netzteil kenne ich schon und ist gut und langlebig, also habe ich mal länger ausgesorgt, egal was kommt. Nur weil das Netzteil 850W kann heißt das ja nicht das System die ganze Zeit soviel braucht. On 4/23/2021 at 7:01 PM, mgutt said: Stromverbrauch spielt also für dich keine Rolle? Nein. Die HDDs sind zwar für mich, aber die Workstation (deshalb die starke CPU), die Dienste und VMs sind Beruflich bzw. für Home-Office, deshalb spielt der Verbrauch keine Rolle, CPU Geschwindigkeit ist wichtiger. Wenn die VMs heruntergefahren werden und nur noch Emby und die HDDs laufen wird der Verbrauch auch runter gehen denk ich mal. Effizienter als mein aktuelle profesorische Lösung. Ich hab einen i5 am laufen für Emby in dem die HDDs gemountet sind ganz ohne Raid (kein Ausfallschutz), ein i7 als Workstation, ein Pentium Gold für Dienste, ein Raspberry Pi für ioBroker etc. also sehr ineffizient und umständlich. Deshalb sagte ich ja, eine Power-Maschine soll her, die ist wsl auch sparsamer als meine ganzen Geräte die aktuell im Betrieb sind. Steht das System, kommen die alten Geräte auf eine Website für Gebrauchtwaren. On 4/23/2021 at 7:01 PM, mgutt said: Wenn du Unraid die GPU zuweist, kann sie auch der Emby Container verwenden. Der kann sie nur noch verwenden, wenn du die GPU für eine VM verwenden möchtest. Die Frage ist also: Brauchen deine VMs eine GPU? Ok also wie vorhin zur GPU geschrieben, das ist nicht mehr aktuell was andere im Forum geschrieben haben? Wenn unRaid die nVidia Quadro verwendet und der Emby Container die GPU auch benutzen kann dann ist das klasse. Ich denke nicht das meine VMs eine GPU benötigen? Wenn teste ich mal eine Gaming-Windows-VM mit einer eigenen GPU per Passthrough. Das Mainboard hat 8x SATA Anschlüsse, die werde ich für die HDDs reservieren. Wenn es stimmt kann mit diesen Adapter das Mainboard mit 4 zusätlichen SATA ports ausstatten, die ich für 4x SSDs verwenden könnte. Ein M.2 Slot ist dann noch frei für eine M.2 SSD für die VMs Die zwei PCIe schnittstellen könnte ich 2x GPUs betreiben aber halt mit PCIe 4.0 x8 Modus. Bleibt noch ein PCIe 4.0 x1 Slot übrig, der aber mit GPUs wohl nicht mehr erreichbar ist. Evtl gibt es eine Lösung mit einem Adapter und Kabel für zb eine Karte um SATA in zukunft zu erweitern. Das Setup sollte mal so passen aber leider sind die Lanes sehr eng bemessen und die Erweitungsmöglichkeiten sehr gering... Die 8x + 4x SATA + M.2 + 1x PCIe x16 werden sofort belegt. Ich hab mir mal den Tipp bzgl AMD Threadripper zu herzen genommen und etwas rausgesucht: Threadripper 3960X # Vorteil gegenüber Ryzen 5950X: - 8 Kerne mehr - Viel mehr PCIe Lanes - RAM Quad Channel - CPU Mark 8766 stärker # Nachteile: - Preis 400 teurer + Mainboards teurer - Single Thread 2683 (Ryzen 3496) - TDP 280 Watt (Ryzen 105 Watt) Oder die neueren Threadripper PRO: Threadripper PRO 3955WX # Vorteil gegenüber Ryzen 5950X: - Viel mehr PCIe Lanes - RAM Quad Channel # Nachteile: - Single Thread 2734 (Ryzen 3496) - CPU Mark 40765 (Ryzen 46140) - TDP 280 Watt (Ryzen 105 Watt) - Mainboard Verfügbarkeit & Preis Leider gibt es für den PRO nur 1 Mainboard zur Auswahl: Supermicro M12SWA-TF Das ding ist halt der Wahnsinn, genug PCIe Lanes die keine zukünftigen Wünsche offen lassen. Viele M.2 Slots. Das einzige man braucht eine extra PCIe Karte für SATA Festplatten, am Board sind nur 4 Sonst würde das Board keine wünsche offen lassen und ist sagen wir 3x mal besser als das AM4 Mainboard. Anders herum ist die Ryzen CPU perfekt was Preis / Leistung angeht kann die nichts toppen, ebenso haben die Threadripper ne ziemlich hohe TDP Watt. Quasi ein Kampf zwischen CPU Leistung vs besseres Mainboard / erweitbarkeit. Der Ryzen begeistert mich, aber mit dem Threadripper ist mit den Mainboards um weiten Zukunftssicherer. Ich hatte noch nie einen Server auf dem mehrere VMs laufen, auf meinen Servern war immer direkt das OS. Ich kann nicht ganz beurteilen ob der "schwächeren" Threadripper trotzdem genug leisten und alles passt. Wie sich die Singel Core Leistung schlägt. ~2700 Punkte bei Threadripper gegen ~3500 bei dem Ryzen Quote Link to comment
mgutt Posted April 25, 2021 Share Posted April 25, 2021 9 hours ago, EliteGroup said: Nur weil das Netzteil 850W kann heißt das ja nicht das System die ganze Zeit soviel braucht. Du wirst dich wundern wie viel Strom so große Netzteile unten rum verballern. Das 750W verbraucht schon um die 8W und daher rechne ich beim 850W eher mit 10W: https://www.tweakpc.de/hardware/tests/netzteile/be_quiet_straight_power_11/s03.php Kommt aber einfach darauf an ob einen das stört. 9 hours ago, EliteGroup said: Wenn die VMs heruntergefahren werden und nur noch Emby und die HDDs laufen wird der Verbrauch auch runter gehen denk ich mal. Nein. Eine nicht genutzte GPU verbraucht mehr als eine, die genutzt wird. Daher ist der Verbrauch quasi gleich (weil im laufenden Betrieb die CPU ja auch läuft). 9 hours ago, EliteGroup said: Deshalb habe ich gefragt passt es mit der kleinen Worstation GPU (ASPEED AST2500) für unRaid. Ich denke schon, dass die erkannt wird. Ich meinte eher die iGPU für Emby. Also gar keine dGPU für diesen Punkt notwendig. 9 hours ago, EliteGroup said: Klar laufen dann die 2 PCIe Lanes nur auf PCIe 4.0 x8 aber ich denke das ist in Ordnung. Es reicht auch PCIe 3.0 x8. Das hat kaum Einfluss auf die FPS. 9 hours ago, EliteGroup said: Ich denke nicht das meine VMs eine GPU benötigen? Nein brauchen sie nicht, aber es macht es "flüssiger". Du musst daran denken, dass zb die simple Hardwarebeschleunigung beim Schauen von YouTube Videos wegfällt und das dann alles die CPU machen muss. Zum Testen von Software oder Office ist das absolut in Ordnung, aber für mehr ist eine kleine GPU schon nicht verkehrt. 9 hours ago, EliteGroup said: Wenn es stimmt kann mit diesen Adapter das Mainboard mit 4 zusätlichen SATA ports ausstatten Ist das so oder ist die dann nur für den Anschluss einer U.2 SSD gedacht? Ich vermute letzteres. 9 hours ago, EliteGroup said: Ein M.2 Slot ist dann noch frei für eine M.2 SSD für die VMs Die Empfehlung sind zwei M.2 im RAID als Cache und Platz für die VMs. Wegen der Ausfallsicherheit. 9 hours ago, EliteGroup said: Evtl gibt es eine Lösung mit einem Adapter und Kabel für zb eine Karte um SATA in zukunft zu erweitern Es gibt zb JMB585 oder ASM1166 SATA Karten. Für 4 Ports reicht fast auch ein offener x1 Slot in den man eine x4 Karte steckt. Die Karten haben PCIe 3.0 also brutto knapp 1.000 MB/s. Das sollte ja eigentlich für 4 HDDs reichen. Es gibt JMB585 auch für M.2 Slots. 9 hours ago, EliteGroup said: Threadripper ne ziemlich hohe TDP Watt. Die TDP sagt nichts über den Leerlaufverbrauch aus, aber ja, der zieht deutlich mehr als ein Ryzen. Vermutlich so viel wie der Ryzen inkl einer dGPU. Daher bin ich schon gespannt wie die neue TR Generation so wird. Die hat dann ja die effizienteren Kerne wie der 5000er Ryzen. 9 hours ago, EliteGroup said: Wie sich die Singel Core Leistung schlägt. ~2700 Punkte bei Threadripper gegen ~3500 bei dem Ryzen Ein High-End-Gamer würde jetzt natürlich den Ryzen nehmen. Für Unraid reicht aber auch weniger. Vom Prinzip nimmt man einen TR nur, wenn man mehr als zwei dGPUs verbauen will. Oder zb weil man noch eine HBA Karte für sehr viele Platten braucht oder eine 10G Karte. Da gehen einem dann irgendwann die Lanes flöten. Wenn Geld und Strom keine Rolle spielt ist ein TR natürlich Klasse. Quote Link to comment
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.