Umstieg auf unRAID mit vorhandener Hardware.

[AdiDOS]

Hallo in die Runde und Danke für dir Zeit, sich mit meinem Anliegen zu befassen.

 

Ich plane den Umstieg auf unRAID und habe folgendes vor:

1.    Medienserver mit Jellyfin / Plex etc.

2.    Cloud

3.    Fileserver mit Login/PW

4.    Eventuell VM mit Windows 10, falls es für Gaming etc. von der Performance her reicht

 

An Hardware ist folgendes vorhanden:

 

Mainboard 1.

Supermicro X9SRA

128GB DDR-3 Reg-Dimm ECC 1866MHz Quad-Channel Dual-Ranking

XEON E5-1650 v2

 

Mainboard 2.

Supermicro X9DRi-LN4F+

256GB DDR-3 Reg-Dimm ECC 1866MHz Quad-Channel Dual-Ranking / bis 384GB möglich

2 x E5-2643 v2

 

GPU´s:

Zotac GTX 1080 AMP Extreme Edition

Zotac GT 710 Zone Edition 2GB

 

HDD´s:

1 x HE12 HGST 12TB 512e

1 x HE12 HGST 12TB 4kn

4 x HE14 WD 14TB 512e

4 x WD Red 4TB

1x Toshiba N300 8TB

 

RAID-Controller:

Adaptec 71605 getestet mit 12TB

3Ware 9650SE-24ML bis 8TB HDD

3Ware 9650SE-16ML bis 8TB HDD

3Ware 9650SE-12ML bis 8TB HDD

 

 

Geplant sind:

 

Mindestens 10Gbit (PCIe x4) Lan vielleicht auch gleich 40Gbit (PCIe x8) Lan

Nvidia Quadro P-2000 für 4K Videos

Aufrüstbarkeit bis 34 Festplatten

PCIe x 16 auf x4x4x4x4 mit 4 x NVMe PCIe x4 SSDs

USV mit 3000VA / 2700W

 

 

Ich bin mir etwas unschlüssig, welches MB ich dafür nutzen soll.

Beim X9SRA bräuchte ich noch eine PCI-32 Grafikkarte, damit ich den RAID-Controller, 10 / 40Gbit SFP+ und NVMe benutzen kann, mit NVMe gehen nur 10Gbit SFP+, dann fällt aber auch die Quadro P-2000 und 4K flach.

Dann müsste ich die Videos in Direct Play umkodieren, sind 2 Tage mit CUDA 😊

 

Beim X9DRiLN4F+ ist der Nachteil, dass wenig Stromsparpotenzial gegeben ist, aber Leistungstechnisch und von den PCIe-Lanes alles realisierbar wäre, wie GTX 1080 / P-2000, 40Gbit SFP+, NVMe´s, RAID-Controller etc.

 

-       Wie sind Eure Erfahrungen mit unRAID, was Performance angeht?

 

-       Ist eine VM mit Windows 10 fürs Gaming und Rendern mit CUDA gut geeignet?

 

-       Aufgrund Eurer Erfahrungen bisher, zu welchem System würdet Ihr mir raten?

 

 

Grüße Adi

 

Edited April 12, 2021 by AdiDOS

[mgutt]

1 hour ago, AdiDOS said:

Ich bin mir etwas unschlüssig, welches MB ich dafür nutzen soll.

 

Hätte ich diese Hardware würde ich sie verkaufen. Der Punkt ist, dass beide CPUs ziemlich wenig Single Thread Performance besitzen. Auf einem User Share kannst du damit zB kein 10G voll auslasten. 40G kannst du damit vergessen. Siehe auch:

 

1 hour ago, AdiDOS said:

RAID-Controller

Unraid funktioniert nicht mit RAID-Controllern, sondern verlangt einen HBA-Controller.

 

1 hour ago, AdiDOS said:

Nvidia Quadro P-2000 für 4K Videos

Eine Consumer-Karte ist nicht schwächer beim Video-Transcoding. Ein Intel iGPU genauso wenig:

 

1 hour ago, AdiDOS said:

wenig Stromsparpotenzial

Bei der Hardware kannst du das sowieso abhaken.

 

1 hour ago, AdiDOS said:

-       Ist eine VM mit Windows 10 fürs Gaming und Rendern mit CUDA gut geeignet?

 

Die meisten Spiele gehen, aber nicht alle. Sie verweigern in einer VM einfach den Dienst. An Render-Software geht denke ich soweit alles. Man kann sich zB einen Render-Server für Davinci bauen.

 

1 hour ago, AdiDOS said:

-       Aufgrund Eurer Erfahrungen bisher, zu welchem System würdet Ihr mir raten?

 

Das ist schwer zu sagen. Mit x4x4x4x4 Bifurcation und GPU und HBA-Karte kann man im Grunde jeden Consumer-Chipsatz abhaken. Bei Gaming und 40 Gbit kann man dagegen die meisten Server CPUs abhaken, da sie zu wenig Single Thread Performance besitzen.

 

Ich denke daher, dass die optimale CPU für dich ein Threadripper wäre. Und zwar ganz genau gesagt der 3945WX oder 3955WX, da das die TR mit der höchsten Single Thread Performance sind. Er wäre also Gaming-tauglich und könnte 10G auch problemlos voll auslasten. Außerdem bringt ein TR massig Lanes mit. Allerdings dürfte er genauso wenig sparsam sein wie deine aktuellen Komponenten. Die Frage ist also ob man nicht lieber bis Ende des Jahres wartet und einen TR 5000 holt und bis dahin mit der vorhandenen Hardware arbeitet.

 

Oder man baut zwei Server. Einen Storage / Streaming Server und einen Gaming Server. Wobei es darauf ankommt wo die x4x4x4x4 Quad M.2 benötigt werden. Im Härtefall könnte man sich aber mit einer Non-Bifurcation Quad M.2 Karte aushelfen.

[AdiDOS]

Danke für deine Feedback mgutt.

Hardware verkaufen eher nicht, sondern eher dazukaufen

 

Hatte mich schon anderweitig umgesehen und den XEON E-2288g nebst C246 Mainboard, aber erstmal muss ich noch mit dem was ich habe anfangen.

 

Die meisten RAID-Controller haben HBA, das unRAID nicht mit RAID-Controller arbeitet hatte ich bereits gelesen, muss nur testen welcher im HBA-Mode gut mit unRAID arbeitet.

 

Ich werde erstmal anfangen und in den kommenden Wochen dann schauen, was neues kommt.

 

Wie einfach ist der Umzug vom alten System zum neuen, lassen sich da die Festplatten einfach von System Alt in System Neu rüber und gut, oder muss ich da was beachten?

 

LG Adi

 

[mgutt]

17 minutes ago, AdiDOS said:

lassen sich da die Festplatten einfach von System Alt in System Neu rüber und gut,

Ja. Es gibt nur Ausnahmefälle, wo der HBA Controller einen anderen Namen übertragt. Aber für den Fall macht man vor dem Umzug einfach einen Screenshot von der Disk-Übersicht und macht einfach eine neue Config und weist die Platten den Disks neu zu. Aber das ist sie gesagt ein seltener Fall. Normal heißt es Platten irgendwo reinstecken und neu booten. Also nicht mal die Reihenfolge ist wichtig.

[mgutt]

19 minutes ago, AdiDOS said:

Hatte mich schon anderweitig umgesehen und den XEON E-2288g nebst C246 Mainboard,

Damit hättest du aber nicht genug Lanes für dein oben genanntes Vorhaben.

[AdiDOS]

2 minutes ago, mgutt said:

Ja. Es gibt nur Ausnahmefälle, wo der HBA Controller einen anderen Namen übertragt. Aber für den Fall macht man vor dem Umzug einfach einen Screenshot von der Disk-Übersicht und macht einfach eine neue Config und weist die Platten den Disks neu zu. Aber das ist sie gesagt ein seltener Fall. Normal heißt es Platten irgendwo reinstecken und neu booten. Also nicht mal die Reihenfolge ist wichtig.

Das hört sich gut an und sollte Datenverlust minimieren

3 minutes ago, mgutt said:

Damit hättest du aber nicht genug Lanes für dein oben genanntes Vorhaben.

Deswegen werde ich mit dem X9DRi-LN4F+ anfangen, mich in unRAID reinfuchsen und mit dem X9SRA mit Windows 10 fürs Gaming etc. nutzen.

Ich bin seit langem nur mit Supermicro Mainboards am arbeiten, aber wenn nichts anderes geht, dann muss ich mich mal umschauen.

 

Danke für deine Rückmeldung

[mgutt]

2 hours ago, AdiDOS said:

Ich bin seit langem nur mit Supermicro Mainboards am arbeiten, aber wenn nichts anderes geht, dann muss ich mich mal umschauen.

Es geht dabei nicht um SuperMicro, sondern um den Chipsatz. Viele Lanes mit geringerer Stromaufnahme könnte evtl noch ein Board mit C422 Chipsatz bieten. Für den Sockel gibt es auch potente CPUs:

https://de.wikipedia.org/wiki/Intel_Xeon_(Cascade_Lake)#Xeon_W-2200

 

Wobei 54W mit einer GPU nicht gerade das ist, was ich als stromsparend bezeichnen würde:

https://www.anandtech.com/show/12550/the-supermicro-x11sra-motherboard-review-c422-based-workstation-xeonw-inside-/6

 

Und das getestete Board hat ja kein IPMI, was den Verbrauch noch weiter erhöht. Also falls du das brauchst. Dann wäre es das Board:

https://www.supermicro.com/en/products/motherboard/X11SRA-RF

 

Leider hat C422 und X299 bisher keinen Nachfolger erhalten. Eigentlich sollte ja Z399 und X599 kommen, aber kam irgendwie nie dazu. Intel hat das Feld dem TR überlassen.

[AdiDOS]

Danke mgutt für deine Mühen, Ratschläge und Informationen.

 

2 hours ago, mgutt said:

Es geht dabei nicht um SuperMicro, sondern um den Chipsatz. Viele Lanes mit geringerer Stromaufnahme könnte evtl noch ein Board mit C422 Chipsatz bieten. Für den Sockel gibt es auch potente CPUs:

https://de.wikipedia.org/wiki/Intel_Xeon_(Cascade_Lake)#Xeon_W-2200

 

Wobei 54W mit einer GPU nicht gerade das ist, was ich als stromsparend bezeichnen würde:

https://www.anandtech.com/show/12550/the-supermicro-x11sra-motherboard-review-c422-based-workstation-xeonw-inside-/6

 

Und das getestete Board hat ja kein IPMI, was den Verbrauch noch weiter erhöht. Also falls du das brauchst. Dann wäre es das Board:

https://www.supermicro.com/en/products/motherboard/X11SRA-RF

 

Leider hat C422 und X299 bisher keinen Nachfolger erhalten. Eigentlich sollte ja Z399 und X599 kommen, aber kam irgendwie nie dazu. Intel hat das Feld dem TR überlassen.

Was Mainboards angeht, da arbeite ich nur noch mit Super Micro, da ASUS und insbesondre Gigabyte mir nie wieder ins Haus kommen.

Thema Obsolete-Time, wo insbesondere Gigabyte ein ziemlicher Griff ins Klo war, mehrere Komponenten wie Mainboard und Grafikkarte etc. am gleichen Tag gekauft und alle kurz nach der Garantiezeit den Geist aufgegeben.

Von Super Micro habe ich noch Uralte Systeme und die laufen und, und laufen……

 

Zu C621 Chipsatz und W-3225, hatte ich auch schon geschaut, wegen der 64 x PCIe-Lanes, mich aber da noch nicht tiefer mit beschäftigt.

Der von dir vorgeschlagene Nachfolger C422 Chipsatz nebst W-2225 würde mich auch reizen, aber dann nur 48 x PCIe-Lanes, aber auch mehr Stromsparpotential und von der CPU her potenter.

 

Ich denke dein erster Vorschlag, da zweigleisig zu fahren, ist wohl das Beste.

Mit einem i3-9100 und einem X11SCA-F einen Medienserver und danach einen File- und Cloudserver, mit entsprechender Hardware.

Habe zum TR sogar von Super Micro ein Mainboard gefunden, aber der Tipp von dir mit C422 ist nicht so Stromhungrig.

 

Falls meine vorhandenen RAID-Controller im HBA-Mode, nicht vernünftig mit unRAID abeiten sollten, hättest Du da einen guten Tipp für mich?

Sollte mindestens 24 Festplatten ab 12TB, lieber noch 14TB Festplatten, unRAID servieren.

 

LG Adi

[mgutt]

Von HBA habe ich keine Ahnung. Da würde ich die jeweiligen Modellbezeichnungen zusammen mit "Unraid" googlen und schauen ob es noch andere User gibt, die die einsetzen.

[AdiDOS]

1 minute ago, mgutt said:

Von HBA habe ich keine Ahnung. Da würde ich die jeweiligen Modellbezeichnungen zusammen mit "Unraid" googlen und schauen ob es noch andere User gibt, die die einsetzen.

Dann werde ich hier im Forum mal fleißig suchen.

Vielen Dank nochmal

[AdiDOS]

Der Erste Plan steht für ein Mediaserver.

 

Habe folgendes bestellt:

Mainboard Fujitsu D3644-b.

2 x 16GB DDR4-2400 UDIMM ECC / im Mai dann nochmal 2 RAM-Module für 64GB RAM.

I3-9100 Boxed

 

Habe noch ein 750 Watt Netzteil, aber sollte zu viel sein, jetzt habe ich die Wahl zwischen:

400 Watt be quiet! Pure Power 11 CM Modular 80+ Gold oder

550 Watt LC-Power LC550 Modular 80+ Platinum

 

Ich denke das sollte mit 6 Festplatten, 2 x NVME und 10GBit SFP+ und ein paar 180-200mm Lüftern reichen.

 

Welche Lizenz müsste ich da nehmen? Die Basic ist für 6 Speichergeräte, zählen da die NVMe´s auch dazu, dann bräuchte ich schon eher Plus.

 

Gruß Adi

Edited April 13, 2021 by AdiDOS
wrong written

[mgutt]

LC Power finde ich "billig". Nimm lieber BeQuiet.

 

Cache Laufwerke zählen auch für die Lizenz.

[AdiDOS]

1 minute ago, mgutt said:

LC Power finde ich "billig". Nimm lieber BeQuiet.

 

Cache Laufwerke zählen auch für die Lizenz.

Danke Dir für den Tipp...

 

Wie ist das mit der Parity-HDD, wenn ich eine 12TB als Parity nehme und vier 4TB WD-RED, sind mehrere HDD´s abgesichert, oder nur 1 zu 1?

Nicht das ich da schon falsch anfange

[mgutt]

Eine 4TB Parity HDD sichert alle anderen 4TB HDDs gegen einen Ausfall ab. Eine Parity sind keine Kopien von Daten, sondern eine Art "Quersumme" der Daten, die bei Ausfall herangezogen wird, um das fehlende Ergebnis auszurechnen.

 

Eine 12TB ist also nicht notwendig. Allerdings kann es sinnvoll sein die Parität mit einer größeren und schnelleren HDD auszustatten. Einmal, weil du dann problemlos größere HDDs ins Array packen kannst, aber auch weil die Parity beim Beschreiben des Arrays den Flaschenhals bildet.

[AdiDOS]

Aber wenn die Parity 3 bis 4 Mal größer ist, müssten dann nicht mehrere kleine HDD´s mit abgesichert sein.?

Später werden eh nur 6 x HE14 14TB ins System kommen, davon 2 für Parity und 4 als Speicherfestplatten.

 

Sorry das ich da so bohre, aber habe das Prinzip noch nicht so ganz verstanden.

Daher mit kleinen HDD´s anfangen, so das noch doppelt die gesamten Daten vorliegen falls ein Worst Case eintrifft.

[mgutt]

45 minutes ago, AdiDOS said:

Aber wenn die Parity 3 bis 4 Mal größer ist, müssten dann nicht mehrere kleine HDD´s mit abgesichert sein.?

Leider nein. Es werden nur die ersten 4TB der 12TB HDD mit der Parity beschrieben und der Rest auf Null gesetzt. Sie ist also nur darauf vorbereitet, dass du später eine größere HDD im Array einsetzt.

 

Ich verstehe deine Idee, aber bedenke, dass eine Parity live berechnet wird und wenn du nun zwei oder gar drei davon auf einer HDD hättest, müsste der Schreibkopf ständig über große Distanzen hin- und herspringen und das Array wäre endlahm. Außerdem wäre der Mehrfachschutz sofort hinfällig, wenn die Parity ausfällt.

 

Willst du also zwei Ausfälle absichern, musst du auch zwei Parity HDDs verbauen.

 

Es steht dir aber frei eine 12TB Parity, mehrere 4TB Datenplatten und eine 12TB Datenplatte ins Array zu packen, wo du dann selbst Backups hinschreibst. Das mache ich auch so, wobei ich zusätzlich aber auch externe Backups habe (3-2-1 Backup-Regel).

 

 

[AdiDOS]

Gibt es dazu eine Grafik die das näher erläutert?

Später werden es dann eh 6 x 14TB werden, da nur max. 6 HDD´s auf den Medienserver passen.

2 für Parity und 4 für Daten.

 

Das Funktionsprinzip was ich gelesen hatte war, das es ähnlich wie RAID-4 arbeitet, ohne die Paritys auf allen HDD´s zu verteilen.

Habe bisher immer mit RAID-Controller gearbeitet und externen Backups, aktuell habe ich die Daten doppelt, also jeweils auf zwei HDD´s, ist ja wie ein RAID-1 :)

 

[mgutt]

2 minutes ago, AdiDOS said:

Das Funktionsprinzip was ich gelesen hatte war, das es ähnlich wie RAID-4 arbeitet, ohne die Paritys auf allen HDD´s zu verteilen

Genau. Unraid macht das wie beim RAID4, allerdings ohne die einzelnen Dateien auf die Platten zu zerlegen. Jede Platte bleibt für sich eine einzeln formatierte Platte auf der vollständige Dateien liegen.

 

5 minutes ago, AdiDOS said:

Später werden es dann eh 6 x 14TB werden

Dann würde ich jetzt schon eine 14TB als Parity nehmen. Spart später den Schritt die Parity tauschen und komplett neu aufbauen zu müssen. Oder du spekulierst auf stark fallende Preise bis du auf 14TB aufrüstest. 🤷

 

Ich mein du kannst auch die die Parität weglassen und selbst immer 1:1 auf andere Platten sichern. Ob man eine Parität nimmt um immer den Betrieb zu gewährleisten oder im Härtefall Backups wiederherstellt, ist ja eher eine Komfortfrage als eine zwingende Voraussetzung. Beim Unraid Backupserver hat zb keine Parität. Wenn da eine Platte ausfällt, ist das eben so und ich erstelle neue Backups auf der dann neuen Platte. Kann ich gut mit leben. Auf meinem Hauptserver möchte ich aber den Komfort haben, dass der immer läuft.

[AdiDOS]

Die Sache ist, das ich die 4 HE14 um die 270€ pro Stück gekauft hatte und momentan fast 500€ aufgerufen werden 🤣

Die bestellte Hardware muss ja auch erstmal ankommen und dann zusammengebaut werden.

 

Klingt logisch, gleich mit einer 14TB als Parity HDD anzufangen, eine 12TB und vier 4TB als Speicherplatten und wenn es soweit ist, dass wieder normale Preise bei den HE14 sind, dann zuschlagen und die Zielkonfiguration machen.

 

Andere Frage, Du nutzt den i3-8100 mit Transcoding, wieviel RAM hast Du der iGPU zur Verfügung gestellt?

 

Danke nochmals für deine Tipps, bin gespannt wie der Erstkontakt mit unRAID verläuft

 

[i-B4se]

2 minutes ago, AdiDOS said:

Die Sache ist, das ich die 4 HE14 um die 270€ pro Stück gekauft hatte und momentan fast 500€ aufgerufen werden

Darf ich fragen warum es eine SED-Platte sein muss oder hast du dich da mit der Modellbezeichnung vertan?

[AdiDOS]

1 minute ago, i-B4se said:

eine SED-Platte

Was meinst Du mit SED-Platte?

 

HE12, HE14 so kenne ich die mit Helium befüllten Enterprise HDD´s von HGST / WD.

Das sind diese: https://www.mindfactory.de/product_info.php/14000GB-WD-Ultrastar-DC-HC530-0F31284-512MB-3-5Zoll--8-9cm--SATA-6Gb-s_1290397.html

 

[i-B4se]

Weil es da unterschiede im Preis gibt.

https://documents.westerndigital.com/content/dam/doc-library/en_us/assets/public/western-digital/product/data-center-drives/ultrastar-dc-hc500-series/data-sheet-part-numbers-ultrastar-dc-hc530.pdf

 

Normale:

https://geizhals.de/western-digital-ultrastar-dc-hc530-14tb-wuh721414ale6l4-0f31284-a1810433.html

SED (Self Encrypting Drive):

Wird kaum gelistet. Aber ich vermute die von Mindfactory ist ebenfalls eine. Leider steht da keine Modellbezeichnung bei.

 

[AdiDOS]

3 minutes ago, i-B4se said:

Weil es da unterschiede im Preis gibt.

Das ist ja der Hammer, das sind die gleichen wie ich habe.

Da muss ich mal bei Mindfactory nachfragen, ob die Lack gesoffen haben 🤣🤣🤣

Soweit ich weiß keine SED sondern nur Secure Erase (SE).

 

In 2 Wochen kommt dann wohl HE14 Nachwuchs

Danke für den Hinweis, da geht es gleich enstannter zur Sache.

 

 

[i-B4se]

Das kannst du selber rausfinden. Schau einfach vorne auf den Aufkleber.

Da muss bei "MDL" entweder "WUH721414ALE6L4" oder "WUH721414ALE6L1" stehen.

Sollte da "WUH721414ALE6L1", sprich für SED, würde ich die gewinnbringend verkaufen

[AdiDOS]

2 minutes ago, i-B4se said:

WUH721414ALE6L4

Das sind meine, ich suche immer über den Code, der lautet 0F31284.

Habe verschiedene HE12, eine mit 512e und die andere 4kn, da fällt das preislich besonders auf ob man nach 0f30141, 0f30146 oder 0f30144.

Vorher hätte ich da genauer schauen müssen, aber mit unRAID ist diese Fixierung auf gleiche specs ja nicht mehr nötig.