Neues Unraid-System als Deskmini-Nachfolger

[Ferociousfilmfreak]

Ein liebes "Hallo" aus München in die Runde!

 

tl;dr: Neues (Mini-ITX-System gesucht; ca. 10 TB Nutz-Array (+ 1 x Parity), Cache auf 1-2 NVMes, so sparsam wie möglich, aber so kraftvoll wie nötig (s.u.).

(ein seltenes Gesuch hier im Forum... hihi....)

 

Ich überlege, mir ein neues System für Unraid zuzulegen. Aktuell nutze ich:

 

- Deskmini B660 mit I5-12400 ("in der Schublade" hätte ich noch einen I3-12100)

- Darauf 2 x NVMe (Crucial P3 1 TB / WD 970 Evo Plus 1 TB) als Cache; beide im Raid0, damit ich die 2 TB erhalte

- 64 GB DDR-4 So-DIMM

- Als Array 2 x M.2 SSDs (Ediloca EDN206) in Sabrent M.2 nach SATA-Gehäusen; angeschlossen an die SATA-Anschlüsse des Deskmini. Ohne Parity, weil da (noch) nichts "Wichtiges" drauf ist.

 

In Unraid habe ich zur Zeit 2 Docker-Container (SabNZBd, JDownloader2) und eine Windows 10 LTSC-VM. Der Server wird (bisher) nur angemacht, wenn er explizit gebraucht wird. Dann "steuere" ich z.B. die Docker mit Firefox aus der Windows VM mit RDP über z.B. ein Tablet.

Parallel läuft ein Raspberry Pi 4B 24/7 mit Zigbee2MQTT und Node Red, sowie Adguard Home. Hier sind 3 Zigbee-Steckdosen angeschlossen und Node Red sorgt für die Verbindung zu HomeKit.

 

Jetzt bin ich schon einige Zeit am Überlegen, das alles zu "konsolidieren", hab aber extrem Respekt vorm Stromverbrauch, falls das System doch 24/7 laufen würde (wegen der Dienste auf dem Raspi).

Ich würde sicherlich auch noch einige Dinge ausprobieren, wenn das System mal steht und läuft - vielleicht sowas wie Paperless-NGX, Fotos speichern oder Nextcloud. Aber das Problem ist, ich weiß es noch nicht, bräuchte also jetzt schon mal eine Art "Headroom" für die Dinge, die kommen.

 

Dinge, die vielleicht noch wichtig sind und die ich mal stichwortartig in den Thread werfe:

 

- Ich würde am liebsten auf Standard-Hardware setzen, die ich nicht aufwändig bei Ebay suchen oder in China besorgen muss, sondern einfach bei z.B. Mindfactory und Konsorten bestellen kann.

- N1505 oder N100 als beste stromsparende "Wollmilchsäue"? Oder nicht doch zu schwach auf der Brust?

- Pico PSU?

- Mini-ITX wäre toll, weil ich noch ein Node 403 hier hätte und sich darin gut bauen lässt (und wir nicht viel Platz haben ;))

- Weiterverwendbar (oder nicht?): Die NVMEs, die SSDs, der SO-Dimm-RAM (ich habe aber auch noch 32 GB "normalen" DDR4-RAM hier).

 

Dazu denn ca. 2-3 x 10 TB HDDs (eine als Parity + 10 oder eben 20 TB Platz im Array); können auch kleiner sein, aber dann sind es keine CMR-Platten, oder?

 

Freu mich auf Eure Vorschläge, Ideen und Anregungen! Dankeschön im Voraus!

Dirk

Edited March 10 by Ferociousfilmfreak

[DataCollector]

12 hours ago, Ferociousfilmfreak said:

- Deskmini B660 mit I5-12400 ("in der Schublade" hätte ich noch einen I3-12100)

...

- Ich würde am liebsten auf Standard-Hardware setzen, die ich nicht aufwändig bei Ebay suchen oder in China besorgen muss, sondern einfach bei z.B. Mindfactory und Konsorten bestellen kann.

 

Wenn es nicht Mini ITX sein sollte würd eich bei schon vorhandener I3-12100 mal folgendes in den raum werfen:

https://forums.unraid.net/topic/152936-hilfe-bei-entscheidungsfindung-erster-build/?do=findComment&comment=1367540

 

Aber auch sowas gibt es:

https://geizhals.de/?cat=mbp4_1700&xf=317_B760~4400_Mini-ITX

[Ferociousfilmfreak]

Schon mal tausend Dank, lieber DataCollector!

 

Wenn ich mir Deinen verlinkten Thread anschaue, dann würde ich mal folgendes zusammentragen (angepasst an meine "Restbestände" - in der Auflistung kursiv geschrieben ;)):

 

CPU: Intel Core i5-12400
MBO: ASRock B760M Pro RS/D4
Ram: 2 x 16GB Corsair Vengeance Pro (3600 MHz) und 2 x 8GB HyperX Fury (2133 MHz); kann ich die in Dual Channel-Paaren mischen um auf 48 GB zu kommen oder wäre das ne ganz dumme Idee?)
Netzteil: PicoPSU 160 (? oder doch eher 200W, wenn ich "nur" 2 NVMes und 2 3,5 Zoll-Platten dran habe?)
Gehäuse: Ein passendes  (vielleicht sogar auch das Fractal Node 804?)

CPU Lüfter: Noctua NH-L9i

SSDs für Cache: 1x Samsung SSD 970 EVO Plus 1TB und 1x Crucial P3 1TB

HDDs: 2 x 10 TB WD Ultrastar HGST (Refurbished)

 

Könnte das passen?

 

Mit solch einer Konfiguration müsste ich dann auch mal testen, wie weit ich Stromverbrauchs-mäßig runter komm. Dann könnte es evtl. eine Lösung sein, den Server nur dann anzuschalten, wenn wirklich jemand zu Hause ist. Das würde dann auch mit Dingen wie Adguard oder den Smarthome-Sachen funktionieren. Das braucht ja dann keiner. Wahrscheinlich nähere ich mich dann vom Stromverbrauch dem Raspberry Pi 24/7 an - wenn da natürlich auch noch sicher Welten dazwischen liegen können

 

Jetzt habe ich aber noch eine andere verrückte (?) Idee bekommen: 

Eigentlich könnte ich mir den Server dann auch auf den Schreibtisch stellen und ihn als "Daily Driver" nutzen. Ich mach selten besonders fragile produktive Sachen, aber privates Zeug wie das Ordnen von Bildern etc. findet schon statt und ich experimentier halt auch gern ;). Wenn ich mir in den Server eine günstige, stromsparende Grafikkarte rein packe, dann könnte ich doch bequem zwischen Windows/Linux/(MacOs?)-VMs hin- und her switchen, oder? (Ich weiß natürlich, dass die jeweils anderen VMs dann ausgeschaltet sein müssen. Aber das wär ja immer noch sehr flexibel.)

Was würde da denn ausreichen als dGPU?

[DataCollector]

Ram mischen:

Wenn es DDR4 Ram ist, hätte die CPU gerne 3200 Speichermodule. Sie kann aber auch 8etwas langsamer) mit 2133 umgehen.

Solange Du nur ein NAS daraus machst mit wenig anspruchsvollen Anwendungen ist das alles okay und könnte funktionieren.

Wenn man neu kauft würde ich bei der CPU nicht unter die DDR4 3200 Angabe gehen und dort dann je nach preis auswählen.

 

Pico PSU: ich hab ein Inter-tech Modell genommen, weil ich es gerade da hatte (aus früheren Bastelideen). Das sollte 4-6 Festplatten problemlos versorgen können (man muß aber de Stromnversorgung per Y-Kabel oder so aufsplitten).

Man kann ganz grob sagen, je angepaßter die PSU an das System ist, desto weniger Energie verschwendet sie.

Wenn es 3 oder 4 Festplatten werden sollen, würde ich aber schon zu einer 160W Version raten.

Ansonsten kann an auch ein normales ATX netzteil ins Auge fassen: be quiet! Pure Power 12 M 550W ATX 3.0 (BN341)

 

Crucial P3: wenn Du die noch irgendwo rumfliegen hast: okay. Wenn Du die neu kaufen willst für einen flotten Pool uner unraid - wäre das nicht meine Wahl.

https://forums.unraid.net/topic/103012-wo-gibt-es-günstige-hdd-ssd/?do=findComment&comment=1331112

 

Stromverbrauch: also einen Rapsi zu schlagen ist schon schwierig. Rechne mal lieber mit etwas mehr. Irgendwo um 20-40 W würde ich vermuten.

 

Zu einer passenden dGPU kann ich nichts sagen. Wenn Du aber kaum Ansprüche hast sollte es nicht unbedingt eine heftge Gamerkarte sein.

 

[Ferociousfilmfreak]

42 minutes ago, DataCollector said:

Wenn man neu kauft würde ich bei der CPU nicht unter die DDR4 3200 Angabe gehen

Die RAM-Riegel habe ich ja hier. Dann nutze ich am besten nur die 3600-Riegel; 32 GB sollten ja reichen

 

42 minutes ago, DataCollector said:

Wenn es 3 oder 4 Festplatten werden sollen, würde ich aber schon zu einer 160W Version raten.

Es sollen ja erstmal (auf gaaaaanz lange Sicht) nur 2 Platten werden. Ich hab jetzt mal das Board, inkl. PicoPSU 160 bestellt. Dann werde ich mal testen.

 

42 minutes ago, DataCollector said:

Crucial P3: wenn Du die noch irgendwo rumfliegen hast: okay.

Die habe ich ja tatsächlich hier. Evtl. kann ich hier aber noch mit einer 1 TB aus meinem Spiele-Laptop tauschen (das wären eine Sabrent Rocket Q 1TB und eine SKHynix 1 TB).

 

42 minutes ago, DataCollector said:

Stromverbrauch: also einen Rapsi zu schlagen ist schon schwierig.

Ich hab's auch nur "halb-ernst" gemeint

 

42 minutes ago, DataCollector said:

Zu einer passenden dGPU kann ich nichts sagen. Wenn Du aber kaum Ansprüche hast sollte es nicht unbedingt eine heftge Gamerkarte sein.

Ich bräuchte sie ja nur, um das Bild der VMs auf den Monitor zu geben. Da würde ja ein sehr abgespecktes Modell reichen. Z.B. so was wie eine GT710/730

Edited March 11 by Ferociousfilmfreak

[jj1987]

2 hours ago, Ferociousfilmfreak said:

Ich bräuchte sie ja nur, um das Bild der VMs auf den Monitor zu geben. Da würde ja ein sehr abgespecktes Modell reichen. Z.B. so was wie eine GT710/730

Theoretisch sollte da sogar so ein USB Hub mit Display Port/ HDMI ausreichen. Den könntest du für Tastatur/ Maus ggfs sowieso benötigen.

Zumindest "damals" als man die alten Intel IGPUs via gvtg in die VMs einsetzen konnte lief das 

Denke mit den neuen IGPUs und via sriov Plugin sollte das dann auch gehen

[DataCollector]

6 hours ago, jj1987 said:

Theoretisch sollte da sogar so ein USB Hub mit Display Port/ HDMI ausreichen. Den könntest du für Tastatur/ Maus ggfs sowieso benötigen.

Zumindest "damals" als man die alten Intel IGPUs via gvtg in die VMs einsetzen konnte lief das 

Denke mit den neuen IGPUs und via sriov Plugin sollte das dann auch gehen

 

Diese (billigen) "USB Hubs" mit Monitorausgängen bieten eigentlich nur ein Bild, wenn der USB Anschluß am PC das per Displayport ausgibt, sonst bleibt dort alles Dunkel.

DP am USB Port eines Desktops ist doch eher nicht die Regel. Sowas findet sich eher an Notebooks der letzten paar Jahre (wurde so ab Intel 8.Gen in der  business Klasse weit verbreitet).

 

Aber es gibt USB-"Grafikkarten" die mit der technik Displaylink (und eigenen Treibern auf der OS Seite) den Grafikkartenchip in dem Adapter ansteuern und dieser ein Bildsignal per VGA/DVI-D/HDMI oder Displayport ausgibt.

 

[Ferociousfilmfreak]

Ich habe jetzt heute folgendes in ein Node 804 verbaut:

 

Gigabyte B760M DS3H DDR4 + PicoPSU 160 + 12V/12,5A-Netzteil (Leicke)

Intel I5-12400

64 GB DDR 4 3200 (2 x 32 GB)

2 x 1 TB NVME Samsung 970 EVO Plus (auf dem Board)

2 x 1 TB NVME Ediloca (in NVME nach SATA-Gehäusen an zwei SATA-Anschlüssen)

2 x 10 TB HGST HE10 HDDs

1 x GT 710 2GB DDR3 (für die Grafikausgabe in VMs)

 

Passt, oder?

 

Ich habe die Platten in Unraid folgendermaßen konfiguriert:

 

2 TB NVME als (Cache)-Pool mit Parity = 1 TB Nutzspeicher für Systemdateien, Docker, VMs...

2 TB NVME als zweiten Pool mit Parity = weitere 2 TB Speicher für weitere Docker und VMs etc.

1 HE10 für Parity und die andere HE10 als Speicher = 10TB nutzbarer Speicher

 

Passt auch? Ist das eine vernünftige Aufteilung?

 

Gerade läuft der Parity Sync... Verbrauchsmäßig bin ich währenddessen jetzt bei ca. 46 Watt.

Ist noch recht viel, denk ich...?! Ich habe Deine UEFI-Einstellungen aus Deinem "Experimentier"-Thread zum Gigabyte-Board übernommen, lieber @DataCollector. Da muss ich mich mal zusätzlich noch in das Thema Powertop einlesen, oder?

Ich hatte heute Nachmittag kurz ein Linux Mint auf dem Rechner und da hatte ich, bei der selben Hardware, teilweise nur 28-30 Watt im Idle.

Temperaturen sind auch ok - wobei ich das Gehäuse gerade noch auf beiden Seiten offen habe. (ca. 38 Grad bei den HDDs und ca. 32 Grad bei den NVMEs.

 

Bin ich auf dem richtigen Weg?

 

 

[DataCollector]

On 3/14/2024 at 6:55 PM, Ferociousfilmfreak said:

Ich habe jetzt heute folgendes in ein Node 804 verbaut:

 

Gigabyte B760M DS3H DDR4 + PicoPSU 160 + 12V/12,5A-Netzteil (Leicke)

Intel I5-12400

64 GB DDR 4 3200 (2 x 32 GB)

2 x 1 TB NVME Samsung 970 EVO Plus (auf dem Board)

2 x 1 TB NVME Ediloca (in NVME nach SATA-Gehäusen an zwei SATA-Anschlüssen)

 

Ich kenne weder diese NVMe SSD, noch kenne ich Gehäuse, die NVMe auf SATA Adaptieren.  Ich schätze Du meinst SATA SSD, welche eben in Bauform M.2 daher kommen.

 

On 3/14/2024 at 6:55 PM, Ferociousfilmfreak said:

1 x GT 710 2GB DDR3 (für die Grafikausgabe in VMs)

 

Passt, oder?

 

Ich habe die Platten in Unraid folgendermaßen konfiguriert:

 

2 TB NVME als (Cache)-Pool mit Parity = 1 TB Nutzspeicher für Systemdateien, Docker, VMs...

2 TB NVME als zweiten Pool mit Parity = weitere 2 TB Speicher für weitere Docker und VMs etc.

1 HE10 für Parity und die andere HE10 als Speicher = 10TB nutzbarer Speicher

 

Passt auch? Ist das eine vernünftige Aufteilung?

 

Ich spare mir die Redundanz meiner Pools, aber ja, daß paßt wohl so.

Dadurch, daß Du nur 2 Festplatten im Array hast (1D + 1P) läuft das Array auch im normalen Betrieb mit höherer Schreibrate (100% dessen, was die Parity schafft), da sich in diesem Sonderfall das Array eher wie rein raid1 verhält.

Sobald eine dritte Festplatte ins Array dazu kommt, wirst Du merken, daß die Schreibrate ab dann auf 30-50% der Parityschreibrate sinkt.

 

On 3/14/2024 at 6:55 PM, Ferociousfilmfreak said:

Gerade läuft der Parity Sync... Verbrauchsmäßig bin ich währenddessen jetzt bei ca. 46 Watt.

Ist noch recht viel, denk ich...?!

 

Wenn sich die Festplatten schlafen legen wird der Verbrauch etwas sinken.

Aber die Grafikkarte wird da schon etwas an den C-States vermiesen.

Ich schätze Du wirst bei der Bestückung irgendwo bei 33-35W landen.

 

On 3/14/2024 at 6:55 PM, Ferociousfilmfreak said:

Ich habe Deine UEFI-Einstellungen aus Deinem "Experimentier"-Thread zum Gigabyte-Board übernommen, lieber @DataCollector. Da muss ich mich mal zusätzlich noch in das Thema Powertop einlesen, oder?

 

Welche Version unraid nutzt Du?

Wie ich dort schrieb kommt unraid 6.12.4 mit dem realtek Lan Chip noch gut klar. 

Spätere unraidversionen nicht mehr. Ab 6.12.8 muß man mit den ASPM EInstellungen herumspielen, (die ich immer noch nicht so ganz verstehe! Deshalb verteste ich weiterhin mit 6.12.4)

 

On 3/14/2024 at 6:55 PM, Ferociousfilmfreak said:

Bin ich auf dem richtigen Weg?

 

Ich würde sagen ja:

 

 

Edited March 18 by DataCollector
Typo

[DerDoktor]

15 hours ago, Ferociousfilmfreak said:

 

 

Bin ich auf dem richtigen Weg?

 

 

Wie hoch ist Dein Stromverbrauch?

[Ferociousfilmfreak]

5 hours ago, DerDoktor said:

Wie hoch ist Dein Stromverbrauch?

Wenn der Server hochgefahren ist und alle Laufwerke "oben" sind, komme ich auf ca. 41 Watt.

Nach einem Spin-Down aller Platten (also dem zweiten Pool und dem Array), sind es 31 Watt.

19 hours ago, DataCollector said:

Ich kenne weder diese NVMe SSD, noch kenne ich Gehäuse, die NVMe auf SATA Adaptieren.  Ich schätze Du meinst SATA SSD, welche eben in Bauform M.2 daher kommen.

Meinte ich ja auch.. ich hab mich verschrieben. Das sind SATA SSDs: https://www.amazon.de/dp/B0BGL85DNC?psc=1&ref=ppx_yo2ov_dt_b_product_details

Die gehören zu dieser neuen Generation an China-Speichern, zu denen auch die Fangxiang-Geräte gehören. Und die sind dann in folgenden Gehäusen drin: https://www.amazon.de/dp/B01N6PMZLW?psc=1&ref=ppx_yo2ov_dt_b_product_details

19 hours ago, DataCollector said:

Sobald eine dritte Festplatte ins Array dazu kommt, wirst Du merken, daß die Schreibrate ab dann auf 30-50& der Parityschreibrate sinkt.

Vorerst besteht ja noch kein Bedarf. Wenn es mal soweit ist, müsste ich ja dann eh meine Lizenz upgraden.

 

19 hours ago, DataCollector said:

Welche Version unraid nutzt Du?

Die 6.12.8, also die neueste Stable.

[Ferociousfilmfreak]

Soweit läuft jetzt alles rund und ich bin recht zufrieden.

Zwei Dinge treiben mich derzeit aber noch um:

 

1. Könnte ich vielleicht noch etwas stromsparender unterwegs sein, wenn ich den Onboard Realtek LAN-Anschluss deaktiviere?

Ich hätte einen 2,5 Gb USB-Adapter hier, den ich mal testweise einbinden wollte. Aber irgendwie krieg ich's nicht hin... Wie müsste ich denn vorgehen, um den Realtek-Anschluss zu deaktivieren und den USB-Adapter zu nutzen? Derzeit läuft das Ganze über DHCP. Den Haken bei "...immer die gleiche Netzwerk-Adresse zuweisen" in der Fritz Box habe ich mal vorsichtshalber wieder rausgenommen. Kann ich ja dann immer nochnmal setzen.

Ist ein USB-C-Adapter überhaupt sinnvoll oder sollte ich doch besser gleich eine PCIe-Karte dafür nehmen?

 

2. Ich habe jetzt schon das Gefühl, dass ich mit den 10 TB, die ich gerade im Array nutze, schon bald an eine Grenze komme.

Ich würde demnächst dann gerne noch eine 10 TB-Platte hinzufügen. Dazu bräuchte ich dann aber eine PCIe-Karte, um noch einen SATA-Anschluss mehr zu haben (das Gigabyte hat ja nur 4 SATA-Anschlüsse). Was wäre dann hier sinnvoll? Am besten sicher eine Karte mit Asmedia 1166-Chip, weil nur dieser Chip ASPM zulässt, oder?

 

Mal etwas augenzwinkernd gefragt: Wie gut muss man denn nervlich belastbar sein, wenn die Schreibgeschwindigkeit durch die dritte Platte in die Knie geht?

Gibt es Strategien, wenn ich eine größere Menge Daten aufs Array schreiben muss? Schreibe ich dann erstmal einen Teil (kleiner als die 1 TB Cache, die ich habe) auf den Cache und lasse dann in der Nacht den Mover drüber laufen?

 

 

[DataCollector]

2 hours ago, Ferociousfilmfreak said:

Mal etwas augenzwinkernd gefragt: Wie gut muss man denn nervlich belastbar sein, wenn die Schreibgeschwindigkeit durch die dritte Platte in die Knie geht? 

Gibt es Strategien, wenn ich eine größere Menge Daten aufs Array schreiben muss? Schreibe ich dann erstmal einen Teil (kleiner als die 1 TB Cache, die ich habe) auf den Cache und lasse dann in der Nacht den Mover drüber laufen?

 

Bei er Erstbefüllung des Array ist es ratsam das Array ohne Parity laufen zu lassen oder per Reconstruct Write die Geschwindigkeit hoch zu halten.

Sobald die Daten dort sind, wo man sie haben will, kann man die Parity aktivieren, bzw. reconstruct Write abschalten.

 

Wie starkt die Nerevn dann sein müssen:

Naja, ein Array mit 2 Datenträgern (Parity+Data) schreibt fast mit nativer Geschwinbdigkeit der Festplatte (Bei deinen 10TB Festplatten sollte das irgendwo bei 220 MByte/s im Außenbereich und 140MByte/s im Innenbereich der Festplatten sein.

Sobald mehr Datenfestplatten ins Spiel kommen wirst Du eben zwischen 30-50% der nativen Geschwindigkeit der Patrity erreichen, was dann irgendwo zwischen 

Außenbereich 110-70MByte/s und Innenbereich 70-45MByte/s. Als Referenz habe ich einfach mal die gespeicherten Messwerte einer meiner ST10000NM0016 genommen.

 

Wen Dein Cache groß genug ist, zerrt das aber nicht an den Nerven, weil man eigentlich auf den Cache schreibt und sich der Mover dann zeitgesteuert im Hintergrund in Off Zeiten darum kümmert.

Aber ich habe auch bei meinem ersten System zugesehen, wie unraid das handhabt und ja, es nervt schon etwas, wenn man sieht, wie unraid erst etwas vom Cache nimmt und quälend langsam ins Array schreibt, um dann das nächste Häppchen vom Cache nimmt und das dann wieder ins Array legt...

😅  Ist halt so, Dafür laufen nur die Festplatten, die dafür wirklich gebraucht werden. Entweder stromsparend oder flott. Die Quadratur des Kreises hat Lime auch bei unraid nicht geschafft.