Hallo Zusammen,

Unraid läuft bei mir bereits seit knapp 6 Monaten stabil auf folgendem Setup:

Komponente	Details	Spezifikation
Prozessor	Intel Core i9-13900 (13th Gen)	24 Kerne, 32 Threads
Mainboard	QS Q670-PLUS	-
Arbeitsspeicher	96 GB DDR5 (2x 48GB Module)	5600 MHz
Grafikkarte	Intel UHD Graphics 770 (integriert)	-
NVMe SSD #1	Samsung MZVL4512HBLU	512 GB
NVMe SSD #2	MAXIO XG7000	2048 GB (2 TB)
NVMe SSD #3	MAXIO XG7000	2048 GB (2 TB)
SATA HDD #1	Seagate ST12000NT001	12 TB
SATA HDD #2	Seagate ST12000NT001	12 TB
SATA HDD #3	Seagate ST12000NT001	12 TB
Netzwerk #1	Intel X710 10GbE SFP+	10 Gbit/s
Netzwerk #2	Intel X710 10GbE SFP+	10 Gbit/s
Netzwerk #3	Intel I226-LM	2.5 Gbit/s
Netzwerk #4	Intel I226-V	2.5 Gbit/s

Ich möchte nun die HDD's, welche aktuell im Raid5 laufen, um 2 (gleiche) erweitern.
Derzeit schaffe ich nur ca. 350Mbs via Netzwerk für Files die auf den HDD's liegen, für Files auf den 2 großen SSD's (aktuell Raid0) gehen um die 750Mbs über Netz.

Ich nutze derzeit keinen Mover und habe die Daten entweder auf SSD oder HDD.

Es laufen knapp 20 Docker Container, u.a. Wordpress, Nginx Reverse Proxy, Paperless usw., aber auch Emby für Media.

Zusätzlich laufen 4 VM's, wobei eine davon Win Server 2025 und eine andere eine 3CX Telefonanalge ist.

Filesystem ist überall BTRFS

Bisher läuft alles gut, aber im kontext der HDD Erweiterung (und weil ich aktuell die Möglichkeit habe) möchte ich gerne die Daten sichern und Unraid einmal komplett neu aufbauen.

Was möchte ich erreichen?
Ich möchte das die SDD's sinnvoll eingesetzt werden und die HDD's im bestmöglichen Verbund und Dateisystem laufen.
Das Layout soll auf Performance ausgelegt werden, natürlich müssen die Daten am Ende redundant abgelegt sein.

UseCase:
Telefonanlage, Website und Mediaserver (4k Inhalte 10-100GB)

Daher meine Frage an euch, was wäre das in euren Augen sinnvollste Disk-Setup bei meiner Config?

Vielen Dank für eure Unterstützung!

Edited February 4Feb 4 by Maxcyber

3 hours ago, Maxcyber said:

Das Layout soll auf Performance ausgelegt werden, natürlich müssen die Daten am Ende redundant abgelegt sein.

dann überleg dir mit welchem zfs mode du deine HDD's betreiben willst, ich nutze kein zfs, aber wenn du performance willst braucht es einen striped mode

raid5, 6, ... je nachdem wieviel Redundanz du willst, einlesen oder andere können da vielleicht mehr dazu sagen.

du solltest ja mit den nvme's auf max performance kommen (10G), da kannst du für Redundanz spiegeln, sei es zfs oder btrfs (denk dran, btrfs ist auf manchen Systemen anfällig, bei Dir scheint es ja zu laufen)

Deine Anforderungen sind ja abseits reiner i/o performance ja nicht wirklich vorhanden, das was an apps angegeben ist braucht ja nichts ;)

deine VM's mal außen vor, win server und die mit der Software für die Telefonanlage ... der Rest braucht nichts, Medienserver für 4k ist auch irrelevant,

4k streams remux brauchen vielleicht 5 - 10 MB/s max ;) und wenn mal transcoding anliegt läuft das über die iGPU (remote watching oder inkompatible Abspieler zuhause)

in Summe wird es wohl mit Redundanz auf

raid1 der 2x 2tb nvme hinauslaufen

raid 5/6 der später 5 * 12 tb HDD

Effizient ist anders, aber das spielt dann weniger eine Rolle hier ;)

die eine 500 GB nvme ... kannst dir überlegen wofür, als VM disk (Backups nicht vergessen) oder reiner appdata, ... Share.

Und nicht vergessen, Raid xyz ... ersetzt nicht unbedingt ein Backup ;)

Ich habe noch nicht verstanden, wieso Du kein "normales" unraid Setup mit Schreibcache, Array ud mover nutzt?

Das Array ließe sich ja auch einfacher erweitern, mit unterschiedlich großen Platten ggü. einem Raid5 - das ist für viele ja einer der Hauptvorteile von unraid.

Ich habe glaube ich ähnliche usecases, schreibe auf einen Raid1 (Redundanz) NVMe-Pool mit vollen 10G und weggeschrieben werden die Daten anschließend zum Teil per Mover auf's Array.

Brauchst Du wirklich so viel Lese-Performance, dass die HDDs im RAID laufen müssen? wofür?

Ich spiele hier auch 4k Inhalte in höchstmöglicher Qualität ab, aber dafür braucht es kein Raid oder 10G, das schafft jede 1Gbit/s Verbindung und normale SATA-HDD, also das Array.

Ein 100GB Film der 180Minuten geht, braucht durchschnittlich ca. 75Mbit/s, wenn er nur 90 Minuten ginge, eben 150Mbit/s. Die angegebenen 10MB/s von @alturismo kommen also sehr gut hin. Und das sind schon die höchsten Bitraten der größten UHDs.

Da sind dann über "normale" Netzwerkkarten i.d.R. auch schon mehrere Streams parallel drin.

17 minutes ago, _alo_ said:

Ich habe noch nicht verstanden, wieso Du kein "normales" unraid Setup mit Schreibcache, Array ud mover nutzt?

Vielen Dank für das Feedback!

Ich bin von TrueNAS zu Unraid gewechselt und wollte schauen ob ich besser damit klarkomme als mit TrueNAS.

Ich habe also erstmal ins Blaue konfiguriert und fand Gefallen am OS….

Naja, dann ist es gewachsen und hat mittlerweile eine gewisse Relevanz.

Das Setup ist aktuell nicht optimal, das weiß ich - daher will ich es jetzt einmal gerade ziehen, bevor die Abhängigkeiten noch größer werden

5 minutes ago, Maxcyber said:

Ich bin von TrueNAS zu Unraid gewechselt und wollte schauen ob ich besser damit klarkomme als mit TrueNAS.

ah ok, alles klar.

die Vorteile von unraid liegen ja eben zum Teil im Namen: unRAID

auch wenn das mittlerweile geht, verfolgt der unraid-user i.d.R. ja andere Ziele als die Performance eines RAIDs:

• Stromsparen: nur die Platte soll laufen, die gerade benötigt wird

• flexible Erweiterbarkeit des Array mit unterschiedlichen Plattengrößen, kein rebuild des kompletten Arrays bei Erweiterung, trotzdem Möglichkeit der parity-Absicherung durch 1-2 dedizierte Parity-Disks

• Nutzung eines Schreibcaches mit dem mover, um die Performance-Nachteile des nicht vorhandenen RAIDs zu umgehen bzw. das sogar noch zu übertrumpfen

Ein Nachteil von unraid ist allerdings, dass die Leseperformance ggü. RAIDs i.d.R. um einiges schlechter ist.

Aber hier ist eben die Frage, die ich oben gestellt habe: braucht man die? wenn ja wofür? und für wie viele Daten? ggf. kann man diese dann auf einen SSD-Pool legen, der ausreichende Lese-Performamce bietet...

16 hours ago, Maxcyber said:

Daher meine Frage an euch, was wäre das in euren Augen sinnvollste Disk-Setup bei meiner Config?

Um auf die eigentliche Frage einzugehen, ich würde das an Deiner Stelle wie folgt machen:

• NVMe RAID0 ändern auf RAID1

  • ja klar, halbiert das den verfügbaren Speicherplatz, aber Du möchtest Die Daten ja redundant abgelegt haben (mach ich auch so, bin allerdings auf 2x 4TB gegangen, was letztes Jahr ja noch bezahlbar war)

  • hierauf würde ich die Standard-Shares (appdata/system/isos/domains) legen, d.h. die docker container inkl. Daten und die VMs)

  • für letzteres reicht wie schon geschrieben sicherlich auch die single 512GB, aber dann musst du dir mehr Gedanken um regelmäßige Backups und die Gefahr eines Datenverlustes zwischen zwei Backups machen

  • auch deine weiteren shares würde ich auf diesen 2TB Spiegel legen für maximale Schreibperformance und dann die Daten per Mover auf's Array schieben lassen

    • P.S.: über 10G kommen max 1GB/s rein. selbst PCIe3.0X1 schafft das fast (bei mir um die 800MB/s). Sobald eine NVMe mit mehr Bandbreite angebunden ist reicht das aus, ein Stripe von zwei NVMes bringt Dir dann keine Geschwindigkeitsvorteile mehr, nur einen größeren Cache, aber eben mit den Nachteilen bzgl. Defekt

• HDD-RAID5 auflösen und aus den Platten ein Array (XFS) bauen mit 1x parity

  • dazu brauchst Du natürlich ein Backup, da deine drei 12TB Platten formatiert werden müssen!

  • aus 3x12TB RAID5 (24TB) wird dann 2x 12TB Daten + 12TB parity --> also erstmal genauso viel Speicherplatz und weiterhin darf jede Platte ausfallen ohne dass Du Daten verlierst; jede Platte für sich ist nebenbei aber auch einzeln auslesbar, weil die Daten eben nicht wie beim RAID über alle Platten verteilt werden

  • Vorteil Stromsparen/Betriebsstunden:

    • beim Lesen von Daten startet nur die eine Platte auf der die Daten liegen (und nicht alle wie beim Raid5)

    • beim Schreiben startet nur die parity zusammen mit der Zielplatte auf der die Daten geschrieben werden (und nicht alle wie beim Raid5)

• Erweitern um zwei Platten

  • Wenn Du jetzt dein unraid-Array hast, kannst Du jetzt auch z.B. mit großen 28TB Platten erweitern und bist nicht mehr auf die identische Größe limitiert

  • einzige Einschränkung dabei: die dedizierte parity-Platte muss stets größer/gleich der größten Datenplatte sein

  • Beim Erweitern muss dann nicht der ganze Festplattenverbund neu aufgebaut werden (langwierig inkl. Backup zurückspielen), das Erweitern dauert nur wenige Minuten, die Downtime des Servers bzw. der Daten ist minimal

  • das Prozedere wäre dann folgendermaßen (28TB hier mal als Beispiel für eine gewünschte Größe über 12TB):

    • 12TB parity gegen 28TB tauschen (--> die parity wird nur zu 12TB genutzt = teures upgrade, was bis hier hin noch nichts bringt)

    • freigewordene 12TB dem Array hinzufügen (--> 3x 12TB = 36TB verfügbar)

    • zweite 28TB dem Array hinzufügen (--> 36TB + 28TB = 64TB verfügbar, die vollen 28TB der parity werden benötigt/genutzt)

    • du kannst auch mit jeder anderen Größe <=28TB (=parity) erweitern; willst Du später größere Platten als die parity verbauen muss diese wieder als erstes getauscht werden

  • Vorteile ggü. dem Erweitern des RAID5 durch weitere 12TB Platten:

    • kein rebuild des kompletten Plattenverbundes

    • mit der Zeit werden kleinere (hier 12TB) ggf. schwieriger zu beschaffen, größere/aktuelle Varianten sind da einfacher

    • größere Kapazitätssteigerung durch Möglichkeit verschiedene Plattengrößen zu mischen

      • RAID5 oder Array mit 1x parity aus 5x 12TB Platten: 48TB

      • Array aus 3x 12TB + 2x 28TB (eine davon parity): 64TB

      • Array aus 3x 12TB + 2x 18TB (eine davon parity): 54TB

      • Array aus 3x 12TB + 1x14TB + 1x 18TB parity: 50TB

      • Array aus 3x 12TB + 1x14TB + 1x 28TB parity: 50TB

      • ....