Umzug auf Unraid vom zusammengewürfelten System

[sasbro97]

Moin erstmal. Es gibt bestimmt schon tonnenweise Inhalt dazu, aber ich finde nichts, weil das bei mir natürlich auch wieder sehr individuell ist.

 

Ich bin komplett neu hier und habe mich für Unraid entschieden. Ich komme von zwei Single Board Computern auf denen Ubuntu läuft. Daran angeschlossen ist ein IcyBox RAID Gehäuse mit RAID1 und 2x 4TB gespiegelt für wichtige Daten. Das Dateisystem ist ZFS, da ich Snapshots brauche damit mir nicht noch einmal so eine Datenpanne passiert wie nach einem Nextcloud Update. Ich habe fast 50 Docker Container aktiv auf den Systemen.

 

Angeschlossen an den einen Server ist außerdem eine alte Synology DS218j auf denen ich lediglich Mediendateien für Plex ablege (eine 18TB Festplatte und eine 6TB Festplatte). Hierbei ist mir die Sicherheit eigentlich relativ egal.

 

Was habe ich nun vor oder was ist mein Problem:

Logischerweise soll alles in Unraid landen und ich möchte stromeffizient bleiben (ihr kennt ja die deutschen Strompreise aktuell). Ich habe mir einen überdimensionierten Server zusammengestellt und unter anderem auch 2x 1TB SSD NVMe gekauft damit ich einen Cache für Docker Dinge habe und davon dann eine Parität. Hier macht vermutlich auch ZFS sinn oder?

 

Snapshots sind bei den 4TB Platten auf jeden Fall ein Muss. Mit dem neuesten Update von Unraid müsste es ja möglich sein einen ZFS Pool RAID1 zu erstellen, richtig? Diese Festplatten würden dann keinen Spindown mehr machen mit ZFS, habe ich das richtig gelesen? Das würde ich bei den beiden Platten noch akzeptieren können, da die vermutlich in diesem RAID-Gehäuse auch dauerhaft liefen.

 

Für die Mediendateien mit 18TB + 6TB müsste ich dann gezwungenermaßen auch XFS nehmen, damit der Spindown klappt oder? Es wäre wie jetzt, dass überhaupt keine Sicherheit vorherrscht, außer ich kaufe noch eine 18TB Festplatte um eine Parität zu erzeugen und hätte dann quasi RAID1, richtig? Auch wenn ich immer noch nicht verstanden habe wie eine 18TB Festplatte Parität für die beiden 18TB und 6TB Platten sein kann. Haltet ihr es für sinnvoll eine 18TB Paritätsplatte zu kaufen? Bringt die Paritätsplatte eigentlich irgendeinen Geschwindigkeitsvorteil? Sprich, wenn bei mir auf Plex nun 3-4 Personen 4K Filme schauen, muss ich mich bei meiner 18TB Festplatte sorgen und hilft die Parität eventuell?

 

Das Schlimme ist, dass ich gelesen habe, dass man alle Festplatten formatieren muss, um sie in Unraid nutzen zu können. Bei einer vollen 18TB Festplatte (von der ich aktuell auch nur eine habe), kann das ganz schön schwierig werden. Auch bei der 4TB Festplatte sorge ich mich. Könnte ich eventuell erstmal eine der beiden Platten formatieren und von der anderen kopieren lassen und dann erst die zweite formatieren und ein Array erstellen?

 

Noch eine Frage wäre wie ihr das mit Backups handhabt. Man sagt ja immer RAID1 ist kein Backup. Aber wie macht man dann regelmäßig, effizient und sicher ein Backup? Wenn das irgendwo alles beschrieben ist gerne immer einfach die Links zu den Threads rein. Englisch ist natürlich kein Problem.

 

Ich bin sehr dankbar für jede Antwort und eure Zeit!

Edited April 19, 2023 by sasbro97

[Ford Prefect]

1 hour ago, sasbro97 said:

Ich habe mir einen überdimensionierten Server zusammengestellt und unter anderem auch 2x 1TB SSD NVMe gekauft damit ich einen Cache für Docker Dinge habe und davon dann eine Parität. Hier macht vermutlich auch ZFS sinn oder?

Parität, im Sinne von unraid, gibt es nur im Array. In einem Pool kannst Du - bei ZFS - die jeweils fürs Filesystem üblichen/möglichen Raid-Level nutzen....bei 2x1TB NVMe würde ich Raid1 nehmen....wenn Du Snaps wilst, dann ZFS.

 

1 hour ago, sasbro97 said:

Snapshots sind bei den 4TB Platten auf jeden Fall ein Muss. Mit dem neuesten Update von Unraid müsste es ja möglich sein einen ZFS Pool RAID1 zu erstellen, richtig?

Ja, siehe oben.

 

1 hour ago, sasbro97 said:

Diese Festplatten würden dann keinen Spindown mehr machen mit ZFS, habe ich das richtig gelesen?

Nein, meine HDDs im ZFS Raid1 Pool gehen brav schlafen (und wachen bei Bedarf auch wieder auf )

 

1 hour ago, sasbro97 said:

Für die Mediendateien mit 18TB + 6TB müsste ich dann gezwungenermaßen auch XFS nehmen, damit der Spindown klappt oder?

Nein, siehe oben. Das Dateisystem ist egal.

Anders als bei (unraid-)Pools hast Du im Array aber kein Raid.

 

1 hour ago, sasbro97 said:

Es wäre wie jetzt, dass überhaupt keine Sicherheit vorherrscht, außer ich kaufe noch eine 18TB Festplatte um eine Parität zu erzeugen und hätte dann quasi RAID1, richtig?

Wenn Du diese HDDs als Daten-Disks ins Array nimmst, also ohne Parity, sind bei Ausfall einer HDD die Daten da drauf futsch...die andere bleibt aber intakt.

Jede Disk im Array ist einzeln, in einem Dateisystem formatiert...jede Datei ist immer nur ganz auf einer Disk...nimmst Du eine Daten-Disks aus dem Array, kannst Du sie in einem anderen Computer oder in unraid über das unassigned Devices Plugin normal mounten und nutzen.

Es ist also kein Raid1.

Eine/Die Parität muss mindestens so gross sein, wie die grösste Daten-Disk im Array. Hast Du nur eine Daten-Disk im Array und fügst eine (oder zwei) Paritäts-Disk hinzu, so macht unraid einen "Trick" und baut nur dann einen (one-/two-way) Mirror (wie ein Raid1...aber nur dann)...dabei bleibt die Performance-Penalty des "normalen" Paritäts-systems aus....fügst Du später eine weitere Daten-Disk hinzu ist das vorbei und es gelten die "normalen" Parity Regeln.

 

1 hour ago, sasbro97 said:

Auch wenn ich immer noch nicht verstanden habe wie eine 18TB Festplatte Parität für die beiden 18TB und 6TB Platten sein kann.

-> hast Du das mal durchgearbeitet?...die anderen FAQs sind auch sicher hilfreich.

 

 

1 hour ago, sasbro97 said:

Haltet ihr es für sinnvoll eine 18TB Paritätsplatte zu kaufen?

Wenn Du Backups hast oder auf die Daten verzichten kannst, dann brauchst Du sowas, wie bisher, wohl nicht.

 

1 hour ago, sasbro97 said:

Bringt die Paritätsplatte eigentlich irgendeinen Geschwindigkeitsvorteil?

nein, sie bringt in dieser Hinsicht einen Nachteil. Hat aber eben andere Vorteile...siehe die FAQ.

 

1 hour ago, sasbro97 said:

Sprich, wenn bei mir auf Plex nun 3-4 Personen 4K Filme schauen, muss ich mich bei meiner 18TB Festplatte sorgen und hilft die Parität eventuell?

siehe oben, nein hilft nicht. Ich glaube eine 18TB schafft im Read 180-250MB/sec...das ist auch für 3-4 parallele Streams ausreichend, weil der Client/renderer ja auch puffert.

Ich würde mir da eher Sorgen um die simultane Bandbreite/die Netzwerk-Performance machen.

Wenn das wirklich nicht reicht, dann als Pool und mirrored-vdev (ZFS) bauen. Ich habe meine Medien auf einem unraid-Pool aus 2x16+2x20TB (mit ZFS)....es war einfach zu aufwendig, diese Menge zu sammeln...ich will da Redundanz  und Platz für mehr.

 

1 hour ago, sasbro97 said:

Das Schlimme ist, dass ich gelesen habe, dass man alle Festplatten formatieren muss, um sie in Unraid nutzen zu können.

im Array ja, in einem Pool könntest Du bei ZFS diesen versuchen zu importieren.

Da einige DIsks aber in einem Hardware-Raid waren, geht es für diese bestimmt nicht anders als mit formatieren.

 

1 hour ago, sasbro97 said:

Bei einer vollen 18TB Festplatte (von der ich aktuell auch nur eine habe), kann das ganz schön schwierig werden. Auch bei der 4TB Festplatte sorge ich mich. Könnte ich eventuell erstmal eine der beiden Platten formatieren und von der anderen kopieren lassen und dann erst die zweite formatieren und ein Array erstellen?

Grundsätzlich ja...Du kannst jederzeit Disks ins Array hinzufügen oder rausnehmen. Es ist aber nicht "in-place" im laufenden betrieb möglich. Das Array muss jedes mal gestoppt, (um-)konfiguriert und dann gestartet werden.

Solange Du keine Parity hast, die bei einer solchen Aktion ja neu gebaut werden müsste, dauert das aber jeweils nicht lange.

Bitte lies die FAQs oder die Dokumentation.

Du könntest auch eine USB DIsk oder eine andere, interne HDD für Backups/Zwischenspeicher nehmen um die HDDs freizuräumen. oder einfach eine  neue nehmen, die alte, gefüllte mit unassigned devices mounten (nicht wenn vorher im Hardware-Raid gewesen) und dann die Daten auf die neue im Array kopieren. Der Workflow/das Wie steht Dir quasi frei.

 

1 hour ago, sasbro97 said:

Noch eine Frage wäre wie ihr das mit Backups handhabt. Man sagt ja immer RAID1 ist kein Backup. Aber wie macht man dann regelmäßig, effizient und sicher ein Backup? Wenn das irgendwo alles beschrieben ist gerne immer einfach die Links zu den Threads rein. Englisch ist natürlich kein Problem.

Ja, dieser Ausspruch stimmt.

Schau mal oben in den Anleitungen und auch in den FAQs...beliebt und mit guter Performance ist rsync.

Du brauchst natürlich ein Ziel-System oder zumindest eine/oder mehr externe Platte(n) (Backups im gleichen System oder am gleichen Ort aufzubewahren sind auch keine Backups).

Mit ZFS kannst Du auch zfs send machen.

Edited April 19, 2023 by Ford Prefect

[sasbro97]

Vielen Dank für die Mühe @Ford Prefect

 

deine Antwort sind sehr ausgiebig und das FAQ liefert mir sonst alle restlichen Antworten. Und das mit dem mühseligem Sammeln der Mediendateien stimmt... naja ich kann ja hoffentlich immer noch mal eine weitere Platte kaufen. Die 18TB ist gerade mal etwas über ein Jahr alt. Hoffen wir die hält noch eins, dann überleg ich's mir nochmal  Backups an einen anderen Ort kann ich leider knicken. Also wenn die Bude abfackelt habe ich Pech, aber wahrscheinlich auch andere Sorgen

[Ford Prefect]

12 minutes ago, sasbro97 said:

Die 18TB ist gerade mal etwas über ein Jahr alt. Hoffen wir die hält noch eins, dann überleg ich's mir nochmal  

...die 14x3TB HDDs in meinem letzten sind 10 Jahre alt und noch nicht defekt...das MB und NT sind vorher kaputt gegangen

Da es inzwischen für weniger Geld 18+TB HDDs gibt, habe einfach 2 davon in meinen anderen unraid gesteckt und mit den Daten aus den Daten-Disks des alten kopiert.

Insgesamt sogar Geld und Strom sparender.

Also, HDDs sollten viel länger halten.