Umzug auf Unraid

[diLu]

Hi,

plane mein derzeitiges Windows Datengrab auf Unraid umzuziehen.

Da ich mich mit Unraid noch nicht so wirklich auskenne wollte ich mal fragen ob ihr ein paar Tips für einen möglichst reibungslosen Umzug habt.

Derzeitiger Ist-Zustand:

Windows 10 als OS
Asrock B560M Pro4
Intel Celeron G5905
16GB Ram
DELL Perc H310 SAS Controller im IT Mode
 

Festplatten:
1 x 2TB SSD als Systemplatte und Zwischenspeicher für sabnzbd

Datenverbund aus:
6 x 4TB
5 x 8TB

 

alle Platten mit NTFS.

 

Zwecks "Datensicherheit" läuft Snapraid mit 2 der o.g. 8TB Platten als Parity.

Um die Platten-Anzahl etwas zu reduzieren und Kapazität für den Umzug zu haben wurden jetzt 3 x 16TB Festplatten bestellt.
Diese stehen also als Leer Platten für den Umzug zur Verfügung.

 

Geplante Konfiguration im Unraid System:

Array:
5 x 8 TB
1 x 16TB

Parity:
2 x 16TB

 

Die SSD soll wieder mit ins System übernommen werden und dann für Docker Container und als Zwischenspeicher für nzbget dienen.
Soll also nicht über die Parity abgesichert werden - die kann ich ja separat einbinden oder?

 

Wie lässt sich da am besten der Umzug machen? Wenn ich richtig gelesen habe, dauert die Parity Erstellung ja sehr lange. Also wäre es 
am besten wenn diese erst läuft nachdem alle Daten final verschoben wurden. 
Lässt sich das von Unraid her so regeln das ich erst alles verschiebe und dann die "Array Erstellung und Parity Berechnung" machen lasse?

 

Der Array Bereich soll hinterher als eine große Freigabe für Medien von Emby dienen (mit Unterordnern für Filme und Serien).

 

Die nächste Frage wäre es ob es eine Möglichkeit gibt ein automatisiertes Post Processing der Downloads von nzbget zu realisieren.

In meinem Fall die Files im DL Verzeichnis von nzbget:

 

Filme - umbenennen nach Vorgabe und entfernen überflüssiger Tonspuren (nur Deutsch soll erhalten bleiben)
Serien - umbenennen und in Ordnerstruktur nach Vorgabe, ebenfalls nur deutsche Tonspur behalten

und in die passenden Ordner des Arrays verschieben.

 

Das System soll nicht 24/7 laufen sondern bei Nichtnutzung ausgehen.

GGf möchte ich zusätzlich einen Nextcloud docker aufsetzen, der für eine Sychonisierung der Fotos unserer Handys gedacht ist. Lässt sich da eine Synchronisierung so einrichten, dass sie nur läuft wenn der Server an ist?

Das System muss nicht von außen erreichbar sein, falls doch würde ich das über VPN durch die Fritzbox lösen.

 

Sorry für die schlechte Formulierung, dass ist eher ein Zusammenschreiben während der Überlegung oO

 

Danke für Tipps im Voraus,

 

[cz13]

1 hour ago, diLu said:

Die SSD soll wieder mit ins System übernommen werden und dann für Docker Container und als Zwischenspeicher für nzbget dienen.
Soll also nicht über die Parity abgesichert werden - die kann ich ja separat einbinden oder?

Ja, die würde dann als Cache Pool laufen.

[diLu]

2 hours ago, cz13 said:

Ja, die würde dann als Cache Pool laufen.

wenn ich das mit Cache Pool richtig verstanden habe, gehen die Daten von da aus doch per Mover ins Array oder?

 

Die Daten sollten in meinem Fall ja dort bleiben - abgesehen von den DLs von nzbget die dann bearbeitet und verschoben werden.

 

Oder kann dieser Cache auch vollkommen unabhängig vom Mover laufen?

[mgutt]

4 hours ago, diLu said:

Wie lässt sich da am besten der Umzug machen? Wenn ich richtig gelesen habe, dauert die Parity Erstellung ja sehr lange. Also wäre es 
am besten wenn diese erst läuft nachdem alle Daten final verschoben wurden. 
Lässt sich das von Unraid her so regeln das ich erst alles verschiebe und dann die "Array Erstellung und Parity Berechnung" machen lasse?

Während die Parität aufgebaut wird, ist das Array bereits nutzbar. Aber ja, die Geschwindigkeit könnte je nachdem über welchen Weg du die Daten draufschaufelst, reduziert sein. 

 

4 hours ago, diLu said:

Geplante Konfiguration im Unraid System:

Array:
5 x 8 TB
1 x 16TB

Parity:
2 x 16TB

Ich würde eine 16TB HDD eher als Backup-Platte nutzen, statt sie als zweite Parität zu verwenden. Backup ist wichtiger als Parität. Die Parität verbessert nur die Ausfallsicherheit, während man über ein Backup auch gelöschte Daten wiederherstellen kann.

 

Das Unraid Array bietet übrigens keine Checksummen wie Snapraid. Kippende Bits wie bei Snapraid werden also nicht erkannt. Das nur als Info.

[cz13]

1 hour ago, diLu said:

Oder kann dieser Cache auch vollkommen unabhängig vom Mover laufen?

Ja, du kannst den Share auch auf Prefer oder Only stellen.

steht alles gut beschrieben in der Doku 😉

https://wiki.unraid.net/

[diLu]

1 hour ago, mgutt said:

Während die Parität aufgebaut wird, ist das Array bereits nutzbar. Aber ja, die Geschwindigkeit könnte je nachdem über welchen Weg du die Daten draufschaufelst, reduziert sein. 

 

Ich würde eine 16TB HDD eher als Backup-Platte nutzen, statt sie als zweite Parität zu verwenden. Backup ist wichtiger als Parität. Die Parität verbessert nur die Ausfallsicherheit, während man über ein Backup auch gelöschte Daten wiederherstellen kann.

 

Das Unraid Array bietet übrigens keine Checksummen wie Snapraid. Kippende Bits wie bei Snapraid werden also nicht erkannt. Das nur als Info.

 Den Einwand mit der zweiten 16TB als Backup statt Parity kann ich nachvollziehen. Allerdings wäre mir kein Weg bekannt ein adäquates Backup bei der Gesamt-Menge (5x8 + 1x16TB) mit einer 16TB Platte zu erstellen?

 

Das Thema mit den kippenden Bits hab ich auch schon gesehen. Ist eine solche Funktion für Unraid ggf noch zukünftig angedacht?

 

@cz13 Danke für den Hinweis. Kann die Platte auch außerhalb des Arrays laufen ohne als Cache genutzt zu werden? 

[DataCollector]

7 minutes ago, diLu said:

Das Thema mit den kippenden Bits hab ich auch schon gesehen. Ist eine solche Funktion für Unraid ggf noch zukünftig angedacht?

Dynamix hat das File Integrity Plugin entwickelt. welches vorher erzeugte Checksummen  timergesteuert nachprüfen können soll um Bitrot zu erkennen. Aber korrigieren oder davor schützen kann es leider nicht.

Da ich damit aber leichte Probleme hatte, greife ich weiterhin zu manuell erstellten Checksummen und lasse sie auch per Bacthlauf ab und zu überprüfen. Und zusätzlich ist ein Backup wichtig um sowas auch dann beheben zu können.

 

[cz13]

17 minutes ago, diLu said:

Danke für den Hinweis. Kann die Platte auch außerhalb des Arrays laufen ohne als Cache genutzt zu werden? 

du kannst mehrere Pools anlegen, wenn du das meinst.

[diLu]

kann ich das Arrays anfangs auch ohne Parity definieren und dann später eine Parity hinzufügen ohne Daten zu verlieren?

 

Dann könnte ich ja so meine Daten kopieren ohne die lange Parity Berechnung.

[EL-Diablo]

bei erstbefüllung wäre es ehh besser ohne Parity zu starten und erst wenn es fertig ist die Parity HDD einzubinden.

[DataCollector]

6 hours ago, EL-Diablo said:

bei erstbefüllung wäre es ehh besser ohne Parity zu starten und erst wenn es fertig ist die Parity HDD einzubinden.

Dem stimme ich zu.

 

Zu erwähen bleibt noch: Natürlich kann bei der Erstbefüllung auch etwas schief gehen, was man erst später bemerken würde.

Ich habe nach der Erstbefüllung und anschließender Parityersetellung nochmal die Dateien in unraid mit den Quellen binär verglichen, so daß die Parity auch den korrekten Datenstand (und keine unbemerkt kaputten Dateien) sichert.

Die Quellen wurden dann im Anschluß als Backup eingelagert.