Backupmethoden


Recommended Posts

Hallo Zusammen,

 

ich wollte einmal in die Runde fragen, wie ihr Backups in unRAID nutzt.

Derzeit habe ich in meinem Array 2 x 4TB (brtfs im Verbund), eine 2 TB und eine QNAP 4 Slot Extention mit 4 x 5 TB im RAID 5.

 

Wenn ich richtig gelesen habe, dann brauche ich eine USV um die 4 x 5 TB in mein Array aufnehmen zu können.

Meine Fragen:

  1. Wieso brauche ich eine USV?
  2. Kann ich in unRAID ein RAID 5 nachbilden?
  3. Was wäre eine Konfiguration ähnlich einem RAID 5?
  4. Was passiert bei einem defekt mit einer Konfiguration aus Punkt 3?

 

Viele Grüße

Link to comment

Servus,

 

für meine Backups nutze ich die 3-2-1 Regel. Also mindestens drei Kopien auf zwei Verschiedenen Medien, wobei eine außer Haus gelagert wird. Mein System hat 36 TB Speicher. Die wichtigsten Sachen, an die ich nicht mehr rankomme, wenn sie weg sind, sind in jedem Backup dabei. Also so Dinge wie Bilder, Dokumente, meine Musiksammlung. Filme und Serien kann ich bei Verlust des großen Backups wieder von den DVDs und BDs rippen.

 

Von den drei Backups geht eines per Mgutts Script auf eine externe 5TB Platte. Das Script arbeitet inkrementell und die Daten liegen direkt auf der Platte. Man kommt also sehr schnell und einfach an verlorene Daten ran, ohne ein extra Tool zu benötigen. Die Platte selbst ist, wie das Array und die Pools, verschlüsselt. Hier liegen wie gesagt nur die wichtigen Daten. Dieses Backup läuft einmal am Tag.

 

Die gleichen Daten gehen verschlüsselt und komprimiert per Dublicacy an einen B2 Backblaze Bucket. Dies wäre dann mein Backup außer Haus, welches einmal die Woche läuft. Ebenfalls per Duplicacy geht einmal der Komplette Datenbestand aller Shares an eine NAS, welche zumindest eine räumliche Trennung hat. Das wäre dann das große Backup, welches einmal im Monat läuft.

 

Wichtig ist jedoch immer: Ein RAID in welcher Art und weiße auch immer (auch das Array in Unraid ist damit gemeint!) sollte nie als Backup der Daten angesehen werden!

 

 

Zu deinen restlichen Fragen:

 

1. Du brauchst nicht zwingend eine USV, um ein Array in Betrieb nehmen zu können. Unraid läuft mit allen Funktionen mit als auch ohne USV. Eine USV schützt einfach nur durch Datenverlust im Falle eines Stromausfalls. Dies hat damit zu tun, dass Unraid standardmäßig 20% des RAMs als Schreibcache verwendet, bevor die Daten auf dem Cachepool oder dem Array landen.

 

Wenn du also gerade wichtige Daten auf deinen Server packst und in dem Moment ein Stromausfall ist, sind alle Daten, welche noch im RAM lagen, unwiederbringlich verloren. Den Daten auf den Disks sollte unter normalen Umständen dabei jedoch nichts passieren. Bis auf den Neustart und den anschließenden Parity Check ist das ganze also nur lästig, aber nicht für den Betrieb wichtig.

 

Eine USV hat jedoch ebenfalls noch den Vorteil, deinen Server bei Spannungsschwankungen (z.B. Blitzschlag) zu schützen. So etwas kann nämlich auch deine Platten killen, was dann ein paar Probleme mit sich bringt, wenn du keine sauberen Backups hast.

 

2. Wenn du einen Pool aus min. 3 Platten erstellst, sollte ein RAID5 möglich sein. Vielleicht kann dies aber noch jemand bestätigen.

 

3. Das Array in Unraid selbst kommt wohl dem RAID5 am nächsten. Da im Array jedoch kein Stripping der Daten stattfindet, ist jedoch kein RAID (UNraid). Ansonsten wie gesagt über die Pools ab Unraid 6.9 wohl machbar.

 

4. Bei einem RAID5 darf max. eine Platte ausfallen, damit die Daten noch verfügbar bleiben. HotSpare gibt es in Unraid nicht. Sollte also eine Platte in einem Pool ausfallen, muss diese einfach nur ersetzt werden. Array stoppen. defekte Platte im Pool tauschen, Array starten. Der Rebuild des RAID im Pool sollte dann direkt starten. Dennoch auch hier nochmal: Ein RAID stellt kein Backup dar. Ich habe es schon oft genug erlebt, dass ein Rebuild eines RAID auch mal schief gehen kann. Also immer Backups der wichtigen Daten haben!

 

Grüße

 

 

Edited by Gorosch
Link to comment
2 hours ago, Tiras said:

QNAP 4 Slot Extention

USB Festplatten sind nicht im Array empfohlen. Das würde auch nur gehen, wenn du die Dip Switches auf Einzellaufwerke umstellst (wenn überhaupt). Dazu kommt, dass dieses Gehäuse nur USB 3.2 Gen 1 besitzt, also 250 bis 450 MB/s für alle Platten zusammen. Du bräuchtest aber bei einem Parity-Check die Summe aus allen 4 Platten, also eher 1000 MB/s oder noch mehr, je nachdem wie schnell die verbauten Platten sind.

 

2 hours ago, Tiras said:

4 x 5 TB im RAID 5

Wenn der Controller in der TR-004 kaputt geht, sind deine Daten übrigens verloren, außer sie wurden nicht beschädigt und eine weitere TR-004 kann sie noch lesen. Aus dem Grund mag ich keine Hardware RAIDs. Steht auch bei QNAP in der Fußnote:

Quote

3. Laufwerke können nur von einem TR-004 auf ein anderes TR-004 migriert werden. Die auf Laufwerken gespeicherten Dateien und Daten, die auf/von einem NAS (oder einem anderen Gerät) verschoben wurden, werden nicht erkannt.

 

2 hours ago, Tiras said:

in meinem Array 2 x 4TB (brtfs im Verbund),

Ich empfehle keinem BTRFS im Array. Du hast keinen Mehrwert, sondern nur Nachteile (Write Amplification, schlechtere Performance und anfälliger für Stromausfälle). Falls du auf eine Selbstheilung gehofft hast: Die funktioniert nur in einem RAID.

 

2 hours ago, Tiras said:

Kann ich in unRAID ein RAID 5 nachbilden?

Ja. Dazu erstellst du einfach einen Pool. Pools sind immer ein RAID. Das Unraid Array arbeitet dagegen mit einzeln formatierten Laufwerken.

 

Warum willst du überhaupt ein RAID5 haben und nutzt nicht das Unraid Array?

 

2 hours ago, Tiras said:

Wieso brauche ich eine USV?

Beim Unraid Array wäre es so gesehen egal ob der Strom von einzelnen Platten ausfällt. Die Parität wäre dann halt kaputt, aber die Daten sind ja nach wie vor auf den einzelnen Platten vorhanden. Solche Empfehlungen gelten eher dann, wenn man ein RAID mit einem externen Gerät erweitert, was ich aber niemandem empfehlen würde, da es die Fehlerquellen erhöht.

 

Zuletzt sind solche Gehäuse ja unnötige Stromschlucker. Effizienter wäre es die Platten im Unraid Server per SATA zu verbinden.

 

Zu deiner Backup Frage:

Wenn dir dein aktueller Speicherplatz ausreicht, könntest du das TR-004 als Backup-Ziel verwenden. Wobei du dann noch keinen Schutz vor Brand/Diebstahl hast.

 

 

Link to comment

Hi und vielen Dank für eure Antworten.

 

Also mein Array besteht wie gesagt aktuell aus:

  • 2 x 4 TB HDD (btrfs: insgesamt 8 TB) für Videos, Musik, Bilder etc.
  • 1 x 240 GB SSD für Docker und Transcode
  • 1 x 2 TB für diverse Unterlagen, Software, Backups (VMs, Clients) und Iso´s

Zusätzlich habe ich außerhalb des Arrays:

  • 2 x 1 TB Samsung EVO 970 Plus M.2 NVMe für .img der VMs

Als Unassigned Device ist die TR-004 mit wie gesagt 4 x 5TB HDDs im RAID 5 über USB eingebunden.

 

Leider ist mir bei der Wartung der Wasserkühlung für das System die 6 TB HDD kaputt gegangen, die eigentlich als Array Parity verwendet wurde. Das wird auch demnächst wieder so sein, sobald der Controller geliefert wurde.

 

Zusätzlich habe ich bei der Telekom ein MagentaCloud mit 100 GB und an der FritzBox ist ein 128 UBS Stick angeschlossen.

Bisher habe ich keine Lösung finden können, wie die wichtigsten Daten (Bilder, Unterlagen, Kamera Videos, etc) mit der Cloud oder dem USB-Stick synchronisiert werden können. 

 

Wieso ich Unraid einer QNAP vorgezogen habe!?

Ich brauchte eine schnelle und kostengünstige Lösung um VMs, Plex und Dockers getrennt von einem Client zu nutzen. Mein jetziger Unraid Server war zuvor ein Windows 10 Client auf dem via Hyper-V die VMs gehostet waren. Aber Aufgrund von vielen Ausfallen und Problemen, hatte ich mich an der Installation der QNAP OS auf diesem System versucht. Leider konnte ich die 3 SATA Controller nicht zu laufen bringen und habe dann Unraid getestet.

Den Ryzen 5 2600 Prozessor in meinem Unraid System habe ich vor einiger Zeit gegen einen Ryzen 5 4650 Pro getauscht, damit ich die GPU in einem anderem Windows Client verwenden kann. Durch diese Lösung habe ich zu mindestens erreichen können, dass der Stromverbrauch von 113 Watt auf 72 Watt (TR-004 und alle VMs gestartet) reduziert wird.

 

Meine Idee bzw. mein Ziel:

In einer perfekten Welt hätte ich gerne die 4 x 5 TB als RAID 5 im Unraid Array. Hier weiß ich jedoch nicht, ob das dann mit der 6 TB Parity machbar ist, da die Parity ja min. so groß sein muss, wie die größte Platte im Array (bezieht sich das auch auf Pools?).

Die 2 TB soll weiterhin als Share für die Personen im Haushalt dienen, um Unterlagen etc. zu speichern, die 2 x 4 TB im Verbund als Share für Medien etc. und das RAID 5 als Backup. Sämtliche Unterlagen, Bilder, Backups von Clients etc. sollen ähnlich wie bei Dir @Gorosch mit der Cloud und dem USB-Stick synchronisiert werden.

Ich hoffe einfach, dass sich die Übertragung zwischen den (RAID)Pools erhöht und die Daten im Netzwerk somit schneller übertragen werden. Aktuell habe ich eine Übertragungsrate zwischen dem Array und der TR-004 von bis zu 68 MB/s was meiner Meinung nach sehr wenig ist.

 

Ich hatte mir ebenfalls schon überlegt, nicht eine kleine QNAP neben dran zu stellen und dort die 2 x 4 TB im RAID 0 und die 4 x 5 TB + 1 x 6 TB im RAID 6 zu nutzen, um einen Performance Boost zu bekommen. Via SFF-8088 würde ich die QNAP mit dem Unraid Server verbinden. Die 2 TB und der NVMe Pool würde so bleiben.

Hier habe ich jedoch keine Lust wieder mehrere Systeme zu warten.

 

@mgutt Weil ich Performance bei der Datenübertragung zwischen den Pools haben möchte. Ich könnte natürlich auch die 4 x 5 TB und die 2 x 4 TB als Pool ins Array einbinden und dann eine Synchronisierung zwischen den Platten machen. Aber was passiert, wenn ein der 4 TB oder 5 TB Platten kaputt geht. Dann ist das Pool doch ebenfalls im Eimer und die Daten verloren, oder?

 

Wie würdet ihr einen Server aufbauen, wenn ihr die genannte Hardware und Anforderung hättet?

 

Viele Grüße

Link to comment

Ok, das ist ja nun doch einiges. Ich gehe mal von Oben nach unten durch.

 

Das Arrays selbst würde ich nur mit XFS betreiben. Ob verschlüsselt oder nicht, obliegt deiner eigenen, gesunden Paranoia. BTRFS im Array bringt dir keinen Vorteil und macht nur bei Pools mit mehr als einer Disk Sinn. Alles was eine Disk ist, immer mit XFS betreiben. Auch die Disks im Array kannst du so gesehen als einzelne Disks ansehen.

 

Richtig ist, dass die Parity Disk immer die größte im Array sein muss. Das hat mit den Pools jedoch nichts zu tun. Hier kannst du Betreiben, was du willst. Solltest du in einem Pool jedoch verschiedene Größen mixen, hast du immer nur den Speicher der kleinsten Platte zur Verfügung. Hast du z.B. eine 4TB und eine 2TB Platte im Pool als RAID1, hast du auch nur einen Pool mit 2TB zur Verfügung.

 

Die defekte 6 TB Parity Disk natürlich so schnell wie möglich ersetzen. Sollte jetzt noch eine Daten Disk in deinem Array das zeitliche segnen, sind die Daten ohne Backup verloren.

 

Die 240GB SDD solltest du in einen Pool setzen. Da dein Array immer nur so schnell ist, wie die langsamste Disk, machst du den Vorteil der SSD spätestens bei Schreibvorgängen zunichte, da hier immer auf die Parity Disk gewartet werden muss. Und gerade bei Docker Container und Transcodieren ist ne Menge an Schreibvorgängen vorhanden. Du bremst dich also selbst enorm aus.

 

Im Array kannst du generell nicht mit RAID5 arbeiten. Dies geht nur über Pools. Du musst also min. eine Disk im Array haben, wenn du nur über Pools arbeiten willst. Ohne Array kann Unraid die Dienste nicht starten. In den Pools wäre dann auch ZFS möglich, was jetzt aber deutlich den Rahmen sprengen würde.

 

Den Stick an der Fritte am besten mit einer USB Platte ersetzen. Zum einem ist ein Stick beim Schreiben recht langsam, zum anderen halten Sticks nicht sehr lange, wenn diese immer wieder beschrieben werden. Die Platte am besten direkt am Server anschließen. Schont dein Netzwerk und du hast schneller Übertragungsgeschwindigkeiten.

 

Einfach gesagt würde ich das System wie folgt aufbauen:

 

Deine HDDs ins Array als XFS. Was auf welche Disk drauf kommt, kannst du entweder selbst steuern oder über die Shares mit included/excluded Disk regeln.

 

Die SSDs als eigenständige Pools einrichten. Einzelne Disks als XFS, mehrere Disks im Pool als BTRFS.

 

Deine zwei 970er EVOs am besten als RAID1 im Pool betreiben. Die jeweiligen Shares mit wichtigen Daten dann auf Cache "Yes" und diesen Pool auswählen. So sind diese Daten auch im Cache sicher, wenn mal eine von den beiden SSDs ausfällt, und die Daten noch nicht im Array liegen.

 

Als Beispiel mein Share mit Dokumenten: Hier wird der Cache bestehend aus zwei SSDs im RAID1 genutzt. Über Nacht packt der Mover die Daten vom Cache ausschließlich auf Disk 3.

 

grafik.png.32f602a462813470385a038ed6dba39c.png

 

So dinge wie der Appdata oder System Share kannst du entweder ebenfalls auf diesen Cache packen. Oder du nimmst die einzelne 240 GB SSD dafür. Somit hast du weniger Schreiblast auf den beiden SSDs und auch eine bessere Performance der Docker und VM, da die sich nicht die I/O mit anderen Dingen teilen müssen. Dank dem Appdata und VM Backup Plugin aus dem CA, sind die Daten schnell wieder hergestellt, wenn diese einzelne SSD den Geist aufgibt. Hängt natürlich davon ab, was für Docker und VMs du am Laufen hast und ob du den Ausfall selbiger verkraften kannst, bist ne neue SSD verbaut wäre.

 

Appdate Backups gehen bei mir auf ne Disk im Array, sind aber von den unten stehenden Backupmethoden ausgeschlossen. Da die Backups inkrementell sind, würden diese Appdata Backups sonst ins unermessliche gehen, was denn Spicherplatz angeht.

 

Mit dem oben genannten Script kannst du auf die USB Platte sichern, welche als Unassigned Device eingebunden ist. Optimal als XFS formatiert. NTFS geht aber auch, wenn du auf die Backup Daten am Windows PC ohne großen Aufwand zugreifen willst. Achtung: NTFS ist in Unraid deutlich langsamer als XFS.

 

Der Script behält die Daten eine gewisse Zeit in den Backups, bevor diese gelöscht werden. Ganz einfach ausgedrückt sind dies drei Jahre. Löscht du also eine Datei von deinem Server, fällt diese erst nach drei Jahren aus dem Backup. Solltest du also erst nach Monaten merken, dass etwas wichtiges fehlt, ist des dennoch noch in den Backups vorhanden.

 

Was du als Lösung für Externe Backups nimmst, ist eine andere Sache. Ob diese Magenta Cloud in Dublicacy funktoniert, weiß ich nicht. Vielleicht hat da jemand mehr Erfahrung.

 

grafik.png.c378f381201ab7773d2cc9c3d9444297.png

 

Duplicacy nutze ich selbst nur, weil es sich einfach Bedienen lässt als Docker in Unraid und die Backups verschlüsselt und komprimiert. Das würde auch alles mit rsync gehen, übersteigt aber aktuell noch meine Kenntnisse.

 

Mit dieser Konfiguration sollten deine Übertragungsraten zum Server also recht flott gehen, da beim schreieben nur deine SSDs limitieren und beim Lesen die Geschwindigkeit der Platten im Array. Ein Normales 1Gbit Netzwerk zuhause sollte also ohne weiteres um die 112 Mbit darstellen können.

 

Bei mir sieht das Ganze so aus. Sicher nicht perfekt, macht aber was es soll und das zuverlässig seit Jahren.

 

grafik.thumb.png.82a40b04ef1d5811571ff0776d194957.png

 

Grüße

Link to comment

@Gorosch Danke für deine schnelle Antwort und deinen Vorschlag.

 

Ist es evtl. möglich und macht es Sinn, ein Pool mit den gesagten 4 x 5 TB Platten zu erstellen und diesen Pool dann in das Array einzubinden? Wenn ich es richtig verstanden habe, dann brauche ich jedoch eine Parity Platte, die dann so groß ist wie das RAID 5 Pool!?

 

Ich habe mir gerade überlegt, ob ich die 4 x 5 TB nicht als einzelne Platte (XFS) in das Array hinzufüge und dann über Shares (hast du glaube ich auch erwähnt) alles gespeichert wird.

Beispiel: Nehmen wir an Disk 1 - Disk 4 sind die 4 x 5 TB im Array, Disk 5 - Disk 6 sind die 2 x 4 TB und Disk 7 ist die 2 TB.

 

Share Bilder: Include Disk = Disk 7.

Share Kamera Videos: Include Disk = Disk 7

Share Backup: Include Disk = Disk 7

Share Medien: Include Disk = Disk 1 - Disk 6.

 

Pool Cache and Transcode: 240 GB SSD (XFS)

Pool VMs: 2 x 1 TB (BTRFS) NVMe

 

Bei deinem Vorschlag, die SSD als Cache zu nehmen gibt es ein Problem: Wenn ich sie als Pool (BTRFS) konfiguriere, werden aus 2 TB durch das RAID 1 nun 1 TB.

Da die derzeitigen VMs schon 676 GB Speicherplatz einnehmen, bleibt nicht mehr viel für ein restliches Caching übrig.

 

Wenn ich die 240 GB SSD aus dem Array nehmen sollte, wie bekomme ich die Docker dann wieder zu laufen, da ich den Standardpfad auf diese SSD geändert habe?

Reicht es die SSD aus dem Array zu entfernen und anschließend als Pool einzurichten und anschließend in den einzelnen Docker den Pfad zu ändern?

 

Viele Grüße

Link to comment
2 hours ago, Tiras said:

1 x 240 GB SSD für Docker und Transcode

Die hat nichts im Array zu suchen. Die verhindert nur, dass die Parity HDD schlafen kann. Überhaupt würde ich sie komplett abschaffen und Docker auf die 1TB NVMe legen und Transcode in den RAM:

https://forums.unraid.net/topic/35878-plex-guide-to-moving-transcoding-to-ram/page/12/?tab=comments#comment-894460

 

2 hours ago, Tiras said:

MagentaCloud

MagentaCloud unterstützt scheinbar WebDAV:

https://cloud.telekom-dienste.de/hilfe/einrichten/zugriff-magentacloud

 

Dann würde ich rclone installieren:

image.png.7cb208d2add065fff252438828e9dcde.png

 

Dann folgendes im Terminal ausführen und allen Schritten folgen um ein WebDAV "remote" hinzuzufügen:

rclone config

image.png.dae0eaaa384ae92e85a0c6bde7e518ff.png

 

Dann User Scripts installieren:

image.png.cd83f281da95533898e98ef86414f020.png

 

Und das folgende Script hinzufügen und nach einem beliebigten Zeitplan ausführen lassen:

#!/bin/bash

# make script race condition safe
if [[ -d "/tmp/${0///}" ]] || ! mkdir "/tmp/${0///}"; then exit 1; fi; trap 'rmdir "/tmp/${0///}"' EXIT;

# sync files with external WebDAV server
rclone sync /mnt/user/Max magentacloud:Backups/Max --create-empty-src-dirs --ignore-checksum --bwlimit 3M --checkers 2 --transfers 1 -vv --stats 10s

 

41 minutes ago, Tiras said:

Ich habe mir gerade überlegt, ob ich die 4 x 5 TB nicht als einzelne Platte (XFS) in das Array hinzufüge

Genau das solltest du machen. Weg mit dem TR-004. 👍 Oder passen die Platten gar nicht in dein Server Gehäuse?

 

41 minutes ago, Tiras said:

Share Bilder: Include Disk = Disk 7.

Share Kamera Videos: Include Disk = Disk 7

Share Backup: Include Disk = Disk 7

Share Medien: Include Disk = Disk 1 - Disk 6.

Das kannst du handhaben wie du willst. Du kannst auch alles "wild" auf den Platten verteilen lassen. Über das Netzwerk siehst du eh nicht auf welchen Platten die Dateien liegen. Der Pfad /mnt/user/Kamera zeigt zB alle Fotos an, egal auf welcher Platte sie gerade liegen. Aber natürlich macht es Sinn das auf einer Disk zu konzentrieren, da dann nicht mehrere Disks parallel hochfahren müssen, wenn du dir mal Fotos anschauen möchtest.

 

43 minutes ago, Tiras said:

Bei deinem Vorschlag, die SSD als Cache zu nehmen gibt es ein Problem: Wenn ich sie als Pool (BTRFS) konfiguriere, werden aus 2 TB durch das RAID 1 nun 1 TB.

Da die derzeitigen VMs schon 676 GB Speicherplatz einnehmen, bleibt nicht mehr viel für ein restliches Caching übrig.

Dann ist das so. Aktuell fährst du volles Risiko. Wenn eine der NVMe stirbt, sind die Daten weg. Davon abgesehen sollte man vielleicht darüber nachdenken die VMs zu verkleinern. Warum belegen die überhaupt so viel Platz? Eine VM Disk sollte eigentlich nur System-Dateien enthalten. Den Rest lagerst du ins Netzwerk (Unraid Server) aus. Alternative: 2x 2TB kaufen 🤑 Oder du machst es wie ich und machst regelmäßig Backups von der SSD ins Array und lebst mit einem evtl Datenverlust von x Stunden.

 

3 hours ago, Tiras said:

Ich hoffe einfach, dass sich die Übertragung zwischen den (RAID)Pools erhöht

Also du willst aus der VM heraus Dateien möglichst schnell auf den Unraid Server kopieren? Naja, die landen doch, wenn du den NVMe Pool als Cache für dein Array nutzt, erstmal auf dem NVMe Pool. Keine Ahnung wie stark deine CPU hier limitiert, aber theoretisch wären dann über 1000 MB/s möglich. Das sollte doch reichen?!

 

Wenn du die HDDs als RAID5 in einen separaten Pool packen würdest, kämst du vielleicht auf 450 MB/s (kommt auf die Platten an). Und du musst damit leben, dass das RAID5 24/7 läuft. Die Platten im Unraid Array stehen dagegen den ganzen Tag bis der Mover die Dateien vom NVMe Pool auf das Array verschiebt (wovon du nichts mitbekommst).

Link to comment
59 minutes ago, Tiras said:

Wenn ich die 240 GB SSD aus dem Array nehmen sollte, wie bekomme ich die Docker dann wieder zu laufen, da ich den Standardpfad auf diese SSD geändert habe?

 

Zuerst deaktivierst du den Docker Dienst. Dann aktivierst du für den appdata Share den NVMe Cache Pool und stellst ihn auf "Prefer". Dann den Mover starten. Nun sollte Unraid alle Dateien von der SATA SSD auf den NVMe Pool verschieben. Ist das erledigt noch mal auf der SATA SSD nachschauen ob sie wirklich leer ist. Ist das der Fall, dann kannst einen Screenshot von der Disk Übersicht machen und über Tools > New Config (Pools behalten) alle Platten wieder dem Array so zuordnen wie sie vorher waren, nur du lässt die SATA SSD eben weg.

 

Willst du zB aus dem RAID0 NVMe Pool einen RAID1 Pool machen, wäre es ähnlich. Alle Shares müssten dafür auf "Yes" gestellt werden, Docker und VM deaktiviert und wenn der Mover alle Dateien auf das Array verschoben hat, also die SSDs leer sind, kannst du über Tools > New Config (Array behalten) die Pools neu erstellen.

 

 

 

Link to comment

@mgutt Danke für den Hinweis mit dem WebDAV. Das schau ich mir später an.

Ja, leider passen nicht alle Platten in mein Gehäuse. Ich bin schon auf der Suche nach einem Gehäuse in das min. 7 HDDs und 1 SSD sowie eine Wasserkühlung passen.

Hast du ein Tipp bzw. wie viele Platten verwendet ihr und welches Gehäuse?

 

7 minutes ago, mgutt said:

 

Zuerst deaktivierst du den Docker Dienst. Dann aktivierst du für den appdata Share den NVMe Cache Pool und stellst ihn auf "Prefer". Dann den Mover starten. Nun sollte Unraid alle Dateien von der SATA SSD auf den NVMe Pool verschieben. Ist das erledigt noch mal auf der SATA SSD nachschauen ob sie wirklich leer ist. Ist das der Fall, dann kannst einen Screenshot von der Disk Übersicht machen und über Tools > New Config (Pools behalten) alle Platten wieder dem Array so zuordnen wie sie vorher waren, nur du lässt die SATA SSD eben weg.

 

Willst du zB aus dem RAID0 NVMe Pool einen RAID1 Pool machen, wäre es ähnlich. Alle Shares müssten dafür auf "Yes" gestellt werden, Docker und VM deaktiviert und wenn der Mover alle Dateien auf das Array verschoben hat, also die SSDs leer sind, kannst du über Tools > New Config (Array behalten) die Pools neu erstellen.

 

 

 

Danke für die Erklärung. Die SSD werde ich später aus dem Array nehmen. Da der Controller für die 6 TB HDD aus China kommt, dauert es noch min. 2 Wochen bis der ankommt.

Solange ich kein geeignetes Gehäuse gefunden habe muss ich die TR-004 noch nutzen.

 

Die NVMe´s sind derzeit in einem Pool als btrfs im RAID 1. Wenn ich in den Share nun diesen Pool als Cache angeben, dann werden die Ordner / Dateien doch auf die Platten im Array verschoben und verschwinden aus dem Pool!? Wie kann die Performance der VMs dann gesteigert werden bzw. wie soll die VM wieder gestartet werden können? Ich müsste ja den Pfad im VM Manager auf das Array ändern, oder?

 

Hier einmal ein Screenshot der aktuellen Übertragung auf die TR-004.

image.thumb.png.0d364bdab4131548d0423dc237788dc8.png

 

Die VMs haben jeweils ein Image von 80 GB. Bei 10 VMs die derzeit laufen komme ich knapp auf diesen Speicherplatz. In einem anderen Thread hatte ich darüber diskutiert, wie ich eine VM auf der NordVPN läuft gegen eine Docker ersetzen kann. Da ich aber bisher keine Lösung dafür gefunden habe, existiert diese VM noch.

 

Ich müsste mir sowieso eine PCIe x8 SATA Card kaufen, da ich durch die 240 GB SSD und 2 TB nur noch 2 SATA Ports frei habe. Es sei denn, ich entferne die 2 TB und 240 GB SSD und nutze ausschließlich die NVMe´s als Cache. Dann würde ich aber kein RAID 1 sondern ein RAID 0  XFS bevorzugen.

 

Was meint ihr?

 

Viele Grüße

Link to comment
23 minutes ago, Tiras said:

Hast du ein Tipp bzw. wie viele Platten verwendet ihr und welches Gehäuse?

Die meisten nutzen das Fractal Define R5. Auch gut ist das Nanoxia Silence 4. Kommt auch drauf an wie groß dein Board ist.

 

24 minutes ago, Tiras said:

Da der Controller für die 6 TB HDD aus China kommt

Welchen hast du bestellt?

 

24 minutes ago, Tiras said:

Wenn ich in den Share nun diesen Pool als Cache angeben, dann werden die Ordner / Dateien doch auf die Platten im Array verschoben und verschwinden aus dem Pool!?

Nein, das passiert nur bei "Yes". Bei "Prefer" verbleiben sie auf dem Cache:

https://forums.unraid.net/topic/99393-häufig-gestellte-fragen/?do=findComment&comment=951565

Link to comment

Ach so, ich dachte du hast von einer SATA Karte gesprochen, die dein Board um weitere SATA Buchsen ergänzt.

 

Na hoffentlich funktioniert die Reparatur. Stelle ich mir schwierig vor mit den Flachbandkabeln usw.

Link to comment
4 minutes ago, mgutt said:

Na hoffentlich funktioniert die Reparatur. Stelle ich mir schwierig vor mit den Flachbandkabeln usw.

Das Flachbandkabel ist nicht mit dem Board verbunden. Ich habe das alte Board schon demontiert um an die Seriennummer zu kommen.

Ich werde jetzt mal die Konfiguration vornehmen. 

 

Also um die Docker Folder von der SATA SSD auf den NVMe Pool zu bekommen, muss ich:

  1. Den Docker Service beenden.
  2. Den NVMe Pool in dem appdata Share als "Prefer" hinzufügen.
  3. Mover starten und prüfen ob alle Ordner verschoben von der SATA SSD auf den NVMe Pool verschoben wurden.
  4. Tools > New Config "Preserve current assignments" = Pool
  5. SATA SSD entfernen

So würde ich erstmal starten 😃

Link to comment

Genau. Eventuell schaust du auch noch mal, dass keiner der Container direkt auf die SSD im Array verlinkt also zB einen Pfad wie /mnt/diskX/appdata/containername verwendet. Da sollte überall /mnt/user/appdata stehen. Am besten bei den Docker Containern die VOLUME MAPPINGS mal alle aufklappen.

 

Ach ja. Das gilt natürlich auch für den Share "system". Dort liegt ja das docker.img. Das würde ich auch auf den Cache Pool verschieben.

Link to comment
7 minutes ago, mgutt said:

Genau. Eventuell schaust du auch noch mal, dass keiner der Container direkt auf die SSD im Array verlinkt also zB einen Pfad wie /mnt/diskX/appdata/containername verwendet. Da sollte überall /mnt/user/appdata stehen. Am besten bei den Docker Containern die VOLUME MAPPINGS mal alle aufklappen.

Das war ja leider der Fall. Ich habe in den Docker Settings für Default appdata storage location die SSD im Array geändert. Das habe ich jetzt wieder in /mnt/user/appdata geändert.

Hat das jetzt negative Auswirkungen?

Link to comment
6 minutes ago, Tiras said:

Das war ja leider der Fall. Ich habe in den Docker Settings für Default appdata storage location die SSD im Array geändert. Das habe ich jetzt wieder in /mnt/user/appdata geändert.

Hat das jetzt negative Auswirkungen?

 

/mnt/user/appdata verursacht mehr CPU Last als /mnt/diskX/appdata oder /mnt/pool_name/appdata, aber das soll dich jetzt erst mal nicht stören. Nach dem Umzug der Dateien kannst du das problemlos erneut ändern. Falls alle Docker Container verschwinden: Keine Angst, über Apps > Previous Apps kannst du sie wieder mit deinen Einstellungen starten. Normalerweise sollte aber alles so bleiben wie es ist.

 

Wichtig ist nur, dass während dem Verschieben der Dateien kein Docker läuft. Und wenn du auch die VM Images bewegen solltest oder die ISOs oder die virtio Treiber Datei, dann natürlich auch den VM Dienst solange inaktiv lassen. Erst wenn du weiß, dass alles da ist, wo es hin soll, kannst du die Dienste wieder starten.

 

 

Link to comment
12 minutes ago, Tiras said:

Ach so, ich nehme an, dass ich das gleiche wieder bei den VM Settings rückgängig machen muss, oder?

 

Da dort vermutlich /mnt/nvme_pool_name drin steht, kannst du das so lassen. Mein Pool heißt zB cache und mein Pfad entsprechend auch:

image.png.6d4eefc10046963f3486aa9ad2d56006.png

 

Der ändert sich ja nicht, außer du willst den Pool neu erstellen und gibst ihm einen anderen Namen oder du willst die NVMe auf das Array leeren, aber dann machst du ja eh den VM Dienst hoffentlich aus 😉

Link to comment

Also in den VM Settings steht bei mir:

image.thumb.png.42db18541eae29774c2f8a0d019fe416.png

Ich wollte den Pool eigentlich neu erstellen.

Ich hatte mir nämlich jetzt überlegt, dass ich eine 5 TB als Parity erst einmal nehme, die restlichen 3 x 5TB sowie die 2 x 4 TB in das Array aufnehme. Sobald das Board da ist wollte ich die die 5 TB Parity gegen die 6 TB austauschen und ein 4 TB gegen die 5 TB. Ein TB mehr oder weniger macht für mich den Bock nicht Fett, die 6 TB findet auch noch seinen Einsatz 😃

 

Um die Konfiguration so zu machen muss ich aber erstmal die 2 x 4 TB in XFS formatieren und anschließend die Daten von dem TR-004 auf die 2 x 4TB verschieben.

 

Eine kurze Frage habe ich nochmal zu dem Pool. Wenn ich die 2 x 4 TB in das richtige Format geändert habe, müssen die Daten vom Pool ja irgendwo hin, damit ich den Pool neu erstellen kann. Würdest du die Daten aus dem Pool erst einmal in einen Shared Folder als "Yes" verschieben und wenn der Pool wieder aufgebaut ist mir Prefer wieder in den Pool verschieben? Oder hast du evtl. eine andere Idee?

 

 

Link to comment
4 minutes ago, Tiras said:

Also in den VM Settings steht bei mir:

Das sind die Original Einstellungen und die können auch so bleiben. Also egal ob die Dateien schlussendlich auf dem Array oder Pool liegen. /mnt/user verweist immer auf den Inhalt aller Disks, die diesen Share-Ordner enthalten.

 

4 minutes ago, Tiras said:

Würdest du die Daten aus dem Pool erst einmal in einen Shared Folder als "Yes" verschieben und wenn der Pool wieder aufgebaut ist mir Prefer wieder in den Pool verschieben?

Genauso hatte ich es hier gemeint (2. Absatz):

https://forums.unraid.net/topic/111205-backupmethoden/?tab=comments#comment-1013822

 

 

Aber wie gesagt. Jetzt erst mal Schritt 1 und die SSD aus dem Array bekommen. 

 

6 minutes ago, Tiras said:

Um die Konfiguration so zu machen muss ich aber erstmal die 2 x 4 TB in XFS formatieren und anschließend die Daten von dem TR-004 auf die 2 x 4TB verschieben.

Das habe ich ehrlich gesagt noch nie gemacht, also von BTRFS zu XFS. Ich vermute, du musst dafür die Festplatte aus dem Array rausnehmen (also wie gehabt mit New Config) und dann mit Unassigned Devices die Platten formatieren. Natürlich vorher alles extern sichern, weil dadurch natürlich alles der Platte gelöscht wird. Hast du sie dann wieder dem Array hinzugefügt, wird Unraid die Platte entsprechen der Disk Setting dann in XFS formatieren (nicht vergessen umzustellen!). Und dann kannst du die Platte wieder aus deinem Backup befüllen. Den Cache dieser Shares würde ich übrigens solange deaktivieren. Die NVMe werden sonst unnötig abgenutzt.

Link to comment
18 minutes ago, Tiras said:

Eine kurze Frage habe ich nochmal zu dem Pool. Wenn ich die 2 x 4 TB in das richtige Format geändert habe, müssen die Daten vom Pool ja irgendwo hin, damit ich den Pool neu erstellen kann. Würdest du die Daten aus dem Pool erst einmal in einen Shared Folder als "Yes" verschieben und wenn der Pool wieder aufgebaut ist mir Prefer wieder in den Pool verschieben? Oder hast du evtl. eine andere Idee?

 

Genau so. Wichtig: Backups erstellen. Beim umformatieren werden logischerweiße alle Daten von den Platten gelöscht.

 

Eine Empfehlung: für den Anfang solltest du vielleicht erst Mal die Standardeinstellungen bei den Speicherorten belassen. Also "/mnt/user/appdata" und "/mnt/user/system". Wenn du dann nach einiger Zeit ein Verständniss dafür hast, wie Cache Pools und das Array miteinander aggieren, kann man das immer noch anpassen. Geändert ist es schnell. Ist kein Muss, aber gerade am Anfang deutlich einfacher, das System kennen zu lernen, bevor es an die größeren Tweaks geht. :)

Edited by Gorosch
Link to comment

Bevor ich jetzt die Daten von der TR-004 auf die 2 x 4TB kopiere und die 5 TB Platten in den Unraid Server baue, wollte ich wissen, ob die Daten in den Shares weiterhin vorhanden sind, nachdem ich New Config und den nur den Pool beibehalten habe. Das war auch der Fall, aber verstehe ich das dann richtig, dass die Daten nur dann verloren sind, wenn ich New Config erstelle, dass Array nicht beibehalte und eine Disk aus dem Array entferne? Oder sind die Daten weiterhin auf der Platte vorhanden und stehen mir nachdem ich die Platte wieder in das Array aufgenommen habe wieder zur Verfügung?

Link to comment
6 minutes ago, Tiras said:

ob die Daten in den Shares weiterhin vorhanden sind

Einfach damit du das weißt:
Unraid ist ziemlich einfach aufgebaut. Ein Ordner auf einer Festplatte im Array ist ein Share. Also wenn du jetzt mit "mkdir /mnt/disk3/videosammlung" einen Ordner auf Disk 3 erstellst, hättest du damit bereits einen User Share erstellt.

 

Und Unraid ist es auch völlig egal wo diese Disk nachher im Array zugewiesen wird. Du kannst also auch über New Config zB disk1 mit disk3 tauschen. Die User Shares mit ihren enthaltenen Dateien bleiben so wie sie sind (da es einfach nur Ordner sind auf die sich Unraid bezieht).

 

Man sollte nur natürlich niemals eine Datendisk als Parity zuweisen. Dann wären die Daten gelöscht. Daher sagen wir auch immer, dass man einen Screenshot machen soll, bevor man eine New Config startet.

Link to comment

Ich bin nun soweit, dass die 2 TB und die 240 GB SSD aus dem Array sind und die 4 TB Platten in XFS Encripted formatiert sind.

Dummerweise sind (wie du schon gesagt hast) die Apps und VMs nicht mehr da. Ich habe vorher mit dem VM Backup ein Backup von sämtlichen VM mit der xml gemacht, aber der Pfad /mnt/user/system/libvirt/libvirt.img existiert nicht. Ich hätte diesen Pfad auch in den Pool verschieben sollen. Kann ich die VMs nicht einfach wiederherstellen?

In den Apps / Previous Apps sind sämtliche Apps aufgelistet, die ich vorher verwendet habe, aber um sie wiederherzustellen soll ich sie alle selektieren und dann installieren oder reinstall jeder App durchführen? Ich meine die Settings werden ja dann auch verloren sein, die ich vorher hatte, oder?

Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.