[Guide] Übertragungsmöglichkeiten um Daten vom alten NAS (QNAP, Synology) zum Unraid zu übertragen.

[Asgard]

Hallo Unraid Community

ich bin ganz neu im Unraid Universum und nach meinem ausgiebigen Tests von Unraid habe ich mir die Frage gestellt, wie ich am besten meine Daten vom alten QNAP TS-419 NAS auf mein neuen Unraid Server umziehe...

 

Es gibt mehrere Möglichkeiten um die Daten vom einem NAS auf den neuen Unraid Server rüber zu ziehen. In dieser Anleitung zeige ich im Detail den Weg für den ich mich nach einiger Recherche entschieden habe. Zudem teile ich meine Recherche Ergebnisse, falls eine andere Übertragunsmöglichkeit für euch eher in Betracht kommt.

 

Vorbereitungen:

• NAS: Sicherstellen das am NAS die Netzwerkfreigaben für die Daten vorhanden und der Unraid sind die NAS Freigabe
• NAS & Unraid: Prüfung Netzwerk-Einstellungen (z.b. Jumbo Frames MTU 9000 aktivieren)
  (Tipp: Es lohnt sich hier im Vorfeld ein paar Übertragungstest der Netzwerkgeschwindkeit zu machen)
• Unraid: Array ist erzeugt und die neuen Shares eingerichtet
• Unraid: Ggf Cache und mover temporär deaktivieren, damit die Daten direkt auf die Platten im Array geschrieben werden.
• Unraid: Sinnvolle Plugins installieren:
  • Fix Common Problems 
    --> hilft wenn im Unraid falsche Konfigurationen vorgenommen wurden (z.b. Netzwerk, SMB)
  • Unassigned Devices & Unassigned Devices Plus (Addon)
    --> Nützlich beim Anschluss von externen USB Platten und essenziell zum "mounten" von SMB Freigaben vom NAS
  • Optional: unBALANCE
    --> unterstützt beim Freischaufeln von Plattenplatz am 

 

=============================================================================================================================

 

Welche Übertragungsmöglichkeiten gibt es:

 

Übertragungsoption A) Sicherung vom NAS auf extern angeschlossene USB Platte
Daten werden direkt am NAS auf die dort angeschlossene USB-Platte kopiert, z.b. mit
HypridBackup --> https://www.qnap.com/en/how-to/tutorial/article/creating-an-external-backup-job
Hyper Backup --> https://kb.synology.com/de-de/DSM/tutorial/How_to_back_up_your_data_to_local_shared_folders_or_USB_with_Hyper_Backup
Anschließend wird die USB Platte am Unraid Server angeschlossen (Unassigned Devices Plugin) und die Daten können mit diversen Tools, wie z.b. rsync oder LuckyBackup die Daten rüber auf die Unraid Disks kopieren.

--> Gut beschrieben hier im Forum Thread:

 

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Übertragungsoption B) Daten via PC über die Netzfreigaben von NAS auf Unraid kopieren

Spaceinvader One hat zum Thema eine sehr gute dreiteilige Video Serie gemacht:

Diese Methode ist meines Erachtens sinnvoll bei kleinen Datenmengen im Gb Bereich. Müssen mehrer TBs vom NAS umgezogen werden, so ist das Hauptproble,

Spoiler

 

dass die Daten via Netzwerk über den PC laufen müssen. Zum einem ist dies langsam und zum anderen müssen dann immer drei Geräte an sein (Stromkosten)...Was passiert wenn die Datenverbindung abbricht? Welche Daten sind schon kopiert, welche müssen noch kopiert werden? Diese Möglichkeit sollte daher meiner Meinung nach nur bei kleinen Datenmengen in Erwägung gezogen werden.

 

------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ 

Übertragungsoption C) NAS Freigabe mounten und mit Krusader auf die Disks rüberziehen

In der Unraid GUI erscheint mit dem Unassigned Devices Plugin erscheint die Option 

mit der eine Netzwerkfreigabe vom NAS in Unraid eingebunden/gemounted werden kann.

Mit dem Krusader Docker Plugin

können die Daten von der gemounteten Netzwerkfreigabe auf die die Unraid Disks kopiert werden.
Top aufgezeigt im Video von Spaceinvader One:

Vorteil ist, dass die Krusador Kopier-Aktion direkt zwischen dem NAS und Unraid erfolgt und auch weiterläuft auch wenn ich den eigenen PC ausschalte....Nachteil ist, das bei einem Verbindungsabbruch/Krusador-Fehler wir nicht genau wissen was schon kopiert wurde und was noch kopiert werden muss.
Diese Kopiermethode ist z.b. sinnvoll wenn man Daten vom NAS auf Unraid verschiebt oder es zeitlich nicht kritisch die Daten rüber zu kopieren.
 

------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ 

Übertragungsoption D) NAS Freigabe mounten und im Terminal mittels Rsync die Daten rüberkopieren
Wer rsync noch nicht kennen sollte --> https://wiki.ubuntuusers.de/rsync/

Das schöne an rsync ist, dass sich damit sehr zeiteffizient Verzeichnisse und große Datenmengen synchronisieren lassen. Es werden immer nur die Daten übertragen die notwendig sind. Bricht ein Kopier-Aktion ab, so müssen nicht wieder alle Daten übertagen werden, sondern nur die die noch Fehlenden bzw / sich im Quellverzeichnis geändert haben. Welche Daten dies sind erkennt rsync automatisch anand einer "incremental file list"

 

Vorteile:

• Übertragung findet nur zwischen NAS und Unraid statt (PC kann aus bleiben)
• Kopieraktion kann jederzeit unterbrochen werden

Nachteile:

• Terminal Bedienung ungewohnt für Linux Neulinge
• keine hübsche grafische Benutzeroberfläche

 

 

=============================================================================================================================

 

Mein Übertragunsweg: QNAP Daten zu Unraid

Ich habe mich für mein Szenario für den oben aufgezeigen Übertragunsweg D entscheiden mit einigen kleinen Optimierungen. Im folgenden möchte ich Anhand eines konkreten Beispiels meine Schritte im Detail aufzeigen.

 

Beispiel Szenario: Angenommen wir wollen die Netzwerkfreigabe "bilder" vom alten NAS zu unserm Unraid Server in den Ordner "gallery" auf der Disk1 rüberkopieren.

Schritt 1: NAS Freigabe via Unassigned Devices mounten
In Unraid unter main —> "Add Remote SMB" —> Freigabe "bilder" vom alten NAS  im Unraid "mounten"

 

Schritt 2. Terminal öffnen
Das Terminal Fenster lässt sich in Unraid direkt in der Weboberfläche über den kleinen Button

öffnen.

Ich verwende jedoch meist den direkten Login via SSH

ssh [email protected]

 

Schritt 3: In den ZielOrdner navigieren

In unserem Beispiel ist dies der Ordner "gallery" auf der disk1 wo wir die Daten hinschieben möchten:

cd /mnt/disk1/gallery

 

Schritt 4: Rsync als backgroundprozess  ohne "hang up" anwerfen:

nohup rsync -avh -P -L /mnt/remotes/ALTESNAS_bilder/ /mnt/disk1/gallery &

Legende:

• nohup —> no hang up, bewirkt dass die nachfolgend gestartete anwendung/prozess nicht beendet wird, wenn man sich als user vom terminal ausloggt
• rsync  —> https://wiki.ubuntuusers.de/rsync/ 
  • -avh = archiviert, verbose, human readable
  • -P Progress anzeigen
  • -L bitte Symlinks berücksichtigen
• & —> bewirkt dass der rsync prozess im hintergrund ausgeführt wird. Man kann dann also weiter im selben Terminal session weiterarbeiten.

 

 

Schritt 5.) Überwachen des Fortschritts
In dem Verzeichnis in dem der nohup Befehl aufgerufen wurde wird "nohup.out" Datei angelegt. In dieser nohup.out Datei wird die Ausgabe des Prozesses geschrieben, welcher nach nohub gestartet wurde.  Hier im Beisipel ist dies die sonst Ausgabe vom rsync.
Wir können also nun mittels

tail -f nohup.out

den aktuellen Fortschritt des Kopierens uns anzeigen lassen.

 

Schritt 6) Fertig, warten bis Daten übertragen wurden  

⚠️ Achtung beim Ausloggen! ⚠️
Habt ihr euch mit einem Terminal von einem anderen Desktop Linux Cient am Unraid Server via ssh angemeldet, achtet darauf, dass ihr das Terminal Fenster nicht mit der Maus oben "schließt". Dadurch wird ein "SIGTERM" Befehl an den Server gesendet, der auch unseren via "nohup " gesartetn rsync prozess beendet...
--> Am besten normal mit exit oder str + d die Terminal Session beenden.

 

Schritt 7) Optionale Prüfung
Habt ihr z.b. mehrere solcher rsync prozesse über Nacht laufen, könnt ihr euch jeder zeit  am nächsten Tag nochmal via Terminal im Unraid einloggen und mittels

ps -ef | grep rsync

prüfen ob die vorherigen rsync prozesse noch ausgeführt werden oder ob die Übertragungen schon abgeschlossen sind.


Was für Vorteile hat diese Vorgehensweise?
a) Der eigene PC kann für die weiter Übertragung runtergefahren werden.
a) Die Übertragung findet direkt vom alten NAS zum UNRAID Server statt (in der regel bessere Übertragungsgeschwindigkeit als z.b. kopieren direkt über die SMB Shares)
b) Sollte die Übertragung wegen was auch immer abbrechen (z.b. hat sich bei mir unglücklicherweise das QNAP nachts runtergefahren, weil ich vergessen hatte den Scheduler auszustellen), so macht rsync genau an der Stelle wieder weiter wo er aufgehört hat.

 

Viel Spass mit Unraid

Edited February 5, 2022 by Asgard

[Asgard]

Mit dem Artikel möchte ich auch meinem ganz besondern Dank auch an @mgutt widmen.
Deine Beiträge hier im Forum wie z.b.

als auch die nützlichen Videos wie:

haben mir sehr viel weitergeholfen und letztendlich auch davon überzeugt, statt auf ein neues Synology auf einen eigenen Unraid Server zu wechseln. 

Hab mir (gegen deine Empfehlung) folgenden Unraid Build aufgesetzt:


Mir ist zu Ohren gekommen, dass du gerade nicht viel Zeit für's Unraid Forum hast. 

Wenn es wieder zeitlich passt, bitte euch im Moderator-Team meinen ersten Unraid Community Beitrag kritisch an und ob ich was vergessen oder falsch dargestellt habe.

Wenn der Artikel dann den gewünschten Qualitätsanspruch hat, könnte er unterhalb von
https://forums.unraid.net/forum/98-anleitungenguides/
für Ein- und Umsteiger zu veröffentlicht werden.

 

Ich habe aktuell keine vergleichbare Anleitung auf Deutsch gefunden und selbst eine bisschen gebraucht bis ich die Möglichkeiten und SIGTERM Schwierigkeiten beim Umzugsworkflow für mich gemeistert habe.