Skip to content
View in the app

A better way to browse. Learn more.

Unraid

A full-screen app on your home screen with push notifications, badges and more.

To install this app on iOS and iPadOS
  1. Tap the Share icon in Safari
  2. Scroll the menu and tap Add to Home Screen.
  3. Tap Add in the top-right corner.
To install this app on Android
  1. Tap the 3-dot menu (⋮) in the top-right corner of the browser.
  2. Tap Add to Home screen or Install app.
  3. Confirm by tapping Install.

[Guide] Übertragungsmöglichkeiten um Daten vom alten NAS (QNAP, Synology) zum Unraid zu übertragen.

Featured Replies

Hallo Unraid Community

ich bin ganz neu im Unraid Universum und nach meinem ausgiebigen Tests von Unraid habe ich mir die Frage gestellt, wie ich am besten meine Daten vom alten QNAP TS-419 NAS auf mein neuen Unraid Server umziehe...

 

Es gibt mehrere Möglichkeiten um die Daten vom einem NAS auf den neuen Unraid Server rüber zu ziehen. In dieser Anleitung zeige ich im Detail den Weg für den ich mich nach einiger Recherche entschieden habe. Zudem teile ich meine Recherche Ergebnisse, falls eine andere Übertragunsmöglichkeit für euch eher in Betracht kommt.

 

Vorbereitungen:

  • NAS: Sicherstellen das am NAS die Netzwerkfreigaben für die Daten vorhanden und der Unraid sind die NAS Freigabe
  • NAS & Unraid: Prüfung Netzwerk-Einstellungen (z.b. Jumbo Frames MTU 9000 aktivieren)
    (Tipp: Es lohnt sich hier im Vorfeld ein paar Übertragungstest der Netzwerkgeschwindkeit zu machen)
  • Unraid: Array ist erzeugt und die neuen Shares eingerichtet
  • Unraid: Ggf Cache und mover temporär deaktivieren, damit die Daten direkt auf die Platten im Array geschrieben werden.
  • Unraid: Sinnvolle Plugins installieren:
    • Fix Common Problems 
      --> hilft wenn im Unraid falsche Konfigurationen vorgenommen wurden (z.b. Netzwerk, SMB)
    • Unassigned Devices & Unassigned Devices Plus (Addon)
      --> Nützlich beim Anschluss von externen USB Platten und essenziell zum "mounten" von SMB Freigaben vom NAS
    • Optional: unBALANCE
      --> unterstützt beim Freischaufeln von Plattenplatz am 

 

=============================================================================================================================

 

Welche Übertragungsmöglichkeiten gibt es:

 

Übertragungsoption A) Sicherung vom NAS auf extern angeschlossene USB Platte
Daten werden direkt am NAS auf die dort angeschlossene USB-Platte kopiert, z.b. mit
HypridBackup --> https://www.qnap.com/en/how-to/tutorial/article/creating-an-external-backup-job
Hyper Backup --> https://kb.synology.com/de-de/DSM/tutorial/How_to_back_up_your_data_to_local_shared_folders_or_USB_with_Hyper_Backup
Anschließend wird die USB Platte am Unraid Server angeschlossen (Unassigned Devices Plugin) und die Daten können mit diversen Tools, wie z.b. rsync oder LuckyBackup die Daten rüber auf die Unraid Disks kopieren.

--> Gut beschrieben hier im Forum Thread:

 

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
Übertragungsoption B) Daten via PC über die Netzfreigaben von NAS auf Unraid kopieren

Spaceinvader One hat zum Thema eine sehr gute dreiteilige Video Serie gemacht:


Diese Methode ist meines Erachtens sinnvoll bei kleinen Datenmengen im Gb Bereich. Müssen mehrer TBs vom NAS umgezogen werden, so ist das Hauptproble,

Spoiler

image.thumb.png.78b5b917f55bb197efbda9e27e3bd43c.png

 

dass die Daten via Netzwerk über den PC laufen müssen. Zum einem ist dies langsam und zum anderen müssen dann immer drei Geräte an sein (Stromkosten)...Was passiert wenn die Datenverbindung abbricht? Welche Daten sind schon kopiert, welche müssen noch kopiert werden? Diese Möglichkeit sollte daher meiner Meinung nach nur bei kleinen Datenmengen in Erwägung gezogen werden.

 

------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ 

Übertragungsoption C) NAS Freigabe mounten und mit Krusader auf die Disks rüberziehen

In der Unraid GUI erscheint mit dem Unassigned Devices Plugin erscheint die Option 
image.png.56d12d0ed94f005754acafa7cef2ccca.png
mit der eine Netzwerkfreigabe vom NAS in Unraid eingebunden/gemounted werden kann.

Mit dem Krusader Docker Plugin
image.png.8bb1336eb2b96e3d952b156fb758de1d.png

können die Daten von der gemounteten Netzwerkfreigabe auf die die Unraid Disks kopiert werden.
Top aufgezeigt im Video von Spaceinvader One:


Vorteil ist, dass die Krusador Kopier-Aktion direkt zwischen dem NAS und Unraid erfolgt und auch weiterläuft auch wenn ich den eigenen PC ausschalte....Nachteil ist, das bei einem Verbindungsabbruch/Krusador-Fehler wir nicht genau wissen was schon kopiert wurde und was noch kopiert werden muss.
Diese Kopiermethode ist z.b. sinnvoll wenn man Daten vom NAS auf Unraid verschiebt oder es zeitlich nicht kritisch die Daten rüber zu kopieren.
 

------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ 

Übertragungsoption D) NAS Freigabe mounten und im Terminal mittels Rsync die Daten rüberkopieren
Wer rsync noch nicht kennen sollte --> https://wiki.ubuntuusers.de/rsync/

Das schöne an rsync ist, dass sich damit sehr zeiteffizient Verzeichnisse und große Datenmengen synchronisieren lassen. Es werden immer nur die Daten übertragen die notwendig sind. Bricht ein Kopier-Aktion ab, so müssen nicht wieder alle Daten übertagen werden, sondern nur die die noch Fehlenden bzw / sich im Quellverzeichnis geändert haben. Welche Daten dies sind erkennt rsync automatisch anand einer "incremental file list"

 

Vorteile:

  • Übertragung findet nur zwischen NAS und Unraid statt (PC kann aus bleiben)
  • Kopieraktion kann jederzeit unterbrochen werden


Nachteile:

  • Terminal Bedienung ungewohnt für Linux Neulinge
  • keine hübsche grafische Benutzeroberfläche

 

 

=============================================================================================================================

 

Mein Übertragunsweg: QNAP Daten zu Unraid

Ich habe mich für mein Szenario für den oben aufgezeigen Übertragunsweg D entscheiden mit einigen kleinen Optimierungen. Im folgenden möchte ich Anhand eines konkreten Beispiels meine Schritte im Detail aufzeigen.

 

Beispiel Szenario: Angenommen wir wollen die Netzwerkfreigabe "bilder" vom alten NAS zu unserm Unraid Server in den Ordner "gallery" auf der Disk1 rüberkopieren.

Schritt 1: NAS Freigabe via Unassigned Devices mounten
In Unraid unter main —> "Add Remote SMB" —> Freigabe "bilder" vom alten NAS  im Unraid "mounten"

 

Schritt 2. Terminal öffnen
Das Terminal Fenster lässt sich in Unraid direkt in der Weboberfläche über den kleinen Button

image.png.69987d1ab4fe54d471b5a65c9641cb04.png
öffnen.

Ich verwende jedoch meist den direkten Login via SSH

ssh [email protected]

 

Schritt 3: In den ZielOrdner navigieren

In unserem Beispiel ist dies der Ordner "gallery" auf der disk1 wo wir die Daten hinschieben möchten:

cd /mnt/disk1/gallery

 

Schritt 4: Rsync als backgroundprozess  ohne "hang up" anwerfen:

nohup rsync -avh -P -L /mnt/remotes/ALTESNAS_bilder/ /mnt/disk1/gallery &

Legende:

  • nohup —> no hang up, bewirkt dass die nachfolgend gestartete anwendung/prozess nicht beendet wird, wenn man sich als user vom terminal ausloggt
  • rsync  —> https://wiki.ubuntuusers.de/rsync/ 
    • -avh = archiviert, verbose, human readable
    • -P Progress anzeigen
    • -L bitte Symlinks berücksichtigen
  • & —> bewirkt dass der rsync prozess im hintergrund ausgeführt wird. Man kann dann also weiter im selben Terminal session weiterarbeiten.

 

 

Schritt 5.) Überwachen des Fortschritts
In dem Verzeichnis in dem der nohup Befehl aufgerufen wurde wird "nohup.out" Datei angelegt. In dieser nohup.out Datei wird die Ausgabe des Prozesses geschrieben, welcher nach nohub gestartet wurde.  Hier im Beisipel ist dies die sonst Ausgabe vom rsync.
Wir können also nun mittels

tail -f nohup.out

den aktuellen Fortschritt des Kopierens uns anzeigen lassen.

 

Schritt 6) Fertig, warten bis Daten übertragen wurden :) 

⚠️ Achtung beim Ausloggen! ⚠️
Habt ihr euch mit einem Terminal von einem anderen Desktop Linux Cient am Unraid Server via ssh angemeldet, achtet darauf, dass ihr das Terminal Fenster nicht mit der Maus oben "schließt". Dadurch wird ein "SIGTERM" Befehl an den Server gesendet, der auch unseren via "nohup " gesartetn rsync prozess beendet...
--> Am besten normal mit exit oder str + d die Terminal Session beenden.

 

Schritt 7) Optionale Prüfung
Habt ihr z.b. mehrere solcher rsync prozesse über Nacht laufen, könnt ihr euch jeder zeit  am nächsten Tag nochmal via Terminal im Unraid einloggen und mittels

ps -ef | grep rsync

prüfen ob die vorherigen rsync prozesse noch ausgeführt werden oder ob die Übertragungen schon abgeschlossen sind.


Was für Vorteile hat diese Vorgehensweise?
a) Der eigene PC kann für die weiter Übertragung runtergefahren werden.
a) Die Übertragung findet direkt vom alten NAS zum UNRAID Server statt (in der regel bessere Übertragungsgeschwindigkeit als z.b. kopieren direkt über die SMB Shares)
b) Sollte die Übertragung wegen was auch immer abbrechen (z.b. hat sich bei mir unglücklicherweise das QNAP nachts runtergefahren, weil ich vergessen hatte den Scheduler auszustellen), so macht rsync genau an der Stelle wieder weiter wo er aufgehört hat.

 

Viel Spass mit Unraid ;-)

Edited by Asgard

  • Author

Mit dem Artikel möchte ich auch meinem ganz besondern Dank auch an @mgutt widmen.
Deine Beiträge hier im Forum wie z.b.

als auch die nützlichen Videos wie:

haben mir sehr viel weitergeholfen und letztendlich auch davon überzeugt, statt auf ein neues Synology auf einen eigenen Unraid Server zu wechseln. 

Hab mir (gegen deine Empfehlung) folgenden Unraid Build aufgesetzt:
image.png.73aeeba31e32d528547c08c9295ce3cf.png

Mir ist zu Ohren gekommen, dass du gerade nicht viel Zeit für's Unraid Forum hast. 

Wenn es wieder zeitlich passt, bitte euch im Moderator-Team meinen ersten Unraid Community Beitrag kritisch an und ob ich was vergessen oder falsch dargestellt habe.

Wenn der Artikel dann den gewünschten Qualitätsanspruch hat, könnte er unterhalb von
https://forums.unraid.net/forum/98-anleitungenguides/
für Ein- und Umsteiger zu veröffentlicht werden.

 

Ich habe aktuell keine vergleichbare Anleitung auf Deutsch gefunden und selbst eine bisschen gebraucht bis ich die Möglichkeiten und SIGTERM Schwierigkeiten beim Umzugsworkflow für mich gemeistert habe. 

  • Asgard changed the title to [Guide] Übertragungsmöglichkeiten um Daten vom alten NAS (QNAP, Synology) zum Unraid zu übertragen.
  • 3 years later...

Hallo @Asgard

Vielen Dank für die tolle Anleitung, echt top!

Frage: Ich habe in meinem Array 4 Platten plus eine für die Parität. Meine Datensammlung umfasst knapp 50TB, die Platten haben je 20TB. Kann ich da einfach gleich kopieren auf die erste Platte und wenn die voll ist, schreibt Unraid bzw. rsync weiter auf die 2. Platte?

Oder wie kopiere ich die Datenmenge am besten mit rsync, sodass alles im Array liegt?

Danke und Gruss :)

Wenn du direkt auf eine Disk schreibst dann wird keine andere genutzt. Wenn du auf den Share schreibst dann hängt dort noch Cache und Array hinter wo dann deine Share Settings/Verteilungsmodi greifen.

1 hour ago, oie123b said:

Oder wie kopiere ich die Datenmenge am besten mit rsync, sodass alles im Array liegt?

mehrere Optionen

/mnt/diskN/... schreibt direkt auf disk1, 2, 3, ...

/mnt/pool_x/... schreibt direkt in den pool (cache, sonstiger pool, ...)

/mnt/user/... schreibt auf den Share je nach Einstellung (inkl. cache pool wenn eingerichtet, usw ... nach Fill Regel)

/mnt/user0/... schreibt auf den Share je nach Einstellung, aber OHNE cache pool davor ... direkt auf die array disks im Normalfall

wenn man jetzt groß befüllt, am einfachsten /mnt/user0/Sharename_here nehmen, dann geht es zwar langsamer, aber direkt ins Array ohne den Uweg über einen pool, sofern einer davor geschaltet wäre ...

23 hours ago, alturismo said:

mehrere Optionen

/mnt/diskN/... schreibt direkt auf disk1, 2, 3, ...

/mnt/pool_x/... schreibt direkt in den pool (cache, sonstiger pool, ...)

/mnt/user/... schreibt auf den Share je nach Einstellung (inkl. cache pool wenn eingerichtet, usw ... nach Fill Regel)

/mnt/user0/... schreibt auf den Share je nach Einstellung, aber OHNE cache pool davor ... direkt auf die array disks im Normalfall

wenn man jetzt groß befüllt, am einfachsten /mnt/user0/Sharename_here nehmen, dann geht es zwar langsamer, aber direkt ins Array ohne den Uweg über einen pool, sofern einer davor geschaltet wäre ...

vielen dank für die erklärung :)


stimmt meine überlegung so?

  1. ssh root@(mein unraid nas).local

  2. cd /mnt/(mein filmordner)

  3. nohup rsync -avh -P -L /mnt/remotes/(qnap_nas)/(filmordner auf qnap)/ /mnt/user0/(filmordner auf unraid) &

und vielleicht kannst du mir das mit dem cache erklären: ist der nur für das array zuständig, oder kann ich den auch für die poolplatten benutzen? ich habe ein array für meine filmsammlung und eine pool hdd für die daten. der cache ist eine 1tb nvme ssd (pool als cache benannt). brauch ich dazu eine spezielle app oder muss ich was speziell einrichten? leider werde ich aus den beiträgen im forum nicht schlau (oder ich bin einfach (noch) zu doof).

vielen dank im voraus

1 hour ago, oie123b said:

ist der nur für das array zuständig, oder kann ich den auch für die poolplatten benutzen?

ein cache ist an sich nichts anderes wie ein pool, single oder multi ...

welcher auch per FUSE dann zu einem Array oder anderen pool zugeordnet wird.

wird "cache" genannt weil es per so gedacht war/ist

1/ schneller ssd "cache" pool für 1. Empfang

2/ langsamere HDD's im Array dahinter

mover schiebt je nach Setting von SSD > HDD, Vorteile, schnellere Transfers, weniger spinups, usw usw ...

man kann jetzt beispielsweise

nvme/ssd pool (oder single) erstellen, Name egal ;) ob der cache oder schnelle_ssd heißt ist egal

dann habe ich entweder ein array ODER einen anderen Poolname

dann definiere ich pro Share, primary > secondary

primary "cache" > secondary "array" ODER "Poolname"

neue Daten landen dann auf primary (normal, schnelle ssd), werden dann vom mover verschoben auf secondary (normal hdd array oder pool), aber es kann alles sein was auch immer du willst, musst nur für dich definieren was du erreichen willst usw ...

und ja, wenn du 2 nvme ssd pools hast und 1 HDD Array und 1 HDD pool, kannst da auch

cache1_pool > array

cache2_pool > hdd_pool

oder mit 1 cache ssd pool auch

cache_pool > hdd_array

cache_pool > hdd_pool

das bestimmen die Share settings ;)

habe das nun mal versucht mit den daten. die filme folgen, sobald ich alles verstehe, nicht, dass ich da zig mal neu anfangen und probieren muss, vorallem bei den grössen.

herzlichen dank für die tolle unterstützung und die erklärungen. bin noch neu bei unraid und lerne derzeit sehr viel :)

so macht das echt spass :-D

Wieso packst du die HDD nicht mit ins Array?

Dann hast du nur den Cache als schnellen Pool und alle HDDs/Daten durch die Parity Disk/s im Array geschützt.

Den Cache kannst du mit bspw. zwei identischen Platten und entsprechender Einstellung sowie Dateisystem ebenfalls absichern/spiegeln. Bei Bedarf gerne mehr Details. Deine derzeitige Konfiguration/Hardware wäre dann hilfreich.

Edited by Revan335

6 hours ago, oie123b said:

so macht das echt spass :-D

klar, ab jetzt bitte einen separaten Thread öffnen im normal deutschen Teil, nicht weiter hier unter der Anleitung, Danke ;)

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

Account

Navigation

Search

Search

Configure browser push notifications

Chrome (Android)
  1. Tap the lock icon next to the address bar.
  2. Tap Permissions → Notifications.
  3. Adjust your preference.
Chrome (Desktop)
  1. Click the padlock icon in the address bar.
  2. Select Site settings.
  3. Find Notifications and adjust your preference.