monarc Posted April 27, 2021 Posted April 27, 2021 Hallo zusammen, ich bin aktuell auf der Suche nach einer geeigneten Backupmöglichkeit. Mein Ziel ist es jede Nacht ein Backup meiner (wichtigen) Shares auf eine externe Festplatte (UAD) zuschreiben, zusätzlichen landen hier auch noch die Backups von Appdata, USB Stick etc. Am Ende der Woche soll dann ein Backup auf ein Synology NAS geschrieben. Alle Backups sollen inkrementell erfolgen und nicht komprimiert werden. Im Problemfall soll es möglich sein, die Daten einfach am Backuport lesen zu können oder problemlos mittels kopieren wiederhergestellt werden können. Hat hier jemand eine Idee, einen Vorschlag!? Vielen Dank im Voraus. Gruß, Marc Quote
Zip Posted April 27, 2021 Posted April 27, 2021 Ein sehr simple aber gute Lösung wäre das Script von @mgutt Quote
Dr.NAS Posted April 27, 2021 Posted April 27, 2021 Das Script habe ich auch seit ein paar Tagen im Einsatz und es funktioniert sehr gut! Ich musste mich zwar etwas damit beschäftigen, aber wenn man es grob verstanden hat, kann man kleinere Anpassungen selbst vornehmen. Quote
monarc Posted April 27, 2021 Author Posted April 27, 2021 (edited) Danke für die schnellen Rückmeldungen. Das Skript kenne ich schon, hat mich aber auf den ersten Blick immer ein bisschen abgeschreckt. Muss ich quasi nur den Settings Part auf meine Gegebenheiten anpassen? # ######### Settings ################## source_paths=( "/mnt/user/Music" "/mnt/user/Photos" ) backup_path="/mnt/user/Backup" days=14 # preserve backups of the last X days months=12 # preserve backups of the first day of the last X month years=3 # preserve backups of the first january of the last X years fails=3 # preserve the recent X failed backups notification=0 skip_errors=(0 24) # https://linux.die.net/man/1/rsync#:~:text=Exit%20Values skip_suberrors=('hostdown', 'wrongsource') # hostdown = "Host is down (112)", wrongsource = "No such file or directory (2)" permission_error_treshold=20 # ##################################### Muss bei skip_errors und skip_suberrors noch was eingestellt werden? Wie mache ich das denn in Richtung Synology NAS? Btrfs ist zwingend notwendig für die Hardlinks, korrekt? Edited April 27, 2021 by monarc Quote
Dr.NAS Posted April 27, 2021 Posted April 27, 2021 Ja, ich habe nur die Settings angepasst und weiter unten noch die Notify - Meldungen verändert. Ich sichere mit dem Script nur intern, daher kann ich zur Synology nichts sagen. Am besten du spielst das ganze mit ein paar Testdaten durch. Quote
MPHxLegend Posted April 27, 2021 Posted April 27, 2021 7 hours ago, monarc said: backup_path="/mnt/user/Backup" UAD Path backup_path="/mnt/disks/nameofuad" Wäre der Pfad für eine externe Platte über UAD richtig? Quote
jj1987 Posted April 27, 2021 Posted April 27, 2021 7 minutes ago, MPHxLegend said: Wäre der Pfad für eine externe Platte über UAD richtig? Sollte so passen. Theoretisch kannst du über UAD ja auch z.B. SMB Freigaben einbinden. Eventuell könnte man dann so auch die Synology nutzen? Hab ich selber aber noch nicht gemacht. Vielleicht kann @mguttdazu noch was sagen?! Quote
mgutt Posted April 28, 2021 Posted April 28, 2021 12 hours ago, MPHxLegend said: Wäre der Pfad für eine externe Platte über UAD richtig? Ja. Der Pfad steht ja da, wenn du auf die gemountete Partition klickst bzw auch wenn man drüber schwebt sieht man es im Link. Hier ein Beispiel an Hand meiner USB Platte: 12 hours ago, jj1987 said: Theoretisch kannst du über UAD ja auch z.B. SMB Freigaben einbinden. Korrekt. Auch das geht. Ich sichere zB alle meine Windows PCs auf die Art. Ich habe auf den PCs Ordner lesend freigegeben, mounte sie über UAD und sichere dann den Pfad: Quote
monarc Posted April 28, 2021 Author Posted April 28, 2021 Geht auch der andere Weg ohne Probleme, also SMB Share unter UAD einrichten und diesen dann als Backup Ziel definieren? Das Filesystem vom Backup Ziel muss dann nur btrfs formatiert sein, damit das mit den Hardlinks und somit den inkrementellen Backups funktioniert, korrekt? Quote
mgutt Posted April 28, 2021 Posted April 28, 2021 36 minutes ago, monarc said: Das Filesystem vom Backup Ziel muss dann nur btrfs formatiert sein, damit das mit den Hardlinks und somit den inkrementellen Backups funktioniert, korrekt? Ich habe nicht alle getestet, aber ich denke alles aus FAT geht. Wobei ich nicht weiß ob einzelne Dateisysteme vielleicht über die Zeit langsamer werden. NTFS soll ja zB mit sehr vielen Hardlinks nicht so gut klar kommen. Quote
monarc Posted April 28, 2021 Author Posted April 28, 2021 (edited) Okay, spricht denn irgendetwas gegen die Nutzung von btrfs? Hast du zufällig mal geschaut wie schnell der Kopier- bzw. Backupvorgang von statten geht, also die tatsächliche Geschwindigkeit, wird diese eher durch das Netzwerk und die Speichermedien bestimmt oder spielt die Mackupmethode hier tatsächlich eine Rolle? Ich mein es wird ja nichts komprimiert oder ähnliches. Hab aber trotzdem mal irgendwo gelesen, das rsync relativ langsam sein soll!? Edited April 28, 2021 by monarc Quote
mgutt Posted April 28, 2021 Posted April 28, 2021 10 hours ago, monarc said: Hab aber trotzdem mal irgendwo gelesen, das rsync relativ langsam sein soll!? Das wäre mir neu. SMB ist durchaus mal lahm, aber rsync sicher nicht. Gegen btrfs spricht nichts, solange man nach einer harten Abschaltung oder Stromausfall einen Scrub macht. XFS ist mein Favorit, da nicht anfällig bei Stromausfall etc. Die Performance ist auch super, da es kein Copy on Write Dateisystem ist. Quote
MPHxLegend Posted April 28, 2021 Posted April 28, 2021 (edited) 12 hours ago, mgutt said: Ja. Der Pfad steht ja da, wenn du auf die gemountete Partition klickst bzw auch wenn man drüber schwebt sieht man es im Link. Hier ein Beispiel an Hand meiner USB Platte: 1) Die Zielplatte muss/sollte in XFS formatiert sein? 2) Wenn ich die Backups erstellt habe und diese wieder zurück *kopieren/ersetzten* will, sehe ich mittels Krusader die Dateien auf der externen HDD nicht, wo ist da mein Fehler? Edited April 28, 2021 by MPHxLegend Quote
mgutt Posted April 28, 2021 Posted April 28, 2021 10 minutes ago, MPHxLegend said: sehe ich mittels Krusader die Dateien auf der externen HDD nicht, wo ist da mein Fehler? Du musst den Container Pfad von Read Write denke ich auf Slave umstellen: https://forums.unraid.net/topic/57181-docker-faq/#comment-564314 Quote
MPHxLegend Posted April 28, 2021 Posted April 28, 2021 1 hour ago, mgutt said: Du musst den Container Pfad von Read Write denke ich auf Slave umstellen: https://forums.unraid.net/topic/57181-docker-faq/#comment-564314 Wie stelle ich ein Backup wieder richtig her? Die fehlenden Shares/Dateien einfach von der BackupHDD auf das Array schieben? Quote
monarc Posted April 28, 2021 Author Posted April 28, 2021 1 hour ago, mgutt said: XFS ist mein Favorit, da nicht anfällig bei Stromausfall etc. Die Performance ist auch super, da es kein Copy on Write Dateisystem ist. Hmm, dann hab ich irgendwo wohl was falsch verstanden, dachte man MUSS btrfs verwenden wegen der Hardlinks und lediglich NTFS wäre unter Umständen eine Option. Bedeutet also mit XFS auf dem Zieldatenträger kann man das Skript auch im vollen Umfang nutzen? Quote
mgutt Posted April 28, 2021 Posted April 28, 2021 Wie gesagt geht alles außer FAT. Also ext4 wird genauso gehen. Können ja alle Hardlinks. Quote
mgutt Posted April 28, 2021 Posted April 28, 2021 3 hours ago, MPHxLegend said: Die fehlenden Shares/Dateien einfach von der BackupHDD auf das Array schieben? Genau. Jedes Backup enthält ja ein volles Backup aller Dateien. Quote
monarc Posted April 29, 2021 Author Posted April 29, 2021 9 hours ago, mgutt said: Wie gesagt geht alles außer FAT. Also ext4 wird genauso gehen. Können ja alle Hardlinks. Perfekt, dann ist ja alles super und das Testen kann beginnen. Mal schauen welche Fragen sich dann noch auftun. Vielen Dank für die schnellen Rückmeldungen. Quote
MPHxLegend Posted April 30, 2021 Posted April 30, 2021 @mgutt was müsste ich im Script hinzufügen, damit ich benachrichtigt werde per Agents, dass das Script fertig ist? Quote
mgutt Posted April 30, 2021 Posted April 30, 2021 45 minutes ago, MPHxLegend said: benachrichtigt werde per Agents Sollte gehen, wenn du die 0 gegen 1 ersetzt: notification=0 Quote
monarc Posted May 3, 2021 Author Posted May 3, 2021 (edited) Moin, irgendwie läuft es noch nicht so ganz rund. Mein Synology läuft gut voll, beudetet folgends, dass keine Hardlinks erstellt werden sondern bei jedem Backup die vollen Daten transferiert und geschrieben werden? root@Unraid:/mnt/remotes/NAS_Backups/Shares/Familie# du -d1 -h 6.4G ./20210503_065830 15M ./logs 6.4G ./20210430_182857 6.4G ./20210430_145322 20G . Wobei in den Logs das folgende steht. reate backup of /mnt/user/Familie Backup path has been set to /mnt/remotes/NAS_Backups/Shares/Familie Create incremental backup 20210503_065830 by using last backup 20210430_182857 sending incremental file list Familie/Neues Textdokument.txt Familie/test.txt Familie/Weltkarte_Kinder_Blue-Grey/ Familie/Weltkarte_Kinder_Blue-Grey/110x80.png Familie/Weltkarte_Kinder_Blue-Grey/110x80.xcf Familie/Weltkarte_Kinder_Blue-Grey/World Map BlueGrey 100x150.jpg Familie/Weltkarte_Kinder_Blue-Grey/World Map BlueGrey 150x200.jpg Familie/Weltkarte_Kinder_Blue-Grey/World Map BlueGrey 36x48.jpg Familie/Weltkarte_Kinder_Blue-Grey/World Map BlueGrey 70x100.jpg Familie/Weltkarte_Kinder_Blue-Grey/World Map BlueGrey A0.jpg Familie/Weltkarte_Kinder_Blue-Grey/WorldMapBlueGrey-LargeSizes.pdf Number of files: 1,429 (reg: 1,324, dir: 105) Number of created files: 0 Number of deleted files: 0 Number of regular files transferred: 0 Total file size: 6,812,995,976 bytes Total transferred file size: 0 bytes Literal data: 0 bytes Matched data: 0 bytes File list size: 0 File list generation time: 0.001 seconds File list transfer time: 0.000 seconds Total bytes sent: 38,905 Total bytes received: 167 sent 38,905 bytes received 167 bytes 427.02 bytes/sec total size is 6,812,995,976 speedup is 174,370.29 Make backup visible Clean up old backups Preserve daily backup: 20210503_065830 Preserve daily backup: 20210430_182857 Keep multiple backups per day: 20210430_145322 Auf meiner externen HDD sieht es denk ich ganz gut aus. So, würde ich zumindest erwarten. root@Unraid:/mnt/disks/Intenso_External_USB_3.0/backup_unraid_shares/Shares/Familie# du -d1 -h 15M ./logs 6.4G ./20210430_000509 112K ./20210501_000507 112K ./20210503_010513 6.4G . Im Synology werkelt ein Raid Verbund aus 2 Festplatten welche ext4 formatiert sind. Der freigegebene Ordner ist auf dem Synology verschlüsselt. Eingebunden in Unraid ist das ganze mittels SMB mount unter UAD. Edited May 3, 2021 by monarc Quote
monarc Posted May 6, 2021 Author Posted May 6, 2021 Mal ganz generell gefragt, sollten Hardlinks (und somit das Skript) bei verschlüsselten Zielmedien funktionieren oder sind hier Probleme zu erwarten? Quote
mgutt Posted May 6, 2021 Posted May 6, 2021 On 5/3/2021 at 9:06 AM, monarc said: Mein Synology läuft gut voll, beudetet folgends, dass keine Hardlinks erstellt werden sondern bei jedem Backup die vollen Daten transferiert und geschrieben werden? Sind auf der Syno die Unix Extensions deaktiviert? https://www.samba.org/samba/docs/current/man-html/smb.conf.5.html#UNIXEXTENSIONS Quote These extensions enable Samba to better serve UNIX CIFS clients by supporting features such as symbolic links, hard links, etc... 13 minutes ago, monarc said: sollten Hardlinks (und somit das Skript) bei verschlüsselten Zielmedien funktionieren Vom Prinzip sollte das gehen. zB ist ja LUKS ein Dateisystem unterhalb von zB XFS. Dh oben liegt das ganz normale XFS (oder ext4) und kann dann entsprechend auch Hardlinks. Wenn es allerdings was anderes spezielles ist, könnte es da Probleme geben. Da hilft nur testen. Und bitte Feedback geben, damit es andere auch erfahren. Quote
monarc Posted May 6, 2021 Author Posted May 6, 2021 (edited) @mgutt das mit den Unix Extensions ist ein guter Punkt, scheint bei Synology deaktiviert zu sein. Ich versuche das mal zu klären ob man das bedenkenlos aktivieren kann. Über die GUI geht es schonmal nicht.... 😒 Edited May 6, 2021 by monarc Quote
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.