Backuplösung


38 posts in this topic Last Reply

Recommended Posts

Hallo zusammen,

 

ich bin aktuell auf der Suche nach einer geeigneten Backupmöglichkeit. Mein Ziel ist es jede Nacht ein Backup meiner (wichtigen) Shares auf eine externe Festplatte (UAD) zuschreiben, zusätzlichen landen hier auch noch die Backups von Appdata, USB Stick etc. Am Ende der Woche soll dann ein Backup auf ein Synology NAS geschrieben. Alle Backups sollen inkrementell erfolgen und nicht komprimiert werden. Im Problemfall soll es möglich sein, die Daten einfach am Backuport lesen zu können oder problemlos mittels kopieren wiederhergestellt werden können.

 

Hat hier jemand eine Idee, einen Vorschlag!? Vielen Dank im Voraus.

 

Gruß,

Marc

 

 

Link to post

Das Script habe ich auch seit ein paar Tagen im Einsatz und es funktioniert sehr gut!

Ich musste mich zwar etwas damit beschäftigen, aber wenn man es grob verstanden hat, kann man kleinere Anpassungen selbst vornehmen.

Link to post
Posted (edited)

Danke für die schnellen Rückmeldungen. Das Skript kenne ich schon, hat mich aber auf den ersten Blick immer ein bisschen abgeschreckt. 

 

Muss ich quasi nur den Settings Part auf meine Gegebenheiten anpassen?

 

# ######### Settings ##################
source_paths=(
    "/mnt/user/Music"
    "/mnt/user/Photos"
)
backup_path="/mnt/user/Backup"
days=14 # preserve backups of the last X days
months=12 # preserve backups of the first day of the last X month
years=3 # preserve backups of the first january of the last X years
fails=3 # preserve the recent X failed backups
notification=0
skip_errors=(0 24) # https://linux.die.net/man/1/rsync#:~:text=Exit%20Values
skip_suberrors=('hostdown', 'wrongsource') # hostdown = "Host is down (112)", wrongsource = "No such file or directory (2)"
permission_error_treshold=20
# #####################################

 

Muss bei skip_errors und skip_suberrors noch was eingestellt werden? 

 

Wie mache ich das denn in Richtung Synology NAS? Btrfs ist zwingend notwendig für die Hardlinks, korrekt?

Edited by monarc
Link to post

Ja, ich habe nur die Settings angepasst und weiter unten noch die Notify - Meldungen verändert.

Ich sichere mit dem Script nur intern, daher kann ich zur Synology nichts sagen.

 

Am besten du spielst das ganze mit ein paar Testdaten durch. 

Link to post
7 minutes ago, MPHxLegend said:

Wäre der Pfad für eine externe Platte über UAD richtig?

Sollte so passen. Theoretisch kannst du über UAD ja auch z.B. SMB Freigaben einbinden. Eventuell könnte man dann so auch die Synology nutzen? Hab ich selber aber noch nicht gemacht. Vielleicht kann @mguttdazu noch was sagen?!

Link to post
12 hours ago, MPHxLegend said:

Wäre der Pfad für eine externe Platte über UAD richtig?

Ja. Der Pfad steht ja da, wenn du auf die gemountete Partition klickst bzw auch wenn man drüber schwebt sieht man es im Link. Hier ein Beispiel an Hand meiner USB Platte:

1121860742_2021-04-2809_03_54.png.a3f9d23e5112704507ab8554885b409b.png

 

12 hours ago, jj1987 said:

Theoretisch kannst du über UAD ja auch z.B. SMB Freigaben einbinden.

Korrekt. Auch das geht. Ich sichere zB alle meine Windows PCs auf die Art. Ich habe auf den PCs Ordner lesend freigegeben, mounte sie über UAD und sichere dann den Pfad:

1782352434_2021-04-2809_06_46.png.25191352617cf89aa94f4cf3dc57bc8a.png

Link to post

Geht auch der andere Weg ohne Probleme, also SMB Share unter UAD einrichten und diesen dann als Backup Ziel definieren? Das Filesystem vom Backup Ziel muss dann nur btrfs formatiert sein, damit das mit den Hardlinks und somit den inkrementellen Backups funktioniert, korrekt?

Link to post
36 minutes ago, monarc said:

Das Filesystem vom Backup Ziel muss dann nur btrfs formatiert sein, damit das mit den Hardlinks und somit den inkrementellen Backups funktioniert, korrekt?

Ich habe nicht alle getestet, aber ich denke alles aus FAT geht. Wobei ich nicht weiß ob einzelne Dateisysteme vielleicht über die Zeit langsamer werden. NTFS soll ja zB mit sehr vielen Hardlinks nicht so gut klar kommen.

Link to post
Posted (edited)

Okay, spricht denn irgendetwas gegen die Nutzung von btrfs? Hast du zufällig mal geschaut wie schnell der Kopier- bzw. Backupvorgang von statten geht, also die tatsächliche Geschwindigkeit, wird diese eher durch das Netzwerk und die Speichermedien bestimmt oder spielt die Mackupmethode hier tatsächlich eine Rolle? Ich mein es wird ja nichts komprimiert oder ähnliches. Hab aber trotzdem mal irgendwo gelesen, das rsync relativ langsam sein soll!?

Edited by monarc
Link to post
10 hours ago, monarc said:

Hab aber trotzdem mal irgendwo gelesen, das rsync relativ langsam sein soll!?

Das wäre mir neu. SMB ist durchaus mal lahm, aber rsync sicher nicht.

 

Gegen btrfs spricht nichts, solange man nach einer harten Abschaltung oder Stromausfall einen Scrub macht.

 

XFS ist mein Favorit, da nicht anfällig bei Stromausfall etc. Die Performance ist auch super, da es kein Copy on Write Dateisystem ist.

Link to post
12 hours ago, mgutt said:

Ja. Der Pfad steht ja da, wenn du auf die gemountete Partition klickst bzw auch wenn man drüber schwebt sieht man es im Link. Hier ein Beispiel an Hand meiner USB Platte:

1121860742_2021-04-2809_03_54.png.a3f9d23e5112704507ab8554885b409b.png

1) Die Zielplatte muss/sollte in XFS formatiert sein? 

2) Wenn ich die Backups erstellt habe und diese wieder zurück *kopieren/ersetzten* will, sehe ich mittels Krusader die Dateien auf der externen HDD nicht, wo ist da mein Fehler?

Edited by MPHxLegend
Link to post
1 hour ago, mgutt said:

XFS ist mein Favorit, da nicht anfällig bei Stromausfall etc. Die Performance ist auch super, da es kein Copy on Write Dateisystem ist.

 

Hmm, dann hab ich irgendwo wohl was falsch verstanden, dachte man MUSS btrfs verwenden wegen der Hardlinks und lediglich NTFS wäre unter Umständen eine Option.

 

Bedeutet also mit XFS auf dem Zieldatenträger kann man das Skript auch im vollen Umfang nutzen?

Link to post
3 hours ago, MPHxLegend said:

Die fehlenden Shares/Dateien einfach von der BackupHDD auf das Array schieben? 

Genau. Jedes Backup enthält ja ein volles Backup aller Dateien.

Link to post
9 hours ago, mgutt said:

Wie gesagt geht alles außer FAT. Also ext4 wird genauso gehen. Können ja alle Hardlinks.

 

Perfekt, dann ist ja alles super und das Testen kann beginnen. Mal schauen welche Fragen sich dann noch auftun.

 

Vielen Dank für die schnellen Rückmeldungen.

Link to post
Posted (edited)

Moin, irgendwie läuft es noch nicht so ganz rund.

 

Mein Synology läuft gut voll, beudetet folgends, dass keine Hardlinks erstellt werden sondern bei jedem Backup die vollen Daten transferiert und geschrieben werden?

 

root@Unraid:/mnt/remotes/NAS_Backups/Shares/Familie# du -d1 -h
6.4G    ./20210503_065830
15M     ./logs
6.4G    ./20210430_182857
6.4G    ./20210430_145322
20G     .

 

 

Wobei in den Logs das folgende steht.

 

reate backup of /mnt/user/Familie
Backup path has been set to /mnt/remotes/NAS_Backups/Shares/Familie
Create incremental backup 20210503_065830 by using last backup 20210430_182857
sending incremental file list
Familie/Neues Textdokument.txt
Familie/test.txt
Familie/Weltkarte_Kinder_Blue-Grey/
Familie/Weltkarte_Kinder_Blue-Grey/110x80.png
Familie/Weltkarte_Kinder_Blue-Grey/110x80.xcf
Familie/Weltkarte_Kinder_Blue-Grey/World Map BlueGrey 100x150.jpg
Familie/Weltkarte_Kinder_Blue-Grey/World Map BlueGrey 150x200.jpg
Familie/Weltkarte_Kinder_Blue-Grey/World Map BlueGrey 36x48.jpg
Familie/Weltkarte_Kinder_Blue-Grey/World Map BlueGrey 70x100.jpg
Familie/Weltkarte_Kinder_Blue-Grey/World Map BlueGrey A0.jpg
Familie/Weltkarte_Kinder_Blue-Grey/WorldMapBlueGrey-LargeSizes.pdf

Number of files: 1,429 (reg: 1,324, dir: 105)
Number of created files: 0
Number of deleted files: 0
Number of regular files transferred: 0
Total file size: 6,812,995,976 bytes
Total transferred file size: 0 bytes
Literal data: 0 bytes
Matched data: 0 bytes
File list size: 0
File list generation time: 0.001 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 38,905
Total bytes received: 167

sent 38,905 bytes  received 167 bytes  427.02 bytes/sec
total size is 6,812,995,976  speedup is 174,370.29
Make backup visible

Clean up old backups
Preserve daily backup: 20210503_065830
Preserve daily backup: 20210430_182857
Keep multiple backups per day: 20210430_145322

 

 

Auf meiner externen HDD sieht es denk ich ganz gut aus. So, würde ich zumindest erwarten.

 

root@Unraid:/mnt/disks/Intenso_External_USB_3.0/backup_unraid_shares/Shares/Familie# du -d1 -h
15M     ./logs
6.4G    ./20210430_000509
112K    ./20210501_000507
112K    ./20210503_010513
6.4G    .

 

Im Synology werkelt ein Raid Verbund aus 2 Festplatten welche ext4 formatiert sind. Der freigegebene Ordner ist auf dem Synology verschlüsselt. Eingebunden in Unraid ist das ganze mittels SMB mount unter UAD.

Edited by monarc
Link to post

Mal ganz generell gefragt, sollten Hardlinks (und somit das Skript) bei verschlüsselten Zielmedien funktionieren oder sind hier Probleme zu erwarten?

Link to post
On 5/3/2021 at 9:06 AM, monarc said:

Mein Synology läuft gut voll, beudetet folgends, dass keine Hardlinks erstellt werden sondern bei jedem Backup die vollen Daten transferiert und geschrieben werden?

Sind auf der Syno die Unix Extensions deaktiviert?

https://www.samba.org/samba/docs/current/man-html/smb.conf.5.html#UNIXEXTENSIONS

Quote

 

These extensions enable Samba to better serve UNIX CIFS clients by supporting features such as symbolic links, hard links, etc...

 

 

13 minutes ago, monarc said:

sollten Hardlinks (und somit das Skript) bei verschlüsselten Zielmedien funktionieren

 

Vom Prinzip sollte das gehen. zB ist ja LUKS ein Dateisystem unterhalb von zB XFS. Dh oben liegt das ganz normale XFS (oder ext4) und kann dann entsprechend auch Hardlinks. Wenn es allerdings was anderes spezielles ist, könnte es da Probleme geben. Da hilft nur testen. Und bitte Feedback geben, damit es andere auch erfahren.

 

Link to post
Posted (edited)

@mgutt das mit den Unix Extensions ist ein guter Punkt, scheint bei Synology deaktiviert zu sein. Ich versuche das mal zu klären ob man das bedenkenlos aktivieren kann.

 

Über die GUI geht es schonmal nicht.... 😒

Edited by monarc
Link to post

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.