Backup vom kompletten System?


Zip

Recommended Posts

2 hours ago, mgutt said:

Trotzdem bleibt es aber inkrementell.

Das ist mir klar, aber ich hatte das so verstanden das seine vorherigen Backups sich nicht löschen.

Das würde an der Einstellung liegen, das er die Backups von den letzten X Tagen behält.

Wenn er dann den Hauptordner prüft, dann hat er anstatt 501 GB -> 1 TB bei zwei Backups und 1,5 TB bei drei Backups.

Link to comment
18 minutes ago, i-B4se said:

Wenn er dann den Hauptordner prüft, dann hat er anstatt 501 GB -> 1 TB bei zwei Backups und 1,5 TB bei drei Backups.

Ach ja. Sollte man natürlich auch erwähnen, dass wenn man mit klassischen Tools die Größe der Ordner prüft, diese meistens 1,5TB ausgeben, auch wenn nur 500 GB belegt sind. Daher muss man zB in Linux bei den Kommandos extra angeben, dass Hardlinks nicht mitgezählt werden sollen:

https://unix.stackexchange.com/questions/118203/how-to-get-folder-size-ignoring-hard-links

 

Also zum Beispiel so:

du -hc --max-depth=0 /mnt/disk7/Backup/Shares/Music/* | sort -k2
168G    /mnt/disk7/Backup/Shares/Music/20200701_044011
4.2G    /mnt/disk7/Backup/Shares/Music/20200801_044013
3.8M    /mnt/disk7/Backup/Shares/Music/20200901_044013
3.8M    /mnt/disk7/Backup/Shares/Music/20201001_044014
3.8M    /mnt/disk7/Backup/Shares/Music/20201101_044004
123M    /mnt/disk7/Backup/Shares/Music/20201201_052124
3.8M    /mnt/disk7/Backup/Shares/Music/20210101_053119
1.1G    /mnt/disk7/Backup/Shares/Music/20210201_051821
3.8M    /mnt/disk7/Backup/Shares/Music/20210301_052604
3.8M    /mnt/disk7/Backup/Shares/Music/20210601_001522
3.8M    /mnt/disk7/Backup/Shares/Music/20210601_051217
3.8M    /mnt/disk7/Backup/Shares/Music/20210628_054552
3.8M    /mnt/disk7/Backup/Shares/Music/20210629_053630
3.8M    /mnt/disk7/Backup/Shares/Music/20210630_054752
3.8M    /mnt/disk7/Backup/Shares/Music/20210701_053205
3.8M    /mnt/disk7/Backup/Shares/Music/20210702_054926
3.8M    /mnt/disk7/Backup/Shares/Music/20210703_054433
3.8M    /mnt/disk7/Backup/Shares/Music/20210704_065149
3.8M    /mnt/disk7/Backup/Shares/Music/20210705_072654
3.8M    /mnt/disk7/Backup/Shares/Music/20210706_054817
3.8M    /mnt/disk7/Backup/Shares/Music/20210707_055007
3.8M    /mnt/disk7/Backup/Shares/Music/20210708_054606
598M    /mnt/disk7/Backup/Shares/Music/20210709_054748
3.8M    /mnt/disk7/Backup/Shares/Music/20210710_054739
3.8M    /mnt/disk7/Backup/Shares/Music/20210711_054759
3.8M    /mnt/disk7/Backup/Shares/Music/20210712_054921
119M    /mnt/disk7/Backup/Shares/Music/logs

 

 

 

 

Link to comment

Das meinte ich damit quasi. Das war etwas ungünstig von mir erklärt. Das hatte mich nämlich am Anfang auch etwas verwirrt.

Wenn man die Backups nicht löscht oder gelöscht werden und dann per Windows-Explorer, WinSCP etc. die Größe checkt, wundert man sich erstmal.

  • Like 1
Link to comment
  • 3 weeks later...

Hallo zusammen,

 

ich schließe mich hier dem Thema "BACKUP VOM KOMPLETTEN SYSTEM?" noch mal an, da es ganz gut passt.

 

Danke für eure Antworten bezüglich des rsync Scripts von @mgutt. In der Tat waren die beiden Platten als exFAT formatiert. Daher hat es mit den Hardlinks nicht funktioniert. Ich habe mir persönlich nun überlegt, folgende Strategie zu fahren. Ich freue mich aber über Verbesserungsvorschläge und weitere Tipps:

 

Da ich noch eine Synology DS 716+II habe, welche vor unRaid als mein Haupt-NAS im Einsatz war, würde ich zukünftig die Backups von unRaid per rsync Script auf die DS sichern. Ich denke es macht mehr Sinn, als alles auf externe Festplatten zu speichern, die am unRaid Server per USB angeschlossen sind. Dazu würde ich das NAS per SMB in unRaid über das unassigned devices Plugin mounten. Spricht etwas dagegen (Performance, Geschwindigkeit, Sicherheit etc.) oder gibt es da bessere Vorgehensweisen?

 

Auf meinem unRaid Server speichere ich auch meine Blu-rays, Musik und Hörbücher. Da die Datenmenge hier irgendwan (bisher ca. 4 TB) einige Terrabyte erreichen kann/wird (durch die Blurays), dachte ich mir diese Daten nicht in der Cloud, sondern inkl. meiner privaten Daten auf einem externen unRaid Server bei meinen Eltern zu sichern. So könnte ich im schlimmsten Fall bei Datenverlust (z. B. durch Brand, Diebstahl andere Einflüsse), jederzeit an meine Daten kommen. Über das Synology NAS würde ich eventuell zusätzlich wichtige private Daten in die Cloud sichern. Hierzu eignet sich HyperBackup besonders gut. Wobei dies kein OnDrive unterstützt. Eventuell müsste ich hier noch eine alternative einsetzen. Duplicati soll ja Probleme bei der Wiederherstellung machen?!

 

Da wir bald einen 1 Gbit Glasfaseranschluss erhalten und meine Eltern VDSL 100 nutzen (eventuell bald 200), ist die Anbindung denke ich okay, um die Backups dort extern zu sichern.

 

Meinen Eltern würde ich dann gesondert Rechte geben, damit diese auf Ihrem unRaid System die Daten sicher. Hier müsste ich dann eine Verbindung zu meiner Synology DS herstellen, damit auch die Daten meiner Eltern in die Cloud gesichert werden. Das sind ca. 40-50 GB (ein paar Urlaubsfotos & Dokumente) die sich aber nicht regelmäßig ändern.

 

Wie stellt man hier am besten die Verbindung zwischen den beiden Servern her? Eventuell per VPN?

Link to comment

Ich höre immer wieder, dass Duplicati nicht funktioniert etc. Doch ich habe in den vergangenen 3 Jahren sehr gute Erfahrungen gemacht. Zum einen brauche ich Duplicati fürs sichern der Daten auf einen google drive und seit neuem auch ein externes Backup im Geschäft auf eine 4TB Platte. Im Geschäft sitzt ein HC2 der mit WireGuard mit zuhause verbunden ist. Auf dem HC2 ist OMV installiert und ich synchronisiere alle 2 Tage 2-3TB Daten per Duplicati auf den HC2.

Funktioniert sehr gut und dank dem inkrementellen Backup geht das auch relative flott von statten (pro Backup Durchgang kommen rund 2-3GB dazu).

 

Weiter musste ich mit Duplicati schon sehr oft Daten aus dem google drive account wiederherstellen da ich was gelöscht oder verloren habe und das hat bis anhin immer 100% funktioniert. Bin sehr zufrieden mit der Software aber eben das ist nur eine Ansicht falls du Fragen hast einfach melden.

Link to comment
1 hour ago, Pixelpaule said:

Da wir bald einen 1 Gbit Glasfaseranschluss erhalten und meine Eltern VDSL 100 nutzen (eventuell bald 200), ist die Anbindung denke ich okay, um die Backups dort extern zu sichern.

 

Da du den externen Server ja vermutlich erstmal lokal befüllst, sowieso.

 

1 hour ago, Pixelpaule said:

Meinen Eltern würde ich dann gesondert Rechte geben, damit diese auf Ihrem unRaid System die Daten sicher.

Eventuell macht es mehr Sinn, wenn du bei dir eine Nextcloud hostest. Das Backup davon dann wie die anderen Daten auf deren Server.  Oder jeder betreibt seine eigene Nextcloud.

 

1 hour ago, Pixelpaule said:

Wie stellt man hier am besten die Verbindung zwischen den beiden Servern her? Eventuell per VPN?

Entweder das, dann müssen sich aber die IP-Adressen unterscheiden (also beide Router dürfen nicht die selbe IP haben) oder du nutzt zB ZeroTier. Eine andere Option wäre eine Port-Freigabe auf den Dienst, der erreichbar sein darf. zB Port 873 vom Rsync Daemon. Ich mache zB keinen VPN Tunnel, da ich nicht möchte, dass ein gehackter Client bei meiner Mutter bei mir im Netz rumwursten kann.

 

 

Link to comment
4 hours ago, gekoch said:

Ich höre immer wieder, dass Duplicati nicht funktioniert etc. Doch ich habe in den vergangenen 3 Jahren sehr gute Erfahrungen gemacht.

 

@gekoch 

Danke für deine ausführliche Antwort zu Duplicati. Ich hatte Duplicati auch bereits einige Zeit, in Verbindung mit Google Drive, im Einsatz. Ich erhalte ständig verschiedene Fehlermeldungen.

---

[Error-Duplicati.Library.Main.Operation.TestHandler-FailedToProcessFile]: Failed to process file duplicati-20210503T103159Z.dlist.zip.aes

---

Failed to authorize using the OAuth service: Error: NameResolutionFailure. If the problem persists, try generating a new authid token from: https://duplicati-oauth-handler.appspot.com?type=googledrive

---

The remote server returned an error: (403) Forbidden.

---

Dazu habe ich hier im Forum bei einigen gelesen, dass Sie Probleme bei der Wiederherstellung von Daten hatten, da die Datenbank korrupt gewesen sein soll. Das hat mich einfach abgeschreckt die Software für meine Daten einzusetzen. Da ich mir aber angewöhne meine Backups regelmäßig zu sichten, zu prüfen und auch vereinzelnd testweise wiederherzustellen, würde ich Duiplicati vielleicht einige Zeit weiter mitlaufen lassen. Da meine DiskStation problemlos funktioniert und noch garnicht so alt ist, kann ich diese ja erst mal weiter einsetzen, auf zwei Platten spiegeln und per HyperBackup in die Cloud sichern. Wobei was mich an HyperBackup stört, dass es kein OneDrive unterstützt... Das brachte mich halt auch zu Duplicati.

 

---

Eine Frage wegen des Dateiformats auf der Synology DiskStation: Die Festplatte ist aktuell als ext4 Datenträger formatiert. Außerdem ist ein Synology Hybrid RAID (SHR) angelegt. Kann ich das problemlos so weiterhin einsetzen wenn ich per rsync die Daten sichern will?

 

@mgutt 

2 hours ago, mgutt said:

Da du den externen Server ja vermutlich erstmal lokal befüllst, sowieso.

 Klar die Daten würde ich natürlich erst mal hier zu Hause alle spiegeln. Das Ganze dann direkt per rsync. 

 

2 hours ago, mgutt said:

Eventuell macht es mehr Sinn, wenn du bei dir eine Nextcloud hostest. Das Backup davon dann wie die anderen Daten auf deren Server.  Oder jeder betreibt seine eigene Nextcloud.

Hmm, ja soweit habe ich das Ganze noch nicht zu Ende gedacht. Eigentlich arbeiten beide lokal auf Ihren eigenen Rechnern. Wirklich "zusammen" arbeiten Sie nicht an Daten. Sie surfen nur, lesen Ihre E-Mails und schreiben mal was in Word. Wenn Ich für alle eine Nextcloud hoste, müsste ich ja mit Portweiterleitungen arbeiten?! Ich würde gerne nur einen Port für den VPN öffnen. Ich weiß auch nicht ob ich da eine falsche Ansicht habe, aber Portweiterleitungen mag ich irgendwie nicht. Fühlt sich unsicher an.

 

2 hours ago, mgutt said:

Ich mache zB keinen VPN Tunnel, da ich nicht möchte, dass ein gehackter Client bei meiner Mutter bei mir im Netz rumwursten kann.

Mit Wireguard hätte ich auch nur dem neuen unRaid Server Berechtigung auf mein LAN gegeben und dann auch nur auf meinen unRaid Server. Ich nutze auf jeden Fall unterschiedliche Adressbereiche in beiden Netzwerken.

Edited by Pixelpaule
Link to comment
  • 2 weeks later...

Hallööle :)

 

ich brauchte nochmal eure Hilfe 🤯

Aktuell werden meine Backups folgendermaßen vollzogen:

 

auf dem "Hauptsystem" ist ein User angelegt der auf bestimmte Ordner nur Leserechte hat

- in bestimmten zeitlichen Abständen fährt mein H-Server den Backup-Server per WoL hoch.

- auf dem B-Server wird per User-Scripts das RSYNC-Script von @mgutt ausgeführt

- in bestimmten Abständen läd der B-Server noch ein paar Daten in die Cloud

- wenn der B-Server mit allem durch ist, dann fahr ich den Server per User-Script am H-Server wieder runter - per ssh-Befehl

 

Das funktioniert soweit auch alles bestens, aber es kann schonmal vorkommen das der B-Server unnötig lange läuft.

Entweder haben sich nicht viele Daten geändert und ist schnell durch mit dem Backup oder ich vergesse es einfach.

 

Gibt es eine Möglichkeit den B-Server automatisch runterzufahren? 

Als Beispiel per Überwachung der Festplattenaktivität (Pool) und wenn die Platten im "Spindown" sind fährt der Server nach x-Minuten runter.

Ich habe auch schon

echo "Wait 20 minutes until shutdown the device."
sleep 1200s
echo "Shutdown the Server"
ssh poweroff

an dem rsync-Script gehangen und das funktioniert auch, aber falls der Server noch am Schreiben/Lesen ist, fährt er diesen eiskalt runter :D

 

Evtl. hat da jemand eine Idee.

Link to comment
5 minutes ago, mgutt said:

Der schreibt noch immer, obwohl du ein Timeout von 20 Minuten eingestellt hast, wie kann das denn sein?!

 

rsync dürfte dann ja gar nicht mehr aktiv sein.

War ungünstig beschrieben :D

Es geht eher darum wenn er noch etwas anderes machen wie zb ein Backup in die Cloud.

Wenn dann das Script ausgelaufen ist, und die Wartezeit durch ist, dann fährt er den Server runter.

 

  

52 minutes ago, jj1987 said:

Naja grundsätzlich wäre das das s3 sleep Plugin eine Option. Das prüft z.B.  Array Aktivität, ggfs ob eine bestimmte IP erreichbar ist, etc. und fährt dann das System runter bzw in den S3 Standby (kann man auswählen)

Schau ich mir mal an.

Edited by i-B4se
Link to comment

Es gibt aber kein Script, welches man alle 30 min. laufen lassen kann oder?

Ich möchte nämlich so wenig Apps wie möglich auf dem Backup-Server laufen lassen.

 

Dasa S3 Plugin kann ich nicht verwenden, da ich eine SSD im Array habe und darauf laufen die Appdata etc.

D.H. das Array schläft nicht.

Ich müsste es dann über die Netzwerkauslastung machen. Ich weiß nicht ob es dann so funktioniert wie ich es gerne hätte.

 

Edited by i-B4se
Link to comment
  • 6 months later...

Hallo zusammen, 

 

ich habe jetzt das Script von @mgutt seit einiger Zeit im Einsatz und mein Speicherziel läuft nun etwas voll, daher wollte ich mal ein paar Daten löschen... Ich habe mich hier im Forum mal zu dem Thema etwas umgeschaut, scheine aber Schwierigkeiten damit zu haben, das Thema mit den Hardlinks zu verstehen. Ich habe mal ein Screenshot angehangen der das Backup meines privaten Shares zeigt. Hier sind mehrere Backups durchgelaufen und dazu habe ich mal die tatsächliche Größe der einzelnen Ordner ausgegeben.

 

297549383_Bildschirmfoto2022-03-04um14_56_31.thumb.png.1ba0bd73e330975891ff9fc43c1d0016.png

 

Wenn ich nun z.B. den Ordner 20220227_010001 der 9.4 GB geänderte / neue Daten enthält, löschen würde, wären diese Daten doch in allen darauf folgenden Backups verlören oder sehe ich das falsch? Irgendwie bin ich echt zu doof für das Thema!

 

Dann habe ich noch eine Frage... Wie kann ich einzelne Unterverzeichnisse aus dem Backup ausschließen. Konkret:

 

Ich mache von meinem MacBook regelmäßige TimeMachine Backups auf einen Unraid Share "Backups". Hier liegen aber auch andere Backupdaten (Unraid Config, Appdaten usw.) die ich regelmäßig sichern möchte. Wie kann ich das Unterverzeichnis des TimeMachine Backups aus dem rsync-Backup ausschließen? Geht das mit dem Script überhaupt?

Link to comment
1 hour ago, Pixelpaule said:

Wenn ich nun z.B. den Ordner 20220227_010001 der 9.4 GB geänderte / neue Daten enthält, löschen würde, wären diese Daten doch in allen darauf folgenden Backups verlören oder sehe ich das falsch?

Siehst du falsch. Du kannst jeden Ordner löschen wie du magst. Jedes Backup bleibt voll intakt. Das "du" Kommando ist bereits so intelligent und zeigt dir nur die Differenzen zu den vorherigen Ordnern an. Dh zwischen dem 26. und dem 27. sind 9.4GB dazu gekommen. Allerdings wird dir das Löschen vom 27. vermutlich nichts sparen, da die selben Dateien auch im 28.,  29. usw enthalten sind ;)

 

Allerdings scheint vorher mal was falsch gelaufen zu sein, denn du hast mehrere Backups ohne Hardlinks, da mehrere 286GB anzeigen. Es scheint zb als wäre das Backup vom 20. das erste Vollbackup für alle Folgetage. Die davor belegen noch mal extra Speicherplatz.

 

Hast du mein Skript zufällig aktualisiert? Ich hatte leider bei einem Update was geändert, so dass alte Backups nicht mehr weiter für Hardlinks genutzt werden konnten. Das kann das verursacht haben.

Link to comment

hey @mgutt danke für deine Antwort... Ja ich habe das Script kürzlich aktualisiert, auf die neuste Version... Was muss ich da jetzt machen? Einfach die vorherigen Backups löschen?

 

 

Ich sage ja... ich bin anscheinend zu doof um das zu verstehen... Für mich ist das aktuell Magie... Die Backups laufen bei mir in der nacht nach 0 Uhr. Wenn ich doch z.B. am 26. nach dem das Backup in der Nacht gelaufen ist, neue Daten hinzufüge und diese am 27. mit in das Backup durch einen sync von meinem Unraid Server auf mein NAS aufgenommen werden, liegen diese doch im Ordner vom 27. oder nicht?! ... Wenn ich den Ordner vom 27. dann lösche, dann müssen doch die Daten weg sein, oder wo werde die gespeichert? Ich habe da irgendwie einen Knoten im Hirn. 🥴

Link to comment

Hardlinks funktionieren in der Art, dass so lange wie irgendwo auf deiner Platte in irgendeinem Ordner ein Hardlink auf eine Datei, sagen wir mal text.txt verweist, bleibt diese auch auf deiner Festplatte gespeichert.

Erst wenn kein Hardlink mehr auf diese Datei verweist ist sie weg.

 

Die Ordner der Backups enthalten also nicht die Dateien als solches, sondern nur einen Verweis auf diese. 

 

Ich kann gerne ein Youtube Video dazu raussuchen. Allerdings nur auf englisch wenn dir das hilft. 

Link to comment

Hey, danke für deine Antwort. Gerne kannst du das Video mal posten. Ich habe mir auch mal welche raus gesucht auf YouTube. Deine Erklärung hat mich schon mal etwas weiter gebracht... Nun sichere ich meine Daten von meinem Unraid Server auf mein Synology NAS. Das heisst die Daten müssen ja einmal kopiert werden, wenn neue Daten auf dem Unraid Server erstellt werden. Wenn ich also wie beschrieben am 27.02. neue Daten hinzufüge und später mal alles nach dem 27.02. (inkl. des 27.02.), zum Beispiel am 15.03. lösche, wären die neuen Daten ab dem 27.02. doch weg oder werden die Backup Ordner vorher aktualisiert oder sind es Hardlinks die auf die Daten auf dem Unraid Server zeigen? 😆 🤣 Ihr macht mich fertig... 🤠

Edited by Pixelpaule
Link to comment
3 hours ago, Pixelpaule said:

Wenn ich also wie beschrieben am 27.02. neue Daten hinzufüge und später mal alles nach dem 27.02. (inkl. des 27.02.), zum Beispiel am 15.03. lösche, wären die neuen Daten ab dem 27.02. doch weg oder werden die Backup Ordner vorher aktualisiert oder sind es Hardlinks die auf die Daten auf dem Unraid Server zeigen?

Wenn du den 27.02. mit allen Backups danach löschst, dann gibt es keinen Link mehr auf die Datei, die am 27.02. gesichert wurde. Dann ist sie weg. Löschst du aber alle Ordner, aber behältst den 15.03., dann gibt es noch exakt einen Dateipfad (Hardlink) auf die Datei und die Datei ist noch da (Natürlich vorausgesetzt, dass die Datei am 15.03. noch Teil der Quelle waren).

 

Also die Datei wurde exakt 1x kopiert. Und zwar am 27.02. Danach hat jedes Folgebackup, das vorherige als Basis verwendet und geschaut ob die Datei bereits kopiert wurde und wenn das der Fall war, wurde die bereits vorhandene Kopie einfach nur erneut verlinkt. Gab es nun seit dem 27.02. 16 Backups, wurden also 16 Hardlinks für die selbe Datei erstellt. Und dass die Datei nicht verschwindet, wenn man das Backup vom 27.02. löscht, liegt daran, dass das Dateisystem mehrere Hardlinks pro Datei erlaubt und die Datei erst unerreichbar macht, wenn wirklich der letzte Hardlink gelöscht wurde.

 

 

  • Like 1
Link to comment

@Archonw Danke für das Video... Werde ich mir gleich direkt mal ansehen!

 

@mgutt danke für die Erklärung... Nun hab ich es auch geschnallt! Danke!

 

19 hours ago, mgutt said:

Allerdings scheint vorher mal was falsch gelaufen zu sein, denn du hast mehrere Backups ohne Hardlinks, da mehrere 286GB anzeigen. Es scheint zb als wäre das Backup vom 20. das erste Vollbackup für alle Folgetage. Die davor belegen noch mal extra Speicherplatz.

Kannst du mir noch sagen was ich machen soll, da ich das Script ja aktualisiert habe und die Backups doppelt belegt sind... 

Edited by Pixelpaule
Link to comment

Okay super dann mache ich das. Es ist eh nur ein Backup für den Fall das der Server komplett versagt und ich Lokal hier im Haus eine Sicherung habe. Es wird alles noch zusätzlich in die Cloud synchronisiert. 

 

Eine Frage noch zu deinem Script @mgutt ... Können einzelne Unterverzeichnisse ignoriert werden? In meinem Fall oben mit den Backups wäre der Share der als Quelle im Script angegeben ist Backups... Im Ordner Backups liegt dann das TimeMachine Backup welches ich gerne aus dem rsync-Backup ausschließen würde.

Link to comment
3 minutes ago, Pixelpaule said:

Können einzelne Unterverzeichnisse ignoriert werden?

Bei den Settings findest du diesen Block:

# rsync options which are used while creating the full and incremental backup
rsync_options=(
#  --dry-run
  --archive # same as --recursive --links --perms --times --group --owner --devices --specials
  --human-readable # output numbers in a human-readable format
  --itemize-changes # output a change-summary for all updates
  --exclude="[Tt][Ee][Mm][Pp]/" # exclude dirs with the name "temp" or "Temp" or "TEMP"
  --exclude="[Tt][Mm][Pp]/" # exclude dirs with the name "tmp" or "Tmp" or "TMP"
  --exclude="Cache/" # exclude dirs with the name "Cache"
)

 

Da könntest du eine oder mehrere exclude-Zeilen ergänzen. Beispiele:

  --exclude="ordner/unterordner/"
  --exclude="dateiname.txt"
  --exclude="ordnername/"
  --exclude="ordner-wird-gesichert-aber-nicht-die-dateien-darin/*"

 

 

  • Like 1
Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.