Backup vom kompletten System?


Recommended Posts

2 hours ago, mgutt said:

Trotzdem bleibt es aber inkrementell.

Das ist mir klar, aber ich hatte das so verstanden das seine vorherigen Backups sich nicht löschen.

Das würde an der Einstellung liegen, das er die Backups von den letzten X Tagen behält.

Wenn er dann den Hauptordner prüft, dann hat er anstatt 501 GB -> 1 TB bei zwei Backups und 1,5 TB bei drei Backups.

Link to comment
18 minutes ago, i-B4se said:

Wenn er dann den Hauptordner prüft, dann hat er anstatt 501 GB -> 1 TB bei zwei Backups und 1,5 TB bei drei Backups.

Ach ja. Sollte man natürlich auch erwähnen, dass wenn man mit klassischen Tools die Größe der Ordner prüft, diese meistens 1,5TB ausgeben, auch wenn nur 500 GB belegt sind. Daher muss man zB in Linux bei den Kommandos extra angeben, dass Hardlinks nicht mitgezählt werden sollen:

https://unix.stackexchange.com/questions/118203/how-to-get-folder-size-ignoring-hard-links

 

Also zum Beispiel so:

du -hc --max-depth=0 /mnt/disk7/Backup/Shares/Music/* | sort -k2
168G    /mnt/disk7/Backup/Shares/Music/20200701_044011
4.2G    /mnt/disk7/Backup/Shares/Music/20200801_044013
3.8M    /mnt/disk7/Backup/Shares/Music/20200901_044013
3.8M    /mnt/disk7/Backup/Shares/Music/20201001_044014
3.8M    /mnt/disk7/Backup/Shares/Music/20201101_044004
123M    /mnt/disk7/Backup/Shares/Music/20201201_052124
3.8M    /mnt/disk7/Backup/Shares/Music/20210101_053119
1.1G    /mnt/disk7/Backup/Shares/Music/20210201_051821
3.8M    /mnt/disk7/Backup/Shares/Music/20210301_052604
3.8M    /mnt/disk7/Backup/Shares/Music/20210601_001522
3.8M    /mnt/disk7/Backup/Shares/Music/20210601_051217
3.8M    /mnt/disk7/Backup/Shares/Music/20210628_054552
3.8M    /mnt/disk7/Backup/Shares/Music/20210629_053630
3.8M    /mnt/disk7/Backup/Shares/Music/20210630_054752
3.8M    /mnt/disk7/Backup/Shares/Music/20210701_053205
3.8M    /mnt/disk7/Backup/Shares/Music/20210702_054926
3.8M    /mnt/disk7/Backup/Shares/Music/20210703_054433
3.8M    /mnt/disk7/Backup/Shares/Music/20210704_065149
3.8M    /mnt/disk7/Backup/Shares/Music/20210705_072654
3.8M    /mnt/disk7/Backup/Shares/Music/20210706_054817
3.8M    /mnt/disk7/Backup/Shares/Music/20210707_055007
3.8M    /mnt/disk7/Backup/Shares/Music/20210708_054606
598M    /mnt/disk7/Backup/Shares/Music/20210709_054748
3.8M    /mnt/disk7/Backup/Shares/Music/20210710_054739
3.8M    /mnt/disk7/Backup/Shares/Music/20210711_054759
3.8M    /mnt/disk7/Backup/Shares/Music/20210712_054921
119M    /mnt/disk7/Backup/Shares/Music/logs

 

 

 

 

Link to comment

Das meinte ich damit quasi. Das war etwas ungünstig von mir erklärt. Das hatte mich nämlich am Anfang auch etwas verwirrt.

Wenn man die Backups nicht löscht oder gelöscht werden und dann per Windows-Explorer, WinSCP etc. die Größe checkt, wundert man sich erstmal.

  • Like 1
Link to comment
  • 3 weeks later...

Hallo zusammen,

 

ich schließe mich hier dem Thema "BACKUP VOM KOMPLETTEN SYSTEM?" noch mal an, da es ganz gut passt.

 

Danke für eure Antworten bezüglich des rsync Scripts von @mgutt. In der Tat waren die beiden Platten als exFAT formatiert. Daher hat es mit den Hardlinks nicht funktioniert. Ich habe mir persönlich nun überlegt, folgende Strategie zu fahren. Ich freue mich aber über Verbesserungsvorschläge und weitere Tipps:

 

Da ich noch eine Synology DS 716+II habe, welche vor unRaid als mein Haupt-NAS im Einsatz war, würde ich zukünftig die Backups von unRaid per rsync Script auf die DS sichern. Ich denke es macht mehr Sinn, als alles auf externe Festplatten zu speichern, die am unRaid Server per USB angeschlossen sind. Dazu würde ich das NAS per SMB in unRaid über das unassigned devices Plugin mounten. Spricht etwas dagegen (Performance, Geschwindigkeit, Sicherheit etc.) oder gibt es da bessere Vorgehensweisen?

 

Auf meinem unRaid Server speichere ich auch meine Blu-rays, Musik und Hörbücher. Da die Datenmenge hier irgendwan (bisher ca. 4 TB) einige Terrabyte erreichen kann/wird (durch die Blurays), dachte ich mir diese Daten nicht in der Cloud, sondern inkl. meiner privaten Daten auf einem externen unRaid Server bei meinen Eltern zu sichern. So könnte ich im schlimmsten Fall bei Datenverlust (z. B. durch Brand, Diebstahl andere Einflüsse), jederzeit an meine Daten kommen. Über das Synology NAS würde ich eventuell zusätzlich wichtige private Daten in die Cloud sichern. Hierzu eignet sich HyperBackup besonders gut. Wobei dies kein OnDrive unterstützt. Eventuell müsste ich hier noch eine alternative einsetzen. Duplicati soll ja Probleme bei der Wiederherstellung machen?!

 

Da wir bald einen 1 Gbit Glasfaseranschluss erhalten und meine Eltern VDSL 100 nutzen (eventuell bald 200), ist die Anbindung denke ich okay, um die Backups dort extern zu sichern.

 

Meinen Eltern würde ich dann gesondert Rechte geben, damit diese auf Ihrem unRaid System die Daten sicher. Hier müsste ich dann eine Verbindung zu meiner Synology DS herstellen, damit auch die Daten meiner Eltern in die Cloud gesichert werden. Das sind ca. 40-50 GB (ein paar Urlaubsfotos & Dokumente) die sich aber nicht regelmäßig ändern.

 

Wie stellt man hier am besten die Verbindung zwischen den beiden Servern her? Eventuell per VPN?

Link to comment

Ich höre immer wieder, dass Duplicati nicht funktioniert etc. Doch ich habe in den vergangenen 3 Jahren sehr gute Erfahrungen gemacht. Zum einen brauche ich Duplicati fürs sichern der Daten auf einen google drive und seit neuem auch ein externes Backup im Geschäft auf eine 4TB Platte. Im Geschäft sitzt ein HC2 der mit WireGuard mit zuhause verbunden ist. Auf dem HC2 ist OMV installiert und ich synchronisiere alle 2 Tage 2-3TB Daten per Duplicati auf den HC2.

Funktioniert sehr gut und dank dem inkrementellen Backup geht das auch relative flott von statten (pro Backup Durchgang kommen rund 2-3GB dazu).

 

Weiter musste ich mit Duplicati schon sehr oft Daten aus dem google drive account wiederherstellen da ich was gelöscht oder verloren habe und das hat bis anhin immer 100% funktioniert. Bin sehr zufrieden mit der Software aber eben das ist nur eine Ansicht falls du Fragen hast einfach melden.

Link to comment
1 hour ago, Pixelpaule said:

Da wir bald einen 1 Gbit Glasfaseranschluss erhalten und meine Eltern VDSL 100 nutzen (eventuell bald 200), ist die Anbindung denke ich okay, um die Backups dort extern zu sichern.

 

Da du den externen Server ja vermutlich erstmal lokal befüllst, sowieso.

 

1 hour ago, Pixelpaule said:

Meinen Eltern würde ich dann gesondert Rechte geben, damit diese auf Ihrem unRaid System die Daten sicher.

Eventuell macht es mehr Sinn, wenn du bei dir eine Nextcloud hostest. Das Backup davon dann wie die anderen Daten auf deren Server.  Oder jeder betreibt seine eigene Nextcloud.

 

1 hour ago, Pixelpaule said:

Wie stellt man hier am besten die Verbindung zwischen den beiden Servern her? Eventuell per VPN?

Entweder das, dann müssen sich aber die IP-Adressen unterscheiden (also beide Router dürfen nicht die selbe IP haben) oder du nutzt zB ZeroTier. Eine andere Option wäre eine Port-Freigabe auf den Dienst, der erreichbar sein darf. zB Port 873 vom Rsync Daemon. Ich mache zB keinen VPN Tunnel, da ich nicht möchte, dass ein gehackter Client bei meiner Mutter bei mir im Netz rumwursten kann.

 

 

Link to comment
4 hours ago, gekoch said:

Ich höre immer wieder, dass Duplicati nicht funktioniert etc. Doch ich habe in den vergangenen 3 Jahren sehr gute Erfahrungen gemacht.

 

@gekoch 

Danke für deine ausführliche Antwort zu Duplicati. Ich hatte Duplicati auch bereits einige Zeit, in Verbindung mit Google Drive, im Einsatz. Ich erhalte ständig verschiedene Fehlermeldungen.

---

[Error-Duplicati.Library.Main.Operation.TestHandler-FailedToProcessFile]: Failed to process file duplicati-20210503T103159Z.dlist.zip.aes

---

Failed to authorize using the OAuth service: Error: NameResolutionFailure. If the problem persists, try generating a new authid token from: https://duplicati-oauth-handler.appspot.com?type=googledrive

---

The remote server returned an error: (403) Forbidden.

---

Dazu habe ich hier im Forum bei einigen gelesen, dass Sie Probleme bei der Wiederherstellung von Daten hatten, da die Datenbank korrupt gewesen sein soll. Das hat mich einfach abgeschreckt die Software für meine Daten einzusetzen. Da ich mir aber angewöhne meine Backups regelmäßig zu sichten, zu prüfen und auch vereinzelnd testweise wiederherzustellen, würde ich Duiplicati vielleicht einige Zeit weiter mitlaufen lassen. Da meine DiskStation problemlos funktioniert und noch garnicht so alt ist, kann ich diese ja erst mal weiter einsetzen, auf zwei Platten spiegeln und per HyperBackup in die Cloud sichern. Wobei was mich an HyperBackup stört, dass es kein OneDrive unterstützt... Das brachte mich halt auch zu Duplicati.

 

---

Eine Frage wegen des Dateiformats auf der Synology DiskStation: Die Festplatte ist aktuell als ext4 Datenträger formatiert. Außerdem ist ein Synology Hybrid RAID (SHR) angelegt. Kann ich das problemlos so weiterhin einsetzen wenn ich per rsync die Daten sichern will?

 

@mgutt 

2 hours ago, mgutt said:

Da du den externen Server ja vermutlich erstmal lokal befüllst, sowieso.

 Klar die Daten würde ich natürlich erst mal hier zu Hause alle spiegeln. Das Ganze dann direkt per rsync. 

 

2 hours ago, mgutt said:

Eventuell macht es mehr Sinn, wenn du bei dir eine Nextcloud hostest. Das Backup davon dann wie die anderen Daten auf deren Server.  Oder jeder betreibt seine eigene Nextcloud.

Hmm, ja soweit habe ich das Ganze noch nicht zu Ende gedacht. Eigentlich arbeiten beide lokal auf Ihren eigenen Rechnern. Wirklich "zusammen" arbeiten Sie nicht an Daten. Sie surfen nur, lesen Ihre E-Mails und schreiben mal was in Word. Wenn Ich für alle eine Nextcloud hoste, müsste ich ja mit Portweiterleitungen arbeiten?! Ich würde gerne nur einen Port für den VPN öffnen. Ich weiß auch nicht ob ich da eine falsche Ansicht habe, aber Portweiterleitungen mag ich irgendwie nicht. Fühlt sich unsicher an.

 

2 hours ago, mgutt said:

Ich mache zB keinen VPN Tunnel, da ich nicht möchte, dass ein gehackter Client bei meiner Mutter bei mir im Netz rumwursten kann.

Mit Wireguard hätte ich auch nur dem neuen unRaid Server Berechtigung auf mein LAN gegeben und dann auch nur auf meinen unRaid Server. Ich nutze auf jeden Fall unterschiedliche Adressbereiche in beiden Netzwerken.

Edited by Pixelpaule
Link to comment
  • 2 weeks later...

Hallööle :)

 

ich brauchte nochmal eure Hilfe 🤯

Aktuell werden meine Backups folgendermaßen vollzogen:

 

auf dem "Hauptsystem" ist ein User angelegt der auf bestimmte Ordner nur Leserechte hat

- in bestimmten zeitlichen Abständen fährt mein H-Server den Backup-Server per WoL hoch.

- auf dem B-Server wird per User-Scripts das RSYNC-Script von @mgutt ausgeführt

- in bestimmten Abständen läd der B-Server noch ein paar Daten in die Cloud

- wenn der B-Server mit allem durch ist, dann fahr ich den Server per User-Script am H-Server wieder runter - per ssh-Befehl

 

Das funktioniert soweit auch alles bestens, aber es kann schonmal vorkommen das der B-Server unnötig lange läuft.

Entweder haben sich nicht viele Daten geändert und ist schnell durch mit dem Backup oder ich vergesse es einfach.

 

Gibt es eine Möglichkeit den B-Server automatisch runterzufahren? 

Als Beispiel per Überwachung der Festplattenaktivität (Pool) und wenn die Platten im "Spindown" sind fährt der Server nach x-Minuten runter.

Ich habe auch schon

echo "Wait 20 minutes until shutdown the device."
sleep 1200s
echo "Shutdown the Server"
ssh poweroff

an dem rsync-Script gehangen und das funktioniert auch, aber falls der Server noch am Schreiben/Lesen ist, fährt er diesen eiskalt runter :D

 

Evtl. hat da jemand eine Idee.

Link to comment
1 hour ago, i-B4se said:

Evtl. hat da jemand eine Idee

Naja grundsätzlich wäre das das s3 sleep Plugin eine Option. Das prüft z.B.  Array Aktivität, ggfs ob eine bestimmte IP erreichbar ist, etc. und fährt dann das System runter bzw in den S3 Standby (kann man auswählen)

Link to comment
5 minutes ago, mgutt said:

Der schreibt noch immer, obwohl du ein Timeout von 20 Minuten eingestellt hast, wie kann das denn sein?!

 

rsync dürfte dann ja gar nicht mehr aktiv sein.

War ungünstig beschrieben :D

Es geht eher darum wenn er noch etwas anderes machen wie zb ein Backup in die Cloud.

Wenn dann das Script ausgelaufen ist, und die Wartezeit durch ist, dann fährt er den Server runter.

 

  

52 minutes ago, jj1987 said:

Naja grundsätzlich wäre das das s3 sleep Plugin eine Option. Das prüft z.B.  Array Aktivität, ggfs ob eine bestimmte IP erreichbar ist, etc. und fährt dann das System runter bzw in den S3 Standby (kann man auswählen)

Schau ich mir mal an.

Edited by i-B4se
Link to comment

Es gibt aber kein Script, welches man alle 30 min. laufen lassen kann oder?

Ich möchte nämlich so wenig Apps wie möglich auf dem Backup-Server laufen lassen.

 

Dasa S3 Plugin kann ich nicht verwenden, da ich eine SSD im Array habe und darauf laufen die Appdata etc.

D.H. das Array schläft nicht.

Ich müsste es dann über die Netzwerkauslastung machen. Ich weiß nicht ob es dann so funktioniert wie ich es gerne hätte.

 

Edited by i-B4se
Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.