Backup vom kompletten System?


Recommended Posts

Posted (edited)
2 minutes ago, mgutt said:

Ja es fehlt etwas als GUI, wo man auch alle Shares als Quelle anklicken kann. Keine Ahnung ob ich das jemals schaffe umzusetzen. Aber vor habe ich das schon ^^


Ja, du bist ja hier auch extrem aktiv! Außerdem hat man ja auch sicherlich noch andere Dinge um die Ohren ;)

 

Was ist denn mit der "libvirt.img"... Dafür gibt es ja sogar eine Option im Appdata Backup / Restore... Was beinhaltet diese Datei denn? 

Edited by Pixelpaule
Link to comment
Reicht denn Appdata Backup / Restore nicht?
image.png.59b8d062a19dadd9d8f29955c51d7c72.png
Leider Nein.

Kennst du das HyperBackup oder das Backup System von Proxmox?

Container werden im laufenden Betrieb gebackupt. Vms angehalten/eingefroren, sodass ein persistenter Backup mit allem drum und dran entsteht.

Die Backups sind nicht nur inkrementell, sie unterstützen compression und deduplizierung und werden zudem verifiziert.

Wie soll ich das denn in Unraid bewerkstelligen? Rsync jedenfalls ist kein zuverlässiges Backup bei Vms, Docker + Datenbanken.
Link to comment
Just now, Pixelpaule said:

Was beinhaltet diese Datei denn? 

Jede VM XML enthält eine ID mit der "Maschine". Diese Maschine wird in dem libvirt.img hinterlegt. Löscht man nun die libvirt.img, dann starten die VMs nicht mehr. Das klingt aber schlimmer als es ist. Man kann jederzeit die VM neu erstellen und dann die XML Datei bearbeiten und alles bis auf die System ID aus der alten XML übernehmen. Dann läuft die auch wieder. 

 

Steht hier:

https://forums.unraid.net/topic/78589-deleted-libvirtimg-cant-start-vm-service-how-to-recreate-libvirtimg-by/?tab=comments#comment-768757

 

 

Im letzten Beitrag hat der User sogar einfach nur eine neue VM gestartet und einfach nur den Link zu vDisk angepasst. Wenn man sonst nichts im Template geändert hat, ist das natürlich der einfachste Weg.

 

Aber klar, wenn man sich diesen "Stress" ersparen möchte, kann man auch die libvirt.img sichern.

 

  • Thanks 1
Link to comment
@mgutt Danke für deine Erklärung!
 
Ich merke immer wieder das Thema Backups ist in unRaid garnicht so einfach realisierbar, wenn man nicht gerade der Fachmann ist.
Ich spiele mit dem Gedanken Unraid wieder in einem Proxmox zu betreiben, solange es ein Backup Tool gibt der mich zufridenstellt.

Dann könnte ich die Unraid Maschine, inklusive Docker, Appdata etc. durch automatisierung inkrementell sichern, inklusive lz4 comprimierung, deduplizierung und Verifizierung.

Ich weiß es noch nicht was ich mache.
Link to comment
Posted (edited)
On 5/27/2021 at 6:15 PM, guybrush2012 said:

Ich spiele mit dem Gedanken Unraid wieder in einem Proxmox zu betreiben, solange es ein Backup Tool gibt der mich zufridenstellt.

 

@guybrush2012

 Was ist denn mit der Option Veeam in einer WindowsVM zu nutzen?

Edited by Pixelpaule
Link to comment

Das Problem ist das du Container, Datenbanken und vms nicht im laufenden Betrieb sichern kannst.

Um eine sichere Sicherung zu bekommen müsstest du alles sauber herunterfahren und dann Rinne Backup machen.

Ansonsten kann es dir passieren, dass wenn du Wiederherstellen möchtest eben deine Nextcloud Datenbank und somit dein nextcloud corrupt ist oder deine vm nicht mehr geht etc. Für Daten auf dein array kannst du sorglos den rsync Script nutzen.
@mgutt

Könntest du mir eventuell sagen wie ich alle docker Container und vms per shell sauber herunterfahre und auch wieder starte? Dann könnte ich dein Script erweitern, sodass zumindest ein sauberes Backup automatisch entsteht.

Link to comment
 
@guybrush2012
 Was ist denn mit der Option Veeam in einer WindowsVM zu nutzen?
@guybrush2012
Dafür kannst du doch CA Backup / Restore Appdata nutzen.
Da kannst du die einstellen wenn die Docker/VM gestoppt werden sollen. Dann wird ein Backup gemacht und anschließend wieder gestartet.
 
Da wird aber nur appdata und somit die docker Container gestoppt und nicht die vms :-(

Zumindest finde ich keine Option dafür.
Link to comment
Posted (edited)
1 hour ago, guybrush2012 said:

Könntest du mir eventuell sagen wie ich alle docker Container und vms per shell sauber herunterfahre und auch wieder starte?

 

docker stop <containername>

<containername> sichern

docker start <containername>

 

virsh shutdown <domainname>

<domainname> sichern

virsh start <domainname>

 

VMs sind ein Thema für sich. Es gibt diverse Techniken zum Rauf- und Runterfahren. Je nach Art der VM würde ich ggfs. anpassen und managedsave statt shutdown o.ä. einsetzen. Es lohnt sich das durchzulesen und ggfs. pro VM anzupassen.

 

 

Edited by hawihoney
  • Like 1
Link to comment
On 5/27/2021 at 6:04 PM, guybrush2012 said:

Kennst du das HyperBackup oder das Backup System von Proxmox?

Synology kann keine konsistenten Backups von laufenden VMs erstellen (steht auch in der FAQ). Das kann zb VMWare.

 

Von Docker kann es auch nicht gehen. Dafür müsste der Docker und die gemounteten Pfade eingefroren werden. "export" sichert zb nur den Container selbst:

https://stackoverflow.com/questions/15700943/backup-a-running-docker-container

 

 

Link to comment
Synology kann keine konsistenten Backups von laufenden VMs erstellen (steht auch in der FAQ). Das kann zb VMWare.
 
Von Docker kann es auch nicht gehen. Dafür müsste der Docker und die gemounteten Pfade eingefroren werden. "export" sichert zb nur den Container selbst:
https://stackoverflow.com/questions/15700943/backup-a-running-docker-container
 
 
Mit Proxmox geht das.
Hab selbst hier noch ein Proxmox Server.

Der tip mit "virsh shutdown HomeAssistant" geht. Also alles in dein Script packen und im CA Appdata Backup/Restore V2 und dann im "Path To Custom Start Script" einfügen.

Dann müsste man ein komplettes Backup bekommen

Was ebenfalls sehr interessant ist ist "Borg" Backup. Die Integration mit einem Script wäre besser als mit rsync. Nur das gibt es leider nicht in Unraid.


https://borgbackup.readthedocs.io/en/stable/

Ich werde es mal unter unraid testen
Link to comment
9 minutes ago, guybrush2012 said:

Mit Proxmox geht das.

Hier noch mal der Nachweis:

https://www.synology.com/en-us/knowledgebase/DSM/tutorial/Virtualization/What_is_file_system_consistent_snapshot

Nur crash-resistant und file-system resistant, also keine Berücksichtigung des RAM. Bei Proxmox geht das tatsächlich:

https://pve.proxmox.com/wiki/Live_Snapshots#:~:text=By using Proxmox VE live,of all the virtual disks.

 

Aber ganz ehrlich. Wenn ich zig VMs hatte, würde ich eh Promox nehmen und Unraid als Backupziel. Für Storage und Docker macht dagegen Unraid mehr Laune. So hat eben jeder seinen Fokus.

  • Like 1
Link to comment
On 5/28/2021 at 11:05 PM, mgutt said:

Aber ganz ehrlich. Wenn ich zig VMs hatte, würde ich eh Promox nehmen und Unraid als Backupziel. Für Storage und Docker macht dagegen Unraid mehr Laune. So hat eben jeder seinen Fokus.

 

Soweit ich weiß, unterstützt Proxmox Docker auch nicht nativ. Dazu müsste man eine VM erstellen in der dann der Docker daemon läuft. Falls es da mittlerweile alternativen gibt, lasse ich mich gerne korrigieren.

Link to comment
3 minutes ago, Timm said:

Dazu müsste man eine VM erstellen in der dann der Docker daemon läuft.

Das ist korrekt. Also mehr Overhead. Dafür könnte man aber die komplette VM inkl der Container im laufenden Betrieb sichern. Kommt halt dran an was man favorisiert. Auch von der GUI her, usw.

Link to comment
 
Soweit ich weiß, unterstützt Proxmox Docker auch nicht nativ. Dazu müsste man eine VM erstellen in der dann der Docker daemon läuft. Falls es da mittlerweile alternativen gibt, lasse ich mich gerne korrigieren.
Dann korrigiere ich dich mal. Docker in einem LXC Container läuft perfekt und den overheat kannst vergessen

Du kannst sogar jeden LXC mit eigene IP einen docker Service starten. Dann hast Du alles schön getrennt, kein Port gefrickel und Du kannst nicht nur Backups sondern snapshots machen.

Aber hier sollten wir nicht Proxmox und Unraid vergleichen. Es sind zwei verschiedene Produkte. Ich finde Unraid cool und Proxmox auch und deshalb hab ich zwei Server hier stehen
Link to comment
24 minutes ago, guybrush2012 said:

Du kannst sogar jeden LXC mit eigene IP einen docker Service starten

Kannst du mit Unraid auch. Nennt sich br0 bzw MACVLAN.

 

24 minutes ago, guybrush2012 said:

sondern snapshots machen

Kannst du mit Unraid auch. Nur eben nicht über die GUI, sondern über die Kommandozeile und natürlich vorausgesetzt die Docker liegen auf einem BTRFS Pool oder ZFS-Pool.

 

Wobei ich da eh keinen Mehrwert sehe. Privat reichen mir Backups. Wenn der Docker nach einem Update nicht mehr will, sind mir die paar Minuten Zeitverlust für die Wiederherstellung echt egal. Da muss ich nicht extra noch Speicherplatz auf der SSD für Snapshots belegen, seien sie auch noch so klein. Aber da darf ruhig jeder einen eigenen Anspruch haben.

  • Like 1
Link to comment
  • 1 month later...

Hallo zusammen, 

 

ich habe da mal eine Frage zu dem rsync Script von @mgutt... Wie funktioniert das nun mit der Speicherbelegung? Beispiel: Es werden 3 Tage lang täglich Backups erstellt. Die Datenmenge bei Beginn des ersten Backups beträgt 500 GB. Es kommen am zweiten Tag 1 GB Daten hinzu. Sind es nach 3 Tagen dann 501 GB oder 1502 GB die an Speicherplatz auf dem Backupmedium benötigt werden (nur mal grob gesagt :))? 

Link to comment
22 minutes ago, Pixelpaule said:

Hallo zusammen, 

 

ich habe da mal eine Frage zu dem rsync Script von @mgutt... Wie funktioniert das nun mit der Speicherbelegung? Beispiel: Es werden 3 Tage lang täglich Backups erstellt. Die Datenmenge bei Beginn des ersten Backups beträgt 500 GB. Es kommen am zweiten Tag 1 GB Daten hinzu. Sind es nach 3 Tagen dann 501 GB oder 1502 GB die an Speicherplatz auf dem Backupmedium benötigt werden (nur mal grob gesagt :))? 

Nach deinem Beispiel sind es die 501GB, da inkrementell (nur Änderungen) gespeichert werden. Ein gewisser Overhead wird aber wohl trotzallem auch dabei sein, vielleicht also 501,1GB ;-)

Link to comment

Hmm okay, dann muss ich mir das noch mal genauer ansehen. Ich bin der Meinung das auf meiner externen Platte immer volle Backups erstellt wurden und der Speicherplatz in Höhe der kompletten Backupdaten verbraucht wurde. Also in dem vorherigen Beispiel dann 1502 GB.

Link to comment

Das kommt drauf an wie die Parameter von dem Script eingestellt sind. 
Wenn du dem sagst, das er das Backup von den letzten X Tagen behalten soll, dann macht er das auch. 
 

Hier die Erklärung:

Quote

Explanations

All created backups are full backups with hardlinks to already existing files (= incremental backup)

All backups use the most recent backup to create hardlinks or new files. Deleted files are not copied (1:1 backup)

There are no dependencies between the most recent backup and the previous backups. You can delete as many backups as you like. All backups that are left, are still full backups. This could be confusing as most incremental backup softwares need the previous backups for restoring the data. But this is not valid for rsync and hardlinks. Read here if you need more informations about links, inodes and files.

After a backup has been created the script purges the backup dir and keeps only the backups of the last 14 days, 12 month and 3 years, which can be defined through the settings

Monthly backups are only kept if they were generated on the first of a month

Yearly backups are only kept if they were generated on the first january

Partial/crashed backups stay hidden and will be deleted after 14 days

rsync logs can be found inside of each backup folder

Sends notifications after job execution

"/mnt" will be removed from the path and "/mnt/user" is replaced against "/Shares" for better readability


 

Edited by i-B4se
Link to comment
33 minutes ago, jj1987 said:

Welches Dateisystem hat das Backuplaufwerk. Nicht jedes Dateisystem kann inkrementell.

Ich muss mich korrigieren: Nicht jedes Dateisystem kann Hardlinks. Und die sorgen ja dafür, dass im Idealfall (trotz "vollständigem" Backup) nur die Änderungen neu gespeichert werden.

Link to comment
39 minutes ago, i-B4se said:

Wenn du dem sagst, das er das Backup von den letzten X Tagen behalten soll, dann macht er das auch. 

Trotzdem bleibt es aber inkrementell.

 

Wenn es nicht inkrementell ist, dann vermutlich weil das Ziel SMB ist ohne Unix-Extensions oder exFAT / FAT32. Da gehen keine Hardlinks.

Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.