Borg Backup und/oder ZFS snapshots/replication

[unraidM]

Morgen zusammen,

 

ich hätte eine Frage zum aktuell sehr gefragten Thema ZFS.

Meine aktuelle Backup-Strategie ist die Verwendung von BORG-Backup (lokal und remote) mit Prune, um auch Versionen der vergangenen Tage, Wochen, Monate,... zu haben.

Jetzt hat die ZFS-Reihe von SpaceinvaderOne mein Interesse geweckt (z.B. dieses Video zu autom. ZFS Snapshots & Replications). Wenn ich das richtig verstehe, habe ich mit diesem Ansatz ein vollwertiges Replikat eines Datasets (z.B. appdata), mit dem Vorteil in den Versionen über die Snapshots sehr schnell wechseln zu können, z.B. falls mal ein Snapshot korrupt wäre. Klingt für mich alles erstmal super 🙂
Nun zur Frage: Macht es eurer Meinung Sinn nur eine der Strategien zu fahren (Borg Backup oder ZFS replication/snapshot) oder beide parallel?

Und wie sieht es mit dem Risiko korrupter Datenbanken bei ZFS aus replikas, snapshots aus?

Für mich hätte es dein Eindruck, dass ZFS alles notwendige mitbringt, um einen Datenverlust zu vermeiden + ein paar schicke Features. (Bezieht sich auf Datesets die nicht im Array laufen, z.B. cache mit Dockern (z.B. Nextcloudinstanz + Daten), VMs,..)

 

Danke 🙂

 

 

Edited September 20, 2023 by unraidM

[ullibelgie]

Hallo  - ich kann Dir Deine Frage leider nicht beantworten.

Ich kann nur sagen, daß ich bisher davon abgesehen habe, ZFS zu benutzen. Denn mir ist nicht klar, welche praktischen Vorteile ZFS haben sollte für meinen Servevrgebrauch gegenüber dem btrfs Filesystem und rsync als Backup-script. Ich nutze das Script von @mgutt um auch mein Cache drive, (bestehend aus 2x NVMEs als btrfs Raid1) zu sichern. Alle anderen Shares im Array werden auch vom gleichen rsync script gesichert... das reicht ja gegen Datenverlust.

Und wenn die originalen Files in neuen Versionen erstellt werden sind es eben auch neue Datenfiles, die von rsync neu erstellt werden - die alten sind dann damit auf dem Server als Backup ja nicht weg oder überschrieben.

Bisher hat mir noch niemand wirklich erklären können, warum ich ZFS nutzen soll, ausser, dass es einen Haufen Arbeit kostet alles umzustellen. Muss aber auch sagen, dass ich bisher mit meinem btrfs-pool noch keine Ausfälle hatte.. toi toi toi

Vielleicht ist das anders, wenn man nicht nur einen Pool, sondern mehrere betreibt bestehend aus zig HDDs/SSD's... aber hier ist es nur eine kleiner Home Server und kein Datencenter...

[mgutt]

Snapshots sind keine Backups, weil sie auf der selben Partition existieren. Man kann Snapshots ja nicht auf andere Datenträger verschieben. Also kann man schon, aber dann sind sie auch nichts anderes als Backups, weil dann alle Daten 1:1 kopiert werden. 

[Rockikone]

@mgutt

 

Da muss ich jetzt widersprechen. Ich habe zwei Unraidserver. Beide mit Zfs als Cache Dateiformat. Mit dem Script von Spaceinvader werden Snapshots Local UND gleichzeit auf dem Unraid BackUP Server abgelegt. Somit habe ich komplette Datensätze, welche auf dem BackUP Server vorhanden sind und wieder eingespielt werden können.

Ich finde ZFS als Pool Dateiformat super. Beispielsweise hat es mir erst kürzlich bei einer Dockeraktualisierung meinen MariaDB Docker zerlegt. Alle Datenbanken korrupt. Docker angehalten und per Snapshot wieder hergestellt. War ein Ding von 30 sec. Danach wie gehabt weiter gelaufen 🙂

Ja, mit Btrfs sind auch Snapshots möglich. Aber ZFS ist jetzt schon besser in die GUI über ZFS Master integriert. Einfach in der Gui unter SnapshotAdmin den jeweiligen Snapshot wieder herstellen. Daumen hoch von meiner Seite.

 

[unraidM]

On 9/22/2023 at 9:54 AM, Rockikone said:

@mgutt

 

Da muss ich jetzt widersprechen. Ich habe zwei Unraidserver. Beide mit Zfs als Cache Dateiformat. Mit dem Script von Spaceinvader werden Snapshots Local UND gleichzeit auf dem Unraid BackUP Server abgelegt. Somit habe ich komplette Datensätze, welche auf dem BackUP Server vorhanden sind und wieder eingespielt werden können.

Ich finde ZFS als Pool Dateiformat super. Beispielsweise hat es mir erst kürzlich bei einer Dockeraktualisierung meinen MariaDB Docker zerlegt. Alle Datenbanken korrupt. Docker angehalten und per Snapshot wieder hergestellt. War ein Ding von 30 sec. Danach wie gehabt weiter gelaufen 🙂

Ja, mit Btrfs sind auch Snapshots möglich. Aber ZFS ist jetzt schon besser in die GUI über ZFS Master integriert. Einfach in der Gui unter SnapshotAdmin den jeweiligen Snapshot wieder herstellen. Daumen hoch von meiner Seite.

 

Danke für deine Einschätzung/ Erfahrung. Klingt ja erstmal super, das mit der schnellen Wiederherstellung. Habe mich aber schon gefragt, ob es nicht riskant ist bei Datenbanken diese zu sichern, während sie aktiv laufen?

 

Ich denke ich werde mal beides parallel laufen lassen.

Borgbackup als klassisches Backup und parallel ZFS. Wenn's gut läuft bei einem Problem ist es schnell via snapshot hergestellt ansonsten dann über Borg 🙂

[Minion]

@unraidM
Stelle mir gerade eine ähnliche Frage.
Bist du hier noch weitergekommen?
 

Nutze aktuell auch die Skripte von SpaceInvader.
Was mit GUI wäre in der Richtung natürlich nochmal ein Traum

[unraidM]

On 12/2/2023 at 5:50 PM, Minion said:

@unraidM
Stelle mir gerade eine ähnliche Frage.
Bist du hier noch weitergekommen?
 

Nutze aktuell auch die Skripte von SpaceInvader.
Was mit GUI wäre in der Richtung natürlich nochmal ein Traum

Ich nutze derzeit beides parallel. Um kurzerhand mal ein docker o.ä. auf eine ältere Version zurück zu spielen, finde ich zfs sehr praktisch. 

Für wichtige Dinge lasse ich parallel borg laufen, so habe ich beide Optionen 🙂

[UnKwicks]

On 9/22/2023 at 9:54 AM, Rockikone said:

Mit dem Script von Spaceinvader werden Snapshots Local UND gleichzeit auf dem Unraid BackUP Server abgelegt

Ich stimme deiner Aussage zu, dass man mit Snapshot Replication eine konventionelles Backup ersetzen kann. 
Aber ganz korrekt ist die Formulierung oben nicht, oder?

Das script legt zwar lokal einen Snapshot an (auf dem gleichen Pool) jedoch muss man sich entscheiden ob lokal repliziert werden soll ODER auf einen remote Server. 
Für eine saubere 3-2-1 Backup strategie würde ich mir wünschen ich könnte mit dem Script Lokal auf einen anderen Pool UND remote replizieren.