Cache Backup bei Single Disks


Revan335

Recommended Posts

Hallo,

 

da ich ebenfalls kein Bock mehr auf die Zuverlässigkeit von btrfs im RAID 1 hatte, läuft es nun ebenfalls per xfs und Single Disk.

 

Wie macht ihr das Backup von diesem Single Cache?

 

Es läuft der Cache, Docker/System, Appdata, libvirt, VMs drauf.

 

Nur per Backup App (Für VMs und Docker/Appdata) und Mover für den Cache einmal am Tag/Stunde, mgutts Script, luckyBackup, ...?

 

Dann auf ne zweite NVME oder USB Platte, Array, NAS ....?

 

Vielen Dank!

 

Viele Grüße

 

Revan335

Edited by Revan335
Link to comment
7 hours ago, Revan335 said:

Wie macht ihr das Backup von diesem Single Cache?

 

So mache ich es:

 

1.) rsync einmal täglich komplett von der aktiven NVMe M.2 zur zweiten NVMe M.2. Da dieser Backup heiß ist (Container werden nicht gestoppt) ...

 

2.) ... zusätzlich einmal täglich relevante Container (z.B. Datenbanken) runterfahren und per rsync ins Array sichern.

 

Im Katastrophenfall die zweite NVMe ins Spiel bringen und die Datenbanken drüber legen. Der Grund liegt in der Differenz der Größe und der damit verbundenen Laufzeit. Komplett ist ~250 GB, relevantes unter 10 GB.

 

Edited by hawihoney
Link to comment
On 3/13/2023 at 11:56 PM, Revan335 said:

da ich ebenfalls kein Bock mehr auf die Zuverlässigkeit von btrfs im RAID 1 hatte, läuft es nun ebenfalls per xfs und Single Disk.

 

Wie macht ihr das Backup von diesem Single Cache?

....ich hab auch die Nase voll aber mir das nicht angetan und bin auf 6.12rc1 und nutze nun zfs mirror auf nem pool...cache Umstellung von BTRFS auf ZFS kommt morgen dran.

Link to comment
36 minutes ago, Ford Prefect said:

....ich hab auch die Nase voll aber mir das nicht angetan und bin auf 6.12rc1 und nutze nun zfs mirror auf nem pool...cache Umstellung von BTRFS auf ZFS kommt morgen dran.

Da bin ich mächtig gespannt.

Berichte bitte!

Mit ZFS hab ich noch nicht so viel Berührung/Erfahrung gehabt.

 

Gut, das inzwischen RC2 raus ist. Da wurde auch was am ZFS geändert/gefixt.

Link to comment
1 hour ago, Revan335 said:

Nutzt ihr für euer Docker Directory oder File ebenfalls xfs oder wird dort btrfs genutzt? Das kann man ja unabhängig vom Cache Filesystem in den Docker Settings definieren.

Nein das kann man nicht separat einstellen. Entweder hat man das docker.img und das dafür definierte Dateisystem oder man nutzt den Cache Pool und dessen Formatierung. Letzteres kann man nicht ändern, außer man macht den ganzen Pool platt und formatiert ihn neu.

Link to comment
6 minutes ago, mgutt said:

Nein das kann man nicht separat einstellen. Entweder hat man das docker.img und das dafür definierte Dateisystem oder man nutzt den Cache Pool und dessen Formatierung. Letzteres kann man nicht ändern, außer man macht den ganzen Pool platt und formatiert ihn neu.

OK, mir wurde auch beim Docker Directory die Frage nachdem Dateisystem gestellt. Das hatte mich schon verwundert, da es aufgrund des Directory gar keinen Sinn macht das einzustellen, weil es vom Ziel abhängt wo es abgelegt wird.

Link to comment
7 hours ago, Revan335 said:

Das hatte mich schon verwundert, da es aufgrund des Directory gar keinen Sinn macht das einzustellen, weil es vom Ziel abhängt wo es abgelegt wird.

 

Schau mal in die docker.cfg. Dort steht der Storage Driver für Images. Das läuft bei mir auf XFS:

 

DOCKER_IMAGE_TYPE="folder"

DOCKER_OPTS="--storage-driver=btrfs"

 

  • Thanks 1
Link to comment

oder um zu sehen was läuft, overlay2 auf xfs

 

root@AlsServer:~# docker system info
Client:
 Context:    default
 Debug Mode: false

Server:
 Containers: 22
  Running: 22
  Paused: 0
  Stopped: 0
 Images: 22
 Server Version: 20.10.23
 Storage Driver: overlay2
  Backing Filesystem: xfs
  Supports d_type: true
  Native Overlay Diff: true
  userxattr: false
 Logging Driver: json-file
.....

 

  • Thanks 1
Link to comment
2 hours ago, hawihoney said:

 

Schau mal in die docker.cfg. Dort steht der Storage Driver für Images. Das läuft bei mir auf XFS:

 

DOCKER_IMAGE_TYPE="folder"

DOCKER_OPTS="--storage-driver=btrfs"

 

Docker OPTS fehlt bei mir.

 

1 hour ago, alturismo said:

oder um zu sehen was läuft, overlay2 auf xfs

 

root@AlsServer:~# docker system info
Client:
 Context:    default
 Debug Mode: false

Server:
 Containers: 22
  Running: 22
  Paused: 0
  Stopped: 0
 Images: 22
 Server Version: 20.10.23
 Storage Driver: overlay2
  Backing Filesystem: xfs
  Supports d_type: true
  Native Overlay Diff: true
  userxattr: false
 Logging Driver: json-file
.....

 

Ja, steht auf xfs bei mir.

 

Vielen Dank!

Link to comment
34 minutes ago, Milongero said:

Darf man Mal fragen welche Probleme es mit BTRFS gibt?

 

1.) RAID5/6 Systeme mit BTRFS sind noch nicht ausgereift. Single Device FS z.B. im Array mag kein Thema sein. Ein Multi-Device BTRFS Pool käme mir aber nicht ins Haus - auch wenn es ein angeblich fertiges BTRFS RAID-1 ist:

https://btrfs.readthedocs.io/en/latest/btrfs-man5.html#raid56-status-and-recommended-practices

 

Quote

There are some implementation and design deficiencies that make it unreliable for some corner cases and the feature should not be used in production, only for evaluation or testing. The power failure safety for metadata with RAID56 is not 100%.

 

Als persönliche Anmerkung hierzu noch Folgendes. Wenn in einem RAID Verbund aus zwei Platten (z.B. der typische Unraid Cache) eine Platte ausfällt, dann geht das normalerweise so: (Stoppen), Platte austauschen, (Starten), Sync, fertig. Bei BTRFS kommt noch dazu, dass unter Volllast die verbliebene gesunde Platte mit den Metadaten rumspielt. Das sind bei BTRFS somit zwei Volllast Szenarien beim Ausfall einer Platte statt nur einem bei anderen RAID Systemen. Ich habe das einmal erlebt und war weg. Das mag sich vielleicht geändert haben, ich glaube das aber nicht. Jeder Sync ist IMHO eine kritische Situation. Bei BTRFS genehmigt man sich zwei davon.

 

Ich kann nicht verstehen, dass BTRFS allen Ernstes für solche Szenarien eingesetzt wird.

 

34 minutes ago, Milongero said:

Und ist XFS überhaupt für SSD's geeignet?

 

Wie kommst Du darauf? Im Gegenteil. Laut der oben verlinkten Status Seite vom BTRFS Team gibt es auch bei SSDs die sich zwischen 50 % und 100 % ihres Lebenszyklus befinden massive Probleme durch die Write Amplication von BTRFS und der Metadaten Duplizierung. Auch hier ist XFS unverdächtig.

 

Als interessierter Nutzer verfolge ich die Entwicklung beider FS im Kernel und auch außerhalb. Meiner bescheidenen persönlichen Meinung nach verfolgen beide Fraktionen unterschiedliche Entwicklungsansätze. M.M.n. haut das BTRFS Team alle Features gleichzeitig raus und beginnt dann mit dem Fixen. Das XFS Team setzt einzelne kleine Schritte als Ziel und macht sie fertig. Erst dann kommen sie ans Licht und das nächste Ziel wird ausgerufen.

 

Nur meine 0.02 Cent. Jeder kann machen was er will, aber guck Dir mal die hunderte Fehlermeldungen an. Es ist fast immer der BTRFS Cache (nach einem Crash oder Stromabriss o.ä.).

 

Edited by hawihoney
Link to comment
1 minute ago, hawihoney said:

Jeder kann machen was er will, aber guck Dir mal die hunderte Fehlermeldungen an. Es ist fast immer der BTRFS Cache.

Wobei ich mir nicht sicher bin ob in letzter Konsequenz BTRFS der Auslöser ist.

Denn ebenso häufig sieht man ja zb die fragen zu AER Fehlern im Forum.

Ich könnte mir vorstellen, dass ein (schlecht implementierter) Stromspar-Mechanismus das RAID1 stört, man dann aber nur als Endeffekt den BTRFS Fehler sieht.

Ich zb nutze BTRFS Cache seit über 2 Jahren und außer ganz am Anfang (durch eben einen solchen Stromspar-Mechanismus auf einem anderen Board) hatte ich nie irgendwelche Probleme. Wobei ich natürlich auch einen recht entspannten usecase für meinen UNRAID Server habe (was bei zickigen Stromspar-Mechanismen dann allerdings wieder stärker zum tragen kommen würde). Da werden andere User ihre Maschinen ganz anders knechten

Link to comment
19 minutes ago, jj1987 said:

Ich könnte mir vorstellen, dass ein (schlecht implementierter) Stromspar-Mechanismus das RAID1 stört, man dann aber nur als Endeffekt den BTRFS Fehler sieht.

 

Das genau meine ich doch. Ein Dateisystem muss mit einem Crash - egal ob durch Strom oder etwas anderes - klar kommen. Das kommt BTRFS einfach nicht. Ich hatte Ende 2021 zwei selbst verschuldete Abstürze. Beide Male hat der BTRFS Mirror Pool (2x NVMe M.2) nicht überlebt und jedes mal durfte ich manuell reparieren und sogar den Rechner aufschrauben um an die M.2 Riegel zu kommen. Zu dem Zeitpunkt habe ich alles was BTRFS im Namen hat eliminiert.

 

Ob ich jetzt auf ZFS springe oder nicht weiß ich noch nicht. BTRFS lasse ich aber auf jeden Fall links liegen. Das ist bei mir verbrannte Erde.

 

Link to comment
7 minutes ago, Milongero said:

Wenn du ohne RAID 1 fährst kannst die SSD ja auch gleich ins Array hängen.

naja, das ist jetzt aber weit am Thema vorbei ... und ne SSD ins Array hängen und dank Parity immer mit angezogener Bremse fahren und immer mit laufender disk ... macht wohl eher 0 Sinn ;)

 

auch hier, btrfs ... never ever again ... 2 x meine Erfahrung damit gemacht, ich bin damit auch schon lange fertig ;)

 

und ja, es gibt x threads hierzu (wo vermeintlich nicht mal klar ist was schuld ist), Beispiele zuhauf ... kaputte Docker Images ... und ... siehe da, btrfs ;)

 

aber ja, es gibt einige wo das schmerzfrei durchläuft, nur halt auch einige wo das Thema beerdigt ist ...

 

und jetzt sollte das genug #offtopic gewesen sein bitte.

Link to comment

Den Unterschied zwischen Pool und Array kennst du?

Array: eine Datei eine Platte plus Party auf einer anderen.

Pool: eine Datei gesplittet auf mehrere Platten plus Party auch verteilt auf mehrere Platten oder eine Einzelne ja nach RAID Typ.

 

Warum gibt es Pools mit RAID systemen? Performance plus Sicherheit. Das kann man sich im RAID konfigurieren wie man es braucht.

 

Ein Array ist einfach nur ein Cluster (Haufen) von Platten die hintereinander geschaltet sind und jede für sich selbständig arbeitet.

Vorteil: Altmetall Verwertung, stromsparend

Nachteil: Performance.

 

Einen Pool so zu verbiegen das er wie ein Array funktioniert ohne Party finde ich dagegen etwas merkwürdig.

 

 

 

 

 

Link to comment
45 minutes ago, Milongero said:

Wenn du ohne RAID 1 fährst kannst die SSD ja auch gleich ins Array hängen.

 

9 minutes ago, Milongero said:

Den Unterschied zwischen Pool und Array kennst du?

 

9 minutes ago, Milongero said:

Einen Pool so zu verbiegen das er wie ein Array funktioniert ohne Party finde ich dagegen etwas merkwürdig.

Deine Aussagen widersprechen sich aber auch...

Und ins Array gehören (für mich) keine SSDs, schon gar nicht wenn da auch noch HDDs drin sind.

Und selbst bei SSD-only Array sollte man genau wissen was man tut. Stichworte TRIM und Overprovisioning werfe ich da Mal in den Raum 

Link to comment
35 minutes ago, Milongero said:

Den Unterschied zwischen Pool und Array kennst du?

 

ich weiß jetzt nicht auf wen oder was du anspielst ...

 

1 hour ago, Milongero said:

Wenn du ohne RAID 1 fährst kannst die SSD ja auch gleich ins Array hängen.

meine Antwort bezog sich auf diese Aussage von Dir

 

und jetzt mal ganz entspannt, hier bei Unraid reden wir über das Array oder Pools, und ja, ich kenne den Unterschied ;)

 

und wenn du sagt die SSD ins Array hängen ... dann, siehe meine Antwort oben zum "Unraid" Array, wenn du meinst ne SSD in einen Pool setzen (sei es single drive, multi drive) dann reden wir von was anderem hier ...

 

und jetzt bitte wenn ... dann zurück zu #topic wenn Bedarf, cache Backup ...

Link to comment
58 minutes ago, Milongero said:

Wenn du ohne RAID 1 fährst kannst die SSD ja auch gleich ins Array hängen.

 

Du scherzt, oder? Was soll denn eine SSD in einem x-disk Unraid Array bestehend aus Harddisks. Das ist die schlechteste aller Lösungen.

 

Die meisten hier nutzen ein stromsparendes Unraid Array (RAID-4 mit P+Q Parity) bestehend aus günstigen Harddisks als Cold-Storage und nehmen dafür die reduzierte Performance in Kauf.

 

Die Pools sind dann für die weiteren Unraid Subsysteme wie Docker, KVM, Schreib-Cache, etc. vorgesehen. In diese Hot-Storages wandern dann teurere Disks mit erheblich besserer Performance.

 

Wenn Du allerdings immer die beste Performance benötigst oder der Strompreis kein Thema ist oder Disk Preise kein Thema sind, ja dann hält niemand Dich davon ab ein SSD Array zu betreiben. Das ist hier aber eher nicht so oft vertreten. Denn die Kernfunktion von Unraid war und ist das Array.

 

Link to comment
3 hours ago, hawihoney said:

Das genau meine ich doch. Ein Dateisystem muss mit einem Crash - egal ob durch Strom oder etwas anderes - klar kommen

Das Dateisystem ist doch nicht direkt Schrott nur weil mal das System abstürzt.

Ich hatte schon etliche crashes und bisher keinerlei Probleme. Oder ist das normalerweise so und ich hatte bisher "glück". 

Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.