Cache läuft voll bei großen Backups

[bluecat]

Hallo zusammen,

 

ich teste gerade meine ersten Schritte mit Unraid. Wenn ich nun ein Backup mit Macrium von meinem Windows 10 mache, bricht dieses ab, da der Cache Pool voll ist. Das erste initiale Backup hat eine Größe von etwas über einem 1 TB von meinen Daten.

 

Meine aktuelle Test Unraid Config:

Parity 12 TB

Disk 1: 3 TB

Disk 2: 3 TB

 

Cache: 1 TB SSD

 

Share Einstellung:

 

Mover Settings habe ich auf "daily". Dennoch bin ich davon ausgegangen, dass wenn die SSD voll ist, er automatisch direkt auf die Array Disks schreibt. Das hat aber nicht geklappt. Vermutlich, weil er am Anfang nicht wusste, wie groß die Backup-Datei wird.

 

Was kann ich hier ändern?

- Denke langfristig, wäre eine größere SSD für den Cache sinnvoll (dann würde ich im neuen Hauptsystem mit 2 TB planen).

- Ich könnte wohl auch ein neues Share für speziell das Backup machen und es direkt auf das Array schreiben lassen (ohne Cache), aber dann wäre es wieder langsamer.

 

Habe ich was übersehen? Wie sind eure Best Practices dafür? Ich denke, es müsste ja häufiger der Fall sein, dass der Cache kleiner ist, als das zu sichernde Laufwerk / Daten.

 

Viele Grüße

 

 

 

Edited June 8, 2023 by bluecat

[DataCollector]

7 hours ago, bluecat said:

ich teste gerade meine ersten Schritte mit Unraid. Wenn ich nun ein Backup mit Macrium von meinem Windows 10 mache, bricht dieses ab, da der Cache Pool voll ist. Das erste initiale Backup hat eine Größe von etwas über einem 1 TB von meinen Daten.Cache: 1 TB SSD

Share Einstellung:

Das Bild zeigt nur die Shareeinstellung, aber auch da würde ich die Minimum free Space auf mindestens die Groesse der aufzunehmen Datei einstellen.

Wenn Du Dateien mit jeweis maximal 80GB Größe dort einbringen willst, sollte also der Minimum free Space etwas größer ausfallen, damit das Share eben nicht voll läuft.

 

Und gleiches gilt auch für die Cacheeinstellungen.

Wenn Du im Cache ebenfalls 0kb stehen hast, ist es logisch daß er voll läuft. Somit bricht die Datei, die zuletzt aufgespielt werden soll ab, weil unraid die Dateien nicht zerteilt, sondern immer in einem Stück zu belassen versucht.

 

Wenn Dein Backup/Image aus ein einer einzigen Datei besteht, die 1000,01GB groß ist und Dein Cache 1000GB Kapazität hat (und da geht noch Platz für das Dateisystem ab), dann ist es logisch, daß das Backup bei ca. 1TB abbricht.

Deshalb erzeuge ich Backups/Images sowieso in der Regel in kleinen 1,99GB großen Häppchen, damit es einerseits kein Problem mit solchen Grenzen gibt und andererseits ich die sogar mit simplen FAT32 formatierten Datenträger transferieren kann.

 

7 hours ago, bluecat said:

Mover Settings habe ich auf "daily". Dennoch bin ich davon ausgegangen, dass wenn die SSD voll ist, er automatisch direkt auf die Array Disks schreibt.

Das passiert auch, wenn einerseits kein Datenträger absolut randvoll geschrieben wird (stelle den Free Space im Cache und Share ein!) und wenn eben keine Datei dabei zerstückelt werden müßte.

 

7 hours ago, bluecat said:

Das hat aber nicht geklappt. Vermutlich, weil er am Anfang nicht wusste, wie groß die Backup-Datei wird.

Das läßt sich bei divesren Backup-/Imageprogrammen einstellen.

Wie erwähnt, ich stelle in der Regel 1,99GB als Zielgröße der Backupdateien ein.

 

7 hours ago, bluecat said:

Was kann ich hier ändern?

Hier kommen wir nun zu einem kleinen Problem:

Es scheint, als wenn die Minimum Free Space Einstellung in unraid 6.12.0-rc6 und rc7 im cache nicht mehr im GUI einstellbar zu sein scheint.

Ich weiß, daß es vorher möglich war (unraid 6.11.x Cache/Pools mit xfs und BTRFS betrieben).

Nun wollte ich Dir gerade Screenshots davon machen, doch diese Einstellungsoptionen habe ich unter 6.12.0-RC6 und RC7 nicht mehr. Der Punkt wird noch dargestellt, aber es ist bei mir daneben nichts mehr einstellbar.

Somit kann ich Dir erst einmal nur raten: stelle in Deinem Backupprogramm ein, daß es eben kleine Backuphäppchen macht.

 

 

7 hours ago, bluecat said:

- Denke langfristig, wäre eine größere SSD für den Cache sinnvoll (dann würde ich im neuen Hauptsystem mit 2 TB planen).

Abgesehen von einem einzigen Fall, den ich bald auch austausche, haben alle meine SSD Pools mindestens ca. 2TB.

 

Edited June 8, 2023 by DataCollector

[bluecat]

Danke für die Erklärungen! Habe das System jetzt besser verstanden. Man lernt immer dazu. Zum Glück habe ich es auf einem alten System erstmal getestet :-).

 

Meine Backupsoftware Macrium hat sogar eine Einstellung für die maximale Dateigröße. Das war ein guter Hinweis. Allerdings muss ich jetzt herausfinden, wie Macrium dann inkrementelle Backups behandelt. Den bei Aktivierung der max. Dateigröße Option erhalte ich folgende Warnung:

 

"Hinweis: Die inkrementellen Aufbewahrungsregeln werden nicht ausgeführt, wenn die Backup-Dateien aufgeteilt werden. Mögliche Ursachen sind die Einstellungen einer festen Dateigröße oder wenn das Zieldateisystem FAT32 ist."

 

Wäre natürlich doof, wenn er nicht mehr automatische die inkrementellen Backups löscht. Aber da hat dann eher was mit der Software zu tun. Besten Dank für die Hinweise und Tipps.

[mgutt]

14 hours ago, bluecat said:

Das erste initiale Backup hat eine Größe von etwas über einem 1 TB von meinen Daten

Dann solltest du auf einen Share ohne Cache sichern, weil du dann tatsächlich mindestens 1 TB Platz auf dem Cache bräuchtest. Oder eben größere SSD verbauen. Außerdem sollte man sich fragen, ob man wirklich 1TB an Daten auf einem Client braucht. Ich mein klar, bei PC Spielen mittlerweile schwierig ohne so eine große SSD auszukommen, aber in so einem Fall sollte man sich dann fragen, ob man die Games dann nicht exkludiert. Also kommt halt drauf an, was du da für Daten hast und ob man sie dann nicht lieber auf Unraid auslagert.

[bluecat]

Ich habe in Zwischenzeit mit Macrium ein Backup mit Max. Dateigröße von 50 GB gemacht und gleichzeitig bei Unraid eingestellt, dass mind. 60 GB im Cache frei bleiben sollen. Das hat nun funktioniert, dass der erste Teil ins Cache geht bis fast voll und dann direkt auf das Array geschrieben wird. Soweit habe ich es jetzt verstanden und es verhält sich wie gedacht. Danke für die Tipps!

 

Ob ich einige Daten direkt aufs Array packe, ist durchaus eine Idee. Bisher hatte ich keine Ausfallsicherheit der Platten auf meinem alten NAS und daher alles erst Lokal gespeichert. Ein Teil davon könnte ich tatsächlich jetzt direkt auf das Array verlagern. Vorteil von jetzt ist eben, dass ich alles lokal habe und zusätzlich das Backup auf dem NAS. Aber diese Strategie überdenke ich, zumindest für ein Teil der nicht so wichtigen Daten.

Edited June 9, 2023 by bluecat

[Ford Prefect]

1 hour ago, bluecat said:

Ich habe in Zwischenzeit mit Macrium ein Backup mit Max. Dateigröße von 50 GB gemacht und gleichzeitig bei Unraid eingestellt, dass mind. 60 GB im Cache frei bleiben sollen. Das hat nun funktioniert, dass der erste Teil ins Cache geht bis fast voll und dann direkt auf das Array geschrieben wird. Soweit habe ich es jetzt verstanden und es verhält sich wie gedacht.

Plan B wäre, den Mover eben öfter laufen zu lassen (zB 1x/stunde, statt 1x/Tag - Wenn keine Daten zu verschieben sind, bleiben die Array-Disks dabei auch schlafend) oder ihn manuell oder über ein User-Script anzustossen.

Es gibt für den Mover auch ein erweiteres Plugin mit mehr Einstellmöglichkeiten...

 

Edited June 9, 2023 by Ford Prefect

[bluecat]

Ich habe nun testweise ein Backup direkt auf das Array gemacht, ohne Cache. Dauerte ca. 2h länger, aber da ich das nicht so oft mache, wäre das vernachlässigbar.

Habe mich aber jetzt entschieden, beim neuen System direkt ein 2 TB Cache1 für das Array und ein separates 1 TB Cache2 für Docker und VM's zu machen. Denke, da bin ich dann gut aufgestellt für die Zukunft. Manchmal gar nicht so einfach, sich für eine Möglichkeit zu entscheiden. Da bietet Unraid schon viel :-).

Edited June 10, 2023 by bluecat