Eine HD im Array voll, Backupprogramm auf meinem PC meldet "zu wenig Speicherplatz"

[Franky]

 

Eine HD ist im Array voll, das Backupprogramm auf meinem PC meldet "zu wenig Speicherplatz"

Ich habe allerdings 4 HD´s mit jeweils 2 TB.

Das Array ist zu 40 % ausgelastet.

Keine Freigabe ist in der wahl der HD eingeschränkt.

Nur die erste ist zu 100% beschrieben.

Diese Freigabe darf den Cache nicht nutzen, weil er zu oft voll läuft.

 

Kann ich mir nicht erklären.

 

Gruß

 

Frank

 

Edited March 5, 2021 by Franky

[mgutt]

Welche Einstellungen hat der Share? High Water und was bei Split Level? Mach vielleicht mal einen Screenshot.

[Franky]

Edited March 12, 2021 by Franky

[JoergHH]

3 hours ago, Franky said:

Eine HD ist im Array voll, das Backupprogramm auf meinem PC meldet "zu wenig Speicherplatz"

Verwendest Du ein Produkt von Acronis wie z. B. True Image für das Backup?

Aus meiner beruflichen Erfahrung weiss ich, dass deren Software gerne mal bei Datensicherungen auf Netzwerk-Speichern rumzickt.

 

Versuch' erstmal mit einer anderen Software oder ganz einfach per File copy größeren Datenmengen bzw. Dateien im Array zu speichern.

Sollte dies problemlos klappen, solltest Du Dich an den Support von Acronis wenden.

 

Edited March 5, 2021 by JoergHH

[Franky]

Ok....

 

Richtig ist True Image von Acronis.

Schade hatte bisher keine Probleme damit.

Ich versuchs mal.

 

[JoergHH]

3 minutes ago, Franky said:

Richtig ist True Image von Acronis.

Neueste Version inkl. aller Updates eingespielt?

Das ist nämlich das erste, was Acronis verlangt, wenn man von denen Support wünscht.

Ansonsten kann ich Dir noch deren Support-Foren empfehlen: https://forum.acronis.com/

 

Ich selbst bin schon seit einiger Zeit weg von der lokalen Datenvorhaltung und benutze den Unraid-Server direkt als Datensenke über SMB.

Von dort wandern die Daten regelmäßig per Duplicati in die Jottacloud, was a) trotz langsamer VDSL-Uploadgeschwindigkeit sehr gut klappt und b) mit nur € 7,-/Monat für unlimitierten Speicher auch noch unschlagbar günstig ist.

 

[Franky]

Ja hab Version 2021.

Im Acronis Forum hatte ich nur eine Lösung gefunden für mein Problem.

Dort war der Fehler der Cache.

Durch die Große Datenmenge die ich sichern möchte würde mein 1TB Cache auch überlaufen.

Daher habe ich diesen für das Backupverzeichnis/Freigabe abgeschaltet.

Was ist der Unterschied von High-water, Fill-up, Most-free ??

Kann es auch daran liegen ?

Im moment Teste ich das normale Kopieren mit großen Datenmengen.

[JoergHH]

1 hour ago, Franky said:

Was ist der Unterschied von High-water, Fill-up, Most-free ??

Steht eigentlich in der Online-Hilfe (auf das "?" oben rechts klicken) beim Anlegen eines neuen Shares.

1 hour ago, Franky said:

Kann es auch daran liegen ?

Eher nicht. Unraid weiss eigentlich bei allen Verteilungsmethoden, wie und auf welcher HDD die Daten zu speichern sind.

[mgutt]

2 hours ago, JoergHH said:

Aus meiner beruflichen Erfahrung weiss ich, dass deren Software gerne mal bei Datensicherungen auf Netzwerk-Speichern rumzickt.

 

Das sollte eigentlich keine Rolle spielen. Oder erstellt Acronis Image-Dateien, die dann immer größer gemacht werden?

 

1 hour ago, Franky said:

Durch die Große Datenmenge die ich sichern möchte würde mein 1TB Cache auch überlaufen.

 

Auch das wäre egal. Er schreibt dann eben weiter auf die Disks.

 

Interessant ist, dass @ich777 exakt das selbe Problem hatte, aber in dem Thread die Lösung fehlt:

https://forums.unraid.net/topic/84631-high-water-disk-usage/

 

itimpi deutet an, dass es bei High Water zu Problemen kommen kann, wenn die Disks später hinzugefügt wurden. War das bei dir der Fall? Wobei auch das eigentlich keine große Rollen spielen sollte. Unraid führt ja keine Datenbank, sondern liest einfach nur wie viel Platz auf den anderen Laufwerken gerade frei ist. 

 

1 hour ago, Franky said:

Was ist der Unterschied von High-water, Fill-up, Most-free ??

 

 

Steht in der Hilfe (auf die Zeile klicken oder oben rechts das Fragezeichen).

 

high-water ist bei dir warum auch immer kaputt. Eine Alternative für dich wäre "most-free". Ich nutze zB "most-free" zusammen mit Split Level 1 umm meine Filme je nach Anfangsbuchstaben auf den selben Disks zu haben. Das geht, weil ich diese in entsprechende Unterordner gepackt habe. Dadurch sind alle Filme mit "a" wie zB "A/Abbitte (2007)" auf Disk1.

 

Bei Backups würde ich vermutlich auch eher high-water nehmen oder werden bei dir die Backups ab einem gewissen Unterordner nach Datum erstellt? Dann könntest du an Hand Level 2 splitten, wenn zB der Pfad so aufgebaut ist:

/mnt/user/Acronis Backup/pc1/backup1/dateien

/mnt/user/Acronis Backup/pc1/backup2/dateien

oder nach Level 1, wenn es so wäre:

/mnt/user/Acronis Backup/backup1/dateien

/mnt/user/Acronis Backup/backup2/dateien

 

Der Unterordner "/backup2" würde dann bei "most-free" auf disk2 landen, wenn da gerade am meisten Platz ist.

 

Wie gesagt sollte es mit "high-water" aber eigentlich automatisch gehen. Keine Ahnung was da schief läuft.

 

 

[JoergHH]

4 minutes ago, mgutt said:

Das sollte eigentlich keine Rolle spielen. Oder erstellt Acronis Image-Dateien, die dann immer größer gemacht werden?

K. A. Ich bin schon seit einiger Zeit raus aus der Acronis-Thematik.

Acronis Software ist aber generell immer etwas buggy. Beim meinem letzten Arbeitgeber hatten wir ständig Probleme mit den Server-Versionen; und das ist ganz schön übel, wenn man auf prof. Backups angewiesen ist. (Aufgrund der, ahem, "Unternehmensträgheit" konnte "man" sich aber nicht für einen Software-Wechsel entscheiden.)

8 minutes ago, mgutt said:

Interessant ist, dass @ich777 exakt das selbe Problem hatte, aber in dem Thread die Lösung fehlt:

https://forums.unraid.net/topic/84631-high-water-disk-usage/

 

itimpi deutet an, dass es bei High Water zu Problemen kommen kann, wenn die Disks später hinzugefügt wurden. War das bei dir der Fall? Wobei auch das eigentlich keine große Rollen spielen sollte. Unraid führt ja keine Datenbank, sondern liest einfach nur wie viel Platz auf den anderen Laufwerken gerade frei ist. 

Der Thread ist von 2019. Ich gehe mal davon aus, dass es durch die vielen neuen Unraid-Versionen inzwischen nicht mehr zu diesen Problemen kommt.

Oder?

11 minutes ago, mgutt said:

high-water ist bei dir warum auch immer kaputt.

Ziemlich sportliche und vorschnelle Festlegung. Wir wissen doch eigentlich gar nicht, was zu seinen Problemen führt.

[Franky]

11 minutes ago, mgutt said:

Das sollte eigentlich keine Rolle spielen. Oder erstellt Acronis Image-Dateien, die dann immer größer gemacht werden?

Auch das wäre egal. Er schreibt dann eben weiter auf die Disks.

 

Ich glaube damit kann mein Problem zusammenhängen.

Wenn ich inkrementell oder differentiell sichere wird erstmal eine Vollständige Sicherung gemacht.

Beim nächsten Backup natürlich nur noch die Unterschiede, diese sind ja dann viel kleiner.

Scheinbar werden die Vollständigen Sicherungen aber dann auch geöffnet, wie am letzten Schreibzugriff zu sehen.

Da die HD aber zu 100% voll ist, geht das wohl in die Hose.

Das Problem habe ich erst seit die 1 HD mir 100% voll ist.

Ich habe erstmal auf Most-free umgestellt und das Backup Verzeichnis aufgeteilt.

Jeweils eins für jeden Rechner.

Das läuft jetzt erstmal ein paar Stunden.

 

11 minutes ago, mgutt said:

Interessant ist, dass @ich777 exakt das selbe Problem hatte, aber in dem Thread die Lösung fehlt:

https://forums.unraid.net/topic/84631-high-water-disk-usage/

 

itimpi deutet an, dass es bei High Water zu Problemen kommen kann, wenn die Disks später hinzugefügt wurden. War das bei dir der Fall? Wobei auch das eigentlich keine große Rollen spielen sollte. Unraid führt ja keine Datenbank, sondern liest einfach nur wie viel Platz auf den anderen Laufwerken gerade frei ist. 

Nein es ist keine HD hinzugefügt worden.

11 minutes ago, mgutt said:

 

Steht in der Hilfe (auf die Zeile klicken oder oben rechts das Fragezeichen).

 

high-water ist bei dir warum auch immer kaputt. Eine Alternative für dich wäre "most-free". Ich nutze zB "most-free" zusammen mit Split Level 1 umm meine Filme je nach Anfangsbuchstaben auf den selben Disks zu haben. Das geht, weil ich diese in entsprechende Unterordner gepackt habe. Dadurch sind alle Filme mit "a" wie zB "A/Abbitte (2007)" auf Disk1.

 

Bei Backups würde ich vermutlich auch eher high-water nehmen oder werden bei dir die Backups ab einem gewissen Unterordner nach Datum erstellt? Dann könntest du an Hand Level 2 splitten, wenn zB der Pfad so aufgebaut ist:

/mnt/user/Acronis Backup/pc1/backup1/dateien

/mnt/user/Acronis Backup/pc1/backup2/dateien

oder nach Level 1, wenn es so wäre:

/mnt/user/Acronis Backup/backup1/dateien

/mnt/user/Acronis Backup/backup2/dateien

 

Der Unterordner "/backup2" würde dann bei "most-free" auf disk2 landen, wenn da gerade am meisten Platz ist.

 

Wie gesagt sollte es mit "high-water" aber eigentlich automatisch gehen. Keine Ahnung was da schief läuft.

 

Vielen Dank erstmal an euch für die guten Tips.

Wird mir sicher helfen.

Mal sehen wie es in ein paar Stunden weitergeht.

 

Gruß Frank

[mgutt]

 

22 minutes ago, JoergHH said:

Der Thread ist von 2019. Ich gehe mal davon aus, dass es durch die vielen neuen Unraid-Versionen inzwischen nicht mehr zu diesen Problemen kommt.

 

Moment. Ich habe dazu eine passende Antwort:

23 minutes ago, JoergHH said:

Ziemlich sportliche und vorschnelle Festlegung.

 

 

[JoergHH]

4 minutes ago, mgutt said:

 

Moment. Ich habe dazu eine passende Antwort:

Verstehe ich jetzt nicht wirklich.

Ist aber auch egal.

¯\_(ツ)_/¯

[Franky]

Eins hatte ich noch vergessen zu sagen.

Sorry das mit den Hilftexten hatte ich voll verpeilt.😂

Soll nicht wieder vorkommen.

Aber ihr habt mich ja wirklich nett darauf hingewiesen.

Das hat man schon anders erlebt.

 

Vielen Dank

 

Gruß Frank

[mgutt]

19 minutes ago, Franky said:

Scheinbar werden die Vollständigen Sicherungen aber dann auch geöffnet, wie am letzten Schreibzugriff zu sehen.

Da die HD aber zu 100% voll ist, geht das wohl in die Hose.

Wobei es nie zu den 100% hätte kommen dürfen. Bei 50% Restspeicher der kleinsten anderen HDD springt der meine ich bei high-water. Die genaue Formel kenne ich jetzt aber auch nicht. Aber das eine komplett vollläuft ist nicht normal.

 

Ich gehe davon aus, dass es mehrere Backups brauchte, bis er die voll bekommen hat und das nicht bei einem Durchlauf passiert ist?

 

Interessant wird auf jeden Fall was @ich777 sagt. 

[Franky]

2 minutes ago, mgutt said:

Wobei es nie zu den 100% hätte kommen dürfen. Bei 50% Restspeicher der kleinsten anderen HDD springt der meine ich bei high-water. Die genaue Formel kenne ich jetzt aber auch nicht. Aber das eine komplett vollläuft ist nicht normal.

 

Ich gehe davon aus, dass es mehrere Backups brauchte, bis er die voll bekommen hat und das nicht bei einem Durchlauf passiert ist?

 

Interessant wird auf jeden Fall was @ich777 sagt. 

In der Freigabe sind 4 Datein gespeichert, 1 x 620 GB, 1 x 170 GB, 2 x 1,2 TB

Wobei es sich bei den 2 x 1,2 TB um eine Sicherung eines anderen Server handelt die das Backupprogramm wohl geteilt hat.

Wie gesagt, ich versuche die Datein erstmal auf 2 Verzeichnisse zu teilen.

Mache ich im Moment über meinen PC.

Werde ich in Zukunft über die Console machen, hab nur von Linux noch keinen blassen Schimmer, werde

ich mich noch drum kümmern.

 

Auf jeden Fall schreibt das Backupprogramm in die Vollsicherungen rein.

Und da geht es in die Hose.

Scheinbar ist das der Knackpunkt in meinem Fall.

Wird wohl nur passieren wenn die HD 100% voll ist.

Frei sind nur noch 65,5 KB

 

Werde ich in Zukunft über die Console machen, hab nur von Linux noch keinen blassen Schimmer, werde

ich mich noch drum kümmern.

Bin nunmal ein Windows Jünger.😂

Ich komme noch aus der MS-DOS Zeit.

Werde ich schon hin bekommen.

Meinen ersten PC hatte ich 1989 🤣

Gruß

Frank

 

[mgutt]

40 minutes ago, Franky said:

In der Freigabe sind 4 Datein gespeichert, 1 x 620 GB, 1 x 170 GB, 2 x 1,2 TB

OK, dann ist das ziemlich logisch. Bei SMB weiß der Server nicht wie groß eine Datei wird. Sind also noch 100GB frei und du überträgt 200GB, dann landen die trotzdem auf der HDD. Verhindern kann man das nur mit "minimaler Speicherplatz", was man dann auf 201GB stellen würde. Aber das hilft dir nicht, weil du ja keine 1.2TB pro HDD frei lassen willst.

[ich777]

Also nur mal kurz was High-Water ist:

 

Quote

 

**High-Water**

Benutzt den ersten Datenträger der noch genug Speicherplatz unter der *High-Water Grenze* besitzt. Die

*High-Water Grenze* wird durch den Größten Daten-Datenträger geteilt durch zwei festgelegt. Wenn kein Datenträger

Speicherplatz über der *High-Water Grenze* zur Verfügung hat wird die *High-Water Grenze* durch zwei geteilt und erneut geprüft.

Das Ziel von **High-Water** ist möglichst viele Daten auf jeden Datenträger zu schreiben (um die Anlaufvorgänge der

Datenträger zu minimieren) und gleichzeitig die Datenträgerauslastung von allen Datenträgern auf gleichem

niveaus zu halten (um Daten gleichmäßig auf dem Array zu verteilen).

 

 

Ich kann mich ehrlich gesagt gar nicht mehr an den thread erinnern weil das dann später gefixt wurde und ich das Problem jetzt auch nicht mehr kenne.

 

Ich würd auch auf jeden Fall den Minimalen freien Speicher angegeben, den würd ich immer Eingeben, meiner Meinung nach eine der wichtigsten Einstellungen, solltest mindestens so groß einstellen wie die größte Datei die du drauf kopieren willst.

 

Handelt es sich beim Backup um eine einzelne Datei oder sind es mehrere kleine?

[Franky]

29 minutes ago, ich777 said:

Also nur mal kurz was High-Water ist:

 

 

Ich kann mich ehrlich gesagt gar nicht mehr an den thread erinnern weil das dann später gefixt wurde und ich das Problem jetzt auch nicht mehr kenne.

 

Ich würd auch auf jeden Fall den Minimalen freien Speicher angegeben, den würd ich immer Eingeben, meiner Meinung nach eine der wichtigsten Einstellungen, solltest mindestens so groß einstellen wie die größte Datei die du drauf kopieren willst.

 

Handelt es sich beim Backup um eine einzelne Datei oder sind es mehrere kleine?

Ich probiere im Moment folgendes:

Minimum freier Speicher 260GB

Im Backupprogramm habe die Grösse auf 250GB festgelegt.

Die Vollbackupdatein hatte eine Größe bis zu 1,2TB.

Durch einige anderen kleinen Datein ist die erste HD 100% voll geworden.

Dadurch konnten die Datein nicht mehr zum schreiben geöffnet werden.

Vermute ich.

 

Gruß Frank

 

Edited March 5, 2021 by Franky

[ich777]

9 hours ago, Franky said:

Die Vollbackupdatein hatte eine Größe bis zu 1,2TB.

Puh...

Deine High-Water Grenze liegt bei 1TB in deinem Setup.

Bist du dir sicher das du vorher nicht Most-Free benutzt hast? Wenn du hin und her stellt und eine Festplatt ist schon relativ voll dann funktioniert das mit der High-Water Grenze nicht mehr wirklich in manchen Fällen...

 

Er dürfte aber irgendwas richtig gemacht haben sonst hätter er deinen 1. Festplatte nicht zu 100% befüllen können.

 

9 hours ago, Franky said:

Minimum freier Speicher 260GB

Im Backupprogramm habe die Grösse auf 250GB festgelegt.

Ja dann sollte es nicht mehr zu dem Problem kommen, halt uns mal am laufenden, bin schon gespannt was jetzt passiert.

 

Dein Unraid Server kann nicht wissen mit welchen Dateien und welcher größe du ihn fütterst deshalb gibt es die option "Minimalen freien Speicher" die sagt deinem Server bevor du einen Kopiervorgang startest das er vorher checken soll auf dem Ziel volumen noch genau dieser Minimale freie Speicherplatz verfügbar ist und dann beginnt er erst zu kopieren.

 

Wenn du dein ganzes Array VOLL hättest bis auf sagen wir 240GB freien Speicher und du hast die Minimale Speicher Grenze auf 260GB und du willst nur eine Datei mit 50MB kopieren dann bekommst zB auch wieder die Meldung "zu wenig Speicherplatz" weil er vorher eben Checkt ob noch 260GB frei sind, hast du aber in diesem Fall nicht.

 

Wenn so wie oben dein Array VOLL wäre bis auf die besagten 240GB freien Speicher und du hast die Minimale Speicher Grenze nicht gesetzt und willst einen Datei mit 260GB kopieren dann bekommst du die meldung nicht und erhältst die erst wenn er die 240GB freien Speicher voll geschrieben hat und wirklich kein Platz mehr auf deinem Array vorhanden ist.

 

Hoffe das ergibt Sinn für dich.

[mgutt]

10 hours ago, Franky said:

Minimum freier Speicher 260GB

Im Backupprogramm habe die Grösse auf 250GB festgelegt.

OK, wenn das geht, dann wird es das lösen. Es dürfen nur nicht zwei Backups von zwei PCs gleichzeitig laufen oder man muss den freien Speicherplatz auf 520GB erhöhen.

 

Wobei du sagtest, dass auch kleine Dateien auf der Disk1 gelandet sind. Das ist wieder unlogisch, denn High-water hätte die auf Disk2 lenken müssen. Oder High-Water "merkt" sich irgendwo den jeweils letzten Stand und prüft nicht bei jeder einzelnen Datei. Das wäre auch denkbar.

 

[Franky]

Most-free habe ich gestern zum ersten mal eingestellt.

Bisher stand alles auf High-Water.

Die Idee mit der Einstellung meiner Backupsoftware war eine gute Möglichkeit in meinen Augen das Problem zu umgehen.

Nur das Programm spind rum wenn ich diese Einstellung mache.

Bei Größeneinstellung sind verschiedene Medien vorgegeben CD,DVD,Blu-ray usw. und natürlich Benutzerdefiniert.

Habe ich dann so eingestellt wie ich geschrieben habe.

Dann das Backup neu gestartet, natürlich die Daten im Array vorher gelöscht.

Das Backup braucht gut 6-8h, nach einer halben Stunde hatte ich schon 10 Datein unterschiedlicher Grösse als Backupdatein im Array stehen.

Im Bereich von 5-60 GB 😆. Also hat die Software meine Einstellung ignoriert.

Ursprünglich hatten die Backupdatein eine Größe von 2 x 1,2tb.

Nun sichere ich den ersten Server nicht mehr komplett, sondern jede Freigabe einzeln.

Sind in meinem Fall also 7 einzelne Backups.

Ich würde sagen, ich schaue mich in Zukunft nach einer besseren Lösung um.

Die Sicherung meiner PC´s lief seit monaten ohne Probleme.

Auch seit 40 Tagen mit UNRAID.

 

Im Prinzip habe ich erst Probleme, seit dem ich meine 2 Unraid Server sichern möchte, sprich von Server 1 auf Server 2 und umgekehrt.

Es ist sowieso nicht auf Dauer von mir geplant diese Sicherung über meinen PC zu machen.

Besser ist es natürlich wenn die zwei Server sich direkt gegenseitig Sichern würden.

Habe schon einiges darüber gelesen.

Aber mein Englisch bremst mich da schwer aus.

 

Viele Grüße

Frank

Baujahr 1964 🤣😂

Ps. Ein  tolles Forum

 

[ich777]

8 minutes ago, Franky said:

Server 1 auf Server 2 und umgekehrt.

Ich mach das mit meinem luckyBackup container und preshared ssh key funktioniert super.

 

Sieh dir mal an wie das mit dem pre shared key funktioniert und dann können wir ja nochmal schreiben wie du das am besten anstellst, ein paar hintergrund infos wären noch gut.

[JoergHH]

On 3/6/2021 at 7:57 PM, Franky said:

Aber mein Englisch bremst mich da schwer aus.

...

Ps. Ein  tolles Forum

Keine Frage. 

 

Falls Du zu Unraid im Rahme der Vielfalt noch weitere deutschsprachige Unterstützung benötigst:

https://www.kodinerds.net/index.php/Board/156-unRAID/

https://forum.thegeekfreaks.de/forum/index.php?board/48-unraid/

https://knilixun.wordpress.com/

On 3/6/2021 at 7:57 PM, Franky said:

Baujahr 1964 🤣😂

Hui, noch so ein IT-Senior wie ich! 8-) 

Edited March 9, 2021 by JoergHH
Typo