Cache ist voll - Mover funktioniert nicht

[BigChris]

Ich hatte die Meldung vom Unraid, dass die Cache-Disk voll läuft. Die Cache-Disk ist eine 1TB SSD
Eigentlich sollter der Mover jeden Tag starten, ich habe dann gesehen das der Mover läuft aber nichts bewegt.

Ich hatte dann die VMs weggeschaltet und auch die Docker, was nichts geholfen hat.

Dann habe ich die Mover-Logs angeschaltet und den Mover nach einem Reboot neu gestartet. Ich erhalte die folgenden Meldungen:

 

Aug 23 11:27:55 Tower shfs: copy_file: /mnt/cache/zoneminder-data/events/1/2022-08-13/377481/00125-capture.jpg /mnt/disk2/zoneminder-data/events/1/2022-08-13/377481/00125-capture.jpg (28) No space left on device Aug 23 11:27:55 Tower move: move_object: /mnt/cache/zoneminder-data/events/1/2022-08-13/377481/00125-capture.jpg No space left on device Aug 23 11:27:55 Tower move: move: file /mnt/cache/zoneminder-data/events/1/2022-08-13/377481/00126-capture.jpg Aug 23 11:27:55 Tower shfs: copy_file: /mnt/cache/zoneminder-data/events/1/2022-08-13/377481/00126-capture.jpg /mnt/disk2/zoneminder-data/events/1/2022-08-13/377481/00126-capture.jpg (28) No space left on device Aug 23 11:27:55 Tower move: move_object: /mnt/cache/zoneminder-data/events/1/2022-08-13/377481/00126-capture.jpg No space left on device Aug 23 11:27:55 Tower move: move: file /mnt/cache/zoneminder-data/events/1/2022-08-13/377481/00127-capture.jpg Aug 23 11:27:55 Tower shfs: copy_file: /mnt/cache/zoneminder-data/events/1/2022-08-13/377481/00127-capture.jpg /mnt/disk2/zoneminder-data/events/1/2022-08-13/377481/00127-capture.jpg (28) No space left on device Aug 23 11:27:55 Tower move: move_object: /mnt/cache/zoneminder-data/events/1/2022-08-13/377481/00127-capture.jpg No space left on device

 

Meine Disk 2 wurde vollgeschrieben, die Disk 1 hat noch mehr als 4TB frei.

Ich verstehe nicht, warum der Mover es immer versucht die Daten in die Disk2 zu schreiben. Zumindest verstehe ich das Log so. Den Share habe ich so eingestellt, dass alle Festplatten benutzt werden sollen. (Screenshot anbei)

 

Irgendwas läuft hier schief, ich weiß nur nicht wo ich suchen soll....

 

[DataCollector]

On 8/23/2022 at 12:05 PM, BigChris said:

Ich hatte die Meldung vom Unraid, dass die Cache-Disk voll läuft. Die Cache-Disk ist eine 1TB SSD
Eigentlich sollter der Mover jeden Tag starten, ich habe dann gesehen das der Mover läuft aber nichts bewegt.

Ich hatte dann die VMs weggeschaltet und auch die Docker, was nichts geholfen hat.

Dann habe ich die Mover-Logs angeschaltet und den Mover nach einem Reboot neu gestartet. Ich erhalte die folgenden Meldungen:

 

Aug 23 11:27:55 Tower shfs: copy_file: /mnt/cache/zoneminder-data/events/1/2022-08-13/377481/00125-capture.jpg /mnt/disk2/zoneminder-data/events/1/2022-08-13/377481/00125-capture.jpg (28) No space left on device Aug 23 11:27:55 Tower move: move_object: /mnt/cache/zoneminder-data/events/1/2022-08-13/377481/00125-capture.jpg No space left on device Aug 23 11:27:55 Tower move: move: file /mnt/cache/zoneminder-data/events/1/2022-08-13/377481/00126-capture.jpg Aug 23 11:27:55 Tower shfs: copy_file: /mnt/cache/zoneminder-data/events/1/2022-08-13/377481/00126-capture.jpg /mnt/disk2/zoneminder-data/events/1/2022-08-13/377481/00126-capture.jpg (28) No space left on device Aug 23 11:27:55 Tower move: move_object: /mnt/cache/zoneminder-data/events/1/2022-08-13/377481/00126-capture.jpg No space left on device Aug 23 11:27:55 Tower move: move: file /mnt/cache/zoneminder-data/events/1/2022-08-13/377481/00127-capture.jpg Aug 23 11:27:55 Tower shfs: copy_file: /mnt/cache/zoneminder-data/events/1/2022-08-13/377481/00127-capture.jpg /mnt/disk2/zoneminder-data/events/1/2022-08-13/377481/00127-capture.jpg (28) No space left on device Aug 23 11:27:55 Tower move: move_object: /mnt/cache/zoneminder-data/events/1/2022-08-13/377481/00127-capture.jpg No space left on device

 

Meine Disk 2 wurde vollgeschrieben, die Disk 1 hat noch mehr als 4TB frei.

Ich verstehe nicht, warum der Mover es immer versucht die Daten in die Disk2 zu schreiben. Zumindest verstehe ich das Log so. Den Share habe ich so eingestellt, dass alle Festplatten benutzt werden sollen. (Screenshot anbei)

 

Irgendwas läuft hier schief, ich weiß nur nicht wo ich suchen soll....

 

1. Ich würde erst einmal das Problem lösen, daß Disk2 zu voll ist. Nimm krusader oder MC oder so und verschiebe ein paar der Datein von Disk2 auf Disk1, so daß Du auf beiden Disks wieder etwas freien Platz hast (sagen wir mal >100GB).

2. Ich würde danach ein paar der Dateien aus dem Cache (der zu voll ist) ebenfalls auf eine ZielDisk bewegen. Auch hier nutze ich wieder krusader oder MC oder so und verschiebe damit manuell ein paar der Dateien vom Cache auf Disk1, so daß dann auch auf dem Cache etwas mehr freier Platz ist (auch hier mal spasseshalber >100GB).

3. Dann würde ich in den Shares und der CacheSSD einstellen (das sind 2 getrennte Einstellungen!!), daß dort immer das doppelte der größten Datei an Platz frei gehalten wird.

Ich sehe in Deinem Zoneminder-Share sind 10GB eingestellt. Solltest Du dort viele große Video- oder Imagedateien haben, könnte das viel zu klein sein.

Wenn Du irgendwelche Dateien mit beispielsweise 25GB da drin haben würde ich die Grenze auf mindestens 50GB hoch stellen. Der Mover hat Probleme, wenn der Cache zu voll ist und wirft dann vergleichbare Fehlermeldungen aus.

4. Wenn Du das beides gemacht hast, würde ich danach den Mover nochmal versuchen manuell anzuwerfen. Laeuft er nun, so wie gewünscht?

 

Wenn ja, dann ist es wirklich ein reines "Platzgrenzenproblem" gewesen. Wo es genau lag, kannst Du dann ja mit verschieben der Füllungsgrenzen weiter eingrenzen.

 

 

[mgutt]

Sieht für mich alles richtig eingestellt aus.

 

Ich vermute, dass es mit Minimum Free space und bereits auf Disk2 vorhandenen Dateien zu tun hat, die nach dem Verschieben größer geworden sind (zb eine Datenbank oder ähnliches).

 

Schau auch mal ob du manche Dateien doppelt auf Array und Mover liegen hast. Dazu auf Shares > rechts den Inhalt des Shares anzeigen lassen > was steht in jeder Zeile jedes Shares bei der Spalte LOCATION? Gibt es Dateien (nicht Ordner), die da DiskX und Cache stehen haben?

 

Mein Vorschlag wäre jedenfalls:

- mehr als 100GB von Hand von Disk2 nach Disk1 verschieben

- Free min space bei allen Shares auf 100GB anheben

- Server neu starten

- Mover starten

[Megacayman]

Habe ein ähnliches Problem, 4 x 10 tb also 1 x 10 als Parity.

 

2 x 500 gb Nvme.

 

Seit einem Backup der App Datas vorgestern Nacht geht nichts mehr, 

-Cache auf 90-100%  gefüllt

-Docker sind verschwunden ABER stattdessen sind Docker von vor 1 Jahr zu finden

-Mover funktioniert nicht, sprich Cache bleibt gefüllt, habe ihn schon mehrmals Manuel / händisch gestartet.

 

Brachte nichts.

 

Kurrioserweise finde ich bei den App datas die er gebackupt hat schon Docker die drauf waren aber nichtmehr sind.

 

Ein Stick Backup vor vor einer Woche wäre vorhanden aber dies löst ja die Docker Problematik nicht.

 

Was habt ihr für einen Rat wie ich vorgehen kann?

 

 

 

 

 

 

[DataCollector]

19 minutes ago, Megacayman said:

Habe ein ähnliches Problem, 4 x 10 tb also 1 x 10 als Parity.

2 x 500 gb Nvme.

Seit einem Backup der App Datas vorgestern Nacht geht nichts mehr, 

-Cache auf 90-100%  gefüllt

 

Mache mal etwas mehr Platz im Cache (kannst ja ein paar große Dateien manuell vom Cahe auf das Array mit mc/krusader/filemanager verschieben).

Wenn auf dem Cache/Pool wieder etwas mehr freier Platz ist müßte sich der Mover manuell oder auch automatisiert starten lassen und seine Arbeit verrichten.

Und solte genau das helfen: In Zukunft bei dem Cache einen "Minimum free Space" einstellen.

(siehe Screenshot unten).

 

 

19 minutes ago, Megacayman said:

-Mover funktioniert nicht, sprich Cache bleibt gefüllt, habe ihn schon mehrmals Manuel / händisch gestartet.

Brachte nichts.

 

Tja, der Mover mag es nicht, wenn der Cache zu voll ist (soweit ich mich recht entsinne).

 

 

[Megacayman]

@DataCollector danke für deine AW, also wenn ich mit dem Krudader mal unter /mnt/user/cache schaue ist der ordner hier 481,5 MB 

Jetzt aber habe ich hier aber unter /mnt/user/cache/ext_toshiba/backup/app_data/2023-02-27@2:00 

folgendes gefunden das könnte der Verursacher sein !

was genau das letzte Backup ist nachdem alles kaputt war , also Docker sind verschwunden waren wieder ganz alte da, mein Embycontainer geht nicht, meine HomeAssistant VM geht nicht etc......

 

Ich verscheibe jetzt mal den Ordner zur Sicherheit aufs Array dann würde ich ihn löschen , passt das `?

 

Aber gleichzeitig würde ich auch gerne um mir z.b. meinen Nginx nicht neu einstellen zu müssen die Daten hier übernehmen wie auch bei Emby etc.
Also leider geht es über die implementierte Funktion nicht, dass ich das Backup (in Backup an Restore Appdata) wiederherstelle gibts es hier einen Ratschlag ?

 

 

 

 

Edited February 28, 2023 by Megacayman

[DataCollector]

2 hours ago, Megacayman said:

@DataCollector danke für deine AW, also wenn ich mit dem Krudader mal unter /mnt/user/cache schaue ist der ordner hier 481,5 MB 

Wenn ich richtig sehe sind nur noch ca. 256kB frei: Das sieht mir sehr danach aus, daß Du den Cahe (zu) voll gestopft hast.

Das würde ich an Deiner Stelle als erstes angehen. Zuerst (wie gesagt) schaffe Platz, Wenn Dir die Daten wichtig sind (Du wolltest ja sowieso den "Mover" nutzen) schiebe irgendetwas manuell dort hin (aufs Array) wo es hin soll, so daß Du einige MB bis GB platz frei bekommst. Danach kannst Du den Mover anwerfen.

Solltest Du Deine Syesteverzeichnise auf der selben cachedisk haben, könnte es auch Ursache für das beschriebene komische verhalten haben (welches ich nicht ganz verstehe/nachvollziehen kann).

Wenn Du etwas Platz auf dem Cache hast (wie gesgt einige MB bis GB frei) hast: boote einfach mal neu. Dann sollte sich unraid beruhigt haben umd eigentlich alles wieder funktionieren, wie es soll.

Und hier der sehr wichtige Hiwneis: stelle die Max Frei Grenze des Cache ein (siehe min vorheriger Screenshot) und dort wähle eien Größe, die etwas (Faustregel 2x so groß) größer ist, als die größte Datei, die Du je aufkopieren willst.

Solltest Du vor haben öfters 400GB große Imagedateien über den Cache laufen zu lssen: kauf Dir eine mindestens 1TB große SSD.

 

 

2 hours ago, Megacayman said:

Jetzt aber habe ich hier aber unter /mnt/user/cache/ext_toshiba/backup/app_data/2023-02-27@2:00 

folgendes gefunden das könnte der Verursacher sein !

Eine ca. 400GB große einzekne TAR Datei: auf eine 4xx große SSD: ja, das wird mit großer Wahrscheinlichkeit der Verursacher sein.

Da hat Dein Backup Dir einen Bärendienst geleistet.

 

2 hours ago, Megacayman said:

was genau das letzte Backup ist nachdem alles kaputt war ,

Es ist fraglich ob das Backup überhaupt nutzbar/vollständig ist, da möglicherweise es einfach an der Steklle hängen geblieben ist, weil es einfach keinen Platz mehr hjatte um weiter zu machen.

Es wäre schon ein Zufall, wenn das Backup ausgerechnet exakt 400GB groß geworden wäre.

 

2 hours ago, Megacayman said:

Ich verscheibe jetzt mal den Ordner zur Sicherheit aufs Array dann würde ich ihn löschen , passt das `?

Um Platz zu schaffen: ja.

 

2 hours ago, Megacayman said:

Aber gleichzeitig würde ich auch gerne um mir z.b. meinen Nginx nicht neu einstellen zu müssen die Daten hier übernehmen wie auch bei Emby etc.

Ich kenne udn nutze diese Anwendungen nicht, aber es kann sein, daß diese beim versuch auf dem Cache irgendwelche Daten abzulegen schon gescheitert sind und somit der letzte Datenstand fehlt/korrupt ist.

 

Aber dazu kann ich nichts genaues sagen, weil ich die nicht nutze.

 

2 hours ago, Megacayman said:

Also leider geht es über die implementierte Funktion nicht, dass ich das Backup (in Backup an Restore Appdata) wiederherstelle gibts es hier einen Ratschlag ?

Ich befürchte, schon das Backup ist in einem fraglichen Zustand.

 

[mgutt]

6 hours ago, Megacayman said:

Kurrioserweise finde ich bei den App datas die er gebackupt hat schon Docker die drauf waren aber nichtmehr sind.

Verstehe ich nicht. Klingt so als hättest du mal mit no / only rumgespielt und hast nicht beachtet, ob appdata komplett auf Array bzw Cache lag.

 

Vor allem sollte die klar sein, dass du keine Dateien mit dem Mover bewegen kannst, die in Verwendung sind. Docker und VM also vollständig abschalten. Dann über Shares prüfen, wo appdata alles liegt. Auch auf Disks und Cache separat prüfen, ob es Dopplungen gibt (selbe Datei auf Cache und Array). Wenn das der Fall sein sollte, hast du die A-Karte gezogen. Außer du weißt welche der doppelten Dateien du behalten willst.

 

 

 

[Megacayman]

So also , hat bissl länger gedauert.
Das weis ich leider nicht ob ich mit no / only rumgespielt habe aber vermutlich lag es daran, dass ich die APP Datas habe auf einer ivel zu kleinen Festplatte versuche habe zu sichern und der Prozess nicht durchlief und zu einem Fehler kam.

Sei es wie es sei ich lerne aus der Situation und werde hier die Backupplatte umstellen auf eine andere, grössere.