Jump to content

Docker Array probleme


Go to solution Solved by alturismo,

Recommended Posts

2 minutes ago, Daniel92 said:

Jetzt kommt die Frage die mir noch keiner Beantworten konnte: Wenn Daten aus dem Array gelesen werden, werden diese doch bestimmt im Cache abgelegt?
Meine Gedanke war dabei noch, das diese solange im Cache verweilen. Bis diese Daten "zu alt" und vom Platz des Cache am Ende ist und diese dann raus gelöscht werden müssen. Damit wieder neue Daten im Cache landen können.

Der Cache ist ein SCHREIB Cache.

Also

2 minutes ago, Daniel92 said:

Oder ist das hier nicht möglich? :)

Nein, ist nicht möglich 

Link to comment
2 minutes ago, jj1987 said:

Wäre das nicht das "alte" Cache only? Da läuft der mover dann doch gar nicht?!

Ja, natürlich. Ich ging von zuviel Vorwissen aus.

Das soll am Ende die Einstellung sein.

 

@Daniel92

Primary Storage Cache und Secondary Storage Array.

Mover Action Array > Cache.

Dann Mover starten.

Wenn fertig, Secondary Storage auf "None".

Link to comment

Parity Check Tuning ist Installiert.
Eingestellt wie folgt:

Sheduled Parity Check: Monthly
Mover Sheduled: Daily um 3:40
Trim Settings Weekly (macht das Sinn bei zwei NVME im cache?)

Edit: Festplatten sind wieder aus und im Status steht: "Disabled - Mover is running."

Edited by Daniel92
Link to comment

Also keine Ahnung was mit dem Mover los ist bei mir. :(
Dieser ist immer noch aktiv, aber die Arrays machen kein Mucks... kann man prüfen wo der Mover aktuell ist? (Status, Position, etc?)

Edit: Ich hab mal das ganze System neugestartet... habe den Mover manuell angestoßen.
In der Hoffnung, das er nun jetzt ohne Probleme fertig wird.

Danach mache ich die nächsten Einstellungen wie @saber1 es erwähnt hat.

Edited by Daniel92
Link to comment

Guten Abend zusammen,

allso irgendwas stimmt jetzt nicht... der Mover ist laut Anzeige noch aktiv.
Die Arrays sind alle nun aus. Da kann doch was nicht stimmen?

 

Gibt es die Möglichkeit alle Einstellungen zurück zu setzen, ohne das Docker/Daten verloren gehen? (Nur Unraid EInstellungen)
Oder kann ich bevor man hier den Vorschlaghammer nimmt, noch eine "Sanftere" Methode probieren?

Gruß Daniel

Screenshot 2024-01-19 181543.jpg

Edited by Daniel92
Link to comment

Hallo zusammen,

+++ jetzt kommen viele rand infos, zum Überspringen, weiter unten ab "Kurz gefasst" +++

also laut meinen Einstellungen sind alle im Cache. Jedoch ist im Disk1, im Ordner system, noch Docker Dateien vorhanden. Ich gehe davon aus das es korrekt ist (falls ein rebuild vom Docker gemacht werden muss)?

Jedenfalls habe ich versucht mittels "File Activity Plugin" hier mehr rauszufinden. Jedoch aktuell ohne Erfolg.

"iotop -o" hat mir dafür was angezeigt, jedoch sieht man alle Aktivitäten.
Hier finden regelmäßig Zugriffe statt. Ich war mir nicht sicher wie diese Log am besten auswerten sollte und bin hingegangen und habe mir nun die Container-ID angeschaut.

Folgende Container sind "betroffen":

  1. f4c1e63e3d15 -> homeassistant/home-assistant
  2. 7b693c8a36b -> eclipse-mosquitto:2
  3. 8fa474e433fe -> hertzg/rtl_433:latest
  4. b94b6c0b232 -> lscr.io/linuxserver/jellyfin

So die Infos bringen mir nicht viel...
Um diese voneinander auszuschließen, habe ich alle Container gestoppt und Zeitgleich die Arrays schlafen gelegt.
Keine Sekunde später sprang Disk1 + Parity wieder an! Das kann doch nicht sein!?

Ok, dann kann es nur noch an Docker selbst liegen.
Docker Service gestoppt. Arrays schlafen gesetzt... gewartet... Zack Disk1 + Parity wieder an!?


Kurz gefasst:                                             

Ich bin verzweifelt... na ok, mittels "iotop -t" weiter geforscht und siehe da, jede Minute refresh anfragen von ZFS Master. 
In den Einstellungen steht auch Refresh Interval jede Minute. ZFS-Master hab ich auf "No refresh" gestellt und siehe da. Die Festplatten sind still (seit 5 minuten)!
Danach hab ich Docker wieder aktiviert. Array starten wieder... hmm 🤬

Danach nochmal in "File Activity" geschaut, nun steht da endlich was!


Disk Aktivity:

Quote

** Disk 1 **

Jan 20 12:00:42 OPEN => /mnt/disk1/backups/windows/filehistory/Daniel/DANIEL-PC/Configuration/Config1.xml

...

Jan 20 12:00:42 OPEN => /mnt/disk1/backups/windows/filehistory/Daniel/DANIEL-PC/Configuration/Config1.xml

 

** Cache and Pools **

Jan 20 12:15:25 MODIFY => /mnt/cache/temp/docker1.log

Jan 20 12:15:25 MODIFY => /mnt/cache/temp/docker1.log

Jan 20 12:15:25 MODIFY => /mnt/cache/temp/docker1.log

....

 

Da hab ich den Übeltäter gefunden! Ich habe mein PC dazu eingerichtet von Windows backups anzulegen.

Doch den Share denn ich dafür erzeugt habe, ist Eingestellt:

Name: backups (sollte ich auf win-backups umbennen zur besseren verständnis)

Primary-Cache & Second Array
Mover: Cache -> Array

Die Mover settings sind aber anders.... Daily, 03:40 (PS: ist nun auf Weekly umgestellt).
Das löst trotzdem nicht mein Problem das in meinem Fall Array anspringen.

Ich forsche weiter...

Folgende Plugins sind vorhanden (alle up2date):
 

Quote

Appdata Backup    
CA Cleanup Appdata
CA Dynamix Unlimited Width
Community Applications
Dynamix Active Streams
Dynamix Auto Fan Control
Dynamix Cache Directories
Dynamix File Manager
Dynamix SCSI Devices
Dynamix Stop Shell
Dynamix System Buttons
Dynamix System Information
Dynamix System Temperature
File Activity
GPU Statistics
Intel GPU TOP
Intel GVT-g
ITE IT87 Driver
LXC
NerdTools
Open Files
Parity Check Tuning
Theme Engine
Tips and Tweaks
Unassigned Devices
Unassigned Devices Plus
Unassigned Devices Preclear
unBALANCE
Unraid Connect
User Scripts
ZFS Master for Unraid

 

Edited by Daniel92
Link to comment
44 minutes ago, Daniel92 said:

Primary-Cache & Second Array
Mover: Cache -> Array

 

Tja, der Cache ist ein SCHREIB-Cache für NEUE Dateien.

 

1. Dateien die durch Dein Backup überschrieben werden, werden auf dem Array überschrieben (sofern sie vom Mover schon verschoben wurden).

2. Dateien die durch Dein Backup gelöscht werden, werden auf dem Array gelöscht (sofern sie vom Mover schon verschoben wurden).

2. Neue Dateien des Backup landen auf dem Cache.

3. Gelesen wird, je nach Zustand des Linux RAM-Cache sowie je nach Dateien/Ordner die gelesen werden müssen, aus dem RAM oder entweder auf dem Cache oder auf dem Array.

 

Edited by hawihoney
Link to comment

Hallo hawihoney,

34 minutes ago, hawihoney said:

Tja, der Cache ist ein SCHREIB-Cache für NEUE Dateien.

 

das ist mir bewusst. Und ist auch richtig so.

Gern möchte ich das der Mover erst aktiv wird wenn seine Zeit dafür gekommen ist (nach schedule plan).
Meines Wissens nach ist alles auf dem Cache. Wenn ich was schreibe, landet es zuerst auf dem Cache. Das funktioniert schon.

Trotzdem sind minimale aktivitäten am Array sichtbar.
Mein Share "win-backup" wurde vom Mover bereits verschoben.

 

Zum testen habe ich Windows ein backup gestartet, dieser schreibt auch direkt auf dem Cache (sieht man auch in der Spalte Location: cache).

Trotzdem bleibt Disk1 an.

Bei Punkt 2, verstehe ich richtig, sobald etwas gelöscht wird was nur auf dem Array existiert... wird array eingeschaltet und die betreffende Datei gelöscht?
Es wird also nicht gewartet, das der Mover diese Aktion später ausführt?

Punkt 3: Ich habe insgesammt 128GB DDR4 Single-bit ECC (Usable Size: 125,6GiB)

  • Ram: 6%
  • ZFS: 19%
  • Flash: 4%
  • Log: 5%
  • Docker: 23%


Interessant ist, die CPU-Last ist auch dauernd am schwanken... obwohl ich nichts mache.

htop.jpg

Edited by Daniel92
Link to comment
6 minutes ago, Daniel92 said:

Bei Punkt 2, verstehe ich richtig, sobald etwas gelöscht wird was nur auf dem Array existiert... wird array eingeschaltet und die betreffende Datei gelöscht?
Es wird also nicht gewartet, das der Mover diese Aktion später ausführt?

 

Korrekt.

 

Zu allen anderen halte ich mich raus: Es ist bereits alles gesagt. Die Mechanismen zum Finden des Übeltäters liegen alle auf dem Tisch.

 

  • Like 1
Link to comment

Vielen Dank hawihoney.

Gut dann gehe ich alleine auf dem Weg den übeltäter zu suchen. Auch wenn alles auf dem Tisch liegt, ist mir immer noch Schleierhaft was jetzt hier Fehlerhaft seien soll.
Docker + VM ist deaktiviert.

Aus dem vorherigen post von alturismo habe ich es abgeleitet und auch die Einstellungen so gemacht. SIehe Bild.

shares.png

diskshares.jpg

Edited by Daniel92
Link to comment

So ich habe hier nochmal den Share System so Eingestellt das sec. Array mit einbezogen wird.
Den der Mover soll die restlichen Daten die ich gesehen habe (im Bild) von der Disk1 auf Cache ziehen.

Warum er es vorher nicht gemacht hat bleibt mir ein Rätsel. Denn nur so kann ich mir das Problem erklären, das Docker/VM sich die Daten noch von dort beziehen.
Mal schauen ob es nach dem Mover aktion weg ist.

Link to comment

35GB wurde verschoben. Danach restart... jetzt kommt das.
Docker service failed to start.
Oh man... und weiter gehts.

 

Quote

root@cube:~# docker ps -a
Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?

 

Edited by Daniel92
Link to comment
  • Solution
10 minutes ago, Daniel92 said:

Hmm, docker service failed to start.

1/ du hast wahrscheinlich /system auf cache only gestellt wenn ich das richtig deute

2/ du hast aber noch sicherlich einen Teil auf der disk1 liegen ... sprich, dem Docker System fehlen jetzt Daten weil der nur auf /cache schaut

 

um dem Drama ein Ende zu machen

 

1/ Docker Dienst aus

2/ Unraid Terminal > rm -R /mnt/disk1/system/docker

3/ rm -R /mnt/cache/system/docker

4/ im Docker Setting, delete directory

5/ Docker Dienst starten > directory wird neu angelegt

6/ Docker Tab, Add Container, unter user templates die Docker nach und nach wieder installieren

> die Einstellungen sind in den user templates erhalten

> unter /appdate liegen die persistent data

 

alles erledigt ...

  • Thanks 1
Link to comment
Quote

rm -R /mnt/disk1/system/docker
rm: cannot remove '/mnt/disk1/system/docker': No such file or directory

Ist schon leer, wegen dem verschieben.

So Docker neu angelegt, mal schauen... lade jetzt die Container/Images neu hoffe das danach alles passt.


Danke euch beiden schonmal bis hierher.
 

Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
×
  • Create New...