Woran erkennt ein Docker die Veränderung der SSD auf der die relevanten Verzeichnisse sind?

[DataCollector]

Hallo.

 

Ich habe in mein System eine zweite NVMe SSD eingebaut, weil ich Cache und den Rest trennen will (Das Caching des Array blockiert die ursprüngliche NVMe SSD zu lange aus, so daß die VM darauf lange Zeit nicht erreichbar ist).

 

alte NVMe 4TB SSD Pool "Cache"
neue NVMe 2TB SSD Pool "Cachenvmeb" (neu formatiert xfs_enc)

Ich habe die relevanten Verzeichnisse appdata, domains, isos und system von "cache" auf "cachenvmeb" per mc kopiert.
Docker und VM Manger habe ich gestoppt.
PC neu gebootet

Shares "appdata, domains, isos und system" habe ist alle auf "cachenvmeb" umgestellt.
appdata, domains, isos und system auf "Cache" habe ich in ein neues Unterverzeichnis namens "kill" verschoben, so daß diese auf der alten SSD nicht mehr im Hauptverzeichnis zu finden sind.
PC nochmal neu gebootet.

Docker und VM-Manager in den Settings gestartet.
Die Win10 VM manuell gestartet und läuft problemlos.

Docker "krusader/ich777" startet, zeigt mir aber den Einstellungsdialog. Er meint also, er sei neu installiert.

 

Ergänzung/Edit:

Ich habe gerade mit dem mc auf beiden nvmessd nachgesehen und auf der alten "cache" hat das System das Verzeichnis "appdata" neu angelegt und darin sind Verzeichnisse für die beiden Dockercontainer.

Irgendwo muss ich eien Einstellung übersheen haben die Position dieses Verzeichnisses zu ändern.
Docker "Sabnzbd/Ich777" startet, aber wenn ich über WebUI zugreifen will, meldet er mir "External internet access denied - https://sabnzbd.org/access-denied".

Die Dockercontainer haben also erkannt, daß sich da etwas geändert hat.

Wo habe ich den Denkfehler gemacht?
Welche Einstellung muß ich für die Dockercontainer anpassen?

 

Edited November 11, 2022 by DataCollector

[hawihoney]

17 minutes ago, DataCollector said:

Ich habe die relevanten Verzeichnisse appdata, domains, isos und system von "cache" auf "cachenvmeb" per mc kopiert.
Docker und VM Manger habe ich gestoppt.

 

Falsche Reihenfolge. Erst stoppen, dann clonen.

 

[DataCollector]

8 hours ago, hawihoney said:

 

Falsche Reihenfolge. Erst stoppen, dann clonen.

 

Ich habe nun Docker in Stettings gestoppt,

Verzeichnis appdata wieder von "cachenvmeb" nach "cache" verschoben,

Share angepasst (daß appdata nun wieder auf "cache" liegt),

Docker in Stettings gestartet

krusader/ich777 gestartet: es läuft wieder so, wie gewünscht.

Doch jetzt habe ich appdata ja wieder auf der SSD, wo es weg soll.

 

Also diesesmal zuerst

Docker in Stettings gestoppt,

Verzeichnis appdata von "cache" wieder zu "cachenvmeb" verschoben,

Share wieder zurück angepasst (daß appdata nun auf "cachenvmeb" liegt),

Docker in Stettings gestartet

krusader/ich777 gestartet: Er startet wieder mit den Beginnereinstellungen.

 

Mit mc auf cache nachgesehen: ja, dort wurde wieder ein neuer appdata angelegt mit einem krusaderordner drin.

 

Irgendwie/irgendwo merkt sich Docker, auf welchem Datenträger er die Settings schreiben soll und die Stelle habe ich nicht nicht gefunden.

Ich weiß, daß in den Docker Settinge der "Default appdata storage location:" angegeben ist, aber der gibt ja nur einen Pfad "/mnt/user/appdata/" an und den Pfad/Share habe ich ja per mc und in den Shareeinstellungen verändert.

 

 

[alturismo]

@DataCollector hast du eventuell in den docker(s) den Pfad manuell auf /mnt/cache/ gesetzt ?

 

siehst du ja in der Übersicht bzw. in den individuellen Docker's

 

[DataCollector]

1 hour ago, alturismo said:

@DataCollector hast du eventuell in den docker(s) den Pfad manuell auf /mnt/cache/ gesetzt ?

siehst du ja in der Übersicht bzw. in den individuellen Docker's

Ich kann mich nicht daran erinnern das manuell gemacht zu haben, aber Du hast recht. Anscheinend sind dort verweise drin. Ich werde dei mal umstellen.

Danke fuer den Hinweis!

 

 

Edit:

Jetzt, nachdem ich die Pfadangaben der beiden Container auf von "cache" in "cachenvmeb" abgeändert habe, klappt es.

Ich erinnere mich aber nicht, diese Pfade manuell auf "cache" gestellt zu haben. Vielleicht ist das bei @ich777 Dockercontainern generell so, daß dort ein Pfad voreingestellt auf den Pool "cache" ist?

Edited November 12, 2022 by DataCollector

[hawihoney]

2 hours ago, DataCollector said:

Ich habe nun Docker in Stettings gestoppt,

 

Nur zur Info: Mein Hinweis zur Reihenfolge bezog sich auf die Konsistenz der Daten. Wenn man die Dateien eines Containers wie z.B. Nextcloud, Plex, etc. kopiert ohne den Container vorab ordentlich herunterzufahren, dann können die Daten von kein Problem über inkonsistent bis kaputt alle Schattierungen annehmen. Gleich einen ganzen Service wie Docker beim Clonen laufen zu lassen kann alle möglichen Auswirkungen erzeugen.

 

Natürlich gibt es Vorkehrungen in Anwendungen (z.B. Transaktionen in Datenbanken) die Inkonsistenzen vermeiden, aber man weiß nie was die Entwickler so alles gebaut haben. Vor dem Kopieren immer Stoppen. Damit ist man auf der sicheren Seite.

 

Z.B. sollte ein Container Backup immer so aussehen:

 

docker stop <container>
rsync
docker start <container>

 

Und wenn Dinge zusammen gehören, wie MariaDB und Nextcloud, dann achtet man zusätzlich auf die Reihenfolge:

 

docker stop Nextcloud (1)
docker stop MariaDB (2)
rsync Nextcloud
rsync MariaDB
docker start MariaDB (2)
docker start Nextcloud (1)

 

Edited November 12, 2022 by hawihoney

[alturismo]

58 minutes ago, DataCollector said:

Ich erinnere mich aber nicht, diese Pfade manuell auf "cache" gestellt zu haben. Vielleicht ist das bei @ich777 Dockercontainern generell so, daß dort ein Pfad voreingestellt auf den Pool "cache" ist?

yep, das kann sein

 

aber stell doch einfach auf /mnt/user/ um, den overhead (fuse) merkst du bei den genutzten docker's eh nicht

 

NC, mariadb, ... da kann das Sinn machen, krusader und co ... sicher nicht.

[mgutt]

12 hours ago, DataCollector said:

Das Caching des Array blockiert die ursprüngliche NVMe SSD zu lange aus, so daß die VM darauf lange Zeit nicht erreichbar ist).

NVMe hat üblicherweise 4 Lanes, also 4 Lese- und 4 Schreibkanäle. Und die überlastet man nicht mit einem Array Caching, da SMB nur einen Prozess aufmacht. Wenn überhaupt sind das die Docker Container oder die NVMe taugen nichts. Oder hast du 10G und lastest die volle Bandbreite einer NVMe aus?

 

1 hour ago, DataCollector said:

Ich kann mich nicht daran erinnern das manuell gemacht zu haben,

Das passiert automatisch, wenn der appdata Share einen Cache hat und der Template Maintainer /mnt/cache hinterlegt hat. 

[ich777]

2 hours ago, DataCollector said:

Ich erinnere mich aber nicht, diese Pfade manuell auf "cache" gestellt zu haben. Vielleicht ist das bei @ich777 Dockercontainern generell so, daß dort ein Pfad voreingestellt auf den Pool "cache" ist?

Bei fast all meinen Containern zeigt der Pfad auf /mnt/cache/appdata by default, CA sollte es aber erkennen falls ein user diesen Pool nicht hat bzw. wenn ein user gar keinen Cache Pool hat wird dort dann /mnt/diskX/... eingesetzt (X wird natürlich mit der Zahl der Disk ersetzt auf der das erste appdata Verzeichnis gefunden wird).

[DataCollector]

6 hours ago, hawihoney said:

Nur zur Info: Mein Hinweis zur Reihenfolge bezog sich auf die Konsistenz der Daten. Wenn man die Dateien eines Containers wie z.B. Nextcloud, Plex, etc. kopiert ohne den Container vorab ordentlich herunterzufahren, dann können die Daten von kein Problem über inkonsistent bis kaputt alle Schattierungen annehmen. Gleich einen ganzen Service wie Docker beim Clonen laufen zu lassen kann alle möglichen Auswirkungen erzeugen.

Danke für die Klarstellung. Die Docker selber waren alle gestoppt (und sind auch nur dahingehend unkritische (siehe meinen Screenshot).

Ich meine mit dem erwähnten Stoppen den Docker Service, den man über die Settings erreicht und da dann von Yes auf No umstellen kann, womit der ganze Docker Unterbau gestoppt wird.

[DataCollector]

6 hours ago, mgutt said:

NVMe hat üblicherweise 4 Lanes, also 4 Lese- und 4 Schreibkanäle.

Das ist mir bekannt. Doch bremst unraid (aus mir unverständlichen Gründen) eben den Zugriff generell aus, wenn ich massive Datenmengen (einige hunderte GB bis TB) auf unraid kopiere, welche dann im SSD Cache landen.

Ich hatte mir das unter unraid auch irgendwie anders vorgestellt, aber ich erlebe es eben auf 2 Systemen leider so.

6 hours ago, mgutt said:

Und die überlastet man nicht mit einem Array Caching, da SMB nur einen Prozess aufmacht.

Bei mir schon.

Nach eben sehr hoher Transfermenge sind andere parallel Zugriffe auf unraid zum Warten verdammt.

 

6 hours ago, mgutt said:

Wenn überhaupt sind das die Docker Container

Wenn ich von aussen aus Win10 über SMB Daten auf unraid Share transferiere und die Docker vor sich hin idlen, können andere Win10 Systeme über Netzwerk nicht auf unraid zugreifen (Warten ist angesagt), die einizige laufende Win10 Vm in unraid ist über Netzwerk RealVNC nicht mehr von ausserhalb unaid erreichbar und selbst Kopieraktionen mit MC intern stocken.

 

6 hours ago, mgutt said:

oder die NVMe taugen nichts. Oder hast du 10G und lastest die volle Bandbreite einer NVMe aus?

Ich habe 10G, nein, die Transfergeschwindigkeiten sind mit maximal so 500MByte/s auf den Cache höchstens bei der Hälfte, was möglich wäre, ja, die 4TB NVMe ist zwar groß, aber nicht wirklich flott, aber auch mit meiner vorheriugen und jetzt ergänzend dazu gebauten Samsung 970Evo Plus hatte ich das Verhalten, auch wenn nicht so extrem (weil sie so aber klein ist (nur 2TB) habe ich ja die 4TB eingebaut, weil mir eben 2TB als Cache+Systemshares nicht ausreichen).

 

6 hours ago, mgutt said:

Das passiert automatisch, wenn der appdata Share einen Cache hat und der Template Maintainer /mnt/cache hinterlegt hat. 

Tja, das erklaert, warum ich mich nicht daran erinnern kann Cache manuell dort eingetragen zu haben. Werde ich demnächst ändern und statt direkt auf den Pool auf ein Share verweisen.

[DataCollector]

5 hours ago, ich777 said:

Bei fast all meinen Containern zeigt der Pfad auf /mnt/cache/appdata by default, CA sollte es aber erkennen falls ein user diesen Pool nicht hat

Den Pfad "cache" habe ich, aber dieser soll dafür jetzt nicht mehr verwendet werden. Aber nun weiss ich es und habe es erst einmal auf den von mir gewünmschten Pool angepasst.

Später werde ich es wohl anstatt direkt auf einen Pool auf ein Share zeigen lassen.

 

Danke für die Klarstellung!

[ich777]

4 minutes ago, DataCollector said:

Danke für die Klarstellung!

Achso, da fehlt nocht, das du dir Overhead ersparst vom FUSE Dateisystem und außerdem manche container mit dem FUSE Dateisystem nicht richtig bzw. gar nicht funktionieren.

 

Das sind eigentlich meine Hauptgründe warum ich das in den meisten meiner Docker templates so mache.

[mgutt]

11 minutes ago, DataCollector said:

Werde ich demnächst ändern und statt direkt auf den Pool auf ein Share verweisen.

Das würde ich nicht machen, denn dadurch läuft der gesamte Datenverkehr durch FUSE (SSHFS). Das ist ineffizient, überlastet schnell die CPU und ist mega lahm. Nextcloud wird dadurch zB extrem lahm, wenn MariaDB über /mnt/user angesprochen wird.

[DataCollector]

2 hours ago, mgutt said:

Das würde ich nicht machen, denn dadurch läuft der gesamte Datenverkehr durch FUSE (SSHFS). Das ist ineffizient, überlastet schnell die CPU und ist mega lahm. Nextcloud wird dadurch zB extrem lahm, wenn MariaDB über /mnt/user angesprochen wird.

Für die beiden betreffenden Container macht das vermutlich keinen relevanten Unterschied, da über den Pfad ja nur die EInstellungen beim Start geladen werden.

Nextcloud oder MariaDb oder Plex oder so sind ja weder gemeint, noch in Benutzung bei mir.

Ich habe ja zwischenzeitlich festgestellt, daß meine Nutzung (wirklich überwiegend als NAS mit nun rund 480TB und vielleicht eine VM/Dateiverwaltung) nicht der hier oft diskutierten Nutzung entspricht, aber aktuell (seit nun knapp über 1 Jahr) habe ich genug damit zu tun unraid schon nur dafür geeignet in Schuss zu bringen, daß es genau das macht, was ich will - und nichts anderes.

[hawihoney]

2 hours ago, DataCollector said:

Nextcloud oder MariaDb oder Plex oder so sind ja weder gemeint, noch in Benutzung bei mir.

Ich habe ja zwischenzeitlich festgestellt, daß meine Nutzung (wirklich überwiegend als NAS mit nun rund 480TB und vielleicht eine VM/Dateiverwaltung) nicht der hier oft diskutierten Nutzung entspricht

 

Aus Neugierde: Mit welcher Software nutzt/verwaltest Du 480 TB? Plex und Nextcloud sind ja offensichtlich raus. Bei uns läuft alles genau über diese beiden.

 

[DataCollector]

5 hours ago, hawihoney said:

 

Aus Neugierde: Mit welcher Software nutzt/verwaltest Du 480 TB? Plex und Nextcloud sind ja offensichtlich raus. Bei uns läuft alles genau über diese beiden.

 

Dateimanager (intern MC, oder eben krusader/ich777 Docker), von extern TotalCommander aus Win heraus.

Was meinst Du mit verwalten? Ich sortiere die Daten ordentlich (passend benannt) in Verzeichnissen und weiss nicht, was ich da zusätzlich verwalten sollte, wenn es eben nur ein NAS ist.

Ein riesiger Dateispeicher.

[hawihoney]

4 hours ago, DataCollector said:

Was meinst Du mit verwalten?

 

Keine zusätzliche Software fürs Suchen, Abspielen, Anzeigen, Erstellen von Metadaten, Querverweisen? Alles rein über das Dateisystem? Noch nicht mal das Einfachste vom Einfachen - DIR/TREE in Datei(en)? Suchen nur mit DIR/FIND?

 

Ohne die Art der Daten und des Einsatzzweckes zu kennen klingt das für mich zunächst umständlich.

 

Edited November 13, 2022 by hawihoney

[DataCollector]

2 hours ago, hawihoney said:

Keine zusätzliche Software fürs Suchen,

Da es nur ein NAS sein soll nutze ich für die Zugriffe von aussen Programme, die eben ganz normal auf die SMB Freigaben zugreifen.

 

Suche: TotalCommander

 

2 hours ago, hawihoney said:

Abspielen,

Videos am PC: MediaplayerClassic HC (heute noch auf 1.9.24 geupdated) oder VLC

Audio am PC: Winamp 5.x mit diversen Plugins reicht für lokales Playback.

Video Smartphone/Tablet: VLC oder MX PlayerPro (leider seit einigen Jahren etwas funktionseingeschränkt)

Audio Smartphone/Tablet: Musicolet

2 hours ago, hawihoney said:

Anzeigen,

Bilder: Irfanview

simple Texte: Editor

2 hours ago, hawihoney said:

Erstellen von Metadaten,

Abgesehen von Info Dateien brauche und nutze ich das nicht.

2 hours ago, hawihoney said:

Querverweisen?

Von mir nicht benötigt.

2 hours ago, hawihoney said:

Alles rein über das Dateisystem?

Ja.

2 hours ago, hawihoney said:

Noch nicht mal das Einfachste vom Einfachen - DIR/TREE in Datei(en)? Suchen nur mit DIR/FIND?

Abgesehen von Problemlösungen in unraid, die ich ohne unraid nicht hätte: Nein, sowas brauch ich auf unraid eigentlich nicht.

Ich greife von aussen mit meinen PC/Smartphone/Tablet, Receiver, etc... auf die SMB Shares zu und fertig.

 

2 hours ago, hawihoney said:

Ohne die Art der Daten und des Einsatzzweckes zu kennen klingt das für mich zunächst umständlich.

Was ist daran umständlich beispielsweisse von einem PC aus über den beispielsweise als SMB Netzlaufwerk verbundenen Buchstaben "P:" in ein dortig gut sortiertes Verzeichnis zu gehen und dort bei beispielsweise einer Videodatei Return zu drücken?

 

Ich sagte ja schon; ich will es als NAS nutzen. Das ich andere PCs (zum stromsparen) in eine VM zu integrieren versuche ist ein benefit, der mir aber schon einige graue Haare verursacht hat. Aber extra Datenbanken oder so, brauch ich bisher nicht.

Und nein, ich nutze kein DLNA oder andere Sachen in der Richtung. Brauch ich für mich bisher nicht.

[hawihoney]

56 minutes ago, DataCollector said:

MediaplayerClassic, WinAmp

 

Vor 15 Jahren installiert und schon längst wieder vergessen. Danke für die Erinnerung an alte Zeiten.

 

56 minutes ago, DataCollector said:

Buchstaben "P:"

 

Woher weißt Du was auf P: liegt? Das meine ich mit Verwaltung.

 

Ich möchte die Komfortfunktionen von Plex (Bilder, Filme, Serien, Musik, Hörbücher) und Nextcloud (Dokumente, Sonstiges) wirklich nicht mehr missen.

 

Bilder getaggt mit "Karl User" --> zack alle Bilder von Karl. Eine Serie mit "Bill Nighly" --> zack alle Serien mit dem Schauspieler. Dokumente von 03.11.1992 --> zack alle entsprechenden Dokumente.

 

Edited November 13, 2022 by hawihoney

[mgutt]

2 hours ago, DataCollector said:

Videos am PC: MediaplayerClassic HC (heute noch auf 1.9.24 geupdated) oder VLC

Audio am PC: Winamp 5.x mit diversen Plugins reicht für lokales Playback.

Video Smartphone/Tablet: VLC oder MX PlayerPro (leider seit einigen Jahren etwas funktionseingeschränkt)

Audio Smartphone/Tablet: Musicolet

Ok, WAF gleich Null. 😅

 

Wie ich das mache: Plex. Also auch für Musik. PlexAmp mit Sonic Analysis ist eine echte Steigerung muss ich sagen. Da bekommt man dann auch mal passende Musik vorgeschlagen, die man mag.

[DataCollector]

1 hour ago, hawihoney said:

Woher weißt Du was auf P: liegt?

Ich habe es dort selber sortiert dort hin gelegt.

1 hour ago, hawihoney said:

Das meine ich mit Verwaltung.

Ich nutze da dieses System, welches sich im deutschsprachigem Raum mit Alphabet beschreiben läßt und anhand einer recht nachvollziehbaren Sortierreihenfolge orientiert.

 

1 hour ago, hawihoney said:

Ich möchte die Komfortfunktionen von Plex (Bilder, Filme, Serien, Musik, Hörbücher) und Nextcloud (Dokumente, Sonstiges) wirklich nicht mehr missen.

Ich schon. Mich hatte schon vor Jahren bei meinen externen NAS gestört, daß die mit Bibliotheksfunktionen und Indexierung und Thumbs extra Platz verschwenden wollten.

Wie gut, daß sowas bei unraid nicht erzwungen wird.

 

1 hour ago, hawihoney said:

Bilder getaggt mit "Karl User" --> zack alle Bilder von Karl.

Die paar Bilder, die ich da drauf habe, sind kontextbezogen sortiert. Das reicht mir.

[hawihoney]

51 minutes ago, DataCollector said:

Ich habe es dort selber sortiert dort hin gelegt.

 

Also ist Dein Hirn die Verwaltung. Alles klar.

 

[DataCollector]

1 hour ago, hawihoney said:

Also ist Dein Hirn die Verwaltung. Alles klar.

Naja. eher die alphabetische Sortierung.