array wacht immer wieder auf durch Nextcloud aber keine Clients Aktiv?


waylin2

Recommended Posts

Hallo zusammen, ich habe ein kleines, aber nerviges Problem, Bei meinem Unriad Server wachen ständig eine Daten Disk und die Paritätsdisk auf, obwohl kein anderer Rechner im Netzwerk eingeschaltet ist. Dem Logfile nach zu urteilen, macht Nextcloud irgendwelche Dinge im Hintergrund mit den Ausgaben im Logfile kann ich aber nichts anfangen. Kann mir das jemand von euch übersetzen? Ein Foto vom Lock File hänge ich an. Habe leider unter Google auch nichts konkretes gefunden für eine kurze Aufklärung was Nextcloud da genau tut und ob dass normal ist wäre ich sehr dankbar.

 

LG Waylin

Bildschirm­foto 2022-12-16 um 15.15.47.png

Edited by waylin2
Link to comment
  • waylin2 changed the title to array wacht immer wieder auf durch Nextcloud aber keine Clients Aktiv?

Wenn ich richtig Informiert bin, ist Nextcloud daher besser auf dem Cache aufgehoben. Nextcloud schreibt ständig in Logs und dergleichen. Daher wachen die Disks auf denen die Nextcloud liegt auch ständig wieder auf. 

Ich selbst habe meine Nextcloud auch komplett auch dem Cache. Mit täglicher Sicherung dank dem Script von Mgutt auch sorgenfrei. 

Link to comment
47 minutes ago, waylin2 said:

was Nextcloud da genau tut

 

Bzgl. der Datei in Deinem Screenshot: Das kann eigentlich nicht die Ursache sein, denn in unserem stark genutzten Nextcloud kommt das nicht vor. Wie ist Nextcloud eingerichtet? Zugriff von außen? Wenn ja wie? Unstable/Beta Container?

 

Bei uns wird Nextcloud jede Nacht gestoppt, gesichert und wieder hochgefahren. Die besagte Datei wird bei uns nur bei einem Update des Containers "berührt". Führe den Befehl mal für die Datei in Deiner Umgebung aus:

 

root@Tower:~# stat /mnt/pool_nvme/system/appdata/nextcloud.data/files_external/rootcerts.crt
  File: /mnt/pool_nvme/system/appdata/nextcloud.data/files_external/rootcerts.crt
  Size: 225403          Blocks: 448        IO Block: 4096   regular file
Device: 259,3   Inode: 1642120013  Links: 1
Access: (0644/-rw-r--r--)  Uid: (   99/  nobody)   Gid: (  100/   users)
Access: 2022-12-10 07:06:43.644062685 +0100
Modify: 2022-12-10 07:06:43.644062685 +0100
Change: 2022-12-10 07:06:43.645062678 +0100
 Birth: 2022-12-10 07:06:43.644062685 +0100

 

Edited by hawihoney
Link to comment
3 hours ago, waylin2 said:

Nextcloud da genau tut und ob dass normal ist wäre ich sehr dankbar.

ja, Nextcloud data im array ist ... daher

 

2 hours ago, Archonw said:

Wenn ich richtig Informiert bin, ist Nextcloud daher besser auf dem Cache aufgehoben. Nextcloud schreibt ständig in Logs und dergleichen. Daher wachen die Disks auf denen die Nextcloud liegt auch ständig wieder auf. 

genau ;)

 

da wir jetzt dein setup nicht kennen, entweder den NC share (sofern vorhanden) als cache only oder deine data Pfad im Docker auf ein cache only share

 

Natürlich, Backup Strategie überdenken.

Link to comment

@hawihoney

Ich habe dir mal ein Screenshot gemacht, wenn ich den stat Befehl bei mir ausführen. Soweit wie ich die Zeitstempel verstehe, wurde auf die Datei schon länger nicht mehr Zugriffen. Füge die Ausgabe aber mal unten als Screenshot bei.

 

@Archonw

Soweit ich das beurteilen kann, ist der Container den ich benutze keine Entwicklerversion oder Ähnliches. Habe euch mal einen Screenshot von der Template Übersicht gemacht, damit ihr euch das ganze mal selber anschauen könnt.

 

@alturismo ja das Verzeichnis, in dem die Nutzer Daten liegen, befindet sich auf dem ARRAY damit Sie über die Parität abgesichert sind. wenn ich das ganz auf only setzen hätte ich ja nicht mehr den Schutz durch die Parität. Wie wäre es mit yes Statt only dann würden doch die Daten immer ins ARRAY kopiert, wenn der Mover läuft! oder?.

 

 

Wenn es nun doch nicht an der Nextcloud liegen sollte,

welche Möglichkeiten hätte ich noch der Ursache auf die Spur zu kommen warum die Festplatten immer wieder aufwachen?

 

Vielen Dank für eure Mühe

 

LG Waylin

1062007532_Bildschirmfoto2022-12-16um18_49_51.thumb.png.b09b6778b70c0653f91311ed007b1119.png

Bildschirm­foto 2022-12-16 um 19.07.14.png

Edited by waylin2
Link to comment
1 hour ago, waylin2 said:

Soweit wie ich die Zeitstempel verstehe, wurde auf die Datei schon länger nicht mehr Zugriffen.

 

Exakt, hatte ich mir gedacht. Wundere mich dann nur über die OPEN Angabe in Deinem erste Post.

 

1 hour ago, waylin2 said:

das Verzeichnis, in dem die Nutzer Daten liegen, befindet sich auf dem ARRAY damit Sie über die Parität abgesichert sind.

 

Ist auch ok so, kann man so machen: /config auf Cache, /data ins Array. Alles gut.

 

Mit "lsof /mnt/disk2/*" könntest Du mal gucken was wirklich offen ist.

 

Edited by hawihoney
Link to comment

@hawihoney moin, wenn ich ein lsof auf /mnt/disk2/ mache, bekomme ich keine Ausgabe, weswegen ich davon ausgehe, dass keine Dateien geöffnet sind.

Was ich aber überhaupt nicht verstehe, ist warum sich der Zeitstempel für den Zugriffszeitpunkt Nicht ändert obwohl im Logfile steht, dass er die Datei geöffnet hat.?

Dann wollte ich noch mal fragen, wenn ich die Einstellung der Freigabe von Cache No auf Cache Yes ändere muss dabei etwas beachtet werden wenn sich in der Freigabe schon Daten befinden.?

 ich meine Jetzt speziell für die Freigabe, in der sich die Nutzer Daten der Nextcloud befinden.

 

LG und Danke!

Waylin

Link to comment
24 minutes ago, waylin2 said:

@hawihoney moin, wenn ich ein lsof auf /mnt/disk2/ mache, bekomme ich keine Ausgabe, weswegen ich davon ausgehe, dass keine Dateien geöffnet sind.

Was ich aber überhaupt nicht verstehe, ist warum sich der Zeitstempel für den Zugriffszeitpunkt Nicht ändert obwohl im Logfile steht, dass er die Datei geöffnet hat.?

 

Dann ist sie auch nicht geöffnet. Keine Ahnung welches Logfile das anzeigt.

 

Alle Fragen zum Cache müssen andere beantworten. Ich nutze den nicht.

 

Link to comment
3 hours ago, waylin2 said:

von Cache No auf Cache Yes ändere muss dabei etwas beachtet werden

Wenn es dauerhaft im Cache bleiben soll dann nicht Yes, sondern wie alturismo schon geschrieben hat:

 

On 12/16/2022 at 7:01 PM, alturismo said:

da wir jetzt dein setup nicht kennen, entweder den NC share (sofern vorhanden) als cache only oder deine data Pfad im Docker auf ein cache only share

Mit Yes packt der Mover die Dateien sonst beim nächsten Lauf wieder ins Array. Prefer wäre ggf. auch eine Möglichkeit.

Link to comment

@hawihoney Hast du denn sonst noch irgendeine Idee wodurch dieses Phänomen denn ausgelöst werden kann wenn ja laut lsof nichts an Daten offen ist.

Denn  im Logfile Werden wir Zugriffe auf eine bestimmte Datei angezeigt.

Könnte es vielleicht am Container selbst oder an einem Hintergrunddienst liegen?.

Habe irgendwie keine Idee mehr, woran es noch liegen soll.

@cz13 bin mir halt unsicher, wie ich das ganze einstellen soll, damit die bereits bestehenden Nutzer Daten nicht verloren gehen oder beschädigt werden.!

Link to comment
48 minutes ago, waylin2 said:

Hast du denn sonst noch irgendeine Idee wodurch dieses Phänomen denn ausgelöst werden kann wenn ja laut lsof nichts an Daten offen ist.

 

Schwierig. Das ist ab jetzt alls "Trial and error". Man probiert halt aus. An Hand der Informationen kann man nur Folgendes sagen:

 

1.) Da die Parity-Platte aufwacht: Es wird geschrieben

 

2.) Da nur eine von mehreren Daten-Platten aufwacht: Es liegt nicht am Controller bzw. System, es muss etwas auf exakt diese Platte schreiben.

 

Ab hier würde ich:

 

1.) Alle Plugins abschalten (Dateien in /boot/extra nach *.bak o.ä. umbenennen) und nach einem Neustart prüfen ob es weiterhin passiert

 

2.) Wenn die Plugins nicht der Auslöser sind: Alle Container der Reihe nach schlafen legen und prüfen.

 

3.) Die Frequenz des Hochfahrens herausfinden. Ggfs. trifft man ja mit lsof zufällig die tatsächlich geöffnete Dateien.

 

4.) Über das Änderungsdatum die tatsächlich geänderten Dateien ermitteln.

 

Ich weiß nur, dass hier oft Zeug installiert wird bis der Arzt kommt. An dieser Stelle würde ich halt ansetzen (siehe oben).

 

Edited by hawihoney
Link to comment
5 hours ago, waylin2 said:

bestehenden Nutzer Daten nicht verloren gehen oder beschädigt werden

Backup vor solchen Aktionen ist natürlich Pflicht. Wenn du einen Share auf Cache umstellst muss Nextcloud beendet sein, der Mover seinen Dienst verrichten und dann ggf. den Container anpassen bevor du Nextcloud startest.

Link to comment
  • 1 month later...

@hawihoney sorry, dass ich so lange nicht mehr geantwortet habe aber ich war leider länger krank.

 

Dieses Phänomen mit der zweiten Daten Disk Array ist zumindest im Moment nach einem Update vom Nextcloud Container verschwunden.

Dennoch macht der Server in seinem Stromverbrauch relativ große Sprünge von zum Beispiel 20 auf 38 Watt obwohl nur die Cache ssds Aktiv sind.

Ich habe nach Möglichkeiten gesucht, Wie ich rausbekommen kann, was auf dem Cache ssds passiert.

ein 

lsof /mnt/cache

Brachte jedoch keine Ausgaben. Hat jemand sonst noch eine Idee, wie ich das Ganze prüfen kann, was da im Hintergrund passiert denn in der Main Übersicht ist auch zu sehen, dass ständig schreib und Lese Prozesse im Cache Laufen.

 

für Hilfe wäre ich echt dankbar 

 

lg Waylin

Link to comment

@hawihoney Hey leider muss ich meine Aussage von oben wieder Korigieren leider werden die zweite Daten Disk und die Paritäts disk durch Nextcloud immer noch in unregelmäßigen Abständen geweckt, auch wenn gar kein Client eingeschaltet ist.

 

Das zweite Problem ist, dass ständig schreib und Lese zugreifen auf dem Cash passieren und ich aber nicht sehen kann, durch welche Container oder Prozesse diese ausgelöst werden. Die Leistungsaufnahme springt ständig zwischen 20 30 Watt, selbst wenn das Array inaktiv ist Ein Screenshot vom Logfile Hänge ich natürlich an.

Könnte es vielleicht bezüglich der Nextcloud noch eine Einstellung in der Nextcloud Selbst sein, die man ändern muss nur so ein Gedanke.1294228528_Bildschirmfoto2023-01-23um14_38_13.thumb.png.433750f7bd936c71e3dc7a0fb7c7dfd7.png

Link to comment

Sobald man external files verwendet, muss Nextcloud diesen externen Pfad regelmäßig auf Änderungen hin prüfen. Dafür gibt es faktisch keine Lösung außer auf external zu verzichten. Der Grund ist, dass Nextcloud nur Dateien anzeigen kann, die in der Datenbank indexiert wurden. Einfach nur Dateien in einem Ordner kann Nextcloud ansonsten nicht erkennen.

 

Bei internen Ordnern braucht Nextcloud die Ordner nicht überwachen, weil man Dateien da in der Regel nur über Nextcloud selbst hochlädt.

 

Bezüglich des Caches könnte man noch darauf hinweisen, aber das ist eher was für fortgeschrittene User:

https://forums.unraid.net/topic/112617-ssd-abnutzung-maßgeblich-reduzieren/

 

 

 

Link to comment
3 hours ago, mgutt said:

Sobald man external files verwendet, muss Nextcloud diesen externen Pfad regelmäßig auf Änderungen hin prüfen.

 

Das Nextcloud prüft mag wohl sein, dabei wacht aber nix auf. Unsere gesamte Nextcloud Instanz läuft ausschließlich (!!!) über Externe Speicher. Es handelt sich um mehrere TB und ein paar 100.000 Dateien. MariaDB liegt komplett auf dem Cache. /config und /data von Nextcloud ebenso. Die Externen Speicher liegen hingegen alle auf dem Array. Da wird nichts aufgeweckt. Eingestellt wurde mal scan on the fly bei Verzeichniszugriff aber diese Option finde ich nicht mehr. Funktioniert aber immer noch so ...

 

Wenn OP nicht gerade eine Mini-RAM Ausstattung fährt ist das eh alles im RAM Cache. Spätestens nach einem tatsächlich notwendigen Scan ist das alles zwischengespeichert. Nee, die permanenten Zugriffe bei ihm müssen einen anderen Grund haben.

 

 

 

  • Like 1
Link to comment
6 hours ago, Archonw said:

Ich hab bei mir das log Verzeichnis z.b. in /tmp/nextcloud gemappt.

 

Ist bei mir ebenfalls so. /tmp liegt im RAM. Das kann es auch nicht sein.

 

Nein, Deine disk2 und Parity werden durch etwas anderes geweckt. Ein Skript, ein Dienst, ein Programm, ein Klient.

 

Wie oben schon mehrfach geschrieben: Alles nach und nach deaktivieren (Plugins, Container, ..) und rantasten.

 

Link to comment

@hawihoney, @mgutt  hey, also irgendwie werde ich daraus nicht ganz schlau. Gibt es irgendeine Möglichkeit diese Funktion external files zu deaktivieren.?

Und seltsamerweise steigt der Stromverbrauch mittlerweile auf knapp 38 Wort, obwohl die Datenplatten aus sind und nur der Cache Aktiv ist. Ich bekomme aber einfach nicht raus, woran es liegt.

Die Nextcloud Habe ich auch noch mal geprüft. Die external Storage App ist nicht aktiv. Siehe Screenshot und einen Screenshot von den erweiterten Einstellungen des Containers habe ich auch noch beigefügt.

 

lg Waylin

Bildschirm­foto 2023-01-25 um 12.32.48.png

Bildschirm­foto 2023-01-25 um 12.36.48.png

Link to comment
27 minutes ago, waylin2 said:

hey, also irgendwie werde ich daraus nicht ganz schlau. Gibt es irgendeine Möglichkeit diese Funktion external files zu deaktivieren.?

 

Wir drehen uns seit Tagen im Kreis. So gibt das nix. Wie schon gefühlt ein dutzend mal geschrieben: CA Plugins, etc nacheinander abschalten, testen, usw. Du kannst keine fertige Antwort erwarten. Wie soll das auch gehen?

 

Und bei Stromverbrauch bin ich sowieso raus. Mein Server hat einen Grundumsatz von 268 Watt ...

 

Link to comment

@hawihoney sorry, wenn das jetzt so rüberkam, als wenn ich eine fertige Antwort erwarte das ist definitiv nicht der Fall.

Ich habe nur trotz längerem Google nichts gefunden, wie man in Nextcloud diese ganze external files Sache abschalten kann.

Denn eigentlich müsste diese Funktion doch nur etwas mit Nextcloud zu tun haben und nicht mit dem Plugins.

Werde morgen alle Plugins nacheinander Abschalten und dann schauen was passiert!

Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.