[Solved] Festplatten wachen ständig auf

[Max Power]

Moin,

 

ist das eine Problem gelöst, kommt das nächste...🙄

 

Seit heute bekomme ich die Festplatten nicht mehr schlafen gelegt. Auch im Log sehe ich, dass seit heute Nacht die HDD zwar ausgehen, kurze Zeit später aber wieder anlaufen. Das ist mehrmals im Wechsel passiert.

Schicke ich das Array manuell in den Spindown, wacht es wenige Sekunden später wieder aus.

 

Ich dachte erst an ein Problem mit den Dockern (MariaDB & Nextcloud) oder der VM (HomeAssistant), aber auch wenn ich alle herunterfahre, bleibt das Problem bestehen. Ein Reboot hat auch nicht geholfen.

 

Wie kann ich sehen was das Aufwachen verursacht?

 

Mar  3 10:09:06 NAS emhttpd: read SMART /dev/sdc
Mar  3 10:09:32 NAS emhttpd: read SMART /dev/sdb
Mar  3 10:09:49 NAS emhttpd: spinning down /dev/sdb
Mar  3 10:09:49 NAS emhttpd: spinning down /dev/sdc
Mar  3 10:10:01 NAS emhttpd: read SMART /dev/sdb
Mar  3 10:10:01 NAS emhttpd: read SMART /dev/sdc

 

Lösung findet sich in diesem Post

 

Edited March 8, 2022 by Max Power

[alturismo]

24 minutes ago, Max Power said:

Wie kann ich sehen was das Aufwachen verursacht?

da ich vermute dass du auch cache prefer nutzt fangen wir mal mit den einfachen Dingen an

 

ls -la /mnt/disk1

disk2, disk3, ... je nachdem wie viele du im array hast

 

schau mal ob da /system oder /appdata oder /domains im array liegen

 

dann evtl. noch gleich einen screen deiner shares

[Max Power]

Aktuell nur Cache, Disk 1 und Parity - es wachen übrigens auch immer beide auf, nicht nur Disk 1

 

8 minutes ago, alturismo said:

da ich vermute dass du auch cache prefer nutzt fangen wir mal mit den einfachen Dingen an

 

Das ist richtig, ich hoffe das hilft

 

[alturismo]

18 minutes ago, Max Power said:

Das ist richtig, ich hoffe das hilft

 

das war jetzt mal nur disk 1 ...

 

ich sehe mal auf den ersten Blick (obwohl es recht wild auf dieser array Platte aussieht ),

/Nextcloud ... erste Baustelle wahrscheinlich,

/system ... VM Thema, 2. Baustelle wahrscheinlich,

/domains ... VM images, 3. Baustelle evtl.,

/appdata ... Docker Thema ... 4. Baustelle,

usw usw usw ...

 

also, bitte nochmals einlesen, überlegen was alles wo liegt und passiert ist durch cache prefer, wie du zumindest die Daten wieder retour auf den cache bekommst (gibt es genug Anleitungen) und dann überlegen wo du cache yes einsetzt (Bsp. Nextcloud) und was das für Folgen hat (Nextcloud an == hdd an, außer mit Aufwand und/oder Tricks ...)

[Max Power]

15 minutes ago, alturismo said:

das war jetzt mal nur disk 1 ...

Mehr als die Disk 1 gibt es nicht oder ich verstehe die Zählung falsch. 😶

 

17 minutes ago, alturismo said:

ich sehe mal auf den ersten Blick (obwohl es recht wild auf dieser array Platte aussieht ),

 

So schlimm? 😅

Nach meinem Verständnis, waren die Cache Einstellungen so gut gewählt, es gab ja bis heute auch nie Probleme. Aber ich bin da durchaus lernwillig.

 

21 minutes ago, alturismo said:

also, bitte nochmals einlesen, überlegen was alles wo liegt und passiert ist durch cache prefer, wie du zumindest die Daten wieder retour auf den cache bekommst

 

appData, domains und system auf prefer müsste doch sinnvoll sein und die Daten werden, wenn der Cache wieder leer ist, vom Array auf den Cache zurückgespielt werden. Die Shares in denen regelmäßig gearbeitet wird, liegen auf Yes. Backup und ein Testordner liegen dauerhaft auf dem Cache.

Das soll überhaupt nicht provokativ klingen, aber ich kann nicht ganz folgen oder verstehe den Wink einfach nicht.

[alturismo]

10 minutes ago, Max Power said:

Mehr als die Disk 1 gibt es nicht oder ich verstehe die Zählung falsch. 😶

 

hatte ich überlesen, alles gut

 

11 minutes ago, Max Power said:

Nach meinem Verständnis, waren die Cache Einstellungen so gut gewählt

grundsätzlich (und der allgemeinen Meinung nach) ja ... ich nutze das anders wie du ja oben siehst, aber lassen wir das Thema da hier das Grundverständnis und auch eine "Sicherungsstrategie" vorhanden sein sollte.

 

Schau nach was Prefer macht, es verschiebt wenn es eng wird ... und schiebt retour (klappt nur leider seltenst) wenn die Daten nicht in Benutzung sind (da liegt der Haken), sprich, wenn jetzt die VM Engine läuft, bleibt /system im array, wenn die VM läuft, bleibt /domains im array, wenn der/die Docker laufen und die Dateien gerade benutzen, bleiben die im ... array  und die array hdd's ... an

 

13 minutes ago, Max Power said:

appData, domains und system auf prefer müsste doch sinnvoll sein und die Daten werden, wenn der Cache wieder leer ist, vom Array auf den Cache zurückgespielt werden

wie eben beschrieben, wenn wenn wenn ...

 

hierzu mach jetzt einfach mal folgendes (sofern Platz auf dem cache ist), stoppe den Docker und VM Dienst (in settings, docker, disable ... settings, vm, disable) ... nicht nur den/die Docker/VM's ausmachen ... sondern Dienst stoppen.

 

Beispiel

 

dann den Mover starten, wenn jetzt Platz ist schiebt er zumindest cache prefer retour auf den cache ...

 

16 minutes ago, Max Power said:

Die Shares in denen regelmäßig gearbeitet wird, liegen auf Yes

und Yes heißt jetzt, du arbeitest heute (vor dem mover) auf dem cache, ab morgen (nach dem mover) auf dem array mit den Dateien ... was auch immer jetzt "produktiv" heißt, sprich die Word Datei ist heute "ohne" spinup im cache, ab morgen nur noch "mit" spinup auf dem array.

 

Beispiel auch Nextcloud, da liegen zum Beispiel auch lokale appdata Daten, Datenbanken, usw usw ... liegen die auf dem array und Nextcloud läuft kann keine Ruhe reinkommen, und da hier auch immer geschrieben wird ... läuft da auch immer die parity mit, das als "bildliches" Beispiel ... warum "alle" Platten anlaufen.

 

Daher der Hinweis, schau nach was du eingestellt hast, was wo liegt, was dann passiert ... dann ist recht schnell klar warum ...

 

17 minutes ago, Max Power said:

Backup und ein Testordner liegen dauerhaft auf dem Cache.

das ist deine Baustelle

[Max Power]

41 minutes ago, alturismo said:

wie eben beschrieben, wenn wenn wenn ...

 

hierzu mach jetzt einfach mal folgendes (sofern Platz auf dem cache ist), stoppe den Docker und VM Dienst (in settings, docker, disable ... settings, vm, disable) ... nicht nur den/die Docker/VM's ausmachen ... sondern Dienst stoppen.

 

Interessant:

 

Beide Dienste gestoppt -> Array bleibt schlafen

Docker & VM Dienst gestartet -> Array bleibt schlafen

HomeAssistant VM gestartet -> Array bleibt schlafen

MariaDB und Nextcloud gestartet -> Array wacht direkt auf

MariaDB und Nextcloud gestoppt -> Array wacht trotzdem wieder auf

Docker und Docker Dienst abgeschaltet -> Array wacht auf

 

Erst wenn ich wieder beide Dienste deaktivere und nur die VM für HA starte, bleibt das Array ruhig.

Also scheint Nextcloud etwas abzufragen, obwohl kein Nutzer sie anspricht.

 

Btw. Komischerweise bekomme ich seit heute auch keine GitHub Verbindung mehr. Überall steht Version unknown.

 

 

Edited March 3, 2022 by Max Power

[sylus]

Du könntest Mal das Open Files Plugin installieren. Dann siehst du ja, welcher Prozess auf welche Dateien zugreift. Dann kannst du es zumindest etwas einschränken.

[Archonw]

Die Nextcloud schreibt natuerlich auch einiges an log-Dateien, allein dadurch wacht das Arry immer wieder auf. 

Von daher hab ich meine auch auf Cache only, ebenso die MariaDB. 

Hat zudem den nuetzlichen Nebeneffekt, dass die Nextlcoud deutlich flotter reagiert. Siehe hier:

 

https://forums.unraid.net/topic/120495-solved-nextcloud-extrem-langsam/

[hawihoney]

2 hours ago, Max Power said:

Beide Dienste gestoppt -> Array bleibt schlafen

Docker & VM Dienst gestartet -> Array bleibt schlafen

HomeAssistant VM gestartet -> Array bleibt schlafen

MariaDB und Nextcloud gestartet -> Array wacht direkt auf

MariaDB und Nextcloud gestoppt -> Array wacht trotzdem wieder auf

Docker und Docker Dienst abgeschaltet -> Array wacht auf

 

An welcher Stelle hattest Du den Mover gestartet? Das hatte @alturismo als Schritt nach dem Stoppen beider Dienste empfohlen.

 

[Archonw]

Ein gutes Plugin, um die Ordnung in die Datein zu bekommen, damit sie da liegen, wo man sie vermeindlich haben moechte ist auch 

unBalance.

Hier hat Spaceinvader One ein gutes Video dazu:  https://www.youtube.com/watch?v=Wz4-YlH1lTk

 

[Schlonzmann]

Bei mir hat Nextcloud auch verhindert das sich das Array schlafen gelegt hat, hab es jetzt auf eine SSD Ausgelagert und gut ist. 

Wenn du natürlich Daten Sicherheit brauchst musst dir ein raid bauen mir reicht das wenn ich die daten regelmäßig in Array Kopiere.

[Archonw]

@Schlonzmann das ist auch eine gute Idee. Wie bzw. womit kopierst du die Daten rueber? Haelst du dafuer den Container und die Datenbank an? 

Ich suche noch nach guten Loesungen.

[hawihoney]

9 minutes ago, Archonw said:

Haelst du dafuer den Container und die Datenbank an? 

 

Ich springe mal mit einem Beispiel rein. Mit dem User Scripts Plugin führe ich für MariaDB/Nextcloud folgendes aus. Container-, Datenbank und Ordnernamen musst Du anpassen:

 

docker exec mariadb /usr/bin/mysqldump --user=root --password=******** nextcloud > "/mnt/disk1/Backup/MariaDB/dump/Nextcloud/dump.sql"

docker stop nextcloud
docker stop mariadb
rsync -avPX --delete-during /mnt/pool_nvme/system/appdata/mariadb/ /mnt/disk1/Backup/appdata/mariadb/
rsync -avPX --delete-during /mnt/pool_nvme/system/appdata/nextcloud/ /mnt/disk1/Backup/appdata/nextcloud/
rsync -avPX --delete-during /mnt/pool_nvme/system/appdata/nextcloud.data/ /mnt/disk1/Backup/appdata/nextcloud.data/
docker start mariadb
docker start nextcloud

 

[Archonw]

Super, danke schon mal vielmals. 

 

Frage, wenn ich den Container anhalte, ist dann ein Datenbank dump noch notwendig?

 

 

 

[Schlonzmann]

ich bin über https://knilixun.wordpress.com/backup-nextcloud-datenbank-die-loesung/ auf das script von mgutt gekommen und probier mich damit aus

[Archonw]

Ja das benutze ich auch. Nur da werden bisher nicht die Container angehalten, das bedeuetet die MariaDB Datenbank kann so nicht "fehlerfrei" gesichert werden. Waehrend du sicherst koennen neu Daten hinzu kommen, zu denen dann die schon gesicherten Datenbankeintraege fehlen.

 

Daher muss zu beginn das Script um wenigstens 

docker stop nextcloud

docker stop mariadb

 

ergaenzt werden.  

 

Am Ende halt wieder mit 

docker start mariadb

docker start nextcloud

starten

 

Ich lasse einfach zunaechst alle stoppen. Und dann eben wieder alle starten. 

[Schlonzmann]

hab da noch das appdata Backup/Restore V2 plugin gefunden das stoppt auch vorher die container. hab nur noch nicht mit den restore optionen rumgespielt.

Wobei ich der Fairness sagen sollte meine nextcloud ist noch im testbetrieb und enthält nur daten von mir die an anderer stelle noch vorhanden sind und wird auch nur für familien krahm nachher genutzt. Quasi handy backups usw.

[hawihoney]

56 minutes ago, Archonw said:

Frage, wenn ich den Container anhalte, ist dann ein Datenbank dump noch notwendig?

 

Ich fahre halt gerne zweigleisig - ASCII Datenbank Dump plus binäre Datenbanksicherung. Das mache ich mit allen Datenbanksystemen seit Jahrzehnten.

 

[Archonw]

Okay, danke. Ich denke ich werde das uebernehemen. Ist gerade was die doch schnell empfindliche Datenbank angeht keine "bad-practise" zu sein.

 

Ich haette ja gerne das Backup-Script von der Nextcloudpi uebernommen. Da ist der Restore so schoen simpel.

Aber das ueberschreitet bei weitem, wozu ich kleiner Wicht im stande bin.

Edited March 3, 2022 by Archonw

[mgutt]

On 3/3/2022 at 12:51 PM, Max Power said:

nteressant:

 

Beide Dienste gestoppt -> Array bleibt schlafen

Docker & VM Dienst gestartet -> Array bleibt schlafen

HomeAssistant VM gestartet -> Array bleibt schlafen

MariaDB und Nextcloud gestartet -> Array wacht direkt auf

MariaDB und Nextcloud gestoppt -> Array wacht trotzdem wieder auf

Docker und Docker Dienst abgeschaltet -> Array wacht auf

 

Erst wenn ich wieder beide Dienste deaktivere und nur die VM für HA starte, bleibt das Array ruhig.

Also scheint Nextcloud etwas abzufragen, obwohl kein Nutzer sie anspricht.

Dass Nextcloud irgendwas in den Nextcloud-Ordner auf Disk1 schreibt und damit auch die Parität weckt: Ist halt so. Würdest du die HA VM auf Disk1 verschieben, hättest du das selbe "Problem". Viel mehr kann man da nicht zu sagen. Nextcloud ist nun mal eine moderne Webanwendung mit zahlreichen Schnittstellen und kein reiner FTP-Server, der nur darauf wartet, dass sich mal einer anmeldet und Dateien transferiert. Fazit: Große SSD kaufen und Ruhe im Array. Oder: HDDs und Cache wegwerfen und nur SSDs ins Array.

[Max Power]

On 3/3/2022 at 3:49 PM, hawihoney said:

An welcher Stelle hattest Du den Mover gestartet? Das hatte @alturismo als Schritt nach dem Stoppen beider Dienste empfohlen.

 

So wie beschrieben, nach dem Beenden der Dienste. Hat auch geholfen.

Beim ersten Mal war wahrscheinlich einer der Dienste noch an und nur die Docker/VM gestoppt.

On 3/3/2022 at 6:35 PM, Schlonzmann said:

Bei mir hat Nextcloud auch verhindert das sich das Array schlafen gelegt hat, hab es jetzt auf eine SSD Ausgelagert und gut ist. 

 

Das wird wohl auch so kommen, ebenso wie Dokumente.

On 3/4/2022 at 9:35 PM, mgutt said:

Dass Nextcloud irgendwas in den Nextcloud-Ordner auf Disk1 schreibt und damit auch die Parität weckt: Ist halt so. Würdest du die HA VM auf Disk1 verschieben, hättest du das selbe "Problem". Viel mehr kann man da nicht zu sagen. Nextcloud ist nun mal eine moderne Webanwendung mit zahlreichen Schnittstellen und kein reiner FTP-Server, der nur darauf wartet, dass sich mal einer anmeldet und Dateien transferiert. Fazit: Große SSD kaufen und Ruhe im Array. Oder: HDDs und Cache wegwerfen und nur SSDs ins Array.

 

Das "Problem" ist ja nicht das gelegentliche Aufwachen des Array, sondern dass ich es gar nicht mehr heruntergefahren bekommen habe. Ansonsten war das bisher ein Übel das ich in Kauf genommen habe. Dass aber die HDDs gar nicht mehr in den spin down gehen und auch manuell angestoßen gleich wieder hochfahren war allerdings neu.

 

2TB SSD habe ich auch noch über, wird wohl Zeit für nen Transfer. Danke euch

[Schlonzmann]

Nextcloud schreibt halt alle paar Sekunden was in die User Daten. Wenn die halt im array liegen startet das array wieder selbst wenn du es in den spindown schickst. Ist halt so, da nextcloud ja keine reine datengrab cloud ist mit seinen Mail office usw Funktionen.