Disc-activity: Unsicherheit, welches Programm auf Daten zugreift.

[hecky]

Servus,

 

ich habe gestern Abend mit dem File Manager Plugin (Dynamix File Manager - DFM) einen Move-Befehl in Gang gesetzt (Disc 2 > Disc 6).

Heute morgen gucke ich in die GUI und habe nach wie vor disc-activities.

 

 

Leider weiß ich aber nicht, was genau da noch gemacht wird und das würde ich gerne.

Wenn ich über die möglichen Optionen in den DFM reingehe, wird mir nichts unten in der Leiste mehr angezeigt, dass auf eine Aktivität hinweißt.

      oder    

 

Gibt es eine Möglichkeit über das Terminal zu sehen, was da noch aktiv ist?

[hawihoney]

22 minutes ago, hecky said:

Heute morgen gucke ich in die GUI und habe nach wie vor disc-activities.

 

Aus Deinem Screenshot wird das ersichtlich: Es wird von Disk2 gelesen und auf Disk6 geschrieben. Offensichtlich hast Du eine einzelne Parity in Betrieb - diese wird ebenfalls beschrieben. Die Schreibperformance von über 70 MB/s ist bei mechanischen Festplatten absolut in Ordnung da das Parity-geschützte Array pro Schreibvorgang vier Operationen ausführt (siehe unten). Das entspricht über 200 MB/s was für mechanische Festplatten sehr gut ist. Ich gehe davon aus, dass Du sehr, sehr viele Daten verschiebst ... Nun teile die zu verschiebende Datenmenge durch 70 MB/s und Du kennst die dafür notwendige Zeit - vorausgesetzt Dein System ist nicht noch mit etwas Anderem beschäftigt.

 

Wenn ich mich nicht verrechnet habe, dann kannst Du mit Deinem Array grob in vier Stunden 1 TB schreiben, bei 2 TB macht das acht Stunden, ...

 

Quote

That's 2 reads, a calc, a long wait, and 2 writes.

 

https://wiki.unraid.net/Manual/Storage_Management#Array_Write_Modes

 

Edited April 20, 2023 by hawihoney

[hecky]

Das ist korrekt, viele kleine Daten.

Also kann ich annehmen, dass die "eigentlichen Daten" schon verschoben sind und nur noch der parity-check aussteht?

Das würde erklären warum ich keine Infos mehr vom DFM angezeigt bekomme.

 

24 minutes ago, hawihoney said:

Quote

That's 2 reads, a calc, a long wait, and 2 writes.

 

Verstanden.

Bei den Disc-settings hatte ich unter "Tunable (md_write_method):" "auto" eingestellt - also quasi "Read/Modify/Write"

Habe es jetzt auf recontructive-mode gesetzt.

In Summe scheint es jetzt schneller zu laufen.

 

Nur stellt sich mir immer noch die Frage, was genau gerade noch gemacht wird.

Und vor allem, wo ich einsehen kann welcher Prozess für die Schreibraten verantwortlich ist.

 

Hilft das evtl. bei der Findung?

Leider kann ich mit der nachfolgenden Listung noch nicht viel anfangen.

 

 

Irgendwas scheint ja den rsync-Befehl zu nutzen.

 

 

Edited April 20, 2023 by hecky

[hawihoney]

29 minutes ago, hecky said:

Also kann ich annehmen, dass die "eigentlichen Daten" schon verschoben sind und nur noch der parity-check aussteht?

 

Falsch. Die Parity wird on-the-fly für jeden geänderten Block auf Disk6 beschrieben. Auf Deinem Screenshot kannst Du sehen was geschrieben wird.

 

30 minutes ago, hecky said:

Habe es jetzt auf recontructive-mode gesetzt. In Summe scheint es jetzt schneller zu laufen.

 

Damit werden jetzt alle (!!!) Platten genutzt und nicht mehr nur Disk2, Disk6 sowie Parity --> benötigt mehr Strom.

 

31 minutes ago, hecky said:

Hilft das evtl. bei der Findung?

 

Für mich ist die Situation an Hand Deines Screenshots klar. Dynamix FileManager nutzt rsync zum Verschieben der Daten. Der Match von 72 MB/s auf den drei betroffenen Platten zeigt, dass nix Anderes läuft. Es gäbe sonst ein Lese- oder Schreibunterschied bei den drei Platten.

 

Rechne einfach mal an Hand Deiner Daten nach. Welches Volumen in TB verschiebst Du?

 

[hecky]

Mein Problem:

 

Ich weiß nicht, wie groß die Daten waren - ich habe die Calculate-function am Anfang (vor dem Verschieben) nicht genutzt.

Wenn ich diese jetzt bei beiden Ordnern (Disk 2 und Disk 6) nutze, wird mir die Größe zwar 1x angezeigt, allerdings kann ich ein paar Minuten später keine "aktuelle Ordnergröße" mehr anzeigen. Mir wird sofort, ohne das unraid was rechnet oder sich den Ordner mit Inhalt nochmal anguckt, die Größe angezeigt - nämlich den Wert vom Ersten mal.

 

Kann ich mir irgendwie im Terminal anzeigen lassen, was rsync gerade macht?

Dann könnte ich wenigstens nachvollziehen, wo Daten hin- und herverschoben werden.

 

Ich habe halt das Gefühl, dass mich doch irgendwo verklickt habe.

Weil ein feedback von DFM habe ich nach wie vor nicht.

[hecky]

Also am DFM scheint es nicht zu liegen.

Laut dem Entwickler fehlen für ein "aktiv sein" Dateien im /var/tmp/-Ordner.

 

Ich habe weder Docker, noch VMs aktiv ... Und trotzdem werden seid Stunden files von einem mir nicht bekannten Programm von Disc2 auf Disc6 geschoben 😭

[cz13]

1 hour ago, hecky said:

Kann ich mir irgendwie im Terminal anzeigen lassen, was rsync gerade macht?

du kannst im Terminal lsof -c rsync anzeigen auf welche Dateien Prozesse mit dem Namen rsync zugreifen. Nimmst du statt -c den Parameter -p kannst du statt dem Namen die PID verwenden. In deinem Screenshot von top weiter oben sehe ich 4 rsync Prozesse.