Hallo Gemeinde.

 

Ich habe ein extremes Performance Problem was ich mir nicht erklären  kann.

 

Ich möchte grössere Mengen an Daten vom UnRAID auf eine externe HD kopieren. Zuerst geht das auch erwartungsgemäss schnell. Nach einer Weile bleibt der Kopiervorgang praktisch stehen. Ein weiteres Arbeiten mit UnRAID ist dann nicht mehr Möglich. Daten kommen nicht mehr. Selbst das Aufklappen von Verzeichnissen geht nicht mehr.

 

Das Unraid hat nach wie vor Last, obwohl praktisch keine Daten mehr übertragen werden.

 

Wo muss ich suchen?

 

Dieser Kopiervorgang steht seit etlichen Minuten still. Erfahrungsgemäss geht das nicht wieder weiter. Es gibt auch keine Fehlermeldung. Rechner neu starten oder UnRAID nutzt nur kurze Zeit etwas. Danach habe ich immer wieder das gleiche problem.

 

Edited April 5, 20214 yr by Snuups

5 minutes ago, Snuups said:

vom UnRAID auf eine externe HD kopieren

 

Die Quelle ist ein SMB Share und das Ziel ist eine Festplatte, die du an deinem physischen Mac per USB angeschlossen hast? Oder handelt es sich um eine Mac VM auf dem Unraid Server selbst?

 

Welches HDD Modell ist die Quelle und welche das Ziel? Welches Dateisystem hat die Quelle und welche das Ziel? Ist die Quelle verschlüsselt?

 

Wenn ich das richtig sehe, dann sind das ausschließlich große Dateien?

 

6 minutes ago, Snuups said:

Ein weiteres Arbeiten mit UnRAID ist dann nicht mehr Möglich. Daten kommen nicht mehr. Selbst das Aufklappen von Verzeichnissen geht nicht mehr.

Hast du das mit einem weiteren Client verifiziert? Laut Dashboard langweilt sich ja der Server, was eher auf ein Problem beim Client schließen lässt.

 

Hast du auch mal probiert die externe HDD direkt an den Server anzuschließen und per Unassigned Devices zu mounten? Das würde den Umweg über den Client sparen. Kopieren könnte man dann mit Krusader oder eben per Kommandozeile.

Hallo,

ich meinte das anders, wenn ich von dem Unraid auf einen meiner Rechner grössere Datenmengen kopieren möchte, dann fängt das Unraid nach etwa einer Minute an stark langsamer zu werden, von etwa 115mb die Sekunde, auf etwa schwankende 50mb.

Wenn ich dann in der Weboberfläche von Unraid schaue, dann sind 2-4 Kerne voll im Roten Bereich bei 100% und bleiben da ne Weile.

 

Sobald das passiert kann auch kein anderer Rechner, egal ob MAC oder Windows auf das Unraid zugreifen, wenn der Download aber beendet ist, dann geht die Auslastung ganz runter und das Unraid ist dann wieder wie gewohnt erreichbar.

 

Es macht dabei übrigens keinen Unterschied ob ich die Interne SSD oder ein USB Laufwerk am MAC nutze, das Ergebnis ist immer das selbe, auch auf einem anderen Rechner wie Windows.

Das Unraid bricht total zusammen, aber es läuft weiter bis die Datenübertragung fertig ist.

 

 

So sieht das dann aus wenn das Unraid zusammenbricht.

Was ich vergass zu sagen, alle Platten sind verschlüsselt. Kann das mein Problem sein?

53 minutes ago, Snuups said:

alle Platten sind verschlüsselt. Kann das mein Problem sein?

Ja. Wie du siehst werden nicht alle Kerne genutzt. Hast du zufällig Kerne isoliert? Wenn nein, dann scheint LUKS oder die Ebene darüber, vermutlich SHFS, nicht sonderlich Multi-Thread freundlich zu sein und einzelne Kerne zu überlasten.

 

Du könntest mal versuchen die Disk Shares zu aktivieren und direkt von einer Disk herunterzuladen. Damit umgehst du schon mal die SHFS Ebene. Wird es dadurch gelöst? Falls ja, müsste man sich Gedanken darüber machen eigene SMB Shares über die Config Datei anzulegen, die direkt auf die Disks verweisen oder du stellst dein Share Konzept komplett auf Disks um.

 

 

OK, das hilft mir weiter. Ich werde das ganze UnRaid umkopieren und neu aufsetzen, ohne Verschlüsselung. Die 62 TB dauern dann halt was länger......

 

Danke dir!

Teste erstmal Disk Shares. Ich habe außerdem noch weitere Ideen. Aber wenn dir die Verschlüsselung nicht so wichtig ist, kannst du das natürlich auch machen.

Das zweite Unraid was ich jetzt aufgesetzt habe hat genau das gleiche problem. Ich denke das Problem ist die Verschlüsselung. Aber für manche Sachen ist diese einfach wichtig. Das schlimme ist, man kann das nicht rückgängig machen. Es ist zum verzweifeln.

 

Edited May 31, 20214 yr by Snuups

Wenn das wirklich Gesamt 1TB auf 505k Dateien sind, dann sind es sehr viele kleine einzelne Files. Da geht auch eine Übertragung ohne Verschlüsslung kaum voran.

Ja, leider ein klassisches SMB Problem, wobei ich tatsächlich in Versuchen ab x 100.000 Dateien auch schon eine zusätzliche "Bremse" angetroffen habe. Die Ursache dafür ist mir auch nicht klar.

 

Mein Vorschlag wäre viel RAM zu installieren und dirty_ratio anzuheben, damit Uploads in den RAM geschrieben werden. Außerdem wie gesagt Direct Disk nutzen, statt /mnt/user um Unraids Overhead zu vermeiden. Alternativ NFS oder FTP (über Docker, nicht Unraid) probieren.