Snuups Posted April 5, 2021 Share Posted April 5, 2021 (edited) Hallo Gemeinde. Ich habe ein extremes Performance Problem was ich mir nicht erklären kann. Ich möchte grössere Mengen an Daten vom UnRAID auf eine externe HD kopieren. Zuerst geht das auch erwartungsgemäss schnell. Nach einer Weile bleibt der Kopiervorgang praktisch stehen. Ein weiteres Arbeiten mit UnRAID ist dann nicht mehr Möglich. Daten kommen nicht mehr. Selbst das Aufklappen von Verzeichnissen geht nicht mehr. Das Unraid hat nach wie vor Last, obwohl praktisch keine Daten mehr übertragen werden. Wo muss ich suchen? Dieser Kopiervorgang steht seit etlichen Minuten still. Erfahrungsgemäss geht das nicht wieder weiter. Es gibt auch keine Fehlermeldung. Rechner neu starten oder UnRAID nutzt nur kurze Zeit etwas. Danach habe ich immer wieder das gleiche problem. Edited April 5, 2021 by Snuups Quote Link to comment
mgutt Posted April 5, 2021 Share Posted April 5, 2021 5 minutes ago, Snuups said: vom UnRAID auf eine externe HD kopieren Die Quelle ist ein SMB Share und das Ziel ist eine Festplatte, die du an deinem physischen Mac per USB angeschlossen hast? Oder handelt es sich um eine Mac VM auf dem Unraid Server selbst? Welches HDD Modell ist die Quelle und welche das Ziel? Welches Dateisystem hat die Quelle und welche das Ziel? Ist die Quelle verschlüsselt? Wenn ich das richtig sehe, dann sind das ausschließlich große Dateien? 6 minutes ago, Snuups said: Ein weiteres Arbeiten mit UnRAID ist dann nicht mehr Möglich. Daten kommen nicht mehr. Selbst das Aufklappen von Verzeichnissen geht nicht mehr. Hast du das mit einem weiteren Client verifiziert? Laut Dashboard langweilt sich ja der Server, was eher auf ein Problem beim Client schließen lässt. Hast du auch mal probiert die externe HDD direkt an den Server anzuschließen und per Unassigned Devices zu mounten? Das würde den Umweg über den Client sparen. Kopieren könnte man dann mit Krusader oder eben per Kommandozeile. Quote Link to comment
Snuups Posted May 29, 2021 Author Share Posted May 29, 2021 Hallo, ich meinte das anders, wenn ich von dem Unraid auf einen meiner Rechner grössere Datenmengen kopieren möchte, dann fängt das Unraid nach etwa einer Minute an stark langsamer zu werden, von etwa 115mb die Sekunde, auf etwa schwankende 50mb. Wenn ich dann in der Weboberfläche von Unraid schaue, dann sind 2-4 Kerne voll im Roten Bereich bei 100% und bleiben da ne Weile. Sobald das passiert kann auch kein anderer Rechner, egal ob MAC oder Windows auf das Unraid zugreifen, wenn der Download aber beendet ist, dann geht die Auslastung ganz runter und das Unraid ist dann wieder wie gewohnt erreichbar. Es macht dabei übrigens keinen Unterschied ob ich die Interne SSD oder ein USB Laufwerk am MAC nutze, das Ergebnis ist immer das selbe, auch auf einem anderen Rechner wie Windows. Das Unraid bricht total zusammen, aber es läuft weiter bis die Datenübertragung fertig ist. So sieht das dann aus wenn das Unraid zusammenbricht. Quote Link to comment
Snuups Posted May 29, 2021 Author Share Posted May 29, 2021 Was ich vergass zu sagen, alle Platten sind verschlüsselt. Kann das mein Problem sein? Quote Link to comment
mgutt Posted May 29, 2021 Share Posted May 29, 2021 53 minutes ago, Snuups said: alle Platten sind verschlüsselt. Kann das mein Problem sein? Ja. Wie du siehst werden nicht alle Kerne genutzt. Hast du zufällig Kerne isoliert? Wenn nein, dann scheint LUKS oder die Ebene darüber, vermutlich SHFS, nicht sonderlich Multi-Thread freundlich zu sein und einzelne Kerne zu überlasten. Du könntest mal versuchen die Disk Shares zu aktivieren und direkt von einer Disk herunterzuladen. Damit umgehst du schon mal die SHFS Ebene. Wird es dadurch gelöst? Falls ja, müsste man sich Gedanken darüber machen eigene SMB Shares über die Config Datei anzulegen, die direkt auf die Disks verweisen oder du stellst dein Share Konzept komplett auf Disks um. Quote Link to comment
Snuups Posted May 30, 2021 Author Share Posted May 30, 2021 OK, das hilft mir weiter. Ich werde das ganze UnRaid umkopieren und neu aufsetzen, ohne Verschlüsselung. Die 62 TB dauern dann halt was länger...... Danke dir! Quote Link to comment
mgutt Posted May 30, 2021 Share Posted May 30, 2021 Teste erstmal Disk Shares. Ich habe außerdem noch weitere Ideen. Aber wenn dir die Verschlüsselung nicht so wichtig ist, kannst du das natürlich auch machen. Quote Link to comment
Snuups Posted May 31, 2021 Author Share Posted May 31, 2021 (edited) Das zweite Unraid was ich jetzt aufgesetzt habe hat genau das gleiche problem. Ich denke das Problem ist die Verschlüsselung. Aber für manche Sachen ist diese einfach wichtig. Das schlimme ist, man kann das nicht rückgängig machen. Es ist zum verzweifeln. Edited May 31, 2021 by Snuups Quote Link to comment
i-B4se Posted May 31, 2021 Share Posted May 31, 2021 Wenn das wirklich Gesamt 1TB auf 505k Dateien sind, dann sind es sehr viele kleine einzelne Files. Da geht auch eine Übertragung ohne Verschlüsslung kaum voran. Quote Link to comment
mgutt Posted June 1, 2021 Share Posted June 1, 2021 Ja, leider ein klassisches SMB Problem, wobei ich tatsächlich in Versuchen ab x 100.000 Dateien auch schon eine zusätzliche "Bremse" angetroffen habe. Die Ursache dafür ist mir auch nicht klar. Mein Vorschlag wäre viel RAM zu installieren und dirty_ratio anzuheben, damit Uploads in den RAM geschrieben werden. Außerdem wie gesagt Direct Disk nutzen, statt /mnt/user um Unraids Overhead zu vermeiden. Alternativ NFS oder FTP (über Docker, nicht Unraid) probieren. Quote Link to comment
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.