Kopiergeschwindigkeit schwankt stark//fällt auf Null

[Slarti123]

Hallo zusammen,

 

ich bin nicht 100% sicher, habe aber den Eindruck, dass das Phänomen erst seit dem letzten Update auftritt:

Wenn ich ein File kopiere, geht zunächst die Geschwindigkeit auf ca. 140Mb/s hoch. Nach kurzer Zeit bricht sie aber völlig ein. Geht auf 0 Mb/s, pausiert dort und schießt wieder kurz auf 140Mb/s hoch, usw.

Das passiert auch, wenn ich "lokal" kopiere: Also über einen Win Client auf dem SMB Share von einem Unterordner in den Parentfolder kopiere, ohne das Netzwerk zzu nutzen. RAM/CPU sind nie voll ausgelastet und ich nutze einen SSD Cache Drive (mit Error!). Anbei ein paar Screenshots.

Wo kann ich den anfangen, den Fehler einzukreisen?

 

Danke!

 

 

[MPC561]

Du hast VMs laufen auf dem Cache und kopierst via SMB auf den Cache? Könnte je nach Anspruch der VM(s) ein IO Problem der SSD sein.

Dann sieht man nicht deine Kernzuteilung. Hast Du Kerne Isoliert? Wieviel? Wieviel RAM nutzt die VM? Kann man alles nicht erkennen aus screenshots.

 

Folgende Tests:

1.) Einen Share mal auf Array only stellen und nochmal kopieren ob es auch hakt beim kopieren darauf.

2.) VMs und Docker stoppen und nochmal kopieren probieren auf den Cache.

 

 

 

 

[Slarti123]

Quote

Du hast VMs laufen auf dem Cache und kopierst via SMB auf den Cache?  Dann sieht man nicht deine Kernzuteilung. Hast Du Kerne Isoliert? Wieviel? Wieviel RAM nutzt die VM?

Ja. S. Screenshots. Nur 1 VM für HomeAssistant mit einem Kern und 4-8 GB RAM von 32GB.

 

Quote

1.) Einen Share mal auf Array only stellen und nochmal kopieren ob es auch hakt beim kopieren darauf.

Das war interessant: Habe ein file von einem share auf das "Array only" share kopiert: 7,8 GB groß. Bis 72% eine Wahnsinnsgeschwindigkeit >1GB/s. Dann auf 0 gedroppt.

 

33 minutes ago, MPC561 said:

2.) VMs und Docker stoppen und nochmal kopieren probieren auf den Cache.

Das hat keine Veränderung gebracht.

Edited December 21, 2023 by Slarti123

[Slarti123]

Noch ein Nachtrag: Habe mal vom Win Client per SMB eine 13GB Datei auf das "Array only" geladen. Die ersten ca 4GB gingen mit ca 100MB/s hoch. Danach konstant bei ca. 45MB/s.

Edited December 21, 2023 by Slarti123

[MPC561]

Dann fällt mir nix mehr ein. Ich dachte an ein IO Problem oder das er auf kaputte Sektoren der SSD schreiben will. Wen Du nur auf den Share kopierst und das auch abbricht...

 

Wobei, hast Du mal gewartet ob er den Kopiervorgang nicht doch noch abschliesst? Beim Kopieren wird erstmal der RAM gefüllt und dann geschrieben. Der Fortschrittsbalken zeigt auch erstmal das RAM füllen an. Dann hängt der Balken ggf. weil er anfängt wirklich auf die HDD zu schreiben und erstmal den angezeigten Fortschritt aufholt. Dabei sollte während des Kopierens unter der Unraid WebGUI angezeigt werden das er schreibt.

 

9 minutes ago, Slarti123 said:

Das war interessant: Habe ein file von einem sahre auf das "Array only" sahre kopiert: 7,8 GB groß. Bis 72% eine Wahnsinnsgeschwindigkeit >1GB/s. Dann auf 0 gedroppt.

 

Hmmm, dachte es geht um SMB? Und wenn dann vom einem Share auf dem Cache aufs Array und umgekehrt.

 

 

 

 

[MPC561]

4 minutes ago, Slarti123 said:

Noch ein Nachtrag: Habe mal vom Win Client per SMB eine 13GB Datei auf das "Array only" geladen. Die ersten ca 4GB gingen mit ca 100MB/s hoch. Danach konstant bei ca. 45MB/s.

Das ist plausibel. Siehe RAM füllen. die 45MB/s sind etwas wenig aber das sind auch alte Platten.

 

PS: Dein zweiter Test war das was ich eigentlich wollte. Da war keine SSD dabei. Ich wollte via SMB aufs Array und das funktioniert wie es soll. Also vermute ich fast deine SSD hat eine Macke.

Edited December 21, 2023 by MPC561

[Slarti123]

3 minutes ago, MPC561 said:

Wobei, hast Du mal gewartet ob er den Kopiervorgang nicht doch noch abschliesst?

Ja, das war auch tatsächlich so. Ging dann irgendwann weiter und hat den Vorgang erfolgreich abgeschlossen.

 

4 minutes ago, MPC561 said:

Hmmm, dachte es geht um SMB? Und wenn dann vom einem Share auf dem Cache aufs Array und umgekehrt.

Verstehe nicht, was Du meinst. Habe mich vielleicht schlecht ausgedrückt. Habe von einem Share ("Video") eine "nicht gecachte" Datei aus dem Array kopiert auf ein anderes share ("nextdata"), das als "array only" konfiguriert ist. Dabei nur als Oberfläche den Win Explorer/SMB genutzt. Lief aber kein traffic über das Netzwerk.

[MPC561]

2 minutes ago, Slarti123 said:

Verstehe nicht, was Du meinst. Habe mich vielleicht schlecht ausgedrückt. Habe von einem Share ("Video") eine "nicht gecachte" Datei aus dem Array kopiert auf ein anderes share ("nextdata"), das als "array only" konfiguriert ist. Dabei nur als Oberfläche den Win Explorer/SMB genutzt. Lief aber kein traffic über das Netzwerk

Sprich Du hast eine Datei vom Array ins Array kopiert ohne den Cache zu nutzen. Ok. Dann wurde die Datei von einer Platte im Array auf die andere kopiert. Na dann passt doch alles. Er macht erst den RAM voll, das geht wahnsinnig schnell beim Fortschritt, und erst dann schreibt er wirklich und schliesst das auch ab. Die Anzeige da bzgl. Fortschrittsbalken ist halt blöde.

[Slarti123]

OK, dann wäre der RAM das bottle neck und ich könnte da ein wenig nachrüsten.

 

Wenn ich aber auf ein Cache Share vom Client hochlade, dann ist die Phase 0 MB/s teilweise fast 1min lang, bevor es weitergeht. Das ist bei größeren Mengen schon nervig. Ist es einen Versuch wert, die Cache SSD zu tauschen oder ist das unnötig?

 

Übrigens: Vielen Dank für die schnellen und hilfreichen Antworten!

 

Edited December 21, 2023 by Slarti123

[DataCollector]

On 12/21/2023 at 1:27 AM, Slarti123 said:

OK, dann wäre der RAM das bottle neck und ich könnte da ein wenig nachrüsten.

Also Du hast rund 32GB. Per Default nutzt unraid (was war das noch? 20% oder so) nur einen Bruchteil als Chache.

Du hattest ursprünglich gesagt, daß nach rund 7,x GB das erstemal einbricht.

32 *0,25 = ca. 8 GB.   passt doch.

Zuerst wird ins Ram geschrieben (Ram ist sehr schnell), danach schreibt unraid auf die Cache SSD/Pool. Das ist leider eine Intenso..... (ich würde die schnellstmöglich gegen etwas anderes austauschen (flotte NVME (Samsung oder so)), wenn Du öfters große Dateien über den Cache ins Array schreiben willst.

Während unraid also Datenstücke aus dem Ram auf die SSD verschiebt wird nach kurzer Zeit im Ram wieder Platz frei und es geht wieder mit gebremstem Schaum weiter. Bis die Datei irgendwann im CachePool/SSD ist. Als Du direkt ins Array geschrieben hast, war anfangs auch der Ram als Cachepuffer aktiv und danach haben die alten Festplatten (gebremst durch die Parität) eben mit rund 45MByte/s weiter gemacht.

Sieht eigentlich alles okay aus.

 

Dass es ab und zu stockt hängt eben damit zusammen, daß einer der Caches vollgelaufen ist und nichts mehr aufnehmen kann und dann unraid dort erst einmal umkopieren muß um danach weiter zu machen.

 

Du kannst entweder den Cachepuffer im Ram erhöhen (beispielsweise auf 50%)

oder eine flottere SSD als Cache nutzen

oder die Funktion von Cache und Datenspeicher für Docker/VM voneinander trennen (2 unterschiedliche SSDs)

oder einfach damit leben, daß unraid eben etwas Zeit braucht, wenn ein Cache vollgelaufen ist und die nächste Cacheinstanz eben nicht so schnell alles aufnehmen kann.

(Edit: oder eben beides zusammen machen: Cache im Ram erhöhen zusätzlich eine flottere SSD nur als PoolCache einsetzen).

 

Mit vorherigen unraidversionen (6.9.... ) war mir das gerade bei meinem riesigen Kopieraktionen massiv aufgefallen und auch in der aktuellen Version sind noch Stockungen zu sehen (auch wenn es besser geworden ist)

Ich hatte mich damals schon gewundert, warum mc beim Verschieben/Kopieren eines Verzeichnisses so nach ca. 12-16 GB auf einmal eine Gedenkpause einlegte, bis ich daaus geschlossen habe, daß dann in dem Moment massiv die Daten zwischen den Ram und SSD Caches verschoben wurden.

Auch hatet ich solche Stockungen stärker als noch die System Sahres und er Cachepuffer für das Array auf einer normalen SSD zusammen lagen.

Seit ich die Systemshares auf einer Samsung 960 Evo und die Cachefunktion des Array auf eine Legend 960 4TB getrennt habe, ist es für mich auch bei großen Kopieraktionen von außerhalb (Netzwerk SMB) auf meine unraid Shares (gepuffert durch erst die 128GB Ram und dann die Legend 960) durchgängig flüssig abgelaufen. Ich merke aber schon, daß auch die Adata Legend 960 nach rund 1-1,5TB geschrieben Daten langsam etwas langsamer wird. ber das ist dann immer noch weit oberhalb der ca. 100MByte/s, die Du zu erreichen wünschst.

 

On 12/21/2023 at 1:27 AM, Slarti123 said:

Wenn ich aber auf ein Cache Share vom Client hochlade, dann ist die Phase 0 MB/s teilweise fast 1min lang, bevor es weitergeht.

 

Meine Vermutung: Gratuliere! Du hast die SATA SSD von Intenso erlebt und weißt nun, warum die recht günstig verkauft werden.

Gute SSDs für kleine Operatioonen (OS booten, schneller als eien festplatte kleien Dateien beim Starten zusammensuchen). Für viele Schreiboperationen oder auch gleichzeitige Zugriffe sind die ....na sagen wir mal ... nicht wirklich absolute Spitzenklasse 🤣

 

On 12/21/2023 at 1:27 AM, Slarti123 said:

Das ist bei größeren Mengen schon nervig. Ist es einen Versuch wert, die Cache SSD zu tauschen oder ist das unnötig?

 

Wenn es Dir wirklich wichtig ist und Du das Geld frei hast: Ram aufrüsten, Cachepuffer im Ram erhöhen und eine flottere/bessere (NVMe) SSD (allein) für den Cache einsetzen kann alles einzeln oder auch zusammen so einiges bringen.

 

Edited December 22, 2023 by DataCollector
Typos und kleines Edit

[Slarti123]

Top, ganz herzlichen Dank!

[MPC561]

1 hour ago, Slarti123 said:

OK, dann wäre der RAM das bottle neck und ich könnte da ein wenig nachrüsten

Nein. 

Es ist ein Anzeigeproblem.

- Es wird einfach schnell in den RAM geschrieben und dabei läuft der Fortschrittsbalken ganz schnell. 

- Dann wird vom RAM auf den Datenträger geschrieben und dabei bleibt der Fortschrittsbalken stehen weil da ja eigentlich erst der Schreibvorgang auf die HD erfolgt.

- Wenn teile des RAMs leer sind wird in den wieder nachgeladen und aus dem RAM weiter auf den Datenträger geschrieben

 

Speziell beim schreiben auf das Array nützt auch ein schnellerer Cache nichts und auch nicht ein grösserer RAM. Das schreiben wird dadurch nicht schneller. Davon mal abgesehen das die Intenso nicht schnell ist. Ich nutze die zwar auch, aber nicht als Cache.

 

Edited December 21, 2023 by MPC561