[SOLVED] Einbruch der SMB Performance nach wenigen GB

[Redskyer]

Hallo,

 

nachdem ich inzwischen schon mehrere Tage damit zugebracht habe, das Problem zu analysieren und zu forschen was die Ursache ist, möchte ich es auf diesem Weg einmal versuchen. Ich habe vorher natürlich schon versucht hier im Forum passende Threats zu finden, jedoch hat keiner davon wirklich gepasst oder zur Lösung beigetragen.

 

Ich kann nicht mit 100-prozentiger Sicherheit sagen, seit wann das Problem auftritt, jedoch kann ich mit Sicherheit sagen, dass es nicht schon immer bestanden hat.

Meine Vermutung ist, dass durch ein Upgrade auf Version 6.9.2 (von 6.9.1) etwas schiefgelaufen ist. Ich hatte mit dem Upgrade auf diese Version einige Probleme, welche inzwischen behoben sind. Jedoch hat auch der Downgrade nicht ganz sauber funktioniert. Nach mehreren Up- und Downgrades habe ich das System wieder stabil bekommen. Wie auf den Screenshots zu sehen ist, läuft im Moment die aktuellste Version 6.9.2. Noch als kurze Zusatzinformation, ich habe mit der 6.9 Beta 33 (glaube ich) vor ca. einem Jahr mit UNRaid gestartet.

 

Tatsache ist, dass nach dem Kopieren weniger GB, meistens ca. 2-5, von meinem PC zum UNRaid-Server, die Übertragungsrate von 110 mb/s auf 1-3 mb/s fällt und sich auch nicht mehr wirklich erholt. Ich habe sogar den Docker Dienst deaktiviert und nebenbei mit htop die Auslastung überwacht. Ich kann mir einfach nicht erklären, was die Ursache für diesen extremen Einbruch ist. Immerhin werden alle Daten direkt auf die SSD geschrieben.

 

Ich würde mich freuen, wenn jemand noch Anregungen hat, was ich noch testen könnte.

Falls ich noch Angaben vergessen habe, die notwendig sind, kann ich diese gerne nachreichen.

 

Vielen Dank im Voraus!

Martin

 

Edited August 24, 2021 by ich777
solved

[ich777]

6 minutes ago, Redskyer said:

Tatsache ist, dass nach dem Kopieren weniger GB, meistens ca. 2-5, von meinem PC zum UNRaid-Server, die Übertragungsrate von 110 mb/s auf 1-3 mb/s fällt und sich auch nicht mehr wirklich erholt.

Das problem hatte ich früher auch und in meinem Fall war es dann tatsächlich so das meine SanDisks keinen DRAM cache hatten und die SSD maslos überfordert war mit den Datenmengen, wunder dich nicht, SSDs können weit unter die Geschwindigkeit einer HDD fallen wenn sie viel zu Schreiben haben und nicht nachkommen.

 

Soweit ich das sehe hast du eine SanDisk Plus und die haben keinen DRAM Cache wenn du eine SanDisk Ultra hättest würde das dann wieder anders aussehen.

 

Aus deinen htop Screenshots sehe ich auch das du "nur" 16GB RAM hast und wie es bei Linux typisch ist wird zuerst in den RAM geschrieben und dann wird erst nach kurzer Zeit das schreiben auf die SSD angestoßen.

Das kannst du dir übrigens super selbst mal ansehen wenn du deinen unRAID server rebootest dann gehst du in die STATS und siehst dir mal den RAM an, da siehst du das noch viel frei ist, sobald du einen Kopiervorgang von SMB startest siehst du wie sich der RAM langsam füllt mit "orange" (weil eben zuerst alles in den RAM geschrieben wird).

 

10 minutes ago, Redskyer said:

Ich würde mich freuen, wenn jemand noch Anregungen hat, was ich noch testen könnte.

Mehr RAM oder schnellere SSD kaufen, mit Samsung bist du eigentlich fast immer gut beraten, kommt aber auch immer auf die größe der SSD an und wieviel DRAM cache die dann haben.

 

11 minutes ago, Redskyer said:

Meine Vermutung ist, dass durch ein Upgrade auf Version 6.9.2 (von 6.9.1) etwas schiefgelaufen ist.

Das kann ich mir nicht vorstellen da unRAID aus dem RAM läuft und das Betriebssystem eigentlich die bz* files sind die auf deinem USB Stick liegen und jedes mal neu in den RAM geschrieben wird wenn du rebootest, die Dateien können auch nicht fehlerhaft sein da dies auch überprüft wird beim upgrade.

 

13 minutes ago, Redskyer said:

Jedoch hat auch der Downgrade nicht ganz sauber funktioniert. Nach mehreren Up- und Downgrades habe ich das System wieder stabil bekommen.

Das sollte ebenfalls kein Problem sein wie ich oben schon geschrieben hab, problematischer wäre wenn du auf 6.8.3 downgradest aber dann würde nur der Cache nicht angezeigt werden.

Was hattest du für Probleme wenn ich fragen darf?

[Redskyer]

45 minutes ago, ich777 said:

Das problem hatte ich früher auch und in meinem Fall war es dann tatsächlich so das meine SanDisks keinen DRAM cache hatten und die SSD maslos überfordert war mit den Datenmengen, wunder dich nicht, SSDs können weit unter die Geschwindigkeit einer HDD fallen wenn sie viel zu Schreiben haben und nicht nachkommen.

 

Soweit ich das sehe hast du eine SanDisk Plus und die haben keinen DRAM Cache wenn du eine SanDisk Ultra hättest würde das dann wieder anders aussehen.

Das kann ich nachvollziehen, jedoch habe ich die Probleme ja erst seit ein paar Monaten. Ich konnte Anfang des Jahres ohne Probleme größere Dateien kopieren. Darum bin ich überhaupt stutzig geworden.

 

48 minutes ago, ich777 said:

Aus deinen htop Screenshots sehe ich auch das du "nur" 16GB RAM hast und wie es bei Linux typisch ist wird zuerst in den RAM geschrieben und dann wird erst nach kurzer Zeit das schreiben auf die SSD angestoßen.

Das kannst du dir übrigens super selbst mal ansehen wenn du deinen unRAID server rebootest dann gehst du in die STATS und siehst dir mal den RAM an, da siehst du das noch viel frei ist, sobald du einen Kopiervorgang von SMB startest siehst du wie sich der RAM langsam füllt mit "orange" (weil eben zuerst alles in den RAM geschrieben wird).

Ja, ich konnte das nachvollziehen, auch ohne Neustart.

 

1 hour ago, ich777 said:

Mehr RAM oder schnellere SSD kaufen, mit Samsung bist du eigentlich fast immer gut beraten, kommt aber auch immer auf die größe der SSD an und wieviel DRAM cache die dann haben.

Mehr RAM ist leider nicht möglich, das Board ist eigentlich sogar nur für 8 GB spezifiziert, aber ich habe vor dem Kauf recherchiert, dass wohl auch 16 GB laufen sollte, so wie es im Moment der Fall ist.

Eine neue SSD kommt vorerst auch nicht in Frage, da kann ich noch am ehesten komplett auf die SSD verzichten (außer für Docker) und hätte schon einen Performancegewinn.

 

1 hour ago, ich777 said:

Was hattest du für Probleme wenn ich fragen darf?

Das alles ist natürlich schon ein gutes halbes Jahr her, darum kann ich das nur noch grob wiedergeben. Nachdem ich das Update durchgeführt hatte, ist der Server nicht mehr sauber gestartet. Es gab jedes Mal einen Kernel-Error oder Kernel-Panic und die Kiste stand. Ich musste dann aus einem Backup den Bootstick wieder herstellen und konnte die alte Version wieder zum Laufen bringen. Bei einem weiteren Anlauf wollte einfach der Docker-Deamon nicht starten, bzw. hat dieser die einzelnen Container nicht gestartet. Manuell hat das auch nicht funktioniert. Ich konnte den Deamon nicht starten und nicht beenden und die Container auch nicht. Bei jedem 10 Reboot funktionierte der Boot-Vorgang sauber. Das war aber nicht mein Anspruch, also bin ich nochmal zurück zur alten Version, bis ich dann vor ca 2 Wochen doch nochmal einen Anlauf gestartet habe. Bis jetzt läuft alles soweit ganz gut. Der erneute Updatevorgang war eigentlich nur die Hoffnung auf Besserung bei meinem vorhin beschriebenen SMB-Problem.

 

 

Ich habe durch ein paar Platzprobleme auch eine etwas besondere Konstellation, die hier wahrscheinlich nicht sehr viele betreiben und die ich auch so schnell wie möglich umbauen würde, jedoch fehlt im Moment einfach der Platz.

Ursprünglich war das nämlich mal ein Windows-Server (mit Docker) fürs Wohnzimmer, der direkt an den TV angeschlossen ist (wegen Kodi). Inzwischen haben sich ein paar Rahmenbedingungen geändert. Ich benötige Kodi nicht mehr und Docker läuft einfach besser unter Linux. Außerdem ist der Wartungsaufwand deutlich geringer und ich muss nicht regelmäßig den Server rebooten (wegen Windowsupdates). Lange Rede kurzer Sinn, im Server-Gehäuse befinden sich derzeit aus Platzgründen nur die SSD und die beiden 4TB-Platten. Die anderen Platten befinden sich in einem externen HDD-Gehäuse, welches per USB3 angeschlossen ist. Das ist leider die einzige Möglichkeit gewesen den Speicherplatz zu erweitern und ich bin froh, dass alles überhaupt so läuft, wie es das im Moment und auch schon über ein Jahr lang tut.

Als ich damals alles von Windows auf UNRaid migriert habe, konnte ich problemlos mehrere TB über die SSD schieben (ich weißt, eigentlich auch nicht sehr clever), aber darum bin ich so sicher, dass alles einmal problemlos funktioniert hat.

[mgutt]

2 hours ago, Redskyer said:

das Board ist eigentlich sogar nur für 8 GB spezifiziert

2x 16GB gehen auf jeden Fall. Habe ich schon mehrfach gelesen.

 

2 hours ago, Redskyer said:

jedoch habe ich die Probleme ja erst seit ein paar Monaten. Ich konnte Anfang des Jahres ohne Probleme größere Dateien kopieren

TRIM? Führe mal das aus:

fstrim -v /mnt/cache

 

Falls es das ist: TRIM Plugin installieren!

 

Was du auch noch machen könntest ist den RAM Cache vergrößern. Dazu den Config Editor installieren und über Tools die /boot/config/go um folgende Zeilen ergänzen:

# -------------------------------------------------
# Optimize write cache
# -------------------------------------------------
sysctl vm.dirty_ratio=50
sysctl vm.dirty_expire_centisecs=3000

 

Die selben Zeilen auch mal über das WebTerminal ausführen. Danach ist dein Schreibcache ~8GB groß (50% vom freien RAM). Mehr dazu auch in diesem Post/Video:

https://forums.unraid.net/topic/99393-häufig-gestellte-fragen/?tab=comments#comment-951565

 

[Redskyer]

3 hours ago, mgutt said:

2x 16GB gehen auf jeden Fall. Habe ich schon mehrfach gelesen.

Interessant zu wissen, aber bevor ich das RAM tausche, werde ich wohl die gesamte Platform auf etwas potenteres umziehen.

 

3 hours ago, mgutt said:

TRIM? Führe mal das aus:

fstrim -v /mnt/cache

 

Falls es das ist: TRIM Plugin installieren!

DANKE! Das ist die Lösung! Daran hatte ich nicht gedacht, das wurde von Windows immer automatisch gemacht und ich ging davon aus, dass das auch bei UNRaid der Fall ist.

 

Ich habe jetzt 24 GB in unter 5 Minuten kopieren können, es gab ca. einmal pro Minute nen kurzen Einbruch auf ca 40-60 mb/s, aber das hat sich sofort erholt und sprang wieder auf ungefähr 110 mb/s was so ziemlich das Limit sein dürfte. Ich werde das Plugin auf jeden Fall installieren und dem Problem zukünfitig aus dem Weg gehen.

Das erklärt am Ende auch warum es bis vor einiger Zeit alles normal funktioniert hat.

 

3 hours ago, mgutt said:

Was du auch noch machen könntest ist den RAM Cache vergrößern. Dazu den Config Editor installieren und über Tools die /boot/config/go um folgende Zeilen ergänzen:

# -------------------------------------------------
# Optimize write cache
# -------------------------------------------------
sysctl vm.dirty_ratio=50
sysctl vm.dirty_expire_centisecs=3000

 

Die selben Zeilen auch mal über das WebTerminal ausführen. Danach ist dein Schreibcache ~8GB groß (50% vom freien RAM). Mehr dazu auch in diesem Post/Video:

https://forums.unraid.net/topic/99393-häufig-gestellte-fragen/?tab=comments#comment-951565

Das werde ich erstmal ignorieren, da ich mit der aktuellen Lösung sehr zufrieden bin und jetzt wieder alles funktioniert wie gewünscht.

 

 

Noch eine andere Frage, macht es Sinn diesen Beitrag inkl. der Lösung nochmal im englischen Teil zu posten (natürlich auf englisch)?

[mgutt]

2 hours ago, Redskyer said:

macht es Sinn diesen Beitrag inkl. der Lösung nochmal im englischen Teil zu posten (natürlich auf englisch)?

Also noch mal fragen? Nein. Diese Frage gab es schon häufiger. Daraus ist ja erst das Plugin entstanden 😉

[Redskyer]

9 hours ago, mgutt said:

Also noch mal fragen? Nein. Diese Frage gab es schon häufiger. Daraus ist ja erst das Plugin entstanden 😉

Alles klar.

Vielen Dank nochmal, von meiner Seite aus, kann hier geschlossen werden. 😉