SMB Leistung Mangelhaft


Nils Arnold

Recommended Posts

Hallo,

 

Ich habe mir in meinen Unraid Pool einen Cache mit 2 NVM SSD eingebunden, nun habe ich diverse gründe gefunden warum ich mit meiner 10G Verbindung zu dem Server nicht mit 10 GB/s sondern nur um die 440 MB/s schreiben kann.

da ich viel dazu gefunden habe, frage ich mich warum dieses Problem nicht schon lange behoben ist? 

was und warum ist dieses Problem vorhanden? 

Es ist etwas Traurig wenn ein Spielzeug wie eine DS1821+ von Synology mit einem SSD Cache Extrem viel bessere Leistung bringt.

gibt es hier einen fortschritt bei Unraid? ist etwas geplant? 

 

Danke für die Antworten 

Link to comment
4 hours ago, Nils Arnold said:

Danke für die Antworten

 

Wie ist die NVM SSD angebunden - PCIe oder SATA?

 

Welches Modell, welcher Hersteller?

 

Ist die Anbindung tatsächlich 10 GB/s oder 10 Gbit/s?

 

Von woher schreibst Du auf die NVM SSD? Anderer Rechner, irgendwo Wifi dazwischen?

 

440 MB/s klingt zunächst einmal nach einer an SATA angeschlossenen SSD. Ich kann meine NVMe M.2 in Unraid problemlos mit knapp 3 GB/s beschreiben. Dein Problem muss IMHO woanders liegen.

 

Für mehr Hilfe bitte Diagnostics posten.

 

Link to comment

nilsmediaserver-diagnostics-20210904-1714.zip

 

Die Anbindung ist PCIE X2 was für deutlicher mehr reicht als 440 MB/s.

Hersteller ist Samsung und das Model der SSDs sind 1TB Große 970 EVO also NVME SSDs 

*10 Gbit/s ist die Verbindung

von einem Windows Rechner der mit 10 Gbit/s über einen Switch angebunden ist.

Kabel 10Gbit/s ist die Verbindung die an andere Geräte an diesem Switch auch die Leistung bringt, hier kann also kein Problem vorliegen.

Ich stimme zu, es hört sich wie eine Sata SSD an, es ist aber keine. Wenn ich die SSD unter Unraid Benche habe ich auch die Leistungen die man Von PCIE X2 erwarten kann.

 

Diagnose ist anbei.

Ideen?  

 

 

Link to comment
1 hour ago, Ford Prefect said:

....mal mit iperf getestet, ob das Netzwerk allein die 10Gbps hinbekommt?

 

Also der Windows-PC hat auch ne NVMe, welche die 1GByte/sec auch liefern kann?

Hast Du mal mit einem Cache-only share getestet?

 

wie hier schon geschrieben: 

Kabel 10Gbit/s ist die Verbindung die an andere Geräte an diesem Switch auch die Leistung bringt, hier kann also kein Problem vorliegen.

 

Ja, der Rechner hat auch eine NVME SSD und bekommt mit Diversen Synology Nas (DS1821+,RS3621XS+) die Leistung ohne Probleme auf die Leitung

1,25GB/s sind hier in den Cache überhaupt kein Problem.

 

Es kann also kein Fehler an dem Windows Rechner sein und auch kein Fehler des Netzwerks, somit bleibt nun noch der Unraid Server.

Die Netzwerkkarte oder allgemein die Hardware ist auch nicht das Problem, da beim Aufspielen von Truenas auf die Unraid Hardware mit Schreibcache die Leistungen auch mit der selben Hardware ohne Probleme erreicht wird. 

 

nun sind wir beim System Unraid was mein Problem verursacht, hier habe ich aber leider keine idee mehr warum ein System mit einem NVME SSD Cache keine 1,25 GB/s R/W erreichen sollte.

 

Danke für die Hilfe im voraus! 

Link to comment

,,,es wird nicht besser, weil Du immer das gleiche widerholst, ohne die Fragen zu beantworten.

 

 

3 minutes ago, Nils Arnold said:

wie hier schon geschrieben: 

Kabel 10Gbit/s ist die Verbindung die an andere Geräte an diesem Switch auch die Leistung bringt, hier kann also kein Problem vorliegen.

Also hast Du den 10G Link zwischen Switch und unRaid nicht getestet, da Du ja allgemein davon ausgehst, das es sonst, auf den anderen Links auch funktioniert...das muss aber nicht so sein.

Daher meine Frage nach iperf, um das auszuschliessen.

 

4 minutes ago, Nils Arnold said:

Ja, der Rechner hat auch eine NVME SSD und bekommt mit Diversen Synology Nas (DS1821+,RS3621XS+) die Leistung ohne Probleme auf die Leitung

1,25GB/s sind hier in den Cache überhaupt kein Problem.

...gut, auch das wurde schon mehrfrach gefragt, aber bisher nicht klar beantwortet.

 

4 minutes ago, Nils Arnold said:

Es kann also kein Fehler an dem Windows Rechner sein und auch kein Fehler des Netzwerks, somit bleibt nun noch der Unraid Server.

Die Netzwerkkarte oder allgemein die Hardware ist auch nicht das Problem, da beim Aufspielen von Truenas auf die Unraid Hardware mit Schreibcache die Leistungen auch mit der selben Hardware ohne Probleme erreicht wird. 

 

nun sind wir beim System Unraid was mein Problem verursacht, hier habe ich aber leider keine idee mehr warum ein System mit einem NVME SSD Cache keine 1,25 GB/s R/W erreichen sollte.

...Du magst ja die Hardware haben, hast aber nicht verstanden, das die Hardware allein nicht entscheidend ist, bei unRaid

 

Daher meine Frage, ab Du mit einem User Share getestet hast, das im unraid auf Cache-Only gestellt ist.

Die hast Du nicht beantwortet....

Link to comment
1 minute ago, Ford Prefect said:

Also hast Du den 10G Link zwischen Switch und unRaid nicht getestet, da Du ja allgemein davon ausgehst, das es sonst, auf den anderen Links auch funktioniert...das muss aber nicht so sein.

Daher meine Frage nach iperf, um das auszuschliessen.

Doch habe ich.... wie geschrieben: wenn ich Truenas auf dem Selben Server Installieren ( auf der Selben Hardware mit dem Selben Link und der Selben Leitung) ist kein Problem mehr da. 

2 minutes ago, Ford Prefect said:

...gut, auch das wurde schon mehrfrach gefragt, aber bisher nicht klar beantwortet.

Doch wurde es, wenn ich Schreibe das es mit dem selben Rechner bei anderen Geräten kein Problem gibt heißt das doch klar, das der Rechner kein Leistungsproblem hat oder?

 

4 minutes ago, Ford Prefect said:

...Du magst ja die Hardware haben, hast aber nicht verstanden, das die Hardware allein nicht entscheidend ist, bei unRaid

 

Daher meine Frage, ab Du mit einem User Share getestet hast, das im unraid auf Cache-Only gestellt ist.

Die hast Du nicht beantwortet....

Das stimmt, hier habe ich noch keine Antwort gegeben, dem komme ich aber sofort nach.

genau wie beschrieben habe ich eine Übertragung auf einen User Share gemacht der auf Cache-Only gestellt war.

das selbe auch noch mit einem Share der auf die Cache Nutzung eingestellt war.

 

Ich Stimme dir zu, ich verstehe nicht warum man ein Nas System auf dem Markt kaufen kann das nicht einmal 1,25GB/s über eine Leitung bekommt und das mit einem NVME Cache , sowas sollte auf den Standardeinstellungen bei so einem System ohne Probleme laufen. Dies tut es aber leider nicht.

 

 

 

 

 

Link to comment
2 minutes ago, Nils Arnold said:

Doch habe ich.... wie geschrieben: wenn ich Truenas auf dem Selben Server Installieren ( auf der Selben Hardware mit dem Selben Link und der Selben Leitung) ist kein Problem mehr da. 

...TrueNAS ist BSD und selbst dann, kann im unRaid auch ein Treiber ein Promlem sein.

Denke Das ware ne Intel Karte, dann sollte die funktionieren.

 

2 minutes ago, Nils Arnold said:

Doch wurde es, wenn ich Schreibe das es mit dem selben Rechner bei anderen Geräten kein Problem gibt heißt das doch klar, das der Rechner kein Leistungsproblem hat oder?

...war nicht klar, dass es genau der gleiche PC war.

 

2 minutes ago, Nils Arnold said:

Das stimmt, hier habe ich noch keine Antwort gegeben, dem komme ich aber sofort nach.

genau wie beschrieben habe ich eine Übertragung auf einen User Share gemacht der auf Cache-Only gestellt war.

das selbe auch noch mit einem Share der auf die Cache Nutzung eingestellt war.

...dann kontrolliere die Einstellungen nochmal, bitte.

Wenn die Hardware nicht das Problem ist, dann ist das der "typische Fehler"

 

2 minutes ago, Nils Arnold said:

Ich Stimme dir zu, ich verstehe nicht warum man ein Nas System auf dem Markt kaufen kann das nicht einmal 1,25GB/s über eine Leitung bekommt und das mit einem NVME Cache , sowas sollte auf den Standardeinstellungen bei so einem System ohne Probleme laufen. Dies tut es aber leider nicht.

...bei Anderen (unraid Usern) funktioniert es aber...wieso soll es also ein unRaid Fehler sein.

Ich habe das Gefühl, dass Du sauer bist und jetzt eher jemanden sucht, der Dir beipflichtet anstatt der Ursache des Problems systematisch auf den Grund zu gehen.

Link to comment
22 minutes ago, Nils Arnold said:

wenn ich Truenas auf dem Selben Server Installieren ( auf der Selben Hardware mit dem Selben Link und der Selben Leitung) ist kein Problem mehr da. 

Dann leidest du vermutlich unter dem SHFS Overhead. Dieser entsteht, wenn man Dateien nach /mnt/user hochlädt und nicht nach /mnt/cache. Mehr dazu hier:

https://forums.unraid.net/topic/97165-smb-performance-tuning/

 

 

Wenn du es auf die schnelle testen magst: Disk Shares aktivieren und direkt auf den Cache hochladen.

 

 

 

Link to comment
4 minutes ago, Ford Prefect said:

...dann kontrolliere die Einstellungen nochmal, bitte.

Wenn die Hardware nicht das Problem ist, dann ist das der "typische Fehler"

Ich Prüfe alles nochmal und melde mich dann hier, gibt es bekannte Sachen die man nochmals Prüfen sollte? 

kannst du mir erklären was du mit dem typischen Fehler meinst?

 

5 minutes ago, Ford Prefect said:

...bei Anderen (unraid Usern) funktioniert es aber...wieso soll es also ein unRaid Fehler sein.

Ich habe das Gefühl, dass Du sauer bist und jetzt eher jemanden sucht, der Dir beipflichtet anstatt der Ursache des Problems systematisch auf den Grund zu gehen

Nein, sauer bin ich überhaupt nicht. Ich habe viele Hilfen zu dem Thema gefunden, was für mich heißt das viele dabei Hilfe brauchen. Hier sehe ich dann auch ein Problem im System, ich meine warum braucht man bei einem NAS System um solch rudimentären Sachen zum laufen zu bringen Hilfe? das ist doch so nicht richtig. Hier habe ich Maximal etwas Unverständnis, bin aber froh wenn mir jemand helfen möchte. 

 

17 minutes ago, Ford Prefect said:

Denke Das ware ne Intel Karte, dann sollte die funktionieren.

Netzwerkkarte ist eine: Intel X540-T1 ich habe mal nicht gefunden was gegen eine Funktion der Karte spricht 

Link to comment
5 minutes ago, mgutt said:

Dann leidest du vermutlich unter dem SHFS Overhead. Dieser entsteht, wenn man Dateien nach /mnt/user hochlädt und nicht nach /mnt/cache. Mehr dazu hier:

https://forums.unraid.net/topic/97165-smb-performance-tuning/

 

 

Wenn du es auf die schnelle testen magst: Disk Shares aktivieren und direkt auf den Cache hochladen.

Ich Teste es Morgen.

Sollte es besagtes Problem sein, kann man davon ausgehen das der Hersteller des Systems gegen dieses Problem etwas macht oder ist dem Hersteller sowas Egal? ist dieses Problem bei einem NAS System überhaupt tragbar?

Link to comment
39 minutes ago, Nils Arnold said:

ist dieses Problem

It's not a bug, it's a feature, wie man so schön sagt. Bei User Shares überwacht unRAID ständig ob die Dateien auf den Cache oder die HDD übertragen werden soll. Dazu müssen verschiedene Regeln beachtet werden wie der Füllgrad und welches Split-Level der Nutzer eingestellt hat. Dieses Komfort-Merkmal kostet Rechenleistung und dein Ryzen 2700 scheint nicht genug davon zu haben, so dass du es bei 10G merkst.

 

unRAID ist dabei eigentlich gar nicht mal so der Flaschenhals, sondern Samba, was nur auf einem CPU Kern ausgeführt wird. Die Kombination aus SHFS und Samba überlastet dann 1 bis 2 Kerne des Servers, selbst wenn man eigentlich genug davon hat.

 

Das nächste Problem ist, dass Samba nach wie vor kein Multichannel, geschweige denn RSS aktiv hat. Gerade RSS würde dir viel bringen, da sich die Last dann auf mehrere Kerne verteilt. RSS muss aber auf beiden Seiten (Client und Server) unterstützt werden und ist immer noch nicht offiziell freigegebn. Mehr dazu steht im Guide.

 

Diese Einschränkung gilt aber wie gesagt nur bei User Shares. Man kann sagen User Shares sind das Standard No-Brainer Setup und Disk Shares bzw Disk Pfade sind was für die Fortgeschrittenen, da man sie auch erst einsetzen sollte, wenn man das Konzept des Caches und des Movers verinnerlicht hat.

 

Aber wie schon gesagt muss es das nicht zwangsläufig sein. Es gab auch schon andere Ursachen.

Link to comment
10 hours ago, mgutt said:

Wenn du es auf die schnelle testen magst: Disk Shares aktivieren und direkt auf den Cache hochladen.

Es scheint tatsächlich das Problem zu sein.

Ich habe beim Laden in den Cach entspannte 1100-1200 MB/s 

 

nun zu der Lösung, ich brauch also eine CPU die Singel Core Leistung hat ohne ende?

würde ein Ryzen 7 5800X evtl das Problem lösen? gibt es hier erfahrungen wie Stark eine Cpu Core sein muss um dieses Leistung zu erbringen?

Link to comment
9 hours ago, mgutt said:

It's not a bug, it's a feature, wie man so schön sagt. Bei User Shares überwacht unRAID ständig ob die Dateien auf den Cache oder die HDD übertragen werden soll. Dazu müssen verschiedene Regeln beachtet werden wie der Füllgrad und welches Split-Level der Nutzer eingestellt hat. Dieses Komfort-Merkmal kostet Rechenleistung und dein Ryzen 2700 scheint nicht genug davon zu haben, so dass du es bei 10G merkst.

 

unRAID ist dabei eigentlich gar nicht mal so der Flaschenhals, sondern Samba, was nur auf einem CPU Kern ausgeführt wird. Die Kombination aus SHFS und Samba überlastet dann 1 bis 2 Kerne des Servers, selbst wenn man eigentlich genug davon hat.

 

Das nächste Problem ist, dass Samba nach wie vor kein Multichannel, geschweige denn RSS aktiv hat. Gerade RSS würde dir viel bringen, da sich die Last dann auf mehrere Kerne verteilt. RSS muss aber auf beiden Seiten (Client und Server) unterstützt werden und ist immer noch nicht offiziell freigegebn. Mehr dazu steht im Guide.

 

Diese Einschränkung gilt aber wie gesagt nur bei User Shares. Man kann sagen User Shares sind das Standard No-Brainer Setup und Disk Shares bzw Disk Pfade sind was für die Fortgeschrittenen, da man sie auch erst einsetzen sollte, wenn man das Konzept des Caches und des Movers verinnerlicht hat.

 

Aber wie schon gesagt muss es das nicht zwangsläufig sein. Es gab auch schon andere Ursachen.

in dem Moment wenn ein Ryzen 7 2700 nicht mehr für ein Nas und eine Übertragung von 1,25 Gb/s reicht ist das aus meiner Sicht eher eine Schlecht implementierte Lösung, warum wird hier nicht einfach SHFS auf allen Kernen berechnet? und man hätte fast kein Problem mehr 

Link to comment
8 minutes ago, Nils Arnold said:

warum wird hier nicht einfach SHFS auf allen Kernen berechnet?

Weil SMB davor liegt und das eben nur Single Threaded ist. Wenn du "htop" im Terminal beim Transfer öffnest, siehst du, dass zig SHFS Prozesse laufen, aber nur einer hat eine hohe Last (der den SMB Transfer "empfängt"). Wie gesagt. Multichannel + RSS und dein Problem hat sich erledigt. Ich nutze das schon seit Jahren. Damals noch auf einer Syno.

Link to comment
28 minutes ago, mgutt said:

Weil SMB davor liegt und das eben nur Single Threaded ist. Wenn du "htop" im Terminal beim Transfer öffnest, siehst du, dass zig SHFS Prozesse laufen, aber nur einer hat eine hohe Last (der den SMB Transfer "empfängt"). Wie gesagt. Multichannel + RSS und dein Problem hat sich erledigt. Ich nutze das schon seit Jahren. Damals noch auf einer Syno.

Danke für deine Hilfe. eine solche Lösung kommt bei mir Aktuell nicht infrage, das muss so ohne Leistungsprobleme funktionieren.

Es ist etwas schade das es so scheinbar Akzeptiert wird statt eine Verbesserung beim System Hersteller zu bewirken 

Link to comment
13 hours ago, Nils Arnold said:

Sollte es besagtes Problem sein, kann man davon ausgehen das der Hersteller des Systems gegen dieses Problem etwas macht oder ist dem Hersteller sowas Egal?

Das ist eher ein Problem von den Intel NICs in der standard Konfiguration und Linux generell (such mal auf Google nach "linux X540-AT2 speed" und du wirst eine Menge Suchergebnisse mit diesen Problemen erhalten).

Ich vermute hier irgendwo ein Problem mit den Intel Treibern und FUSE Dateisystemen.

 

Mit meinen Mellanox NICs hab ich kein Problem die 10Gbit/s auf ein FUSE Dateisystem (/mnt/user) zu erreichen ohne SMB Multichannel, Standard MTU 1500,... (Intel i5-10600 auf einem ASUS Z490-E GAMING mit 64GB DDR4 RAM):

1.thumb.png.673784021e7acdc6ad3ea2c8196bf705.png

grafik.thumb.png.2cfed358d7ee1c32619760c5b102edf3.png

 

 

 

 

@mgutt Ich hab endlich wieder ein SandyBridge System zum testen hier gehabt vor ein paar Tagen (Xeon E5-2420 auf einem ASUS Z9NA-D6 mit 16GB DDR3 ECC 1333Mhz, meiner Mellanox ConnectX-2 und einer 1TB Samsung EvoPlus), Ergebnisse unten, ebenfalls auf das FUSE Dateisystem (/mnt/user), ohne SMB Multichannel, Standard MTU 1500,...:

screenshot.thumb.png.b51f1ebac06ff899b0105835417ed052.png

 

Ich kann mir echt nicht mehr erklären mit was das zusammenhängt...

Link to comment

...habe gestern Nacht endlich mal meinen "kleinen" umgerüstet.

 

Unraid 6.9.2:

  • i3-8100, 32GB, Cache: 2x Corsair Force MP600 (1TB, PCIe-v3-x4)

Desktop:

  • Win10-Pro, PentiumG 6400, 8G und einer Patriot Viper VPN100 (1TB, PCIe-v3-x4)

 

...beide Systeme mit Mellanox CX3 und Anbindung via DAC - dazwischen ein MT CRS326 und ein MT CSS610 (der ist am CRS326 über 18m cat5e mit MT S-RJ10, 10G-T)

 

iperf3:

 

image.png.2774e2538900a06d67922033d2393001.png

 

 

...und ein 18GB File:

 

image.thumb.png.57df100cbab5ae4ddf0d81b47d55d279.png

Link to comment
33 minutes ago, ich777 said:

(Xeon E5-2420 auf einem ASUS Z9NA-D6 mit 16GB DDR3 ECC 1333Mhz, meiner Mellanox ConnectX-2 und einer 1TB Samsung EvoPlus), Ergebnisse unten

Das ist krass. Weil die CPU ist ja mal echt schwach. Kannst du mal unRAID 6.9.2 testen? Da ist es noch Samba 4.12 und mit 6.10 dürfte denke ich ein neueres Samba enthalten sein, das ja seit 4.14 in Sachen Performance zugelegt haben soll.

 

Mit SMB 4.13 sollte sogar RSS standardmäßig erkannt werden.

 

Das könntest du testen, in dem du in Windows beim Netzwerk Treiber RSS (Receive Side Scaling) testweise deaktivierst. 

Link to comment
7 minutes ago, mgutt said:

Kannst du mal unRAID 6.9.2 testen?

Momentan leider nicht da das system eigentlich einem Kumpel gehört und dort Windows Server 2012 drauf läuft und ich den nur da hatte wegen anderen Problemen und ich nur kurz zum probieren unRAID gebooted hab. 😅

 

Ich kann aber versuchen das System nochmal zu bekommen und berichte dann aber das kann dauern, aber mich würde wirklich brennend interessieren ob das an den NICs liegen kann oder nicht, was ich mir ehrlich gesagt nicht bzw. nur schwer vorstellen kann...

Link to comment

 

6 minutes ago, Ford Prefect said:

...kann nachher mal mur user share, cache=yes probieren

Wenn du nur einen User Share mit "cache-only" getestet hast, dann wird Fuse nicht umgangen. Habe ich gerade ausprobiert. Das solltest du auch über "htop" sehen. Da sollte ein SHFS Prozess mit hoher Last dabei sein. Nur wenn man Disk Share Pfade nutzt, taucht der SHFS Prozess gar nicht auf.

 

6 minutes ago, ich777 said:

Momentan leider nicht da das system eigentlich einem Kumpel gehört 

😒 Ok, dann muss ich wohl doch bald mal 6.10 testen 🙈

 

Hmm.. ich hab noch einen Atom hier und eine Intel SFP+ Karte... das ginge doch 😁

Link to comment
36 minutes ago, mgutt said:

Atom hier und eine Intel SFP+ Karte... das ginge doch 😁

Eher nein... :D

Bekommst mit dem überhaupt 1GBit/s zusammen? :D :D :D

 

Ehrlichgesagt vermute ich schon irgend einen Zusammenhang mit den Intel Karten, ich hab mich jetzt auch schon quer durch das Forum gelesen und die meisten "Probleme" treten eben mit den Intel Karten auf bzw. Karten die auf Intel Chipsätzen basieren, ich weiß echt nicht was das sonst sein könnte...

Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.