Exord Posted April 15, 2023 Share Posted April 15, 2023 (edited) Hallo zusammen, ich habe gerade meinen Unraid-Server und meinen PC mit 10g-Karten ausgestattet und bin etwas enttäuscht von der Datenübertragung via SMB. Dieser kommt kaum über 188 MiB/s, obwohl ich direkt auf die NVME SSD schreibe. Auch vorher mit 1g LAN kam ich kaum über 40 MiB/s. Der Unraid-Server hat die folgenden Eckdaten: AMD Ryzen 5 PRO 4650G 32 GiB DDR4 ECC ASRock X570M Pro4 10g Intel X520 NIC Im PC verwende ich die gleiche Netzwerkkarte. PC und Unraid-Server sind über einen Zyxel XGS1250-12 verbunden. Mein PC ist ein i7-12700KF mit 64 GiB RAM und EndeavourOS als Betriebssystem. Da sich die Shares nicht per NFS mounten lassen, verschiebe ich die Daten per SMB auf den Unraid-Server. Hat jemand eine Idee? Edited April 15, 2023 by Exord Quote Link to comment
DataCollector Posted April 15, 2023 Share Posted April 15, 2023 7 minutes ago, Exord said: ich habe gerade meinen Unraid-Server und meinen PC mit 10g-Karten ausgestattet und bin etwas enttäuscht von der Datenübertragung via SMB. Dieser kommt kaum über 188 MiB/s, obwohl ich direkt auf die NVME SSD schreibe. Das ist bei der Konstellation weitaus zu wenig. 188MBit/s ist ja nicht einmal N-Base-T 2,5G Geschwindigkeit. Kannst Du zu Deinem unraid System etwas mehr sagen? Welche Steckkarten und Erweiterungen stecken da in welchen Slots/Ports? 7 minutes ago, Exord said: Im PC verwende ich die gleiche Netzwerkkarte. PC und Unraid-Server sind über einen Zyxel XGS1250-12 verbunden. Das ist ein Smartz Switch: was zeigt er zu den verwendeten Netzwerkports an? Fehlerzähler? Linkgeschwindigkeit? Quote Link to comment
Exord Posted April 15, 2023 Author Share Posted April 15, 2023 (edited) OK 21 minutes ago, DataCollector said: Kannst Du zu Deinem unraid System etwas mehr sagen? Welche Steckkarten und Erweiterungen stecken da in welchen Slots/Ports? Klar, also hier nochmal die vollständigen Infos: AMD Ryzen 5 PRO 4650G 32 GiB DDR4 ECC ASRock X570M Pro4 10g Intel X520 NIC 2 x Samsung 970 Evo Plus 2 x 12TB Seagate Exos X X16 550 Watt Seasonic Focus GX Bis auf die Intel X520 sind keine Karten verbaut, auch keine GPU. Die Intel sitzt im unteren PCI 3.0 x16 Slot. 21 minutes ago, DataCollector said: Das ist ein Smartz Switch: was zeigt er zu den verwendeten Netzwerkports an? Fehlerzähler? Linkgeschwindigkeit? Beide Verbindungen werden im Switch mit 10g angezeigt. Edited April 15, 2023 by Exord Quote Link to comment
Ford Prefect Posted April 15, 2023 Share Posted April 15, 2023 34 minutes ago, Exord said: ich habe gerade meinen Unraid-Server und meinen PC mit 10g-Karten ausgestattet und bin etwas enttäuscht von der Datenübertragung via SMB. Für SMB müseen beide Seiten schnell genug seiin, inkl. der Disks. Hast Du mal mit iperf getestet, ob das Netzwerk wirklich die 10G schafft...da sollten so +9.7G drin sein. Quote Link to comment
Exord Posted April 15, 2023 Author Share Posted April 15, 2023 (edited) Habe auch gerade mal versucht von meinem PC zu meinem GoWin R86s (10g über Mellanox NICs) und von meinem R86s zu Unraid Server zu schieben. Der R86s hängt auch am selben Switch. Übertragungsrate zwischen PC und R86s sieht eigentlich gut aus. Die Übertragungsrate zwischen R86s und Unraid Server sieht ähnlich aus wie von PC zu Unraid Server. Kann es Sinn machen die MTU in Unraid zu verändern? Ich habe hier im Forum irgendwo gelesen das lieber nicht zu machen. Daher hab ich dies auch nicht gemacht. 29 minutes ago, Ford Prefect said: Hast Du mal mit iperf getestet, ob das Netzwerk wirklich die 10G schafft...da sollten so +9.7G drin sein. Hab ich noch nicht gemacht. Kann ich gerne mal machen. Habe ich aber noch nie benutzt, werde mir das heute Abend mal anschauen wie das funktioniert. Edited April 15, 2023 by Exord Quote Link to comment
Ford Prefect Posted April 15, 2023 Share Posted April 15, 2023 1 hour ago, Exord said: Kann es Sinn machen die MTU in Unraid zu verändern? Ich habe hier im Forum irgendwo gelesen das lieber nicht zu machen. Daher hab ich dies auch nicht gemacht. Nein, das brauchst Du nicht...ich komme mit der normalen 1500er MTU auf mehr als 9.7G. Wenn man sowas macht, müssen wirklich alle Ports in der Kette auf diese MTU eingestellt sein....und es bringt eigentlich nix für 10G. Hast Du an der MTU schon was gemacht? beachte, dass es L2 und L3 MTU gibt...die müssen zusammen passen, also L3>L2...das gilt auch für den Switch. Für iperf gibt es binaries hier: https://iperf.fr/iperf-download.php ...nimm iperf3. Für unraid am besten über das un-get plugin von @ich777 installieren: https://github.com/ich777/un-get oder auch einen Docker nehmen.... Quote Link to comment
Ford Prefect Posted April 15, 2023 Share Posted April 15, 2023 1 hour ago, Exord said: Übertragungsrate zwischen PC und R86s sieht eigentlich gut aus. Die Übertragungsrate zwischen R86s und Unraid Server sieht ähnlich aus wie von PC zu Unraid Server. ....und das SMB Share hat auch ganz sicher den Cache eingeschaltet, so dass die Daten auf dem Cache-Pool mit dem Samsung EVOs landen? Beachte, das auch Daten beim kopieren von unRaid zum Client auf (noch) dem Cache liegen müssen ... sonst kommen die vom Array und sind einfach langsamer. Quote Link to comment
Exord Posted April 15, 2023 Author Share Posted April 15, 2023 7 hours ago, Ford Prefect said: Für SMB müseen beide Seiten schnell genug seiin, inkl. der Disks. Hast Du mal mit iperf getestet, ob das Netzwerk wirklich die 10G schafft...da sollten so +9.7G drin sein. Hab iperf als Docker installiert, anbei ein Screenshot von den Ergebnissen. 5 hours ago, Ford Prefect said: Nein, das brauchst Du nicht...ich komme mit der normalen 1500er MTU auf mehr als 9.7G. Wenn man sowas macht, müssen wirklich alle Ports in der Kette auf diese MTU eingestellt sein....und es bringt eigentlich nix für 10G. Hast Du an der MTU schon was gemacht? beachte, dass es L2 und L3 MTU gibt...die müssen zusammen passen, also L3>L2...das gilt auch für den Switch. Nein, habe noch nichts an den MTU gemacht. Stehen nach wie vor auf 1500. 5 hours ago, Ford Prefect said: ....und das SMB Share hat auch ganz sicher den Cache eingeschaltet, so dass die Daten auf dem Cache-Pool mit dem Samsung EVOs landen? Ja, habs mehrfach nachgeprüft. Dateien werden ganz sicher auf dem Cache-Pool geschrieben. Quote Link to comment
Exord Posted April 15, 2023 Author Share Posted April 15, 2023 Ich hab nun noch etwas mit den Einstellungen in Tips and Tweaks rum gespielt, siehe Screenshot. Nun komme ich zumindest auf 320 MiB/s NIC Flow Control scheint keinen Effekt zu haben. NIC Offload zu deaktivieren hat einen negativen Effekt Intel Turbo/AMD Performance Boost? Scheint keinen Effekt zu haben. Normal CPU Scaling Governor hatte einen positiven Effekt als ich von Power Save auf Performance gestellt habe. Power Saving CPU Scaling Governor hatte einen positiven Effekt als ich von Power Save auf On Demand gestellt habe. Quote Link to comment
alturismo Posted April 16, 2023 Share Posted April 16, 2023 6 hours ago, Exord said: Hab iperf als Docker installiert, anbei ein Screenshot von den Ergebnissen. nur am Rand, iperf3 ist von Haus aus in unraid, Terminal, iperf3 -s, iperf3 -c, ... 6 hours ago, Exord said: als ich von Power Save auf da liegt sicherlich einiges begraben, mit ACPI und powersave limitierst du dein System schon arg ... ich habe die Vermutung du hast das aus den Intel Kommentaren mitgenommen dass dies "kaum" Einfluss hat, dies bezieht sich jedoch auf den Intel pstate Treiber, sowie ich bei Intel auch ACPI nutze limitiert powersave auch sehr stark ... bleib bei ACPI eher auf ondemand und schalte den Turbo ein bei Bedarf, bei 10G Durchsatz haben die schon was zu machen ... ich bin jetzt kein AMD user, aber ziemlich sicher dass das Verhalten hier identisch ist ... daher auch die Steigerung bei den Transfers. anhand deines screens sieht der Netzwerk Durchsatz ja ok aus, jetzt hängt der Flaschenhals (read / write) woanders ... 1 Quote Link to comment
Ford Prefect Posted April 16, 2023 Share Posted April 16, 2023 11 hours ago, Exord said: Hab iperf als Docker installiert, anbei ein Screenshot von den Ergebnissen. Das sieht doch voll OK aus...also am netzwerk liegt es nicht. 10 hours ago, Exord said: NIC Flow Control scheint keinen Effekt zu haben. NIC Offload zu deaktivieren hat einen negativen Effekt ...da das Netzwerk mit iperf OK "läuft", braucht man da ja keine Tweaks mehr, oder? 10 hours ago, Exord said: Intel Turbo/AMD Performance Boost? Scheint keinen Effekt zu haben. Normal CPU Scaling Governor hatte einen positiven Effekt als ich von Power Save auf Performance gestellt habe. Power Saving CPU Scaling Governor hatte einen positiven Effekt als ich von Power Save auf On Demand gestellt habe. da würde ich mal ansetzen. Was ist auf client Seite...jedes Netzwerk Problem hat potentiiell zwei Seiten? Vielleicht kommen da auch die NVMe "nicht hoch" und bleiben in nem unteren Power=Performance-State? Aber das ist nur ne Vermutung. Quote Link to comment
Exord Posted April 16, 2023 Author Share Posted April 16, 2023 Ich habe jetzt das Bios des Unraid-Servers auf die Standardeinstellungen zurückgesetzt und alles, was nach mehr Leistung klingt, neu eingestellt und ausgewählt, ohne Rücksicht auf die Energieeinsparung. Das gleiche habe ich mit beiden Clients gemacht. Hatte leider alles 0 Wirkung. Über 320 MiB/s komme ich nach wie vor nicht. Hat jemand noch eine Idee was ich machen könnte? Quote Link to comment
ich777 Posted April 16, 2023 Share Posted April 16, 2023 On 4/15/2023 at 3:42 PM, Exord said: 10g Intel X520 NIC Könnte auch am NIC liegen, hast du evtl. irgendwo einen Mellanox 10Gbit/s und es mit dem versuchen? Ich hab noch irgendwo im Hinterkopf das es mit denen mal Geschwindigkeitsprobleme gab. Quote Link to comment
Exord Posted April 16, 2023 Author Share Posted April 16, 2023 Ne, leider hab ich nur die Intel X520 hier. Hätte dann aber iperf nich schlechter ausfallen müssen? Quote Link to comment
alturismo Posted April 16, 2023 Share Posted April 16, 2023 13 minutes ago, Exord said: Ne, leider hab ich nur die Intel X520 hier. Hätte dann aber iperf nich schlechter ausfallen müssen? wahrscheinlich schon was für eine CPU Last hast du denn bei den 320 MB/s Quote Link to comment
Exord Posted April 16, 2023 Author Share Posted April 16, 2023 Habe gerade auch mal was von der einen SSD zur andern SSD verschoben. Dort startet er mit 800 MB/s fällt dann aber recht schnell auf 300-400 MB/s. 35 minutes ago, alturismo said: wahrscheinlich schon was für eine CPU Last hast du denn bei den 320 MB/s Schwankt zwischen 5 und 13 %. Quote Link to comment
alturismo Posted April 16, 2023 Share Posted April 16, 2023 34 minutes ago, Exord said: Schwankt zwischen 5 und 13 %. das ist ja zu vernachlässigen ... 35 minutes ago, Exord said: Dort startet er mit 800 MB/s fällt dann aber recht schnell auf 300-400 MB/s. und wenn das beides nvme's sind, dann bin ich hier erstmal raus da mir sonst nicht viel dazu einfällt, was für nvme ssd's hast du denn ? Quote Link to comment
Exord Posted April 16, 2023 Author Share Posted April 16, 2023 32 minutes ago, alturismo said: das ist ja zu vernachlässigen ... und wenn das beides nvme's sind, dann bin ich hier erstmal raus da mir sonst nicht viel dazu einfällt, was für nvme ssd's hast du denn ? Ja, das sind 2 NVMEs beides Samsung 970 Evo Plus. Eine mit 2 TB die ich als Cache nutze und eine mit 250 GB auf der nur AppDatas sind. Quote Link to comment
Ford Prefect Posted April 16, 2023 Share Posted April 16, 2023 (edited) ...achso, Du hast die nicht in einem Mirror, sondern in getrennten Pools organisiert? Ich vermute, da schlägt einfach der on-die SSD cache zu...der ist wg. PCIe-Interface schneller voll, als auf den eigentlichen Flash-Speicher gedrückt werden kann. In einem Mirror teilen sich beide die Last und haben mehr Zeit .... Allerdings habe ich nur Erfahrung mit (Edit: symetrischen, also gleich grosse Disks) Mirror-Pools....die schaffen die 10Gbps. Edited April 16, 2023 by Ford Prefect Quote Link to comment
Exord Posted April 16, 2023 Author Share Posted April 16, 2023 Ja, betreibe die aktuelle gertrennt. Um ehrlich zu sein, verstehe ich deine Antwort nicht ganz. Aber das liegt wohl eher an meinem N00b-Halbwissen . Aber ich hätte nicht gedacht, dass eine SSD die mit 3.500 MB/s Lese- und 3.300 MB/s Schreibgeschwindigkeit angegeben wird, hier der Flaschenhals sein kann. Vor allem nicht, wenn ich von einer SSD zu einer anderen im selben System Daten verschiebe. Sie erreichen dann nicht einmal 10 % der angegebenen Schreibgeschwindigkeit. Quote Link to comment
DataCollector Posted April 16, 2023 Share Posted April 16, 2023 21 minutes ago, Exord said: Aber ich hätte nicht gedacht, dass eine SSD die mit 3.500 MB/s Lese- und 3.300 MB/s Schreibgeschwindigkeit angegeben wird, hier der Flaschenhals sein kann. Grundlegend hast Du auch vollkommen recht. die Samsung 970 Evo Plus 2TB ist auch unter Last noch weitaus schneller als Deine gemessenen 3xx MB/s. Es sei denn Du betreibst sie so ungünstig eingebaut, daß sie zu warm wird und drosselt. Leider sind viele OnBoard M.2 Slots zwischen/in der Nähe von PCIe Slots oder Chipsatzkühlern. Sollte man diese beispielsweise unter/über einer Grafikkarte Platzieren, kann es sein, daß die SSD schon vorgewärmt wird und schneller drosselt. Aber Du hast ja keine dGPU. Und ob Deinme X520 sowiel heizt bezweifele ich. Ich verbaue deshalb gerne/generell Kühlkörper auf meine M.2 NVMe SSD (auch alle meine 970 Evo Plus). Ansonsten weiß ich auch nicht mehr, wo Dein Flaschenhals sonst noch stecken könnte. Netzwerk wurde geprüft und ist schnell genug. 21 minutes ago, Exord said: Vor allem nicht, wenn ich von einer SSD zu einer anderen im selben System Daten verschiebe. Sie erreichen dann nicht einmal 10 % der angegebenen Schreibgeschwindigkeit. Die SSD sollte das eigentlich mit ausreichend hoher Geschwindigkeit schaffen. Quote Link to comment
Exord Posted April 16, 2023 Author Share Posted April 16, 2023 Die beiden SSD's laufen im idle auf 36C. Habe gerade mal 50 GB hin und her geschoben, max. waren 41C. Beide haben tatsächlich auch einen Kühlkörper. Die X520 ist relativ weit enfernt würde ich behaupten und wird auch mit einem aktiven Lüfter gekühlt. Quote Link to comment
Exord Posted April 16, 2023 Author Share Posted April 16, 2023 Ich habe Dynamix System Statistics installiert und mir die Statistiken angesehen, während ich 40 GB auf die Cache-SSD übertragen habe. Was auffällt ist, dass das Netzwerk nicht auf 10g ist. Trotz das iperf weiterhin ~9,5 Gibts/s anzeigt. Quote Link to comment
Ford Prefect Posted April 17, 2023 Share Posted April 17, 2023 12 hours ago, Exord said: Aber ich hätte nicht gedacht, dass eine SSD die mit 3.500 MB/s Lese- und 3.300 MB/s Schreibgeschwindigkeit angegeben wird, hier der Flaschenhals sein kann. Das ist keine Dauer-Geschwindigkeit. Diese Werte sind "Feature-Fu§$ing". So eine SSD hat, wenn sie gut ist, einen DDR-RAM Cche, danach einen SLC-Flash-Cache und erst dann kommt der eigentliche NAND Speicher. Über das PCIe-Interface können Daten schneller gefüllt werden als über SATA....ist der DDR-RAM Cache voll nimmt die Geschwindigkeit schon ab....ist wie eine Kaskade. Der Cache hat einfach keine 50GB Tiefe. Aber ja, 320MB/sec sind langsam. 12 hours ago, Exord said: Vor allem nicht, wenn ich von einer SSD zu einer anderen im selben System Daten verschiebe. Sie erreichen dann nicht einmal 10 % der angegebenen Schreibgeschwindigkeit. Dann sind darunter liegendes Netzwerk und auch Protokolle, wie SMB aussen vor. Das sollte direkt übers Filesystem und CPU gehen und auch am schnellsten sein. Da stimmt was anderes nicht. Bist Du sicher, dass die NVMe authentisch sind und keine China-Fakes? Quote Link to comment
Exord Posted April 17, 2023 Author Share Posted April 17, 2023 2 minutes ago, Ford Prefect said: Bist Du sicher, dass die NVMe authentisch sind und keine China-Fakes? Die eine hab ich von Saturn die andere von Mindfactory. Würde daher schon davon ausgehen, dass das Originale sind. Quote Link to comment
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.