Schreibgeschwindigkeit auf Cache übers Netzwerk zu niedrig


Recommended Posts

Hi,

ich habe meinen Server und meinen Desktop vor einigen Monaten mit 10GBit Netzwerkkarten geupgradet. Zusätzlich habe ich mir für den Unraid Cache eine nvme gegönnt. Leider bekomme ich jedoch keine brauchbare Geschwindigkeit übers Netzwerk hin.

 

Verbaute Hardware:

 

Client: 

  • Intel X520-DA2
  • Samsung 860 EVO
  • RAM Disk

Server:

  • Intel X520-DA2
  • WD Black SN 750 über PCIe Karte

Netzwerk:

  • MikroTik CSS610-8G-2S+
  • SFP-10GSR-85 Transceiver

  • OM4 Kabel

 

Spoiler

Von Server Cache zu Desktop

625731815_server-client.PNG.bdb312f8aa0cea111168a8d46019737a.PNG

Von Desktop RAM Disk zu Server Cache über Drive Mount

1526738521_client-server.PNG.966fd8c00c8c94d9e38a210980f92f32.PNG

 

Iperf3 zwischen Server und Desktop

iperf3.thumb.PNG.16fc959a2ff4f5e694ed38e427866d1c.PNG

 

Ich erreiche sowohl beim Schreiben als auch lesen immer nur zwischen 155-170 MB/s. Die SSD habe ich im Server gebencht, die hat auch über den SLC-Cache hinaus ~1200 MB/s konstante Schreibrate, da dürfte das Problem nicht liegen.

 

Für ne Idee woran es liegt wäre ich echt dankbar!

Link to comment

Das System ist schon etwas älter. hat aber bisher eigentlich ausgereicht.

  • Gigabyte Z77MX-D3H
  • Intel i7 3770k
  • 4 x 4GB DDR3
  • WD SN 750 Cache
  • Intel X520-DA2 Netzwerk
  • NVIDIA GeForce GTX 1050

Den Beitrag übers SMB Performence Tuning hatte ich schon gelesen, und das meiste so gut wie Möglich umgesetzt.

Ich habe den SMB Multichannel sowie RSS Support über die Config aktiviert. RSS bekomme ich in Windows aus unerfindlichen gründen allerdings nicht aktiviert.

Die SSD sollte eigentlich auch reichen.

Link to comment

cache einstellungen sind korrekt?

probeweise mal ein neuer share mit cache only einrichten und sehen was dann passiert.

Die geschwindigkeit lässt darauf schliessen, dass die daten direkt auf die disk geschrieben/gelesen werden

Link to comment
11 hours ago, xyxyxyxy said:
  • Intel i7 3770k
  • 4 x 4GB DDR3
  • WD SN 750 Cache

Das sollte reichen um mindestens 500 MB/s zu erzielen. Einzelne Dateien bis 1GB oder sogar 2GB Größe sollten immer mit 1 GB/s durchgehen.

 

Ist das nicht der Fall solltest du mit iperf nur mal das Netzwerk testen 

Link to comment

@mgutt Iperf hab ich im Startpost im spoiler angehängt. Hab beim testen eigentlich immer über 9 gbits. Oder meinst du noch einen anderen test? 

 

@Tigerherz Aktuell sind Jumboframes auf Server und Client Seite aktiviert, hat aber keinen messbaren Unterschied zu Standard gemacht. 

 

@aXu Werde ich später nochmal testen. Müsste nicht aber das schreiben über den disk share auch direkt auf die Cache Platte gehen?

Link to comment

sollte eigentlich. aber testen schadet nicht. und kannste im panel gleich nachsehen wo geschrieben wird. 

hast du unraid noch irgendwie via 1gbs angebunden? oder nur die 10gb nic? 

bei mir ging es nicht als ich noch eine 1gb nic in der gleichen ip range aktiv hatte. 

Link to comment
31 minutes ago, Tigerherz said:

Jumboframes eingstellt?

T.

Das macht nur wenige Prozent aus.

 

27 minutes ago, xyxyxyxy said:

Iperf hab ich im Startpost im spoiler angehängt.

Ok, das sieht schon mal gut aus. Wie schaut es mit der CPU Last beim Server und Client aus. Poste mal Screenshots beim Transfer. Im WebTerminal vom Server htop ausführen und beim Client einfach die CPU Last beim Task Manager.

 

Komisch ist, dass der Transfer absolut konstant ist. So als würde der Datenträger limitieren.

 

Wenn du innerhalb der SSD eine Datei kopierst, hast du bei beiden mehr als 200 MB/s?

 

Link to comment

@mgutt  So sieht das ungefähr aus. Auf der SSD Selber erreiche ich annehmbare Werte ~600 MB/s bei simultanem Lesen und Schreiben. Auslastung sieht auch ganz ok aus denke ich

 

Spoiler

Vom Film Share zum Cache Disk Share

1727758031_filmzucache.thumb.PNG.9f3ad55a5af227991656a4c1b35bfda6.PNG

808646212_sharetocache.thumb.PNG.d082d99747f12b11ca0b1041f6156de3.PNG

Direkt auf dem Cache Share kopiert

964082793_cachetocache.thumb.PNG.5412b0953e2b58de58c932ce5e78e6a9.PNG

Vom Cache auf den Clienten 

801885890_cachetoclient.thumb.PNG.b0ccf9a438361b2321ed886c9f8f81dc.PNG

 

Link to comment
50 minutes ago, xyxyxyxy said:

Vom Film Share zum Cache Disk Share

Das ist ja normal. Du kopierst ja von einer HDD aus dem Array auf die SSD. Der Flaschenhals ist hier also die Lesegeschwindigkeit der HDD.

 

1 hour ago, xyxyxyxy said:

Direkt auf dem Cache Share kopiert

Ok, also Schreiben innerhalb der Server SSD ist mit >650 MB/s schnell genug.

 

1 hour ago, xyxyxyxy said:

Vom Cache auf den Clienten 

Ok, das ist komisch. Der Client hat nicht die stärkste CPU, aber 162 MB/s erklärt das nicht. Der Server hat auch keine Last.

 

Benutz mal bitte testweise die IP-Adresse des Servers, wenn du von ihm herunterlädst. Also im Windows Explorer in der Adressliste \\serverip eingeben. Dadurch geht eine zweite SMB Verbindung auf.

 

Außerdem teste mal bitte mit Filezilla einen Download über FTP. Damit können wir feststellen ob es nur bei SMB passiert.

 

Link to comment
Ok. Das ist nun wirklich komisch. iperf schnell, SMB und FTP langsam... Wie geht das? ^^
 
Hast du einen Managed Switch im Netz, der evtl bestimmte Ports drosselt? Eventuell mal mit einer Direktverbindung probieren, damit wir das Netzwerk ausschließen können.
 
@Ford Prefect Hast Du noch eine Idee?
 
 
...Firewall mit IDS/IPS für services aktiv oder sodass in der Art? Iperf nutzt ja keine standard ports unterhalb 1024

War bei iperf unraid auch die Server Seite?


Gesendet von meinem SM-G960F mit Tapatalk

Link to comment

@mgutt @Ford Prefect Der einzige Switch im Netzwerk zwischen Server und Client ist der MikroTik CSS610-8G-2S+IN, dieser befindet sich aber komplett auf Werkseinstellungen.

 

Jetzt das große aber, die aktuelle Firmware ist ein haufen Scheiße, Kann man leider nicht anders ausdrücken...

 

Der Switch ist ja noch recht neu (gut, immerhin schon über 6 Monate auf dem Markt). Die Firmware hat aber einige eklatante Bugs, z.B muss ich Betaversion 2.13rc12 verwenden, weil in neueren und älteren Versionen SFP+ mit Intel Netzwerkkarten nicht funktioniert. Habe den Bug vor über 2 Monaten gemeldet, bekam als Antwort nur man wisse noch nicht wann mit einer finalen Version gerechnet werden kann. Gibt auch noch andere Known issues, kann man gut im mikrotik forum nachlesen.

 

Ich hab nur ehrlich nicht daran gedacht das es am Switch liegen könnte.

 

Auf der Windows Kiste hab ich nur den Windows Defender drauf, der hat soweit ich weiß kein IDS/IPS. Hab auch mal die Firewall regeln bzgl. SMB durchsucht aber nichts hilfreiches Gefunden.

 

Ich habe iperf3 nochmal mit Port 140 getestet, um möglichst nah an den smb Port zu kommen. Die Ergebnisse decken sich mit bisherigen iperf Messungen. Average war immer über 9 Gbit/s. Bei dem Screenshot ist das nur die Vergleichsmessung auf dem iperf standardport, aber man sieht in den Switch stats das die Übertragungsraten passen.

 

Wie im Bild zu sehen ist, war unraid der server und Debian im WSL2 der Client.

image.thumb.png.91b939712d78604087c619fb0cec6f28.png

 

EDIT:

 

Hab gerade mal durch zufall den Reverse Mode getestet, und dabei festgestellt, das dann die Verbindung wesentlich langsamer ist.

image.thumb.png.25eac995b69534add4f779532e8bf970.png

image.thumb.png.8804ad91cbb291b7b51ab4a531054a4d.png

Edited by xyxyxyxy
New Revelations
Link to comment

@xyxyxyxy Ok, das Problem mit dem CSS610 ist bekannt, aber das wird nicht das Problem sein. Ich habe den übrigens auch und nutzue die 2.13 (ohne beta) und bin mangels Intel 10GBE Karten nicht betroffen...der läuft seit Wochen stabil über 18m cat5e auf 10G.

 

On 5/11/2021 at 1:27 AM, xyxyxyxy said:

Wenn ich die IP als Adresse benutze gibt es einen Unbekannten Fehler und die Verbindung kann nicht hergestellt werden.

Ich würde da nochmal ansetzen.

 

12 minutes ago, xyxyxyxy said:

Ich habe iperf3 nochmal mit Port 140 getestet, um möglichst nah an den smb Port zu kommen. Die Ergebnisse decken sich mit bisherigen iperf Messungen. Average war immer über 9 Gbit/s. Bei dem Screenshot ist das nur die Vergleichsmessung auf dem iperf standardport, aber man sieht in den Switch stats das die Übertragungsraten passen.

 

Wie im Bild zu sehen ist, war unraid der server und Debian im WSL2 der Client.

OK, Du nutzt also das Docker-GUI unter Windoof auf dem Client.

Da wird doch ein eigenes Docker / Linux-VM Netzwerk aufgemacht?

 

Ist die 10G Karte die einzige im Client oder ist noch der onBoard 1Gbps-NIC am Switch?

In Verbindung mit dem "Problem", dass Du die IP nicht ansprechen kannst, aus dem Explorer, könnte man vermuten,  dass Du zwei Routen hast..eine 10G und eine 1G?

Link to comment

@Ford Prefect Was den CSS610 angeht, hab die 2.13 getestet, aber der Link kommt dann leider nicht mehr zustande. Daher muss ich erstmal auf der Beta bleiben bis die das gefixt haben, aber gut zu wissen das da nicht der Fehler liegt.

 

7 minutes ago, Ford Prefect said:

Ich würde da nochmal ansetzen.

Das funktioniert mittlerweile, es ging nicht direkt über die Zeile im Explorer weil ich da keine spezifischen Anmeldedaten eingeben kann. Über Netzwerklaufwerk verbinden konnte ich jetzt Problemlos die Verbindung herstellen.

 

Tatsächlich liegt bei dem WSL der Hund begraben. Ich habe jetzt mal die Windows version von Iperf3 benutzt, und dabei Werte erhalten die viel eher zu den Werten beim Kopieren passen.

image.thumb.png.9f98930a753bce65c97a5d124cd094f1.png

 

Am Client ist nur der 10G NIC angeschlossen, am Server sind sowohl 10G als auch 1G angeschlossen, der 1G Link aber im Switch deaktiviert.

Link to comment
35 minutes ago, xyxyxyxy said:

Tatsächlich liegt bei dem WSL der Hund begraben. Ich habe jetzt mal die Windows version von Iperf3 benutzt, und dabei Werte erhalten die viel eher zu den Werten beim Kopieren passen.

 

Am Client ist nur der 10G NIC angeschlossen, am Server sind sowohl 10G als auch 1G angeschlossen, der 1G Link aber im Switch deaktiviert.

OK, dann ist aber andersrum, weil der WSL *nicht* das Problem ist, denn da gehen 10Gbps drüber.

Ich gehe davon aus, dass der virtuelle Adapter des WSL die Win-Firewall umgeht.

Das Problem, bei gleichem physischen NIC für Win-Host und WSL, kann ja nur die Win--Firewall sein...leider bin ich da raus....ausser ausschalten fällt mir nix ein ;-)

 

Edit: Gegenprobe wäre einen Docker mit Filezilla zu nehmen und von da raus zu testen...sollte dann auch schnell sein.

Edited by Ford Prefect
Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.