Netzwerk erreicht keine volle Bandbreite - NVME SSD Cache

[DerDog]

Heyho,

nutze Unraid nun seit über einem Jahr und bin an sich top zufrieden. Vor 5 Monaten habe ich unser Heimnetz auf 10 Gbit/s umgerüstet.
Daher hat der Unraid-Server nun eine NVME SSD mit 2100 Mbit/s lesen & 1800 Mbit/s Schreiben bekommen. Nun sollte man davon ausgehen dass Dateien über das 10 G Netzwerk mit bis zu 1050 MByte die Sekunde verschoben werden. Dies ist aber leider nicht der Fall.
Ich komme auf max. 530-550 MByte die Sekunde.
Einstellungen in UnRaid: 10000 Mbps, full duplex, mtu 9198
LAN Kabel mit anderem Server getestet, dort volle Geschwindigkeit. Windows PC's sind entsprechend konfiguriert.

Hat jemand eine Idee wieso NUR beim UnRaid Server anscheinend aber Hälfte der möglichen Geschwindigkeit Schluss ist?
Spielt keine Rolle ob eine große Datei (Blueray mit 65 GB) oder viele kleine.

Wäre für Hilfe dankbar da ich bei der Investition ja schon gerne 100% Leistung haben möchte.

[ich777]

Kannst du evtl deine Diagnostics hier anhängen oder genaue Angaben zu deiner Hardware machen die du verwendest (NICs, Switch, CPU, Motherboard,...)?

Ich hab erst vor kurzem Test gemacht mit meinen Mellanox ConnectX2 (im PC i7-6700K) und ConnectX3 (im Server i5-10600) und komme sowohl als auch wenn ich auf einen User Share schreibe bei der die Cache Platte aktiv gesetzt ist auf 950 MB/s - 1.1GB/s

 

Dabei hab ich auch darauf geachtet das ich den RAM Cache nicht nutze bzw. die Datei größer ist als der zur verdügung stehende RAM.

 

Im Server ist eine NVMe Samsung 980EvoPlus verbaut und mein MTU stehst auf den Standard 1500 und SMB Multichannel ist aus.

 

Verwende dabei Glasfaser mit 10Gbit Transceivern von FS.com und der traffic läuft dabei durch einen MikroTik CRS305-1G-4S+IN und einen MikroTik CRS309-1G-8S+IN

 

Ich erweiter dann den Beitrag später mit den Bildern. -> siehe unten

 

 

EDIT: Hier einmal die Übertragung mit "dirty_background_ratio=0" und eine ~50GB Test Datei (nicht sehr stabil aber trotzdem nicht schlecht):

 

 

...und hier einmal die Übertragung ganz normal ohne irgendwelche anpassungen mit einem ~75GB Test Datei:

 

 

Zusatz: Bedingungen waren natürlich ideal, nichts wurde im Netzwerk hin und her verschoben diente auch dem Test der puren Netzwerkgeschwindigkeit, geschrieben wurde auf einen Share der per /mnt/user Freigegeben wurde und mit dem Cache Pool "Testpool" (wie oben im Screesnhot ersichtlich - keine direkte Plattenfreigabe).

[Ford Prefect]

5 hours ago, DerDog said:

Einstellungen in UnRaid: 10000 Mbps, full duplex, mtu 9198

...das ist ein ziemlich grosser Wert!

Für welches Device in unRaid ist die eingestellt und hast Du einen Switch zwischen diesem Link und dem 10G-Client auf der anderen Seite oder gar einen Router?

Wenn Du die MTU vom defaultwert 1500 verstellst müssen *alle* Komponenten einer Verbindung zwischen A und B diese MTU unterstützen.

Die "MTU" ist die L3-MTU, also auf IP-Ebene, wo auch die Fragmentierung stattfindet...ein Switch muss aber auch eine L2-MTU unterstützen, die eben - da eine OSI-Ebene tiefer - auch nochmal höher sein muss als die L3-MTU.

Wenn ein Paket auf einen Switch trifft, dass grösser ist als dessen L2-MTU wird der Switch das Paket einfach, stillschweigend wegwerfen!!! 

Bei einem Switch ist die MTU in Hardware definiert und je nach Model und verbautem Chipsatz unterschiedlich.

Wenn Du die L2-MTU nicht weisst, aber offizell Jumbo-Frames unterstützt werden, bleibe bei 9000.

 

Wenn das also keine Direktverbindung ist oder auch andere Clients über den Link laufen (ein Phone) dann besser auf 1500 lassen...der Gewinn ist eh marginal, wenn die Komponenten potent genug sind.

[mgutt]

Ich würde erstmal mit MTU 1500 testen.

 

Meist liegt es aber an anderen Dingen, die ich hier beschrieben habe:

https://forums.unraid.net/topic/97165-smb-performance-tuning/