Unraid 10GBe auf Switch mit Teilnehmer 1Gbe MTU?

[eFrame]

Hallo.
Eine Frage bezüglich der Einstellung für die MTU
Ich habe einen Unraid Server mit einer Mellanox ConnectX-3 und eine Win Pc mit der Mellanox ConnectX-3.
Beide habe ich auf einen QNAP QSW-2104-2S 2ports 10GbE SFP+ 5port Switch angeschlossen.
Es sind auch noch zwei weitere Geräte mit 1GBe dort angeschlossen.
Meine Frage ist dahingehend:
Kann ich die MTU für den Unraid Server und dem Win -PC auf MTU 9000 einstellen, und die anderen beiden Geräte auf MTU 1500 belassen?

Hatte schon im Forum gesucht jedoch nichts dazu gefunden.

[DataCollector]

25 minutes ago, eFrame said:

Eine Frage bezüglich der Einstellung für die MTU
...Mellanox ConnectX-3
...QNAP QSW-2104-2S 2ports 10GbE SFP+ 5port Switch
...weitere Geräte mit 1GBe
Meine Frage ist dahingehend:
Kann ich die MTU für den Unraid Server und dem Win -PC auf MTU 9000 einstellen, und die anderen beiden Geräte auf MTU 1500 belassen?

 

Rein technisch: Solange Du reine kompatible Größe im Rahmen der Vorgaben nutzt sind unterschiedliche Einstellungen der Endgeräte zulässig.

Allein schon deswegen, weil sich diverse Endgeräte im Netzwerk dahingehend gar nicht einstellen lassen kann dies übersetzt werden.

 

Der Vor- oder auch Nachteil ist eben, daß die Frames von einem aktiven Gerät auf die Fähigkeiten der Endstelle angepasst werden müssen.

Wenn man durchgehend alles mit Jumboframes 9000 betreibt läuft es am flottesten.

 

Die Knotenpunkte (Switche/Router) zwischen den Endgeräten (PC, Tablet, Handy, Notebook, ...) müssen das aber dann auch können.

(Wenn man nur einen alten Switch zwischen den Endgeräten hätte, der ger keine Jumboframes beherrscht, schaut der recht blöd, wenn da 9000 große Datenblöcke ankommen. Aber Dein erwähnter Switch ist weder alt noch ein solcher Problemfall.)

 

Wenn aber nun ein Endgerät mit 9000 sendet und das andere nur mit 1518 umgehen kann mit der Siwtch/Router dazwischen die Frames fragmentieren und das kostet Zeit.

Technisch können sich die Endgeräte also unterhalten,  aber wenn es um Zeitkritische Sachen geht, mag man dann einen Zeitverzug/Lag bemerken.

 

Wenn es nur ums Surfen bei ebay oder so geht dauert es eben mal ne Sekunde länger.... wenn man hingegen mit Egoshootern um die Wette ballert und einem schon auf dem Bildschirm jeder Frame wichtig ist & im Internet der Ping unter 10ms Liegen sollte,  kann die zusätzliche Verzögerung in LAN schon sehr stören.

Am flottesten (nur bezogen auf diese Latenz) läuft ein Datenpaket eben durch, wenn es nicht umgepackt/fragmentiert werden muß (= alle Geräte die gleichen Einstellungen haben).

 

https://www.ip-insider.de/was-sind-jumbo-frames-a-654710/

Edited November 10, 2023 by DataCollector

[eFrame]

Wenn ich jetzt also zwischen dem Unraid Server und meinem WIN PC eine MTU von 9000 einstelle hat das keine negativen Auswirkungen auf diese Verbindung über dem Switch?
Wenn es Latenzen gibt zwischen den anderen Geräten auf dem Switch ist das eigentlich irrelevant für mich.
Ist 9000 eigentlich die korrekte Angabe für die Mellanox ConnectX-3?
Das sagt Mellanox selbst:
 

MTU maximum transmission unit is the size (in bytes) of the largest protocol data unit that the layer 2 can pass on the wire.

 

Basic Info

    The Path MTU is determind according to the lowest MTU value in the Path.

    MTU must be configured both on the hosts and the switches in the Ethernet network.

    Max MTU supported by the SX10XX switches family is 9216, also known as Jumbo frames

Configure MTU of 9000 on interface ethernet 1/10

[standalone: master] > ena
[standalone: master] # configure terminal
[standalone: master] (config) # interface ethernet 1/10
[standalone: master] (config interface ethernet 1/10) # mtu ?
         <mtu-size(1518-9216)>
[standalone: master] (config interface ethernet 1/10) # mtu 9000

Configure MTU of 9216 on Linux machine

Trifft die Linux Machine auch auf Unraid zu?
Ich gehe mal davon aus.
Was kann Windows 11.
Dazu habe ich keine Infos gefunden.

 

Edited November 10, 2023 by eFrame

[Ford Prefect]

29 minutes ago, eFrame said:

Wenn ich jetzt also zwischen dem Unraid Server und meinem WIN PC eine MTU von 9000 einstelle hat das keine negativen Auswirkungen auf diese Verbindung über dem Switch?

Die MTU wird nie "zwischen" zwei Endpunkten konfiguriert, sondern immer für den eigenen, lokalen Endpunkt.

1 hour ago, eFrame said:

Ich habe einen Unraid Server mit einer Mellanox ConnectX-3 und eine Win Pc mit der Mellanox ConnectX-3.
Beide habe ich auf einen QNAP QSW-2104-2S 2ports 10GbE SFP+ 5port Switch angeschlossen.

Das ist ein unmanaged Switch und daher kann man an den Ports keine MTU konfigurieren.

Daher würde der Traffik, zwischen unraid + Switch bzw PC + Switch jeweils wieder auf 1500er Pakete "zerhackt werden...die 9000er MTU der Endgeräte wäre also unwirksam.

 

Im übrigen komme ich auch bei MTU 1500 in meinen Systemen auf volle Leistung.

[eFrame]

@Ford Prefect
Dann muss ich also nichts umstellen in Unraid oder der Mellanox im Win PC.
Also beide auf 1500 stehen lassen und gut is.

 

[Ford Prefect]

5 minutes ago, eFrame said:

Also beide auf 1500 stehen lassen und gut is.

Stell alles auf default....im Zweifel ist das 1500

 

[Ford Prefect]

14 hours ago, Ford Prefect said:

Das ist ein unmanaged Switch und daher kann man an den Ports keine MTU konfigurieren.

Daher würde der Traffik, zwischen unraid + Switch bzw PC + Switch jeweils wieder auf 1500er Pakete "zerhackt werden...die 9000er MTU der Endgeräte wäre also unwirksam.

@eFrame OK, ich glaube ich hab da gestern mein Gehirn in nem anderen Modus gehabt.

Das stimmt natürlich nicht. Dem Switch ist es egal, managed oder unmanaged, wir gross die L2MTU ist, solange er hardwareseitig die Frame-Grösse unterstützt (max L2 MTU).

Die sollte eigentlich bei einem Switch, der Jumbo-Frames können soll gross genug sein, kann aber je nach Modell/Switch Chip unterschiedlich sein.

 

Die MTU, welche Du einstellst ist übrigens die L3-MTU, also IP-Layer...L2 Frames kommen dann noch dazu.

Daher auch Unterschiede im Support bei den Switch Chips (kaskadierende VLANs u.ä. erhöhen die Frame-Länge auf L2-level).

-> https://help.mikrotik.com/docs/display/ROS/MTU+in+RouterOS?preview=/21725296/135856347/MTU_general_explanation.jpg

Hier mal zwei Beispiele aus unterschiedlichen Geräten: 

 

 

14 hours ago, eFrame said:

Also beide auf 1500 stehen lassen und gut is.

Also 1500 ist Standard und sollte Dir die 10G Performance bringen.

Ob Dir 9000 was bringt kannst Du ja versuchen...nötig ist es nicht...das war der Hit bei TokenRing und 100M-Ethernet Verbindungen und bleibt halt in den Köpfen drin

 

Das wichige ist, dass Geräte es unterstützen müssen und das auch alle Endpunkte, die Pakete generieren oder empfangen sollen, gleich eingestellt sind.

Gibt hier auch Beispiele, MTU hin oder her, wo User überhaupt nicht in die Gegend von 10G Performance kommen....Es ist nicht das Heilmittel, wenn man nur 6G schafft...eher ob man 9.6Gbps oder 9.7Gbps schafft.

Edited November 11, 2023 by Ford Prefect

[eFrame]

@Ford Prefect
Danke für die ausführliche Erklärung 🙂

[eFrame]

@Ford Prefect
Habs jetzt mal ein der Praxis getestet.
Wie Du schon geschrieben hast hat die Einstellung der MTU keinen großen Einfluss auf die Datenrate.
Habe alle Geräte auf MTU1500 stehen.
Komme damit problemlos auf den vollen Datendurchsatz.
Das ist jetzt beim kopieren über das Netzwerk von einer Array Festplatte auf eine andere im Array

 

Edited November 12, 2023 by eFrame

[Ford Prefect]

1 hour ago, eFrame said:

Das ist jetzt beim kopieren über das Netzwerk von einer Array Festplatte auf eine andere im Array

Das ist doch super. Wobei SMB nochmals overhead erzeugt. Netzwerk allein/pur am besten erstmal mit iperf testen. 

 

Edit: wobei...das steht 1Gbit/s, nicht 1Gbyte/sec ... was sind das für Array Disks??

Edited November 12, 2023 by Ford Prefect

[eFrame]

Hier mal eine etwas aussagekräftigere Grafik.
Das ist der Kopiervorgang im Array mit Verifizierung von Datenträger 1 (Seagate Barracuda 6TB) auf Datenträger 6 (Seagate ST18000NM003D 18TB)
über den WIN-PC.

 

Edited November 12, 2023 by eFrame
Falsche Daten

[eFrame]

Gibt es eine schnellere Möglichkeit oder bequemere Art als über SMB umzukopieren.
Denn ich muss dafür die ganze Zeit den WIN-PC mit laufen haben.
Mir ist eine Verifizierung der kopierten Daten sehr wichtig.
Im Krusader oder MC habe ich z.B. diese Option nicht gesehen.

[DataCollector]

41 minutes ago, eFrame said:

Gibt es eine schnellere Möglichkeit oder bequemere Art als über SMB umzukopieren.
Denn ich muss dafür die ganze Zeit den WIN-PC mit laufen haben.
Mir ist eine Verifizierung der kopierten Daten sehr wichtig.
Im Krusader oder MC habe ich z.B. diese Option nicht gesehen.

 

Wenn Du im selben unraidsystem von einer Disk zur anderen umkopieren willst:

mc, krusader

Wenn Du im selben unraidsystem von einer Disk zur anderen verschieben willst:

mc, krusader, unbalance

 

Aber wenn Du eine Parity einsetzt ist alles recht langsam.

Wenn Du keine Parity einsetzt, klappt das das alles innerhalb unraid mit der normalen Geschwindigkeit, die die Festplatten erreichen können.

 

Die Sache mit "überprüfen" vermisse ich auch schmerzlich, (auch) deswegen arbeite ich mit zusätzlichen Checksummen und kann bei Diskrepanzen das mit meinen (ebenfalls anhand der Checksummen gelegentlich überprüften) Backups abgleichen. Aber da ich mich mit Linux nicht gut genug auskenne habe ich die Checksummenerzeugung und -überprüfung noch in Batchform, was dann dennoch auf einer Windowsmaschine läuft. Aber die kann man ja in unraid virtualisieren (siehe unten Methode c ).

 

Wenn man nicht einen extra Bedien-PC für die reinen Dateioperationen laufen die ganze Zeit lassen will gibt es mehrere Methoden.

Mir fallen auf Anhieb folgende ein:

a) Wenn man verschieben will: Plugin 'unbalance')

b) Wenn man kopieren oder verschieben will: krusader (ich777 Docker) nutzen

c) theoretisch kann man auch den mc (midnight commander) nutzen. Da der mc aber auch ein laufendes System braucht könnte man sich eine VM in unraid anlegen (darf auch gerne Windows oder so sein) und von dort aus per Browser wieder zurück auf unraid zugreifen um dort das Terminalfenster für den mc zu nutzen. Dann läuft der mc im Terminal der VM und bedient das unraid auf dem es selber liegt.

 

Ich las auch mal irgendwo, daß es auch eine andere Methode gibt den mc/Terminalfenster von unraid selbst offen zu halten. aber das habe ich mir nicht gemerkt.

[Ford Prefect]

1 hour ago, DataCollector said:

c) theoretisch kann man auch den mc (midnight commander) nutzen. Da der mc aber auch ein laufendes System braucht könnte man sich eine VM in unraid anlegen (darf auch gerne Windows oder so sein) und von dort aus per Browser wieder zurück auf unraid zugreifen um dort das Terminalfenster für den mc zu nutzen. Dann läuft der mc im Terminal der VM und bedient das unraid auf dem es selber liegt.

...oder screen installieren und nutzen: https://wiki.ubuntuusers.de/Screen/