faxxe71 Posted November 1, 2023 Share Posted November 1, 2023 Hallo aus Österreich, vielleicht hättet ihr eine Idee, wie ich das Nadelöhr in meinem 10GBit Netzwerk finden könnte. Hier steht ein ziemlich performanter PC (i7-13700), ein M1 Mac Mini und ein Unraid Server auf B660/i3-13100/64GB DDR4 Basis. Im PC werkelt eine Mellanox x311 10GBit Karte; der Mac hat 10GBit per RJ45 eingebaut; im Unraid Server werkelt eine Intel 82599ES 10-Gigabit SFI/SFP+ Karte. Alle 3 sind an einem Aruba 1930 Switch in den SFP+ Ports angesteckt. Nun die iperf3 Übertragungsraten unter den 3 Geräten: WIN<>Mac: ca 6 Gbits/sec Mac<>Unraid: ca 6.5 GBit/sec Win<>Unraid: ca 1 GBit/sec !!! Kopiere ich große Files (auf eine NVME Pool Drive) bestätigt sich die schwache Bandbreite vom Pc zu Unraid. Vom MAc auf Unraid läuft dafür unglaublich stabil und schnell. Vom Mac auf den PC geht aber auch fast so schnell, wie vom Mac auf Unraid. Woran könnte das liegen? Ist das SMB Setting am Unraid Server auch für den iperf3 Test entscheidend? Danke für eure Erleuchtung -faxxe Quote Link to comment
alturismo Posted November 1, 2023 Share Posted November 1, 2023 3 minutes ago, faxxe71 said: Ist das SMB Setting am Unraid Server auch für den iperf3 Test entscheidend? Nope 4 minutes ago, faxxe71 said: Woran könnte das liegen? gute Frage ... du nutzt bei mac <> Unraid auch smb ? wobei ja auch iperf nur 1G bringt bei win <> Unraid ... da können andere sicher mehr dazu sagen Quote Link to comment
Ford Prefect Posted November 1, 2023 Share Posted November 1, 2023 10 hours ago, faxxe71 said: Im PC werkelt eine Mellanox x311 10GBit Karte; der Mac hat 10GBit per RJ45 eingebaut; im Unraid Server werkelt eine Intel 82599ES 10-Gigabit SFI/SFP+ Karte. Alle 3 sind an einem Aruba 1930 Switch in den SFP+ Ports angesteckt. Klugscheisser-Mode ON: Alle an SFP+ kann ja nicht sein, wenn der Mac RJ45 hat. 10 hours ago, faxxe71 said: Nun die iperf3 Übertragungsraten unter den 3 Geräten: WIN<>Mac: ca 6 Gbits/sec Mac<>Unraid: ca 6.5 GBit/sec Win<>Unraid: ca 1 GBit/sec !!! ...auch die iperf-Performance zwischen den beiden oberen ist schwach...da stimmt insgesamt etwas nicht. Hast Du irgendwo mit der MTU oder Jumbo-Frames "gespielt"? Sind alle Geräte im gleichen IP-Segment? Quote Link to comment
faxxe71 Posted November 1, 2023 Author Share Posted November 1, 2023 Hallo, es sind natürlich die passenden Adapter in den SFP+ Ports 😉 MTU habe ich nirgends händisch geändert. Jumboframes sind auch am Switch deaktiviert. Alle Rechner sind im selben Segment 192.168.1.x. Knapp 6GBit sind natürlich auch noch weit weg von 10GBit, die eigentlich möglich wären; stimmt. Irgendwie dubios 😖 -faxxe Quote Link to comment
Ford Prefect Posted November 2, 2023 Share Posted November 2, 2023 (edited) 20 hours ago, faxxe71 said: Irgendwie dubios Was ist mit dem Switch...Du hast alle 10G in den SFP+...was genau sind das für Transceiver...wie warm werden die (der 1930 ist passiv...nicht das der was runterregelt). Ja, 9.3Gbps aufwärts sollten es schon sein, statt der 6 vorne. Edit: und SFP+ ist abwärtskompatibel zu SFP. Evtl. ist ja der Tranceiver im unraid ein SFP statt SFP+...das würde die 1Gbps erklären. Edited November 2, 2023 by Ford Prefect Quote Link to comment
faxxe71 Posted November 3, 2023 Author Share Posted November 3, 2023 Danke für euren Input. ich habe nun die verschiedenen Kombinationen mit meinen SFP+ Adapter versucht. Der PC und Unraid sind per LWL am Switch verbunden. Ich hatte noch einige andere LWL SFP+ Adapter (andere Hersteller) bzw habe ich Unraid mal per DAC Kabel mit dem Switch verbunden. Conclusio bisher: ist völlig egal in welcher Kombination an Adapter/DAC ich PC <> Switch <> Unraid verbinde, bleiben die iperf3 Ergebnisse immer dieselben. Ich werde am Wochenende mal die Intel Karte aus Unraid wieder gegen eine Mellanox tauschen. Ich bilde mir ein, das damit zuvor eine höhere Rate möglich war. Getauscht habe ich eigentlich nur wegen der C3 State Situation mit Mellanox Karten (Mellanox verhindert den Server vor tieferen Stromspar Zuständen). Der Aruba 1930 ist ein aktiver 24 Port 195Watt POE Switch. Den schließe ich vorher als Fehlerquelle (noch) aus ☺️ Update folgt -faxxe Quote Link to comment
faxxe71 Posted November 3, 2023 Author Share Posted November 3, 2023 (edited) Nachtrag: Realworld Test: 17GB File schreiben/lesen (liegt immer auf einem NVME Pool bzw Laufwerk) in verschiedene Richtungen. Dauer per Stoppuhr gemessen und die Übertragungsrate in MByte/sec Rate umgerechnet. Lesen: Schreiben: MByte/sec Win->Unraid : 485 191 Mac->Unraid: 1000 (!) 548 Mac->Win : 708 472 Der Mac liest den 17GB File in 17 Sekunden (!!) vom Unraid Server. Das sind 1000MB/sec bzw entspricht dem 10GBit Netzwerk. Der PC liest auch viel schneller als der iperf vermuten ließe, schreibt aber extrem langsam auf den Server. Ich glaube, das da auch bei Windows etwas nicht stimmt. Auch haben die Iperf Ergebnisse generell wenig mit der SMB Performance zu tun. Hier greift vermutlich auch Multichannel. Mit den knapp 450MByte/sec in verschiedene Richtungen könnte ich leben aber die PC Schreibrate (191) auf Unraid stört mich noch massiv. Der Mac scheint sich mit Unraid am besten zu verstehen. -faxxe Edited November 3, 2023 by faxxe71 Quote Link to comment
Ford Prefect Posted November 3, 2023 Share Posted November 3, 2023 1 hour ago, faxxe71 said: Der PC und Unraid sind per LWL am Switch verbunden. Ich hatte noch einige andere LWL SFP+ Adapter (andere Hersteller) bzw habe ich Unraid mal per DAC Kabel mit dem Switch verbunden. HP/Aruba ist schon zickig bzw. picky, wenn es um die Codierung der Transceiver geht...HP und Cisco-Kompatible sollten aber immer gehen...ausser UniFi...die machen fast überall Ärger, ausser bei unifi selbst. 1 hour ago, faxxe71 said: Der Aruba 1930 ist ein aktiver 24 Port 195Watt POE Switch. Den schließe ich vorher als Fehlerquelle (noch) aus ☺️ Siehe oben. Mir ging es aber um den 10GB-T Transceiver...die werden sehr warm...ich habe hier welche die bis 95°C "normal" sind. In einem passiven Switch muss man da Acht geben und zB nur jeden zweiten Port bestücken....aber der PoE-Switch ist ja dann aktiv. 1 hour ago, faxxe71 said: Ich werde am Wochenende mal die Intel Karte aus Unraid wieder gegen eine Mellanox tauschen. Ich bilde mir ein, das damit zuvor eine höhere Rate möglich war. ...auf jeden Fall ausprobieren. Dann hättest Du aber noch ein zweites Problem auf Win-Seite, denn Win<->Mac war auch mau. 55 minutes ago, faxxe71 said: Auch haben die Iperf Ergebnisse generell wenig mit der SMB Performance zu tun. Hier greift vermutlich auch Multichannel. Wie gesagt, iperf sollte >9.3Gbps schaffen für einen 10G Link, direkt am Switch....zumindest mit den beteiligten CPUs....auch iperf ist single threaded. Bist Du sicher, dass da nicht noch ein Router (unifi o.ä.) dazwischen ist?...die schaffen einfach die 10G nicht. Ansonsten Power-Management auf den Kisten und MTU-Einstellungen am Switch und den Clients checken...Jumbo-Frames sind nicht nötig für die o.g. Performance. Quote Link to comment
faxxe71 Posted November 3, 2023 Author Share Posted November 3, 2023 Update: Urlaubstag eingeschoben 🙃 Tausch Intel auf Mellanox in Uraid: Der PC schafft nun auf Anhieb ca 6GBit in iperf zum Unraid. Kopieren per SMB bestätigt dies. Ansonsten alle Datenraten wie gehabt. Aus irgendeinem Grund kann die Intel mit der Mellanox im PC nicht richtig. Der 10GB-T ist natürlich schon recht warm aber da hängt der Mac drauf und der schafft eigentlich die besten Raten. Habe aber den Receiver auch mal entfernt um auszuschließen, das die Wärme den Switch stört. Alle Geräte stehen im selben Büro zu Hause und da ist definitiv keine andere LAN Hardware im Verbund. -faxxe Quote Link to comment
Ford Prefect Posted November 3, 2023 Share Posted November 3, 2023 11 hours ago, faxxe71 said: Tausch Intel auf Mellanox in Uraid: Der PC schafft nun auf Anhieb ca 6GBit in iperf zum Unraid. Kopieren per SMB bestätigt dies. Ansonsten alle Datenraten wie gehabt. ...aber 6Gbps sind halt zu wenig. Ist Flow-Control an den Ports im Switch an? -> dann ausmachen. Pobier mal ne Direktverbindung, ohne Switch.....was geht dann? Quote Link to comment
faxxe71 Posted November 5, 2023 Author Share Posted November 5, 2023 (edited) Update 2: Die Intel x520 Karte ist nun im PC. SMB Leistung nun Mac<>PC immer 1000MByte/sec bzw 10GBit. SMB PC<>Unraid ca700MB/sec schreibend und 1000MByte lesend. iperf funktioniert in alle Richtungen eigentlich nur mit dem Befehl -P 2 also 2 Streams parallel mit voller 10GBit Performance. Unterm Strich erscheint mir, sobald eine Mellanox im Spiel ist (entweder im PC oder in Unraid) das dieses Gerät dann eine schlechtere Leistung zeigt. PC<>Unraid direkt per LWL bringt bei iperf bzw SMB die völlig identen Ergebnisse. Der Switch dürfte also 100% keinen Einfluss nehmen. Habe mir nun eine Intel x710 bestellt. Diese Karte wollte ich schon mal im Unraid Server verbauen. -faxxe Edited November 5, 2023 by faxxe71 Quote Link to comment
Ford Prefect Posted November 5, 2023 Share Posted November 5, 2023 7 hours ago, faxxe71 said: iperf funktioniert in alle Richtungen eigentlich nur mit dem Befehl -P 2 also 2 Streams parallel mit voller 10GBit Performance. ...auch das ist komisch...iperf ist nicht multi-threading...bei Deinen CPUs sollte iperf genug Dampf haben. 7 hours ago, faxxe71 said: Unterm Strich erscheint mir, sobald eine Mellanox im Spiel ist (entweder im PC oder in Unraid) das dieses Gerät dann eine schlechtere Leistung zeigt. Ich habe auch Mellanox am Start und komme eben locker auf >9.3Gbps und das mit einer 18m 10G-über-CAT5e Verbindung zwischen Switch im Rack und Switch im OG. 7 hours ago, faxxe71 said: PC<>Unraid direkt per LWL bringt bei iperf bzw SMB die völlig identen Ergebnisse. Der Switch dürfte also 100% keinen Einfluss nehmen. ...evtl. ist Flow-Control dann in den Endgeräten an? Irgendwas muss es sein...normal ist das nicht und an Mellanox und/oder unraid sollte es nicht liegen.🤔 Evtl. mal hier im Luxx fragen: https://www.hardwareluxx.de/community/threads/10gbit-homenetzwerk.807277/ ?? Quote Link to comment
faxxe71 Posted November 6, 2023 Author Share Posted November 6, 2023 Danke. Es ist und bleibt merkwürdig. Jetzt schau ich mal was mit der Intel x710 im Unraid läuft (unter anderem auch was die C States betrifft). Und sonst muss ich mit dem Zustand leben. Grundsätzlich habe ich ja nicht dauernd TBs zum verschieben aber bei der nicht ganz günstigen Hardware für 10GBit erwartet man das sie tut was sie soll. Danke aber für eure Beurteilung und Tipps -faxxe Quote Link to comment
faxxe71 Posted November 9, 2023 Author Share Posted November 9, 2023 Update 3: nun ist eine Intel X710 im Unraid Server . iperf Win<>Unraid wieder deutlich schlechter (ca 2GBit). Im PC werkelt die Intel x520 Karte. Also mögen sich die beiden auch nicht richtig. Vom Mac<>Unraid geht geht iperf mit ca 8GBit single Stream. Viel Geld für nichts und schlauer wurde ich auch noch nicht. -faxxe Quote Link to comment
Solution faxxe71 Posted November 10, 2023 Author Solution Share Posted November 10, 2023 Update 4 : habe den Win Rechner mit einem Mint Linux Live USB Stick gebootet und was soll ich sagen: gut 8 - 10GBit in jede Richtung Egal, ob Mellanox oder die Intel Karte eingebaut ist. Beide laufen vom USB Live Linux mit richtig Speed. Schuld ist ausschließlich das Ar***och MS Windows 10, das mit jeder Karte macht was es will. Ich werde da mal weiter forschen aber es ist schon unglaublich, das sich ein Betriebssystem dermaßen quer legen kann 😱 Danke für eure Geduld.... meidet Windows -faxxe Quote Link to comment
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.