Lil_Davee Posted May 22, 2022 Share Posted May 22, 2022 Hallo Ich habe in meinem Unraid-Server und in meinem Haltrechner jeweils eine Mellanox Connect-x3 (mcx354a-qcbt geflasht auf fcbt) Verbunden werden beide Adapter durch einen icx-6610. Der Unraid-Server ist via qsfp+ Tranciever verwenden ich Cisco QSFP-40G-SR-BD und einem 30m LC-LC Kabel angebunden, der Hauptrechner mit eine 0,5m DAC Kabel. Eine Peer to Peer Verbindung mit Glas habe ich nicht zum laufen bekommen (beide Enden sagen kein Kabel angeschlossen) Mein Problem ist das die maximale Übertragungsgeschwindigkeit nur 1Gbe beträgt obwohl Unraid und der Hauptrechner (Windows 11) jeweils eine 40Gbe Verbindung anzeigen. Für eure Hilfe wäre ich dankbar. Viele Grüße und einen schönen Sonntag. Quote Link to comment
Ford Prefect Posted May 22, 2022 Share Posted May 22, 2022 1 hour ago, Lil_Davee said: Mein Problem ist das die maximale Übertragungsgeschwindigkeit nur 1Gbe beträgt obwohl Unraid und der Hauptrechner (Windows 11) jeweils eine 40Gbe Verbindung anzeigen. Wie hast Du das getestet? Haben unraid Server und Win-11 Rechner überhaupt genug Bumms um 40Gbps zu schaffen? Wenn Du QSFP+ direkt-Links genommen hast, sind das eigentlich die Stacking-Ports des Brocade Switch....kenne das Ding nicht, aber ich gehe davon aus, dass man die Ports evtl. umkonfigurieren muss? Zusätzlich ist das ein L2/L3 Switch...auch hier können einige Fehlkonfigurationen passieren. Quote Link to comment
Lil_Davee Posted May 22, 2022 Author Share Posted May 22, 2022 Getestet habe ich zum einen ganz einfach indem ich eine "große" 10gb Datei verschoben habe (SMB) 117MB's Zum anderen mit iperf3. Die beiden Maschinen sollten genug Power haben Unraid Intel Xeon E-2146G 64GB ECC-RAM und der Hauptrechner hat nen I5-8600k bei 5.2Ghz mit 16GB RAM. Beim Switch wird füll 40gbe angezeigt und Stacking ist deaktiviert. Quote Link to comment
Ford Prefect Posted May 22, 2022 Share Posted May 22, 2022 2 hours ago, Lil_Davee said: Getestet habe ich zum einen ganz einfach indem ich eine "große" 10gb Datei verschoben habe (SMB) 117MB's SMB ist single-threaded und wenn die Datei nicht auf einer NVMe-mit PCIe 4.0 Anbindung liegt. bekommst Du garantiert nicht 40Gbps. Liegt die Datei auf einer HDDs sind das, je nach HDDs, schon gute/realistische Werte und 117MB7s sind schon fast über 1Gbps 2 hours ago, Lil_Davee said: Zum anderen mit iperf3. ....da sollte zumindest, auch bei einem Core - also wenn Du nicht Multiple-Sessions aktivierst - mehr als 1Gbos rauskommen. Sind es da auch genau 117MB/s ?? 2 hours ago, Lil_Davee said: Die beiden Maschinen sollten genug Power haben Unraid Intel Xeon E-2146G 64GB ECC-RAM und der Hauptrechner hat nen I5-8600k bei 5.2Ghz mit 16GB RAM. ...siehe oben...bei iperf auch keine 40gbps mit nur einer Session. 2 hours ago, Lil_Davee said: Beim Switch wird füll 40gbe angezeigt und Stacking ist deaktiviert. Siehe oben, Ich denke Dein Setup gibt entweder nicht mkehr her, bei Deinen Testmethoden oder es limitiert etwas Anderes, Sind im unraid oder im PC noch 1Gbps NIC gleichzeitiug angeschlossen? Liegen unraid Host und PC im gleichen oder in unterschiedloichen IP-Segmenten? Du musst schon ein wenig mehr verraten, wie Dein Setup aussieht, was und wie Du testest und was die Ergebnisse sind. Meine Glaskugel gibt das nicht her. Quote Link to comment
Lil_Davee Posted May 23, 2022 Author Share Posted May 23, 2022 Hallo, vielen Dank für deine Hilfe. Ich habe heute mal eine mal eine Peer to Peer Verbindung via DAC-Kabel getestet und alles hat wunderbar funktioniert. iperf3 hat volle 40Gbe übertragen. Anschließend habe ich den defekt der Glasfaserleitung ausgeschlossen indem ich ein anderes kabel genutzt habe. schlussendlich bin ich zum schluss gekommen das es nur noch am Switch liegen kann. Dort wird irgendwo in der Config der Fehler liegen. Nur so zur Info der Switch ist L3. Viele Grüße 1 Quote Link to comment
Ford Prefect Posted May 23, 2022 Share Posted May 23, 2022 4 hours ago, Lil_Davee said: schlussendlich bin ich zum schluss gekommen das es nur noch am Switch liegen kann. Dort wird irgendwo in der Config der Fehler liegen. Nur so zur Info der Switch ist L3. ...das hatte ich ja oben schon erwähnt. Du hast da nen Enterprise Switch - übrigens ist jeder Switch L2, dieser hat zusätzlich einige L3 Fähigkeiten - in dem einiges verborgen/verbogen liegen kann. Kennst Du Dich mit dem aus oder hast Du den nur günstig in der Bucht geschossen (mit oder ohne Ohrstöpsel )? Es könnte zB sein, dass schlicht die Lizenz für die Nutzung der Ports in 40Gbps als Switch fehlt oder eben eine Fehlkonfiguration vorliegt. Quote Link to comment
Lil_Davee Posted May 24, 2022 Author Share Posted May 24, 2022 Vielen Dank für deine Hilfe. Ich bin kein FachITler beschäftige mich mit der Thema aber schon Recht viel und habe einiges gelernt. Den Switch habe ich tatsächlich in der Bucht geschossen. Die Lizenzierung der 40Gbps Ports ist bei den Switches immer gegeben. Habe auch mittlerweile rausgefunden das mein Problem mit inter-VLan Routing zusammenhängt Quote Link to comment
Ford Prefect Posted May 24, 2022 Share Posted May 24, 2022 3 hours ago, Lil_Davee said: Habe auch mittlerweile rausgefunden das mein Problem mit inter-VLan Routing zusammenhängt Ich hatte Dich auch oben gefragt, ob Du in Deinem Szenario zwischen zwei IP-Netzen kommunizierst ... dann wäre der Fall klar gewesen. Evtl. kann der Switch L3-Hardware Offloading für VLANs. wenn nicht ist Dein "Problem" nicht der Switch, sondern der Router, weil der Traffik da durch muss. Da kannst Du aber schon froh sein, wenn er 1Gbps dabei schafft. Oder der Switch kann es, aber dort fehlt die Lizenz für mehr als 1Gbps Quote Link to comment
Lil_Davee Posted May 25, 2022 Author Share Posted May 25, 2022 21 hours ago, Ford Prefect said: Ich hatte Dich auch oben gefragt, ob Du in Deinem Szenario zwischen zwei IP-Netzen kommunizierst ... dann wäre der Fall klar gewesen. Ohh das habe ich dann dummer Weise überlesen. Sorry Quote Evtl. kann der Switch L3-Hardware Offloading für VLANs. wenn nicht ist Dein "Problem" nicht der Switch, sondern der Router, weil der Traffik da durch muss. Da kannst Du aber schon froh sein, wenn er 1Gbps dabei schafft. Oder der Switch kann es, aber dort fehlt die Lizenz für mehr als 1Gbps Ich habe mittlerweile 2 virtuelle Router interfaces auf dem Switch angelegt und im Router (opnsense) das Gateway auf die VE´s des Switches geändert. Jetzt habe ich das Problem das ich meine Verbindung zum Internet mehr habe. Da wird wird das routing das Problem sein. Wie ich das Problem löse habe ich noch nicht raus aber ich bin viel am lesen und hoffe das ich das Problem gelöst bekommen. Der Switch ist voll Lizenziert. Quote Link to comment
Ford Prefect Posted May 25, 2022 Share Posted May 25, 2022 4 minutes ago, Lil_Davee said: Ich habe mittlerweile 2 virtuelle Router interfaces auf dem Switch angelegt und im Router (opnsense) das Gateway auf die VE´s des Switches geändert. Sollte das so gehen? Eigentlich ist das Gateway immer der Hub....für I-Net also der Router, nicht der Switch. In Deinem Szenario, zumindest wie ich es verstehe, liegen die Clients am Switch, ebenso wie der Router. Die Clients sollen für I-net mir dem Router kommunizieren und für alles Andere nur über den Switch. Das ist also erstmal das klassische RoaS (Router-on-a-Stick) Szenario. Sind alle Clients in einem IP-net greift für die Inter-LAN Kommunikation L2, der Router bleibt Aussen vor und der Switch macht das - weil L2 - quasi "automagisch" Bei Clients in unterschiedlichen IP-Segmenten geht das nicht. Dafür gäbe es das Szenario, dass der L3-fähige Switch diese Kommunikation ebenfalls abfängt (sobald er IP und MAC der Partner gelernt hat. Normal ist auch, das L3HW dann aber L2HW bedingt. Daher macht er das über eine VLAN-Table....daher auch inter-VLAN-Routing. Hast Du VLANs (Minimum in Switch) - inkl. l2/L3-HW-offloading aktiviert? 4 minutes ago, Lil_Davee said: Jetzt habe ich das Problem das ich meine Verbindung zum Internet mehr habe. Da wird wird das routing das Problem sein. Wie ich das Problem löse habe ich noch nicht raus aber ich bin viel am lesen und hoffe das ich das Problem gelöst bekommen. Der Switch ist voll Lizenziert. Siehe oben...willst Du den Switch zum Router machen? Dann brauchst Du die Sense nicht mehr. Das Gateway ist immer die Addressee an welche die im eigenen Segment unbekannten IPs durchgereicht werden, weil das Gateway (hoffentlich) die nächste Route dafür hat. Die Sense ist "das" Gateway und kennt eh Alle. Den Switch zum Gateway zu machen ist mMn falsch. Ich denke, aber ich kenne die Brocade Switches nicht, das Zauberwort ist VLAN und L3-Hardware-Offloading. Die Sense bleibt Router und Gateway, je Segment Quote Link to comment
Lil_Davee Posted May 25, 2022 Author Share Posted May 25, 2022 Quote Sollte das so gehen? Eigentlich ist das Gateway immer der Hub....für I-Net also der Router, nicht der Switch. Das hatte ich gerstern mal so eingestellt und alles hat funktioniert außer die Kommunikation nach außen. Quote In Deinem Szenario, zumindest wie ich es verstehe, liegen die Clients am Switch, ebenso wie der Router. Die Clients sollen für I-net mir dem Router kommunizieren und für alles Andere nur über den Switch. Das ist also erstmal das klassische RoaS (Router-on-a-Stick) Szenario. Genau so stelle ich mir es mir vor. Die Sense soll aber die Kommunikation zwischen den einzelnen VLANs unterbinden. Bzw. nur die Kommunikation Zwischen VLAN 10 und VLAN 30 erlauben. ich habe hier einige VLANs VLAN 10 "LANOben" da ist so zimlich alles was im netzwerk hängt drinnen. Dieses VLAN darf mit VLAN 30 Kommunizieren VLAN 20 "LANUnten" da hängt das ganze Netz meines Bruders dran. VLAN 30 Das ist einzig und allein für Unraid es darf außer ins Internet lokal nirgens hin kommunizieren VLAN 40 "Gäste WLAN VLAN 100 "Management" ist für die Konfig der Switche und der OPNSense Quote Bei Clients in unterschiedlichen IP-Segmenten geht das nicht. Dafür gäbe es das Szenario, dass der L3-fähige Switch diese Kommunikation ebenfalls abfängt (sobald er IP und MAC der Partner gelernt hat. Dafür müsste ich ggf. ALC im Switch aktivieren? Quote Hast Du VLANs (Minimum in Switch) - inkl. l2/L3-HW-offloading aktiviert? Ich habe dei VLANs sowohl im switch als auch in der Sense konfiguriert das läut auch seit einiger zeit alles ohne probleme so wie ich es mir vorstelle. Mit dem offloading kann ich gerade nichts anfangen aber ich werde dazu mal etwas lesen. Quote Link to comment
Ford Prefect Posted May 25, 2022 Share Posted May 25, 2022 (edited) 3 hours ago, Lil_Davee said: Das hatte ich gerstern mal so eingestellt und alles hat funktioniert außer die Kommunikation nach außen. Wien gesagt, ich kenne mich bei den Brocade Switches bzw. deren "OS" nicht aus. 3 hours ago, Lil_Davee said: Genau so stelle ich mir es mir vor. Die Sense soll aber die Kommunikation zwischen den einzelnen VLANs unterbinden. Bzw. nur die Kommunikation Zwischen VLAN 10 und VLAN 30 erlauben. Das Prinzip ist das Gleiche. Der Traffik muss durch die Firewall der Routers...erlauben -> ACCEPT ... unterbinden -> DROP Deshalb RoaS. Ist der Router aber eben nur mit 1Gbps angebunden läuft die Inter-VLAN konfiguration dann eben maximal nur mit dieser Bandbreite....je nach CPU und RAM des Routers auch weniger, weil die CPU für die Firewall-Regeln mehr tun muss. 3 hours ago, Lil_Davee said: Ich habe dei VLANs sowohl im switch als auch in der Sense konfiguriert das läut auch seit einiger zeit alles ohne probleme so wie ich es mir vorstelle. Mit dem offloading kann ich gerade nichts anfangen aber ich werde dazu mal etwas lesen. Ein Switch hat nen Switch-Chip (fürs Switchen/L2, mit Hardware-Unterstüttzung - an den Ports)....und er hat ne CPU mit RAM...meist klein und wenig. Alles was auf IP-Layer L3 läuft, wenn er das von der Firmware her überhaupt kann, muss durch die CPU....und wird i.d.R. die Bandbreite der Ports am Switch-Chip nicht erreichen. L3-HW-Offloading bedeutet, dass auch bestimmte L3 Funktionen mit Hardware-Beschleunigung (auf dem Switch Chip) laufen, also die CPU garnicht nutzen müssen. Damit geht auch das in Wire-Speed. 3 hours ago, Lil_Davee said: ich habe hier einige VLANs [...] Dafür müsste ich ggf. ALC im Switch aktivieren? Ja, evtl. wie gesagt, ich weiss nicht wie man das im Brocade aktivieren/konfigurieren kann und ob der dann Wirespeed erreicht. Inter-VLÖAN routing ist dann so, dass beide VLANs, obwohl mit unterschiedlichen IP-Seg,enten ausgestattet, dann im Switch - analog wie beim Router auf L3 - direkt, ohne Router und dessen Firewall verbunden sind/geroutet werden (ACCEPT)...ein DROP ist schon schwieriger (ACL und wird wohl Performance kosten). Alternativ die Sense auch mit 10/40Gbps anbinden....aber auch da wirst Du merken, was es dafür - ohne Switch-Chip / HW-Acceleration - an CPU und RAM frisst. Edited May 25, 2022 by Ford Prefect Quote Link to comment
Lil_Davee Posted June 6, 2022 Author Share Posted June 6, 2022 Hallo sorry für die sehr späte Rückmeldung. Ich habe es mittlerweile geschafft den Switch und OPNSense richtig zu konfigurieren und die Verbindung steht. Wirespeed erreiche ich damit aber leider nicht und die Ursache dafür ist die SSD im Hauptrechner. Vielen Dank an @Ford Prefect für deine Unterstützung. Quote Link to comment
LsHallo Posted October 11, 2023 Share Posted October 11, 2023 (edited) Hallo, ich habe auch connectx3 pro und Cisco 40G-SR-BD mit 30m LC OM3 Kabel. Wie hast du es am Ende ans laufen bekommen? Meine wollen mit allen Einstellungen keinen link herstellen. Habe auch schon von mehreren gelesen das die SR BD nicht mit ConnectX-3 funktionieren sollen obwohl die auf der verifizierten Liste von Nvidia stehen. Ich habe auch ein aktives kabel von mellanox. Damit habe ich einen 40gbit link herstellen können. Sobald ich die cisco transceiver einsetze bricht der ab und kann nicht wieder hergestellt werden. Edited October 11, 2023 by LsHallo Quote Link to comment
Ford Prefect Posted October 11, 2023 Share Posted October 11, 2023 1 hour ago, LsHallo said: ich habe auch connectx3 pro und Cisco 40G-SR-BD mit 30m LC OM3 Kabel. Wie hast du es am Ende ans laufen bekommen? Meine wollen mit allen Einstellungen keinen link herstellen. ...ist jetzt schon spezieller und nicht unraid spezifisch, denke ich. Probier es mal bei den Experten in diesem Faden, drüben im Luxx Quote Link to comment
Lil_Davee Posted October 11, 2023 Author Share Posted October 11, 2023 Guten Abend, Geflasht habe ich die mellanox Karten mit dem Tool von ich777. Dann habe ich meinen Switch so konfiguriert das er das Routing übernimmt und nicht mehr die opnsense. Und schon war das Problem behoben. Ich könnte mir vorstellen das einer der Transreciver ein Problem hat oder die LWL Strecke. Hast du die Möglichkeit ein anderes LWL Kabel zu testen? Quote Link to comment
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.