[Mellanox Connect-x3]

Guten Abend, 

Geflasht habe ich die mellanox Karten mit dem Tool von ich777.

Dann habe ich meinen Switch so konfiguriert das er das Routing übernimmt und nicht mehr die opnsense. Und schon war das Problem behoben. 

Ich könnte mir vorstellen das einer der Transreciver ein Problem hat oder die LWL Strecke. Hast du die Möglichkeit ein anderes LWL Kabel zu testen? 

[Mellanox Connect-x3]

Hallo sorry für die sehr späte Rückmeldung. Ich habe es mittlerweile geschafft den Switch und OPNSense richtig zu konfigurieren und die Verbindung steht. Wirespeed erreiche ich damit aber leider nicht und die Ursache dafür ist die SSD im Hauptrechner. 

Vielen Dank an @Ford Prefect für deine Unterstützung.

[Mellanox Connect-x3]

Quote

Sollte das so gehen?

Eigentlich ist das Gateway immer der Hub....für I-Net also der Router, nicht der Switch.

Das hatte ich gerstern mal so eingestellt und alles hat funktioniert außer die Kommunikation nach außen.

 

 

Quote

In Deinem Szenario, zumindest wie ich es verstehe, liegen die Clients am Switch, ebenso wie der Router. Die Clients sollen für I-net mir dem Router kommunizieren und für alles Andere nur über den Switch.

Das ist also erstmal das klassische RoaS (Router-on-a-Stick) Szenario.

Genau so stelle ich mir es mir vor. Die Sense soll aber die Kommunikation zwischen den einzelnen VLANs unterbinden. Bzw. nur die Kommunikation Zwischen VLAN 10 und VLAN 30 erlauben.

ich habe hier einige VLANs

VLAN 10 "LANOben" da ist so zimlich alles was im netzwerk hängt drinnen. Dieses VLAN darf mit VLAN 30 Kommunizieren

VLAN 20 "LANUnten" da hängt das ganze Netz meines Bruders dran. 

VLAN 30  Das ist einzig und allein für Unraid es darf außer ins Internet lokal nirgens hin kommunizieren

VLAN 40 "Gäste WLAN

VLAN 100 "Management" ist für die Konfig der Switche und der OPNSense

 

Quote

Bei Clients in unterschiedlichen IP-Segmenten geht das nicht. Dafür gäbe es das Szenario, dass der L3-fähige Switch diese Kommunikation ebenfalls abfängt (sobald er IP und MAC der Partner gelernt hat.

 

Dafür müsste ich ggf. ALC im Switch aktivieren?

 

Quote

Hast Du VLANs (Minimum in Switch) - inkl. l2/L3-HW-offloading aktiviert?

Ich habe dei VLANs sowohl im switch als auch in der Sense konfiguriert das läut auch seit einiger zeit alles ohne probleme so wie ich es mir vorstelle. Mit dem offloading kann ich gerade nichts anfangen aber ich werde dazu mal etwas lesen.

 

[Mellanox Connect-x3]

21 hours ago, Ford Prefect said:

Ich hatte Dich auch oben gefragt, ob Du in Deinem  Szenario zwischen zwei IP-Netzen kommunizierst ... dann wäre der Fall klar gewesen.

Ohh das habe ich dann dummer Weise überlesen. Sorry

 

Quote

Evtl. kann der Switch L3-Hardware Offloading für VLANs. wenn nicht ist Dein "Problem" nicht der Switch, sondern der Router, weil der Traffik da durch muss.

Da kannst Du aber schon froh sein, wenn er 1Gbps dabei schafft.

Oder der Switch kann es, aber dort fehlt die Lizenz für mehr als 1Gbps

Ich habe mittlerweile 2 virtuelle Router interfaces auf dem Switch angelegt und im Router (opnsense) das Gateway auf die VE´s des Switches geändert. Jetzt habe ich das Problem das ich meine Verbindung zum Internet mehr habe. Da wird wird das routing das Problem sein. Wie ich das Problem löse habe ich noch nicht raus aber ich bin viel am lesen und hoffe das ich das Problem gelöst bekommen. Der Switch ist voll Lizenziert.

 

[Mellanox Connect-x3]

Vielen Dank für deine Hilfe. 

Ich bin kein FachITler beschäftige mich mit der Thema aber schon Recht viel und habe einiges gelernt. Den Switch habe ich tatsächlich in der Bucht geschossen.

Die Lizenzierung der 40Gbps Ports ist bei den Switches immer gegeben. 

Habe auch mittlerweile rausgefunden das mein Problem mit inter-VLan Routing zusammenhängt

 

[Mellanox Connect-x3]

Hallo,

 

vielen Dank für deine Hilfe. Ich habe heute mal eine mal eine Peer to Peer Verbindung via DAC-Kabel getestet und alles hat wunderbar funktioniert. iperf3 hat volle 40Gbe übertragen. Anschließend habe ich den defekt der Glasfaserleitung ausgeschlossen indem ich ein anderes kabel genutzt habe. schlussendlich bin ich zum schluss gekommen das es nur noch am Switch liegen kann. Dort wird irgendwo in der Config der Fehler liegen. Nur so zur Info der Switch ist L3.

Viele Grüße

[Mellanox Connect-x3]

Getestet habe ich zum einen ganz einfach indem ich eine "große" 10gb Datei verschoben habe (SMB) 117MB's

Zum anderen mit iperf3.

Die beiden Maschinen sollten genug Power haben Unraid Intel Xeon E-2146G 64GB ECC-RAM und der Hauptrechner hat nen I5-8600k bei 5.2Ghz mit 16GB RAM.

Beim Switch wird füll 40gbe angezeigt und Stacking ist deaktiviert.

 

 

[Mellanox Connect-x3]

Hallo 

Ich habe in meinem Unraid-Server und in meinem Haltrechner jeweils eine Mellanox Connect-x3 (mcx354a-qcbt geflasht auf fcbt) Verbunden werden beide Adapter durch einen icx-6610. Der Unraid-Server ist via qsfp+ Tranciever verwenden ich Cisco QSFP-40G-SR-BD und einem 30m LC-LC Kabel angebunden, der Hauptrechner mit eine 0,5m DAC Kabel. Eine Peer to Peer Verbindung mit Glas habe ich nicht zum laufen bekommen (beide Enden sagen kein Kabel angeschlossen)

Mein Problem ist das die maximale Übertragungsgeschwindigkeit nur 1Gbe beträgt obwohl Unraid und der Hauptrechner (Windows 11) jeweils eine 40Gbe Verbindung anzeigen. 

 

Für eure Hilfe wäre ich dankbar.

 

Viele Grüße und einen schönen Sonntag.