Mellanox ConnectX 3 - Ich bekomme die Netzwerksettings nicht mehr zum fliegen.

[JPB]

Hallo zusammen,

 

ich habe ein Problem mit meinem Netz seitdem ich meinen onboard NIC deaktiviert habe und dummerweise mein BIOS auf default setzen musste. Es lief also schon mal alles.

 

Port1 ist per 10GB an einem Switch angeschlossen

Port2: Direktverbindung (war) mit einem PC per 40GB (statische Adresse anderes Netz) direkt angeschlossen

 

Nach meiner Änderung habe ich bei Port2 das Kabel entfernt, damit ich überhaupt Netz habe.

 

Ich habe folgende dual Port Netzwerkkarte im System:

 

01:00.0 Network controller: Mellanox Technologies MT27500 Family [ConnectX-3]

 

dmesg | grep ml
[   24.658225] mlx4_core: Mellanox ConnectX core driver v4.0-0
[   24.658243] mlx4_core: Initializing 0000:01:00.0
[   24.658283] mlx4_core 0000:01:00.0: enabling device (0000 -> 0002)
[   32.304529] mlx4_core 0000:01:00.0: DMFS high rate steer mode is: disabled performance optimized steering
[   32.304880] mlx4_core 0000:01:00.0: 63.008 Gb/s available PCIe bandwidth (8.0 GT/s PCIe x8 link)
[   32.383874] mlx4_en: Mellanox ConnectX HCA Ethernet driver v4.0-0
[   32.383993] mlx4_en 0000:01:00.0: Activating port:1
[   32.385976] mlx4_en: 0000:01:00.0: Port 1: Using 12 TX rings
[   32.385984] mlx4_en: 0000:01:00.0: Port 1: Using 8 RX rings
[   32.386220] mlx4_en: 0000:01:00.0: Port 1: Initializing port
[   32.387289] mlx4_en 0000:01:00.0: registered PHC clock
[   32.387426] mlx4_en 0000:01:00.0: Activating port:2
[   32.387754] mlx4_en: 0000:01:00.0: Port 2: Using 12 TX rings
[   32.387761] mlx4_en: 0000:01:00.0: Port 2: Using 8 RX rings
[   32.387886] mlx4_en: 0000:01:00.0: Port 2: Initializing port
[   33.521362] mlx4_en: eth0: Steering Mode 1
[   33.530511] mlx4_en: eth0: Link Down
[   33.545212] mlx4_en: eth1: Steering Mode 1
[   33.555209] mlx4_en: eth1: Link Down
[   34.613894] mlx4_en: eth0: Link Up
[   37.603236] mlx4_en: eth1: Link Up
[   37.712921] mlx4_en: eth1: Link Up
[   37.917870] mlx4_en: eth1: Link Up
[  203.175830] mlx4_en: eth0: Steering Mode 1
[  203.215173] mlx4_en: eth0: Steering Mode 1
[  203.224992] mlx4_en: eth0: Link Down
[  203.500934] mlx4_en: eth1: Steering Mode 1
[  203.537672] mlx4_en: eth1: Steering Mode 1
[  203.547344] mlx4_en: eth1: Link Down
[  203.578841] mlx4_en: eth1: Link Up
[  205.468115] mlx4_en: eth0: Link Up

 

 

Ich möchte gerne, dass

 

Port1 = eth0 (10 GB Switch)

und

Port2= eth1 (40 GB Direct Attached)

 

 

 

 

Dann sieht es seltsam aus aber vielleicht soll es auch so sein keine Ahnung?

 

Ich hätte jetzt erwartet, dass eth1 am Ende der MAC ein :72 stehen hat für den zweiten Port.

 

 

Wenn ich den Bond auflöse, dann läuft gar nichts mehr zusammen. Kann mich bitte jemand dabei unterstützen, die Ziel Konfiguration herszustellen?

 

Ich werde erste heute Abend wieder da sein.

 

Danke

 

 

 

[mgutt]

Lösch mal beide network Dateien aus /boot/config. Dann neu starten und sie werden neu erstellt. Dann ist dein Server per DHCP erreichbar und du kannst noch mal sauber bei Null anfangen. Wenn man Netzwerkgeräte entfernt und die Dateien noch da sind, könnten da mehr drin stehen als man wirklich hat.

 

 

[JPB]

Das man die network.cfg löschen soll hatte ich in einem anderen Thread gesehen und ausgeführt --> aber welches ist denn die zweite Datei?

 

 

 

 

[MAM59]

Also "Active Backup" ist wirklich nicht das, was Du willst. Schalte das Bonding aus, damit die Karten einzeln verwendbar werden.

Du hast im Momente beide Karten zu einer gebündelt, deshalb gibts auch nur eine  Mac Adresse

Edited January 24, 2023 by MAM59

[mgutt]

network-rules.cfg. Würde mich wundern, wenn die bei mehreren Netzwerkbuchsen fehlt.

[JPB]

Die network-rules.cfg hatte ich tatsächlich nicht.

 

Immer wenn ich  das Bonding entfernt und danach beide Interfaces konfiguriert habe. Ging gar nichts mehr. Nun habe ich folgendes versucht

 

1 ) network.cfg gelöscht

2 ) Rechner runtergefahren

3) 40 GB uplink entfernt / hochgefahren

4) Bonding entfernt und statische IP auf eth0 10GB Uplink gesetzt

5) Jetzt schaut der Routing Table auch nicht mehr so wild aus.

 

 

6) Neustart

7) eth1 40 GB konfiguriert

 

 

 

Und siehe da es läuft wieder.

Mehr bekommt meine alte NVME nicht gewuppt.

 

 

 

 

Das alles hatte ich vorher auch so gemacht außer, dass ich das 40GB Kabel nicht entfernt hatte. Bin mir nicht sicher, ob es wirklich daran lag. Danke für die Unterstützung und vielleicht hilft es jemand anderes irgenwann mal weiter.