[Guide] Mellanox VPI - Infiniband zu Ethernet

[ViRtualRealitY]

Moin,

hier beschreibe ich wie ich meine Mellanox ConnectX-3 QSFP+ Infiniband Karte geflasht und auf Ethernet Mode Umgestellt habe.

Vorab geflasht habe ich die Karte auf meinem Opteron Test System mit:
2x 16-Core AMD Opteron 6380
4x 8GB DDR3 1600MHz ECC REG RDIMM

ASUS KGPE-D16

Die Mellanox Karte steckte im PCIe Slot 2.

Nach dem ersten Unraid booten war die Karte nicht in den Netztwerk Einstellung zu sehen, was normal ist da Unraid kein Infiniband unterstützt und die Karte noch auf Infiniband gestellt war. Unter Werkzeuge und Systemgeräte war die Karte aber erkannt.

Danach habe ich mir das "Mellanox Firmware Tools" von ich777 runtergeladen und unter Einstellung aufgerufen.

Da es aber eine VPI Karte ist, musste ich speziell im Internet nach den Treibern suchen (CX354A Mellanox ConnectX-3 QDR QSFP+ InfiniBand 10 LP MCX354A-QCBT bei der Karte musste ich genau darauf achten die Treiber für MCX354A-QCBT zu finden).
Gefunden habe ich sie unter http://www.mellanox.com/downloads/firmware/fw-ConnectX3-rel-2_42_5000-MCX354A-QCB_Ax-FlexBoot-3.4.752.bin.zip.

Im Tutorial bei der Position 6 musste ich den anderen Befehl "mstflint -d 04:00.0 -i *.bin -allow_psid_change burn" eingeben.

Nach einem Neustart von Unraid, wurde die Karte immer noch nicht erkannt, da sie sich immer noch im Infiniband Modus befindet.
Bei der karte musste ich den Befehl "mstconfig -d 04:00.0 set LINK_TYPE_P1=2 LINK_TYPE_P2=2" eingeben um beide Ports auf Ethernet zustellen. Bei einer Single Port Karte kann man den "LINK_TYPE_P2=2" weglassen. Die Zahl hinter dem = steht für 1=Infiniband und 2=Ehternet.

Dann nur noch Unraid neu starten und Unraid erkennt die Karte und man kann sie einrichten.
Ich bin noch nicht dazu gekommen die Karte zu testen, wollte ich aber im laufe der Woche mal machen eine zwarte Karte muss ich auch genau so nochmal umstellen.

Vielen Dank nochmal an @ich777 für seine Hilfe!

[Uncle08]

Guude,

 

Danke für die Infos.

Aber  ich bekomme meine nicht zum  laufen. Unter  Windows 10 läuft die top mit  Treibern.

 

Ist eine HP544+ FLR QSFP (764285-B21)  sollte  also eine Mellanox ConnectX-3 PRO QDR QSFP+ sein. Welche genau?   keine Ahnung.

Hättest DU Tips und Ideen  die in Unraid zum laufen zu bekommen ?

 

Hab das mal genau unter feature request beschrieben.

 

Gruß

de uncle

 

 

[ich777]

8 minutes ago, Uncle08 said:

Ist eine HP544+ FLR QSFP (764285-B21)  sollte  also eine Mellanox ConnectX-3 PRO QDR QSFP+ sein. Welche genau?   keine Ahnung.

Hättest DU Tips und Ideen  die in Unraid zum laufen zu bekommen ?

Ich kann dir nicht genau sagen wie das mit Infiniband Karten funktioniert aber ich würde dir empfehlen zuerst die Karte auf eine normale Mellanox Firmware zu bringen, du solltest anhand der Modellnummer im Internet rausfinden welche Mellanox Firmware zu deiner Karte passt.

 

Im Tutorial im Plugin selbst wird auch beschrieben wie du eine Mellanox Firmware auf eine HP Karte bekommst -> PSID Change.