Mellanox Firmware Tools


h0schi

Recommended Posts

Hallo Zusammen,

 

hat Jemand schon mal die Mellanox Firmware Tools benutzt und die Firmware einer Mellanox Connect-X Karte aktualisiert ?

 

1603531815_2021-03-3113_43_12-Window.thumb.png.839ef4e5964c7ca7d478e87e93e0d0f0.png

 

Das Plugin und die nötigen Kernel-Modifikationen habe ich bereits durchgeführt, aber ich hab leider keine Anleitung gefunden wie man den Flash-Vorgang explizit über Unraid durchführt :(

 

Viele Grüße

Edited by h0schi
Link to comment

Welche Karte hast du genau bzw was willst du flashen.

 

Ich hab meine ConnectX2 und 3 damit geflasht und das BIOS entfernt.

 

Vergiss bitte nicht das Plugin basiert auf den Open Source Treibern und die Kommandos sind bei denen ein wenig anders das sind alle verfügbaren:

 

mstconfig         mstfwtrace        mstmwrite         mstresourceparse
mstcongestion     mstmcra           mstprivhost       mstvpd
mstflint          mstmread          mstregdump        
mstfwreset        mstmtserver       mstresourcedump

 

EDIT: Was meinst du mit nötigen Kernel-Modifikationen?

  • Like 1
Link to comment

Hab mal kurz was zusammengeschrieben:

  1. Lad dir die entsprechende Firmware für deine Karte runter für eine ConnectX2 zB von: https://www.mellanox.com/support/firmware/connectx2en
  2. Entpacke sie zB nach "/tmp/mellanox" am Server
  3. Gehe in den Ordner in den du Firmware entpackt hast
  4. Gib "/sbin/lspci -d 15b3:" ein und du solltest sowas in die richtung als Ausgabe erhalten:
    07:00.0 Ethernet controller: Mellanox Technologies MT26448 [ConnectX EN 10GigE, PCIe 2.0 5GT/s] (rev b0)

     

  5. Gib "mstflint -d 07:00.0 -i firmware.bin burn" (ersetze hier "07:00.0" mit der Geräte ID deiner Karte von Schritt 4 ein und ersetze "firmware.bin" mit dem Dateinamen der Firmware)

  6. Danach sollte der Flash-/burnvorgang der Firmware starten

 

Wenn du mehr Infos benötigst markier mich einfach.

  • Like 2
Link to comment
3 minutes ago, h0schi said:

Mit Kernel-Modifikationen mein ich deinen Kernel-Helper ;)

Das brauchst du nicht mehr wenn du auf 6.9.0 oder höher bist. ;)

 

Seitdem es möglich ist fast alles mittels Plugins zu installieren ist der Kerne-Helper eigentlich nur mehr für diejenigen die ein AiO-Image mit den sachen integriert wollen die benötigt werden oder wenn man zB sachen wie den gnif/vendor-reset patch für die AMD Karten integrieren will.

 

Sprich es würde genügen wenn du das standard Unraid image installierst und danach einfach das Plugin installierst... :)

 

5 minutes ago, h0schi said:

Ich versuch mich mal an deiner Anleitung und geb dir eine Rückmeldung :)

Vergiss aber nicht das diese Anleitung für einen ConnectX2 ist.

 

Für die ConnectX3 findest die Firmware hier: Klick

Überleg dir auch ob du nicht das BIOS der Karte nach dem Flashvorgang entfernen willst denn dadurch sparst du ein bisschen Zeit beim Booten.

Link to comment
12 minutes ago, h0schi said:

Ich schau mal ob ich nicht die Original Mellanox Firmware flashen kann.

Hast du das zufällig schon mal gemacht ?

Wie meinst du das eine Karte umgeflasht?

Nein, hab nur normale Mellanox Karten, hab einfach immer geflasht, aber sollte kein Problem sein.

 

Ich schätze mal das ist ca. so wie bei den Dell H310 HBA's die kann man auch mit der normalen LSI Firmware flashen.

 

EDIT: Deine PSID sollte dann praktisch: MT_1080120023 sein oder?

Link to comment

Meine Karte war / ist IBM gebrandet :)

Die original FW von Mellanox ließ sich nicht aufspielen.

 

Hab das Ganze jetzt mit einem Crossflash gelöst, so dass ich die aktuellste Mellanox-FW aufspielen konnte und nicht auf die ältere IBM-FW greifen musste:

 

root@Filer:/tmp/mellanox# mstflint -d 01:00.0 query full > flint_query.txt
root@Filer:/tmp/mellanox# mstflint -d 01:00.0 hw query > flint_hwinfo.txt
root@Filer:/tmp/mellanox# mstflint -d 01:00.0 ri orig_firmware.bin
root@Filer:/tmp/mellanox# mstflint -d 01:00.0 dc orig_firmware.ini
root@Filer:/tmp/mellanox# mstflint -d 01:00.0 rrom orig_rom.bin
root@Filer:/tmp/mellanox# mstvpd -m 01:00.0 > orig_vpd.txt
root@Filer:/tmp/mellanox# mstflint -d 01:00.0 -i fw_2.bin -allow_psid_change burn
    Current FW version on flash:  2.35.5100
    New FW version:               2.42.5000


    You are about to replace current PSID on flash - "IBM1080110023" with a different PSID - "MT_1080120023".
    Note: It is highly recommended not to change the PSID.

 Do you want to continue ? (y/n) [n] : y
Burning FS2 FW image without signatures - OK  
Restoring signature                     - OK

 

 

Resultat:

 

 

2021-03-31 13_43_12-Window.png

Edited by h0schi
  • Like 1
Link to comment
10 minutes ago, h0schi said:

Die original FW von Mellanox ließ sich nicht aufspielen.

Aber wenn du mit dem parameter "-allow_psid_change" hat es funktioniert oder?

 

Überleg dir auch ob du das BIOS der Karte entfernst wenn du den Netzwerkboot nicht brauchst usw, sieht dann so aus:

Bildschirmfoto_2021-03-31_15-21-50.png.1e607ca19334a08dda3847de4ccd2968.png

 

Sollte bei dir mit diesem Befehl funktionieren:

mstflint -d 01:00.0 --allow_rom_change drom

 

  • Like 1
Link to comment
  • 2 years later...

Ich kann meine leider nicht flashen - keine Ahnung warum.

Habe folgendes Gerät - mit dem Befehl "/sbin/lspci -d 15b3:":
03:00.0 Ethernet controller: Mellanox Technologies MT26448 [ConnectX EN 10GigE, PCIe 2.0 5GT/s] (rev b0)

Diese Firmware geladen (gepostet inkl. der Rechte):
-rw-rw-rw- 1 root root 766908 May  7  2012 fw-ConnectX2-rel-2_9_1200-MNPH29D_A2-A5-FlexBoot-3.3.400.bin

Wenn ich den Befehl "mstflint -d 03:00.0 -i *.bin burn" ohne der " Zeichen dann erhalte ich eine Fehlermeldung:
-E- Cannot open Device: 03:00.0. Operation not supported. MFE_CR_ERROR

Selbiges auch wenn ich anstatt *.bin den Namen der FW angebe:
mstflint -d 03:00.0 -i fw-ConnectX2-rel-2_9_1200-MNPH29D_A2-A5-FlexBoot-3.3.400.bin burn

Kann mir hier vielleicht jemand eine Hilfe sein und mir sagen, was ich machen muss?
Diese Karte wird auch aktuell verwendet:image.thumb.png.0933ada2957804034a7963fdbcffcd92.png

Link to comment

@Fabian Hammer

terminal aufmachen

 

mkdir -p /tmp/mellanox && cd /tmp/mellanox  <---- reinkopieren und enter

 

wget firmwarelink <----- findest du auf der nvidia seite <----- HIER MACHST DU WAS FALSCH :D deine Mellanox hat einen Namen zb 

CX312B MCX312B-XCCT welche hast du genau?? !!!!! Ich denke eine von denen hier https://network.nvidia.com/support/firmware/connectxen/  aber welche genau?

1.thumb.png.a9474ddb6b4a2b2367d05956f4e3204e.png

 

2.thumb.png.f80d8c15bf8da7289783e47732ca06d8.png

 

wget firmwarelink <--------- die kopierte adresse vom link nach wget enter 

 

unzip *.zip && rm -rf *.zip  <----- reinkopieren und enter

mstflint -d 03:00.0 -i *.bin burn <--- in deinem fall  reinkopieren und enter

 

 

Edited by domrockt
Link to comment
2 hours ago, domrockt said:

@Fabian Hammer

terminal aufmachen

 

mkdir -p /tmp/mellanox && cd /tmp/mellanox  <---- reinkopieren und enter

 

wget firmwarelink <----- findest du auf der nvidia seite <----- HIER MACHST DU WAS FALSCH :D deine Mellanox hat einen Namen zb 

CX312B MCX312B-XCCT welche hast du genau?? !!!!! Ich denke eine von denen hier https://network.nvidia.com/support/firmware/connectxen/  aber welche genau?

1.thumb.png.a9474ddb6b4a2b2367d05956f4e3204e.png

 

2.thumb.png.f80d8c15bf8da7289783e47732ca06d8.png

 

wget firmwarelink <--------- die kopierte adresse vom link nach wget enter 

 

unzip *.zip && rm -rf *.zip  <----- reinkopieren und enter

mstflint -d 03:00.0 -i *.bin burn <--- in deinem fall  reinkopieren und enter

 

 

 

Von der Bezeichnung her ist meine Karte folgende: MNPH29D-XTR

 

Ich werde es die Tage gerne nochmals nach deiner Anleitung versuchen.

Hoffentlich finde ich dann die passende Firmware - runtergeladen hatte ich diese aber von der NVIDIA Seite.

Wget und Unzip nach erstellen des Ordners hatte ich zuvor auch so gemacht.

Link to comment

@Fabian Hammer

 

terminal aufmachen

 

1) mkdir -p /tmp/mellanox && cd /tmp/mellanox  <---- reinkopieren und enter

 

2) wget http://www.mellanox.com/downloads/firmware/fw-ConnectX2-rel-2_9_1200-MNPH29D_A2-A5-FlexBoot-3.3.400.bin.zip  <--------- reinkopieren und enter ( Quelle firmware https://network.nvidia.com/support/firmware/connectx2en/ ) 

3) unzip *.zip && rm -rf *.zip  <---- reinkopieren und enter

4) mstflint -d 03:00.0 -i *.bin burn <--- in deinem fall  reinkopieren und enter

 

FERTIG

 

FALLS deine Karte eine DELL/Lenovo oder ähnlich gebrandet ist musst statt Punkt 4) den Punkt 5) machen.

 

5) mstflint -d 03:00.0 -i *.bin -allow_psid_change burn

 

 

6) Reboot nicht vergessen

 

 

Hab erst am Sonntag meine Firmwares erneuert und das branding entfernt.

 

*edit* den upsi nachgebessert *edit*

Edited by domrockt
Link to comment
33 minutes ago, domrockt said:

@Fabian Hammer

 

terminal aufmachen

 

1) mkdir -p /tmp/mellanox && cd /tmp/mellanox  <---- reinkopieren und enter

 

2) wget http://www.mellanox.com/downloads/firmware/fw-ConnectX2-rel-2_9_1200-MNPH29D_A2-A5-FlexBoot-3.3.400.bin.zip  <--------- reinkopieren und enter ( Quelle firmware https://network.nvidia.com/support/firmware/connectx2en/ ) 

 

3) mstflint -d 03:00.0 -i *.bin burn <--- in deinem fall  reinkopieren und enter

 

FERTIG

 

FALLS deine Karte eine DELL/Lenovo oder ähnlich gebrandet ist musst statt Punkt 3) den Punkt 4) machen.

 

4) mstflint -d 03:00.0 -i *.bin -allow_psid_change burn

 

 

5) Reboot nicht vergessen

 

 

Hab erst am Sonntag meine Firmwares erneuert und das branding entfernt.

 

 

Vielen lieben Dank dir.

Bombe!

 

Teste ich diese Woche und geb hierzu eine Rückmeldung ob es funktioniert hat.

  • Like 1
Link to comment
12 hours ago, domrockt said:

@Fabian Hammer

 

terminal aufmachen

 

1) mkdir -p /tmp/mellanox && cd /tmp/mellanox  <---- reinkopieren und enter

 

2) wget http://www.mellanox.com/downloads/firmware/fw-ConnectX2-rel-2_9_1200-MNPH29D_A2-A5-FlexBoot-3.3.400.bin.zip  <--------- reinkopieren und enter ( Quelle firmware https://network.nvidia.com/support/firmware/connectx2en/ ) 

 

3) mstflint -d 03:00.0 -i *.bin burn <--- in deinem fall  reinkopieren und enter

 

FERTIG

 

FALLS deine Karte eine DELL/Lenovo oder ähnlich gebrandet ist musst statt Punkt 3) den Punkt 4) machen.

 

4) mstflint -d 03:00.0 -i *.bin -allow_psid_change burn

 

 

5) Reboot nicht vergessen

 

 

Hab erst am Sonntag meine Firmwares erneuert und das branding entfernt.

 

 

Funktioniert leider noch immer nicht - habe mich genau an die Anleitung gehalten.

Ich werde meine ConnectX-2 gegen eine ConnectX-3 austauschen - vielleicht ist diese einfach schon zu "Alt".
image.thumb.png.d81d2222424bfc7b137ed557a4715453.png

Link to comment
18 minutes ago, Fabian Hammer said:

Funktioniert leider noch immer nicht - habe mich genau an die Anleitung gehalten.

Nein hast du nicht, sieh dir mal die Anleitung an die im Plugin dabei ist:

grafik.png.7f691968e08b9d532af6c4bff89c8ef8.png

(Du kannst keine gezippte Firmware flashen)

 

Interessant wäre auch ob du UEFI oder Legacy boot verwendest, normalerweise solltest du zum flashen selbst mit Legacy booten.

Link to comment

DIe zip wurde entpackt und im Verzeichnis liegt die .bin Datei vor.

 

Gebootet habe ich im Legacy Mode.

13 hours ago, domrockt said:

@Fabian Hammer

 

terminal aufmachen

 

1) mkdir -p /tmp/mellanox && cd /tmp/mellanox  <---- reinkopieren und enter

 

2) wget http://www.mellanox.com/downloads/firmware/fw-ConnectX2-rel-2_9_1200-MNPH29D_A2-A5-FlexBoot-3.3.400.bin.zip  <--------- reinkopieren und enter ( Quelle firmware https://network.nvidia.com/support/firmware/connectx2en/ ) 

 

3) mstflint -d 03:00.0 -i *.bin burn <--- in deinem fall  reinkopieren und enter

 

FERTIG

 

FALLS deine Karte eine DELL/Lenovo oder ähnlich gebrandet ist musst statt Punkt 3) den Punkt 4) machen.

 

4) mstflint -d 03:00.0 -i *.bin -allow_psid_change burn

 

 

5) Reboot nicht vergessen

 

 

Hab erst am Sonntag meine Firmwares erneuert und das branding entfernt.

 

 

Vielen lieben Dank dir.

Bombe!

 

Teste ich diese Woche und geb hierzu eine Rückmeldung ob es funktioniert hat.

Link to comment

Mit den ConnectX-3 Karten hat es nun einwandfrei funktioniert.

Vielen lieben Dank für eure Unterstützung.

 

Habt ihr vielleicht noch Tipps (auch wenn es vielleicht nicht hier rein gehört aber mehrere Interessieren könnte) wie ich in Unraid die Übertragungsgeschwindigkeit erhöhe?

Switch Settings?

 

Mein PC hat sie selbe Karte drin und auch dort die Firmware geflasht.

 

Angebunden sind beide an einem 12Port  TrendNet 10G SFP+ Switch (Trendnet TL-2 F7120) mittels DAC Kabel.

 

Aktuell Geschwindigkeit zum übertragen mittels SMB/FTP "nur" 254-300MB/s.

Egal ob von HDD oder SSD.

 

Da aktuell für Hardware nun 500€ investiert was nicht gerade aktuell großen Mehrwert bringt🙈.

 

Danke auch hier schon mal.

Link to comment
4 hours ago, Fabian Hammer said:

Habt ihr vielleicht noch Tipps (auch wenn es vielleicht nicht hier rein gehört aber mehrere Interessieren könnte) wie ich in Unraid die Übertragungsgeschwindigkeit erhöhe?

Switch Settings?

 

Wenn dann immer von SSD zu SSD testen ( können beide SSDs überhaubt 1000mb/s) 

Sind die HDDs im cachepool ? oder im Unraidarray? (eine HDD schafft zwichen 180mb/s und 280mb/s)

mtu auf 9000? also im Windows Gerätemanager, im "switch", im Unraid. (alles das beteiligt ist)

 

10Gig "am" Stück wird nur mit großen Files möglich (Filme) wenn du ein Spiele Ordner überträgst schwankt es sehr stark (kommt auf das übertragende File an)

 

Hier sind guides denen ich gefolgt bin um auch höhere Geschwindigkeiten zu erreichen, der link gehört zum Video.

https://digitalspaceport.com/unraid-zfs-pools-configuration-and-benchmarking-unraid-6-12/

 

 

 

 

Edited by domrockt
Link to comment
5 hours ago, domrockt said:

 

Wenn dann immer von SSD zu SSD testen ( können beide SSDs überhaubt 1000mb/s) 

Sind die HDDs im cachepool ? oder im Unraidarray? (eine HDD schafft zwichen 180mb/s und 280mb/s)

mtu auf 9000? also im Windows Gerätemanager, im "switch", im Unraid. (alles das beteiligt ist)

 

10Gig "am" Stück wird nur mit großen Files möglich (Filme) wenn du ein Spiele Ordner überträgst schwankt es sehr stark (kommt auf das übertragende File an)

 

Hier sind guides denen ich gefolgt bin um auch höhere Geschwindigkeiten zu erreichen, der link gehört zum Video.

https://digitalspaceport.com/unraid-zfs-pools-configuration-and-benchmarking-unraid-6-12/

 

 

 

 

Alles mal wie im Link zu sehen eingestellt - beim Übertragen einer 5GB Datei ist die Geschwindigkeit nicht höher als max. 350Mb/s

Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.