March 31, 20215 yr Hallo Zusammen, hat Jemand schon mal die Mellanox Firmware Tools benutzt und die Firmware einer Mellanox Connect-X Karte aktualisiert ? Das Plugin und die nötigen Kernel-Modifikationen habe ich bereits durchgeführt, aber ich hab leider keine Anleitung gefunden wie man den Flash-Vorgang explizit über Unraid durchführt Viele Grüße Edited March 31, 20215 yr by h0schi
March 31, 20215 yr Welche Karte hast du genau bzw was willst du flashen. Ich hab meine ConnectX2 und 3 damit geflasht und das BIOS entfernt. Vergiss bitte nicht das Plugin basiert auf den Open Source Treibern und die Kommandos sind bei denen ein wenig anders das sind alle verfügbaren: mstconfig mstfwtrace mstmwrite mstresourceparse mstcongestion mstmcra mstprivhost mstvpd mstflint mstmread mstregdump mstfwreset mstmtserver mstresourcedump EDIT: Was meinst du mit nötigen Kernel-Modifikationen?
March 31, 20215 yr Hab mal kurz was zusammengeschrieben: Lad dir die entsprechende Firmware für deine Karte runter für eine ConnectX2 zB von: https://www.mellanox.com/support/firmware/connectx2en Entpacke sie zB nach "/tmp/mellanox" am Server Gehe in den Ordner in den du Firmware entpackt hast Gib "/sbin/lspci -d 15b3:" ein und du solltest sowas in die richtung als Ausgabe erhalten: 07:00.0 Ethernet controller: Mellanox Technologies MT26448 [ConnectX EN 10GigE, PCIe 2.0 5GT/s] (rev b0) Gib "mstflint -d 07:00.0 -i firmware.bin burn" (ersetze hier "07:00.0" mit der Geräte ID deiner Karte von Schritt 4 ein und ersetze "firmware.bin" mit dem Dateinamen der Firmware) Danach sollte der Flash-/burnvorgang der Firmware starten Wenn du mehr Infos benötigst markier mich einfach.
March 31, 20215 yr Author Hi @ich777, danke für die ausführliche Anleitung. Ich benutz eine Mellanox Connect-X 3 (CX312A). Mit Kernel-Modifikationen mein ich deinen Kernel-Helper Ich versuch mich mal an deiner Anleitung und geb dir eine Rückmeldung Edited March 31, 20215 yr by h0schi
March 31, 20215 yr 3 minutes ago, h0schi said: Mit Kernel-Modifikationen mein ich deinen Kernel-Helper Das brauchst du nicht mehr wenn du auf 6.9.0 oder höher bist. Seitdem es möglich ist fast alles mittels Plugins zu installieren ist der Kerne-Helper eigentlich nur mehr für diejenigen die ein AiO-Image mit den sachen integriert wollen die benötigt werden oder wenn man zB sachen wie den gnif/vendor-reset patch für die AMD Karten integrieren will. Sprich es würde genügen wenn du das standard Unraid image installierst und danach einfach das Plugin installierst... 5 minutes ago, h0schi said: Ich versuch mich mal an deiner Anleitung und geb dir eine Rückmeldung Vergiss aber nicht das diese Anleitung für einen ConnectX2 ist. Für die ConnectX3 findest die Firmware hier: Klick Überleg dir auch ob du nicht das BIOS der Karte nach dem Flashvorgang entfernen willst denn dadurch sparst du ein bisschen Zeit beim Booten.
March 31, 20215 yr Author Ach ok, gut zu wissen Scheinbar ist die Karte IBM gebrandet. Die PSID lautet: IBM1080110023 Ich schau mal ob ich nicht die Original Mellanox Firmware flashen kann. Hast du das zufällig schon mal gemacht ?
March 31, 20215 yr 12 minutes ago, h0schi said: Ich schau mal ob ich nicht die Original Mellanox Firmware flashen kann. Hast du das zufällig schon mal gemacht ? Wie meinst du das eine Karte umgeflasht? Nein, hab nur normale Mellanox Karten, hab einfach immer geflasht, aber sollte kein Problem sein. Ich schätze mal das ist ca. so wie bei den Dell H310 HBA's die kann man auch mit der normalen LSI Firmware flashen. EDIT: Deine PSID sollte dann praktisch: MT_1080120023 sein oder?
March 31, 20215 yr Author Meine Karte war / ist IBM gebrandet Die original FW von Mellanox ließ sich nicht aufspielen. Hab das Ganze jetzt mit einem Crossflash gelöst, so dass ich die aktuellste Mellanox-FW aufspielen konnte und nicht auf die ältere IBM-FW greifen musste: root@Filer:/tmp/mellanox# mstflint -d 01:00.0 query full > flint_query.txt root@Filer:/tmp/mellanox# mstflint -d 01:00.0 hw query > flint_hwinfo.txt root@Filer:/tmp/mellanox# mstflint -d 01:00.0 ri orig_firmware.bin root@Filer:/tmp/mellanox# mstflint -d 01:00.0 dc orig_firmware.ini root@Filer:/tmp/mellanox# mstflint -d 01:00.0 rrom orig_rom.bin root@Filer:/tmp/mellanox# mstvpd -m 01:00.0 > orig_vpd.txt root@Filer:/tmp/mellanox# mstflint -d 01:00.0 -i fw_2.bin -allow_psid_change burn Current FW version on flash: 2.35.5100 New FW version: 2.42.5000 You are about to replace current PSID on flash - "IBM1080110023" with a different PSID - "MT_1080120023". Note: It is highly recommended not to change the PSID. Do you want to continue ? (y/n) [n] : y Burning FS2 FW image without signatures - OK Restoring signature - OK Resultat: Edited March 31, 20215 yr by h0schi
March 31, 20215 yr 10 minutes ago, h0schi said: Die original FW von Mellanox ließ sich nicht aufspielen. Aber wenn du mit dem parameter "-allow_psid_change" hat es funktioniert oder? Überleg dir auch ob du das BIOS der Karte entfernst wenn du den Netzwerkboot nicht brauchst usw, sieht dann so aus: Sollte bei dir mit diesem Befehl funktionieren: mstflint -d 01:00.0 --allow_rom_change drom
March 31, 20215 yr Author Genau, @ich777 - mit dem Befehl ließ sich dann die Original FW flashen und die PSID hat sich von "IBM1080110023" in "MT_1080120023" geändert. Die kommenden Updates sind somit auch auf dem ganz normalen Weg flashbar Dank dir - mach ich bzw. deaktivier ich
April 1, 20215 yr 17 hours ago, h0schi said: Die kommenden Updates sind somit auch auf dem ganz normalen Weg flashbar Kannst du bitte mal bei Gelegenheit das Mellanox Firmware Tools Plugin updaten, hoffe das erleichtert das flashen nächstes mal.
November 5, 20232 yr Ich kann meine leider nicht flashen - keine Ahnung warum. Habe folgendes Gerät - mit dem Befehl "/sbin/lspci -d 15b3:": 03:00.0 Ethernet controller: Mellanox Technologies MT26448 [ConnectX EN 10GigE, PCIe 2.0 5GT/s] (rev b0) Diese Firmware geladen (gepostet inkl. der Rechte): -rw-rw-rw- 1 root root 766908 May 7 2012 fw-ConnectX2-rel-2_9_1200-MNPH29D_A2-A5-FlexBoot-3.3.400.bin Wenn ich den Befehl "mstflint -d 03:00.0 -i *.bin burn" ohne der " Zeichen dann erhalte ich eine Fehlermeldung: -E- Cannot open Device: 03:00.0. Operation not supported. MFE_CR_ERROR Selbiges auch wenn ich anstatt *.bin den Namen der FW angebe: mstflint -d 03:00.0 -i fw-ConnectX2-rel-2_9_1200-MNPH29D_A2-A5-FlexBoot-3.3.400.bin burn Kann mir hier vielleicht jemand eine Hilfe sein und mir sagen, was ich machen muss? Diese Karte wird auch aktuell verwendet:
November 6, 20232 yr @Fabian Hammer terminal aufmachen mkdir -p /tmp/mellanox && cd /tmp/mellanox <---- reinkopieren und enter wget firmwarelink <----- findest du auf der nvidia seite <----- HIER MACHST DU WAS FALSCH deine Mellanox hat einen Namen zb CX312B MCX312B-XCCT welche hast du genau?? !!!!! Ich denke eine von denen hier https://network.nvidia.com/support/firmware/connectxen/ aber welche genau? wget firmwarelink <--------- die kopierte adresse vom link nach wget enter unzip *.zip && rm -rf *.zip <----- reinkopieren und enter mstflint -d 03:00.0 -i *.bin burn <--- in deinem fall reinkopieren und enter Edited November 6, 20232 yr by domrockt
November 6, 20232 yr 2 hours ago, domrockt said: @Fabian Hammer terminal aufmachen mkdir -p /tmp/mellanox && cd /tmp/mellanox <---- reinkopieren und enter wget firmwarelink <----- findest du auf der nvidia seite <----- HIER MACHST DU WAS FALSCH deine Mellanox hat einen Namen zb CX312B MCX312B-XCCT welche hast du genau?? !!!!! Ich denke eine von denen hier https://network.nvidia.com/support/firmware/connectxen/ aber welche genau? wget firmwarelink <--------- die kopierte adresse vom link nach wget enter unzip *.zip && rm -rf *.zip <----- reinkopieren und enter mstflint -d 03:00.0 -i *.bin burn <--- in deinem fall reinkopieren und enter Von der Bezeichnung her ist meine Karte folgende: MNPH29D-XTR Ich werde es die Tage gerne nochmals nach deiner Anleitung versuchen. Hoffentlich finde ich dann die passende Firmware - runtergeladen hatte ich diese aber von der NVIDIA Seite. Wget und Unzip nach erstellen des Ordners hatte ich zuvor auch so gemacht.
November 6, 20232 yr @Fabian Hammer terminal aufmachen 1) mkdir -p /tmp/mellanox && cd /tmp/mellanox <---- reinkopieren und enter 2) wget http://www.mellanox.com/downloads/firmware/fw-ConnectX2-rel-2_9_1200-MNPH29D_A2-A5-FlexBoot-3.3.400.bin.zip <--------- reinkopieren und enter ( Quelle firmware https://network.nvidia.com/support/firmware/connectx2en/ ) 3) unzip *.zip && rm -rf *.zip <---- reinkopieren und enter 4) mstflint -d 03:00.0 -i *.bin burn <--- in deinem fall reinkopieren und enter FERTIG FALLS deine Karte eine DELL/Lenovo oder ähnlich gebrandet ist musst statt Punkt 4) den Punkt 5) machen. 5) mstflint -d 03:00.0 -i *.bin -allow_psid_change burn 6) Reboot nicht vergessen Hab erst am Sonntag meine Firmwares erneuert und das branding entfernt. *edit* den upsi nachgebessert *edit* Edited November 7, 20232 yr by domrockt
November 6, 20232 yr 33 minutes ago, domrockt said: @Fabian Hammer terminal aufmachen 1) mkdir -p /tmp/mellanox && cd /tmp/mellanox <---- reinkopieren und enter 2) wget http://www.mellanox.com/downloads/firmware/fw-ConnectX2-rel-2_9_1200-MNPH29D_A2-A5-FlexBoot-3.3.400.bin.zip <--------- reinkopieren und enter ( Quelle firmware https://network.nvidia.com/support/firmware/connectx2en/ ) 3) mstflint -d 03:00.0 -i *.bin burn <--- in deinem fall reinkopieren und enter FERTIG FALLS deine Karte eine DELL/Lenovo oder ähnlich gebrandet ist musst statt Punkt 3) den Punkt 4) machen. 4) mstflint -d 03:00.0 -i *.bin -allow_psid_change burn 5) Reboot nicht vergessen Hab erst am Sonntag meine Firmwares erneuert und das branding entfernt. Vielen lieben Dank dir. Bombe! Teste ich diese Woche und geb hierzu eine Rückmeldung ob es funktioniert hat.
November 7, 20232 yr 12 hours ago, domrockt said: @Fabian Hammer terminal aufmachen 1) mkdir -p /tmp/mellanox && cd /tmp/mellanox <---- reinkopieren und enter 2) wget http://www.mellanox.com/downloads/firmware/fw-ConnectX2-rel-2_9_1200-MNPH29D_A2-A5-FlexBoot-3.3.400.bin.zip <--------- reinkopieren und enter ( Quelle firmware https://network.nvidia.com/support/firmware/connectx2en/ ) 3) mstflint -d 03:00.0 -i *.bin burn <--- in deinem fall reinkopieren und enter FERTIG FALLS deine Karte eine DELL/Lenovo oder ähnlich gebrandet ist musst statt Punkt 3) den Punkt 4) machen. 4) mstflint -d 03:00.0 -i *.bin -allow_psid_change burn 5) Reboot nicht vergessen Hab erst am Sonntag meine Firmwares erneuert und das branding entfernt. Funktioniert leider noch immer nicht - habe mich genau an die Anleitung gehalten. Ich werde meine ConnectX-2 gegen eine ConnectX-3 austauschen - vielleicht ist diese einfach schon zu "Alt".
November 7, 20232 yr 18 minutes ago, Fabian Hammer said: Funktioniert leider noch immer nicht - habe mich genau an die Anleitung gehalten. Nein hast du nicht, sieh dir mal die Anleitung an die im Plugin dabei ist: (Du kannst keine gezippte Firmware flashen) Interessant wäre auch ob du UEFI oder Legacy boot verwendest, normalerweise solltest du zum flashen selbst mit Legacy booten.
November 7, 20232 yr 1 hour ago, Fabian Hammer said: Funktioniert leider noch immer nicht - habe mich genau an die Anleitung gehalten. hab die vergessene Zeile hinzueditiert, sry 😅 einfach wieder bei Punkt 1) anfangen copy&paste Edited November 7, 20232 yr by domrockt
November 7, 20232 yr DIe zip wurde entpackt und im Verzeichnis liegt die .bin Datei vor. Gebootet habe ich im Legacy Mode. 13 hours ago, domrockt said: @Fabian Hammer terminal aufmachen 1) mkdir -p /tmp/mellanox && cd /tmp/mellanox <---- reinkopieren und enter 2) wget http://www.mellanox.com/downloads/firmware/fw-ConnectX2-rel-2_9_1200-MNPH29D_A2-A5-FlexBoot-3.3.400.bin.zip <--------- reinkopieren und enter ( Quelle firmware https://network.nvidia.com/support/firmware/connectx2en/ ) 3) mstflint -d 03:00.0 -i *.bin burn <--- in deinem fall reinkopieren und enter FERTIG FALLS deine Karte eine DELL/Lenovo oder ähnlich gebrandet ist musst statt Punkt 3) den Punkt 4) machen. 4) mstflint -d 03:00.0 -i *.bin -allow_psid_change burn 5) Reboot nicht vergessen Hab erst am Sonntag meine Firmwares erneuert und das branding entfernt. Vielen lieben Dank dir. Bombe! Teste ich diese Woche und geb hierzu eine Rückmeldung ob es funktioniert hat.
November 8, 20232 yr Mit den ConnectX-3 Karten hat es nun einwandfrei funktioniert. Vielen lieben Dank für eure Unterstützung. Habt ihr vielleicht noch Tipps (auch wenn es vielleicht nicht hier rein gehört aber mehrere Interessieren könnte) wie ich in Unraid die Übertragungsgeschwindigkeit erhöhe? Switch Settings? Mein PC hat sie selbe Karte drin und auch dort die Firmware geflasht. Angebunden sind beide an einem 12Port TrendNet 10G SFP+ Switch (Trendnet TL-2 F7120) mittels DAC Kabel. Aktuell Geschwindigkeit zum übertragen mittels SMB/FTP "nur" 254-300MB/s. Egal ob von HDD oder SSD. Da aktuell für Hardware nun 500€ investiert was nicht gerade aktuell großen Mehrwert bringt🙈. Danke auch hier schon mal.
November 8, 20232 yr 4 hours ago, Fabian Hammer said: Habt ihr vielleicht noch Tipps (auch wenn es vielleicht nicht hier rein gehört aber mehrere Interessieren könnte) wie ich in Unraid die Übertragungsgeschwindigkeit erhöhe? Switch Settings? Wenn dann immer von SSD zu SSD testen ( können beide SSDs überhaubt 1000mb/s) Sind die HDDs im cachepool ? oder im Unraidarray? (eine HDD schafft zwichen 180mb/s und 280mb/s) mtu auf 9000? also im Windows Gerätemanager, im "switch", im Unraid. (alles das beteiligt ist) 10Gig "am" Stück wird nur mit großen Files möglich (Filme) wenn du ein Spiele Ordner überträgst schwankt es sehr stark (kommt auf das übertragende File an) Hier sind guides denen ich gefolgt bin um auch höhere Geschwindigkeiten zu erreichen, der link gehört zum Video. https://digitalspaceport.com/unraid-zfs-pools-configuration-and-benchmarking-unraid-6-12/ Edited November 8, 20232 yr by domrockt
November 8, 20232 yr Ich hatte gelesen dass JumboPakete ein Rellikt aus alten Zeiten ist und das nicht mehr benötigt wird. Übertragen wurde ein Film von etwa 8Gb von SSD auf SSD. SSD's sind im Array Pool ohne Cache Verwendung. Video schau ich mir noch an. Danke @domrockt
November 8, 20232 yr 5 hours ago, domrockt said: Wenn dann immer von SSD zu SSD testen ( können beide SSDs überhaubt 1000mb/s) Sind die HDDs im cachepool ? oder im Unraidarray? (eine HDD schafft zwichen 180mb/s und 280mb/s) mtu auf 9000? also im Windows Gerätemanager, im "switch", im Unraid. (alles das beteiligt ist) 10Gig "am" Stück wird nur mit großen Files möglich (Filme) wenn du ein Spiele Ordner überträgst schwankt es sehr stark (kommt auf das übertragende File an) Hier sind guides denen ich gefolgt bin um auch höhere Geschwindigkeiten zu erreichen, der link gehört zum Video. https://digitalspaceport.com/unraid-zfs-pools-configuration-and-benchmarking-unraid-6-12/ Alles mal wie im Link zu sehen eingestellt - beim Übertragen einer 5GB Datei ist die Geschwindigkeit nicht höher als max. 350Mb/s
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.