Mellanox Firmware Tools

[Fabian Hammer]

Ich nutze als Betriebssystem im PC nun ZorinOS - was würdest du empfehlen als Copy bzw. Zugriffsprogramm für die Shares des Servers (beste Performance)?

Ich habe gerade Versucht eine Mediendatei mit 11GB Größe zu übertragen auf meinen PC - schwankt dann immer so bei 500 - 560Mb/s

[domrockt]

12 minutes ago, Fabian Hammer said:

Ich nutze als Betriebssystem im PC nun ZorinOS - was würdest du empfehlen als Copy bzw. Zugriffsprogramm für die Shares des Servers (beste Performance)?

Ich habe gerade Versucht eine Mediendatei mit 11GB Größe zu übertragen auf meinen PC - schwankt dann immer so bei 500 - 560Mb/s

 

sind deine Nics gekühlt? die überhitzen schnell und gerne und drosseln.

 

ich hab gerade 32GB mkv von ner samsung 980Pro 7000mb/s ----> 100GBe ----> 3x Kioxia CD6 13000mb/s Übertragung

und Windows macht 1,4Gb/s draus  😂  das ist die gelebte Realität mit Windows 

 

Server A 13700k

Main PC B 13900k

 

 

und hier mehrere Kerne über ISCSI mit crystaldiskmark, du siehst die normale übertragung vs syntethisch mit mehr kernen

Edited November 10, 2023 by domrockt

[Fabian Hammer]

Ja, die sitzen jeweils vor einem großen Noctua Lüfter.

Kann man in Linux vielleicht noch was einstellen, um was zu beschleunigen? 😅

[domrockt]

Just now, Fabian Hammer said:

Linux vielleicht noch was einstellen, um was zu beschleunigen?

Nein, Windows ist der Flaschenhals, bzw es gibt ja keinen "echten" Flaschenhals.

 

Würdest du sagen wir von 3 PC gleichzeitig Dateien auf den Server kopieren würden alle 3 zusammen deine 10Gbit ausreizen. Weil jeder Vorgang eigene CPU Threads bekommt.

[Fabian Hammer]

4 hours ago, domrockt said:

 

sind deine Nics gekühlt? die überhitzen schnell und gerne und drosseln.

 

ich hab gerade 32GB mkv von ner samsung 980Pro 7000mb/s ----> 100GBe ----> 3x Kioxia CD6 13000mb/s Übertragung

und Windows macht 1,4Gb/s draus  😂  das ist die gelebte Realität mit Windows 

 

Server A 13700k

Main PC B 13900k

 

 

und hier mehrere Kerne über ISCSI mit crystaldiskmark, du siehst die normale übertragung vs syntethisch mit mehr kernen

Hast du da für Windows ein Setup was man einrichten bzw. machen soll um diese Werte zu erreichen?

Vielleicht auch noch, welche Treiber und welche Einstellungen du für die Mellanox gesetzt hast?

Wie hast du die Shares eingebunden bzw. welches Programm zum Datentransfer nutzt du?

[DataCollector]

13 hours ago, Fabian Hammer said:

Habe nun noch bei BIOS vom Server auf Default Settings gestellt und den Windows Server Treiber von Mellanox auf meinem Windows 11 PC installiert.

 

Sorry für die späte Reaktion!

Danke, daß Du Dir die Mühe gemacht hast Deine Hardware darzustellen. (Eigentlich ein wirklich gutes Mainboard für unraid, auch wenn es nicht unbedingt stromsparend ist, hat es eine wirklich gute Ausstattung und eine beneidenswerte Basis für Projekte wie unraid. 10 SATA Ports im Chipset sind schon wirklich super.)

 

Hardwaretechnisch sieht mir das alles ganz gut aus.

Du hast geeignete PCIe Slots verwendet, dei alle auf dem Mainboard an der CPU1 direkt angeschlossen sind. (Ich vermute, Du hast auf dem Z10PA-D8 auch eine CPU in Socket 1 installert 😁 )

 

Auch bei dem anderen Mainboard sieht es von der Installation okay aus.

Auch die Darstellungen der Netzwerkkonfiguration in unraid und im Switch sieht für mich plausibel aus.

Ich gehe also nun davon aus, daß es kein hardwarebasiertes Problem ist.

 

Also kommen wir zu den verstellbaren/Softwaremöglichkeiten.

a) Jumboframes würde ich nicht benutzen, weil es dann mit sehr kleinen Datenpaketen Verzögerungen geben kann, aber das muß jeder für seinen eigenen Anwendungszweck selber ausprobieren.

Nur so um es auszutesten würde ich an Deiner Stelle alle Seiten mal auf die Standardframegröße einstellen und ausprobieren ob es damit besser wird.

b) Du zeigst, daß es nach installatiom der Treiber in Windows besser/flotter wird. Das stützt die Vermutung, daß es ein eher softwarebasiertes/Einstellungsproblem ist.

 

Hier in Deinem Beitrag lese ich, daß Du Win11 verwendest.

 

Kennst Du schon die Info von mgutt zu dem Thema Performace SMB?

https://forums.unraid.net/topic/97165-smb-performance-tuning/

 

Vielleicht läßt sich damit ja noch etwas herausholen.

 

Ansonsten muß ich leider sagen, mehr fällt mir dazu nun auch nicht mehr ein.

 

Edited November 10, 2023 by DataCollector

[Amane]

Habe mir eine neue ConnectX-6 Lx (MCX631102AN-ADAT) geholt.
Leider möchte sie nicht laufen:

 

Mellanox Network Card:
Temperature: FATAL - Can't find device id. FATAL - Can't find device id. °C
Info: -E- Cannot open Device: 42:00.0. No such file or directory. MFE_UNSUPPORTED_DEVICE

 

root@Unraid:/# /sbin/lspci -d 15b3:
42:00.0 Ethernet controller: Mellanox Technologies MT2894 Family [ConnectX-6 Lx]
42:00.1 Ethernet controller: Mellanox Technologies MT2894 Family [ConnectX-6 Lx]
root@Unraid:/# mstflint -d 42:00.0 q
FATAL - Can't find device id.
-E- Cannot open Device: 42:00.0. No such file or directory. MFE_UNSUPPORTED_DEVICE

Werden ConectX-6 noch nicht breit unterstützt, oder wird die Karte vom System nicht richtig erkannt?

Irgend eine Idee wie ich vorgehen soll, evtl. eine andere Firmware flashen?