Fabian Hammer

Hast du da für Windows ein Setup was man einrichten bzw. machen soll um diese Werte zu erreichen? Vielleicht auch noch, welche Treiber und welche Einstellungen du für die Mellanox gesetzt hast? Wie hast du die Shares eingebunden bzw. welches Programm zum Datentransfer nutzt du?

Ja, die sitzen jeweils vor einem großen Noctua Lüfter. Kann man in Linux vielleicht noch was einstellen, um was zu beschleunigen? 😅

Ich nutze als Betriebssystem im PC nun ZorinOS - was würdest du empfehlen als Copy bzw. Zugriffsprogramm für die Shares des Servers (beste Performance)? Ich habe gerade Versucht eine Mediendatei mit 11GB Größe zu übertragen auf meinen PC - schwankt dann immer so bei 500 - 560Mb/s

Ist vielleicht noch irgendwo ein Setting im Switch dass ich einstellen muss weil es sonst drosselt?

@domrockt Switch - Ports: Settings des Jumbo-Frames: Unraid Tipps & Tweaks Settings: Das ist das Ergebnis vom PC mit deinem Befehl "iperf3 -c IPvomserver -P8": iperf3 -c 192.168.178.21 -P8 Connecting to host 192.168.178.21, port 5201 [ 5] local 192.168.178.65 port 58674 connected to 192.168.178.21 port 5201 [ 7] local 192.168.178.65 port 58680 connected to 192.168.178.21 port 5201 [ 9] local 192.168.178.65 port 58690 connected to 192.168.178.21 port 5201 [ 11] local 192.168.178.65 port 58704 connected to 192.168.178.21 port 5201 [ 13] local 192.168.178.65 port 58712 connected to 192.168.178.21 port 5201 [ 15] local 192.168.178.65 port 58714 connected to 192.168.178.21 port 5201 [ 17] local 192.168.178.65 port 58716 connected to 192.168.178.21 port 5201 [ 19] local 192.168.178.65 port 58732 connected to 192.168.178.21 port 5201 [ ID] Interval Transfer Bitrate Retr Cwnd [ 5] 0.00-1.00 sec 76.7 MBytes 643 Mbits/sec 0 327 KBytes [ 7] 0.00-1.00 sec 226 MBytes 1.90 Gbits/sec 0 725 KBytes [ 9] 0.00-1.00 sec 76.8 MBytes 644 Mbits/sec 0 379 KBytes [ 11] 0.00-1.00 sec 115 MBytes 966 Mbits/sec 0 468 KBytes [ 13] 0.00-1.00 sec 76.9 MBytes 645 Mbits/sec 0 356 KBytes [ 15] 0.00-1.00 sec 227 MBytes 1.90 Gbits/sec 0 851 KBytes [ 17] 0.00-1.00 sec 225 MBytes 1.89 Gbits/sec 0 844 KBytes [ 19] 0.00-1.00 sec 113 MBytes 952 Mbits/sec 0 488 KBytes [SUM] 0.00-1.00 sec 1.11 GBytes 9.54 Gbits/sec 0 - - - - - - - - - - - - - - - - - - - - - - - - - [ 5] 1.00-2.00 sec 75.2 MBytes 631 Mbits/sec 0 342 KBytes [ 7] 1.00-2.00 sec 225 MBytes 1.89 Gbits/sec 0 803 KBytes [ 9] 1.00-2.00 sec 74.4 MBytes 624 Mbits/sec 0 461 KBytes [ 11] 1.00-2.00 sec 112 MBytes 940 Mbits/sec 0 468 KBytes [ 13] 1.00-2.00 sec 74.3 MBytes 623 Mbits/sec 0 387 KBytes [ 15] 1.00-2.00 sec 224 MBytes 1.88 Gbits/sec 0 998 KBytes [ 17] 1.00-2.00 sec 225 MBytes 1.89 Gbits/sec 0 930 KBytes [ 19] 1.00-2.00 sec 113 MBytes 947 Mbits/sec 0 513 KBytes [SUM] 1.00-2.00 sec 1.10 GBytes 9.42 Gbits/sec 0 - - - - - - - - - - - - - - - - - - - - - - - - - [ 5] 2.00-3.00 sec 74.3 MBytes 623 Mbits/sec 0 397 KBytes [ 7] 2.00-3.00 sec 222 MBytes 1.87 Gbits/sec 0 897 KBytes [ 9] 2.00-3.00 sec 74.0 MBytes 621 Mbits/sec 0 614 KBytes [ 11] 2.00-3.00 sec 115 MBytes 962 Mbits/sec 0 468 KBytes [ 13] 2.00-3.00 sec 75.2 MBytes 631 Mbits/sec 0 437 KBytes [ 15] 2.00-3.00 sec 224 MBytes 1.88 Gbits/sec 0 1.55 MBytes [ 17] 2.00-3.00 sec 222 MBytes 1.87 Gbits/sec 0 930 KBytes [ 19] 2.00-3.00 sec 114 MBytes 956 Mbits/sec 0 513 KBytes [SUM] 2.00-3.00 sec 1.09 GBytes 9.40 Gbits/sec 0 - - - - - - - - - - - - - - - - - - - - - - - - - [ 5] 3.00-4.00 sec 74.8 MBytes 627 Mbits/sec 0 416 KBytes [ 7] 3.00-4.00 sec 225 MBytes 1.89 Gbits/sec 0 1000 KBytes [ 9] 3.00-4.00 sec 74.7 MBytes 627 Mbits/sec 0 919 KBytes [ 11] 3.00-4.00 sec 112 MBytes 943 Mbits/sec 0 468 KBytes [ 13] 3.00-4.00 sec 74.3 MBytes 623 Mbits/sec 0 437 KBytes [ 15] 3.00-4.00 sec 224 MBytes 1.88 Gbits/sec 0 2.46 MBytes [ 17] 3.00-4.00 sec 224 MBytes 1.88 Gbits/sec 0 930 KBytes [ 19] 3.00-4.00 sec 113 MBytes 944 Mbits/sec 0 513 KBytes [SUM] 3.00-4.00 sec 1.09 GBytes 9.41 Gbits/sec 0 - - - - - - - - - - - - - - - - - - - - - - - - - [ 5] 4.00-5.00 sec 75.7 MBytes 635 Mbits/sec 0 440 KBytes [ 7] 4.00-5.00 sec 224 MBytes 1.88 Gbits/sec 0 1000 KBytes [ 9] 4.00-5.00 sec 75.0 MBytes 629 Mbits/sec 0 919 KBytes [ 11] 4.00-5.00 sec 113 MBytes 946 Mbits/sec 0 468 KBytes [ 13] 4.00-5.00 sec 75.6 MBytes 634 Mbits/sec 0 460 KBytes [ 15] 4.00-5.00 sec 224 MBytes 1.88 Gbits/sec 0 2.46 MBytes [ 17] 4.00-5.00 sec 224 MBytes 1.88 Gbits/sec 0 1017 KBytes [ 19] 4.00-5.00 sec 112 MBytes 944 Mbits/sec 0 567 KBytes [SUM] 4.00-5.00 sec 1.10 GBytes 9.42 Gbits/sec 0 - - - - - - - - - - - - - - - - - - - - - - - - - [ 5] 5.00-6.00 sec 74.4 MBytes 624 Mbits/sec 0 440 KBytes [ 7] 5.00-6.00 sec 225 MBytes 1.89 Gbits/sec 0 1000 KBytes [ 9] 5.00-6.00 sec 75.0 MBytes 629 Mbits/sec 0 919 KBytes [ 11] 5.00-6.00 sec 112 MBytes 936 Mbits/sec 0 468 KBytes [ 13] 5.00-6.00 sec 74.8 MBytes 627 Mbits/sec 0 460 KBytes [ 15] 5.00-6.00 sec 224 MBytes 1.88 Gbits/sec 0 2.46 MBytes [ 17] 5.00-6.00 sec 225 MBytes 1.89 Gbits/sec 0 1017 KBytes [ 19] 5.00-6.00 sec 112 MBytes 940 Mbits/sec 0 567 KBytes [SUM] 5.00-6.00 sec 1.10 GBytes 9.41 Gbits/sec 0 - - - - - - - - - - - - - - - - - - - - - - - - - [ 5] 6.00-7.00 sec 74.9 MBytes 628 Mbits/sec 0 440 KBytes [ 7] 6.00-7.00 sec 224 MBytes 1.88 Gbits/sec 0 1000 KBytes [ 9] 6.00-7.00 sec 75.0 MBytes 629 Mbits/sec 0 919 KBytes [ 11] 6.00-7.00 sec 112 MBytes 941 Mbits/sec 0 468 KBytes [ 13] 6.00-7.00 sec 74.6 MBytes 625 Mbits/sec 0 460 KBytes [ 15] 6.00-7.00 sec 225 MBytes 1.89 Gbits/sec 0 2.46 MBytes [ 17] 6.00-7.00 sec 224 MBytes 1.88 Gbits/sec 0 1017 KBytes [ 19] 6.00-7.00 sec 112 MBytes 940 Mbits/sec 0 567 KBytes [SUM] 6.00-7.00 sec 1.09 GBytes 9.40 Gbits/sec 0 - - - - - - - - - - - - - - - - - - - - - - - - - [ 5] 7.00-8.00 sec 74.9 MBytes 629 Mbits/sec 0 440 KBytes [ 7] 7.00-8.00 sec 225 MBytes 1.89 Gbits/sec 0 1000 KBytes [ 9] 7.00-8.00 sec 75.0 MBytes 629 Mbits/sec 0 919 KBytes [ 11] 7.00-8.00 sec 115 MBytes 961 Mbits/sec 0 566 KBytes [ 13] 7.00-8.00 sec 74.8 MBytes 628 Mbits/sec 0 460 KBytes [ 15] 7.00-8.00 sec 224 MBytes 1.88 Gbits/sec 0 2.46 MBytes [ 17] 7.00-8.00 sec 222 MBytes 1.87 Gbits/sec 0 1.51 MBytes [ 19] 7.00-8.00 sec 111 MBytes 932 Mbits/sec 0 847 KBytes [SUM] 7.00-8.00 sec 1.10 GBytes 9.41 Gbits/sec 0 - - - - - - - - - - - - - - - - - - - - - - - - - [ 5] 8.00-9.00 sec 74.9 MBytes 628 Mbits/sec 0 440 KBytes [ 7] 8.00-9.00 sec 224 MBytes 1.88 Gbits/sec 0 1.22 MBytes [ 9] 8.00-9.00 sec 75.0 MBytes 629 Mbits/sec 0 919 KBytes [ 11] 8.00-9.00 sec 112 MBytes 940 Mbits/sec 0 566 KBytes [ 13] 8.00-9.00 sec 74.7 MBytes 627 Mbits/sec 0 488 KBytes [ 15] 8.00-9.00 sec 224 MBytes 1.88 Gbits/sec 0 2.46 MBytes [ 17] 8.00-9.00 sec 224 MBytes 1.88 Gbits/sec 0 1.51 MBytes [ 19] 8.00-9.00 sec 112 MBytes 944 Mbits/sec 0 847 KBytes [SUM] 8.00-9.00 sec 1.09 GBytes 9.40 Gbits/sec 0 - - - - - - - - - - - - - - - - - - - - - - - - - [ 5] 9.00-10.00 sec 73.9 MBytes 620 Mbits/sec 0 440 KBytes [ 7] 9.00-10.00 sec 224 MBytes 1.88 Gbits/sec 0 1.22 MBytes [ 9] 9.00-10.00 sec 73.8 MBytes 619 Mbits/sec 0 919 KBytes [ 11] 9.00-10.00 sec 112 MBytes 937 Mbits/sec 0 566 KBytes [ 13] 9.00-10.00 sec 74.6 MBytes 626 Mbits/sec 0 488 KBytes [ 15] 9.00-10.00 sec 225 MBytes 1.89 Gbits/sec 0 2.46 MBytes [ 17] 9.00-10.00 sec 224 MBytes 1.88 Gbits/sec 0 1.51 MBytes [ 19] 9.00-10.00 sec 112 MBytes 944 Mbits/sec 0 847 KBytes [SUM] 9.00-10.00 sec 1.09 GBytes 9.39 Gbits/sec 0 - - - - - - - - - - - - - - - - - - - - - - - - - [ ID] Interval Transfer Bitrate Retr [ 5] 0.00-10.00 sec 750 MBytes 629 Mbits/sec 0 sender [ 5] 0.00-10.00 sec 748 MBytes 627 Mbits/sec receiver [ 7] 0.00-10.00 sec 2.19 GBytes 1.88 Gbits/sec 0 sender [ 7] 0.00-10.00 sec 2.19 GBytes 1.88 Gbits/sec receiver [ 9] 0.00-10.00 sec 749 MBytes 628 Mbits/sec 0 sender [ 9] 0.00-10.00 sec 746 MBytes 625 Mbits/sec receiver [ 11] 0.00-10.00 sec 1.10 GBytes 947 Mbits/sec 0 sender [ 11] 0.00-10.00 sec 1.10 GBytes 945 Mbits/sec receiver [ 13] 0.00-10.00 sec 750 MBytes 629 Mbits/sec 0 sender [ 13] 0.00-10.00 sec 748 MBytes 627 Mbits/sec receiver [ 15] 0.00-10.00 sec 2.19 GBytes 1.88 Gbits/sec 0 sender [ 15] 0.00-10.00 sec 2.19 GBytes 1.88 Gbits/sec receiver [ 17] 0.00-10.00 sec 2.19 GBytes 1.88 Gbits/sec 0 sender [ 17] 0.00-10.00 sec 2.18 GBytes 1.88 Gbits/sec receiver [ 19] 0.00-10.00 sec 1.10 GBytes 944 Mbits/sec 0 sender [ 19] 0.00-10.00 sec 1.10 GBytes 941 Mbits/sec receiver [SUM] 0.00-10.00 sec 11.0 GBytes 9.42 Gbits/sec 0 sender [SUM] 0.00-10.00 sec 10.9 GBytes 9.40 Gbits/sec receiver iperf Done.

Habe nun nochmals einen Test gemacht. Wenn in iperf3 der PC der Empfänger ist, habe ich die 10Gbit aber wenn der PC sendet, kommen am Server nur noch etwa 500 Mbits an. Bild kommt noch nach.

So sind meine Karten im Server angeschlossen: Hier noch mein Switch (Trendnet TL2-F7120): Mainboard im PC ist ein MSI B450M-A Pro MAX und am PCI-E x16 hängt dort die Mellanox. Das ist die Netzwerkeinstellung in Unraid: Das ist meine Syslinux Config in Unraid: default menu.c32 menu title Lime Technology, Inc. prompt 0 timeout 50 Habe nun noch bei BIOS vom Server auf Default Settings gestellt und den Windows Server Treiber von Mellanox auf meinem Windows 11 PC installiert. Hier von PC zu Server: Und nochmals andersrum:

Verbaut ist folgendes Mainboard: https://www.asus.com/de/commercial-servers-workstations/z10pad8/ Vielleicht hast du zu dem Mainboard noch einen Tip (BIOS) wenn du es kennst. Mit im Vorfeld genannten HBA Controller. Ansonsten keine Steckkarte als die Mellanox verbaut. Ich teste nach dem Parity nochmals und Berichte.

ipferf gab mir nun folgenden Wert aus - Parity Check läuft jedoch noch: Ist das gut oder schlecht?

Die wichtigsten Daten im Pool ist ja das RAID1. Das andere sichere ich mit rsync auf mein ZimaBoard - HDD. ZFS als Pool Dateisystem im RAID1 ist schon ok oder? 😅

Aber die Pool Datenträger werden doch in der Parity eh nicht gesichert oder? HDDs hab ich nur eine - alles andere sind SSDs - was ja nicht mit HDDs ins Array sollen aus Performance Gründen.

Ich würde nun gerne die besten Ratschläge von euch einmal umsetzen. Jedoch habe ich noch eine Frage offen: Ist eine Parity in Unraid denn nun überhaupt notwendig? Habe meine Config nun mal geändert und werde nach dem Parity-Check nochmals testen:

Ok, dass die Parity die Geschwindigkeit vorgibt wusste ich bis Dato nicht. Anbei die Festplatten:

Es sind halt noch andere Festplatten angeschlossen - und Docker Container laufen zudem. Siehe auch noch angehängtes Bild. iperf noch nicht getestet - kann ich aber gerne noch machen 😀

Gelesen wird von einer SSD Samsung 850 EVO mit 2TB und geschrieben auf eine 1TB NVME. Die SSD ist eine Arry Platte und nur für Medien als Lagerstätte. Die NVME im PC ist die Systemfestplatte. Angebunden sind die Festplatten in Unraid mittels HBA Controller Card. Genauer: Broadcom 9207-8i SAS2308 6G SATA SAS HBA PCIe x8 Hoffe, das hilft weiter 😅

Alles mal wie im Link zu sehen eingestellt - beim Übertragen einer 5GB Datei ist die Geschwindigkeit nicht höher als max. 350Mb/s

Ich hatte gelesen dass JumboPakete ein Rellikt aus alten Zeiten ist und das nicht mehr benötigt wird. Übertragen wurde ein Film von etwa 8Gb von SSD auf SSD. SSD's sind im Array Pool ohne Cache Verwendung. Video schau ich mir noch an. Danke @domrockt

Mit den ConnectX-3 Karten hat es nun einwandfrei funktioniert. Vielen lieben Dank für eure Unterstützung. Habt ihr vielleicht noch Tipps (auch wenn es vielleicht nicht hier rein gehört aber mehrere Interessieren könnte) wie ich in Unraid die Übertragungsgeschwindigkeit erhöhe? Switch Settings? Mein PC hat sie selbe Karte drin und auch dort die Firmware geflasht. Angebunden sind beide an einem 12Port TrendNet 10G SFP+ Switch (Trendnet TL-2 F7120) mittels DAC Kabel. Aktuell Geschwindigkeit zum übertragen mittels SMB/FTP "nur" 254-300MB/s. Egal ob von HDD oder SSD. Da aktuell für Hardware nun 500€ investiert was nicht gerade aktuell großen Mehrwert bringt🙈. Danke auch hier schon mal.

DIe zip wurde entpackt und im Verzeichnis liegt die .bin Datei vor. Gebootet habe ich im Legacy Mode. Vielen lieben Dank dir. Bombe! Teste ich diese Woche und geb hierzu eine Rückmeldung ob es funktioniert hat.

Funktioniert leider noch immer nicht - habe mich genau an die Anleitung gehalten. Ich werde meine ConnectX-2 gegen eine ConnectX-3 austauschen - vielleicht ist diese einfach schon zu "Alt".

Vielen lieben Dank dir. Bombe! Teste ich diese Woche und geb hierzu eine Rückmeldung ob es funktioniert hat.

Von der Bezeichnung her ist meine Karte folgende: MNPH29D-XTR Ich werde es die Tage gerne nochmals nach deiner Anleitung versuchen. Hoffentlich finde ich dann die passende Firmware - runtergeladen hatte ich diese aber von der NVIDIA Seite. Wget und Unzip nach erstellen des Ordners hatte ich zuvor auch so gemacht.

Ich kann meine leider nicht flashen - keine Ahnung warum. Habe folgendes Gerät - mit dem Befehl "/sbin/lspci -d 15b3:": 03:00.0 Ethernet controller: Mellanox Technologies MT26448 [ConnectX EN 10GigE, PCIe 2.0 5GT/s] (rev b0) Diese Firmware geladen (gepostet inkl. der Rechte): -rw-rw-rw- 1 root root 766908 May 7 2012 fw-ConnectX2-rel-2_9_1200-MNPH29D_A2-A5-FlexBoot-3.3.400.bin Wenn ich den Befehl "mstflint -d 03:00.0 -i *.bin burn" ohne der " Zeichen dann erhalte ich eine Fehlermeldung: -E- Cannot open Device: 03:00.0. Operation not supported. MFE_CR_ERROR Selbiges auch wenn ich anstatt *.bin den Namen der FW angebe: mstflint -d 03:00.0 -i fw-ConnectX2-rel-2_9_1200-MNPH29D_A2-A5-FlexBoot-3.3.400.bin burn Kann mir hier vielleicht jemand eine Hilfe sein und mir sagen, was ich machen muss? Diese Karte wird auch aktuell verwendet:

Sorry for my post. My case is closed - it was the wrong thread.

Ich bewundere dein Engagement und dein können. Du könntest ja vielleicht einen Workaround hierfür schaffen - damit nicht jeder das Problem behalten muss nur weil der Entwickler keine Lust hat, dies zu beheben? Codezeilen die man irgendwo einfügen muss damit das passt oder hast du die Möglichkeit ein Plugin was dann vernünftig läuft zu erstellen und das zu teilen?