Exord

Ich habe das Problem jetzt gelöst. Ich habe die network-rules.cfg gelöscht. Dadurch verschwand nach einem Reboot das ominöse 4. Interface (ursprünglich Eth0), das physisch gar nicht existierte. Konnte dann unter Settings/Network Settings/Interface Rules Eth0 einem mlx4 Port neu zuweisen und einen neuen Bond mit den beiden mlx4 Ports machen. Jetzt funktioniert alles wie es sollte.

Ich glaube, wir reden aneinander vorbei, dass ich Docker & VMs ausschalten muss, um die Netzwerkeinstellungen zu ändern, das ist mir schon klar, das habe ich schon gemacht. Sorry wenn ich mich blöd ausgedrückt habe. Ich betreibe eine Dynamic Link Aggregation (802.3ad) auf zwei 10g mlx4 Ports (eth2 und eth3), daher sind auch zwei DAC Kabel am Unraid Server angeschlossen, die beide mit einem MikroTik Switch verbunden sind, auf dem ebenfalls eine Dynamic Link Aggregation (802.3ad) eingestellt ist. Eth1 benutze ich nicht und Eth0 existiert physisch nicht. Die Konfiguration funktioniert auch wie gesagt eigentlich, nur kann ich bei Docker Network Type wenn ich einen Container hinzufüge nicht Bond3 auswählen. Was der aktuellen Konfiguration entsprechen würde, sondern immer noch Bond0, was der alten Konfiguration mit eth0, eth2 und eth3 entspricht. Mir scheint es als wurde irgendwo etwas nicht übernommen oder aktuallisiert.

Mein Unraid zeigt mir 4 Schnittstellen an eth0 bis eth3. Das war schon immer so. Eth1 bis eth3 sind eigentlich die physischen Ports. Ich hatte bis jetzt einen 802.3ad Bond unter eth0 zwischen eth0, eth2 und eth3 erstellt. Das lief auch eine Weile ohne Probleme. Allerdings ist mir aufgefallen, dass ich alle paar Sekunden größere CPU Peaks hatte, bei denen auch der Stromverbrauch immer um ca. 15 Watt angestiegen ist. Habe dann mal testweise den Bond aufgelöst und nur noch eth3 verwendet. Siehe da die Peaks waren weg. Habe dann unter eth3 wieder einen 802.3ad Bond erstellt aber nur zwischen eth2 und eth3. Auch hier keine CPU Peaks. Als ich die ursprüngliche Konfiguration (eth0, eth2 und eth3) wiederherstellte habe waren die Peaks wieder da. Es scheint also in Verbindung mit eth0 zu stehen. Da ich eigentlich sowieso nur eth2 und eth3 benutze, möchte ich einfach einen Bond 802.3ad Bond mit eth2 und eth3 erstellen. Das funktioniert auch mit einer Ausnahme. Ich hatte in meinem IoBrocker und deCONZ Docker Container ursprünglich bei Network Tye Custom: Bond0 eingestellt. Als ich dies nun auf Bond3 ändern wollte, habe ich festgestellt, dass ich immer noch nur Custom: Bond0 auswählen kann und nicht Custom: Bond3. Hat jemand eine Idee, wie ich dieses Problem beheben kann?

Unfortunately, the problem still exists. I have now in desperation again changed something in hardware, since the dealer has taken back a few things. I have now a 2 x 10g port MellanoxX3 with current drivers flashed in the Unraid server. These are now connected to a MikroTik CRS305-1G-4S+in via 802.3ad aggregation. Aggregation is enabled in Unraid and in the Mikrotik. The aggregation compared to the single port added 30 MiB to the transfer.This gave me an extra 30 MiB on the transfer. In the desktop is now a 10g Aquantia NIC. For further ideas I would be super grateful.

Does nobody have any more ideas?🙁

The only Windows PC in the house is unfortunately not mine. Therefore I don't always have access to it. But if Linux is enough for you then I have made a couple of screenshots during a transfer. On the screenshots you can also see the statistics of the Dynamix System Statistics Plugin during the copy. The diagnostic file was created directly after the transfer. gundula-diagnostics-20230602-1026.zip

Just switched to 6.12.0-rc6. The CPU usage now goes much higher during the transfer. Previously the load was around 10% during a transfer. Now it goes partially up to 23%, data transfer is now at around 1.1 Gbps

The problem probably has nothing to do with the network card. Also with the Mellanox no change... Attached is another diagnostic file with the Mellanox card. Does anyone have any ideas? gundula-diagnostics-20230601-1644.zip

OK, I will try after work. I think the old post I wrote at the time does not meet the current problem. Therefore, I wanted to start here with a new post. I can of course be wrong. At least the problem that the performance from SSD to SSD was bad, could be solved at that time. Today I don't even get to the ~300MB/s anymore. No matter whether with NFS, SMB or SFTP. At that time the SMB connection was bad, today all connections are bad. It also doesn't matter if I write to the SSDs or HDDs. Edit: In order to exclude compatibility problems with the card I have ordered a Mellanox X-3 card. Thanks to Amazon Prime, it should arrive tomorrow.

I'm slowly despairing over Unraid and my poor network speed. 🙁 Hardware: ASRock X570M Pro4, AMD Ryzen 5 PRO 4650G with Radeon IGPU 4x Kingston 9965745-026.A00G, 16 GiB DDR4 @ 3200 MT/s 2x Seagate Exos X16 12 TB 1x Seagate Exos X18 16 TB (Parity) 2x Samsung SSD 970 EVO Plus 2TB (organized separately as cache) 1x 10GbE PCIE Intel X520-DA1-82599EN I've always had a poor SMB transfer with my hardware in combination with Unraid. Although I received many advice and support in the forum, in the German subforum, for which I'm very grateful, I gave up on the SMB issue since I could achieve speeds of 950 MiB/s through SFTP. Unfortunately, even that deteriorated over time for reasons unknown. Initially, I thought it was related to the switch to RC6, as I could only reach 60 MiB/s with SFTP, 20 MiB/s with SMB and 40 MiB/s with NFS after update. However, this seems to be only partially correct, as I have now reverted back to 6.11.5 and with NFS, I only achieve about 100 MiB/s. Interestingly, this problem only occurs in connection with this specific hardware and Unraid. I have now installed Endeavouros, Ubuntu Server, Opensuse Tumbleweed, Fedora Workstation, Fedora Server, and Rocky Linux on the hardware. Depending on the operating system, there were only slight deviations, but all delivered the network performance expected from a 10G NIC. I have now turned the forum upside down and have tried various things. Unfortunately, none of them resulted in even the slightest change. I have also wiped the USB stick several times to restart completely fresh. I even swapped out the cache SSDs and tried the NIC in all available slots. I experimented with various BIOS settings and changed the MTU from 9000 to 1500 and back. It's not an issue with the client either. I tried two Linux clients with 10G NICs, and they achieved nearly identical results. I also tested a Windows 11 client with 2.5G and another Linux client with the same speed result. Interestingly, these clients reached the same speed as the 10G clients. When I let the clients communicate with each other, the transfer rate is as it should be. The issue is also not with the switch either since a direct connection between the client and Unraid server achieves the same speed of only 100 MiB/s. Even the connection from the Unraid server through the router doesn't make any difference. The other clients communicate with each other without any problems over the same infrastructure. I have also tried rearranging the ports in all possible configurations. It's not a cable issue either, as I have already tried several cables and even switched from DAC to AOC. The NIC itself in the Unraid server is also not the problem, as it works perfectly fine in my desktop PC. I tried adjusting the sysctl in various ways, but none of the changes made any difference. Could it be possible that there is a driver issue? As far as I know, Unraid uses Kernel 5.19, while the other operating systems I have tested, if I remember correctly, use version 6.X. gundula-diagnostics-20230530-2340.zip

Good that you write it that way, I had already forgotten, I went from rc4 to rc6. So it could also be due to rc5. I should have tested rc5 properly first... My SMB speed was actually always bad despite 10g NIC. However, SFTP was actually stable at around 950 mbit. Nevertheless I rerolled to rc5. Problem exists also here. Also NFS hardly comes over 40 MiB/s. The client seems to transfer to other devices as expected from a 10g NIC.

after the update to RC6 my sftp transfer speed of about 950 MiB/s drops to 60 MiB/s. SMB does not get above 20 MiB/s. No settings have been changed. Log shows nothing out of the ordinary.

Is it possible to post-install the smbclient? I get the message "smbclient is not installed. Adding "SMB/CIFS", "SMB/CIFS with OC login is not possible". I tried to install smb via the container console with apt-get install smbclient but unfortunately it didn't work.

Ursprünglich bestand mein Problem darin, dass ich nach dem Upgrade auf 10g nur 300 MB/s über SMB erreichen konnte. Später habe ich jedoch Folgendes getestet. Zunächst habe ich kein SSD-Raid, sondern zwei separat organisierte NVME-SSDs. Zum Testen habe ich ein 40Gb MKV von einer NVME direkt auf die andere NVME kopiert. Wenn ich nun versuche, von einer SSD auf die andere zu kopieren, erhalte ich eine maximale Geschwindigkeit von 900 MB/s. Das erscheint mir etwas gering zu sein, da die SSDs mit 3500 MB/s spezifiziert sind und ich dies mit der gleichen Hardware unter einem anderen Betriebssystem mehr oder weniger erreichen kann (getestet unter EndeavourOS). In der Zwischenzeit hatte ich die SSDs auch in einen Win-PC eingebaut. CrystalDiskMark kam auch hier mit SEQ1MQ8T1 um die 3300 MB/s. Später fand ich heraus, dass ich über FTP mehr oder weniger die gleichen Geschwindigkeiten habe, wie wenn ich direkt von NVME zu NVME kopiere. Da 900 MB/s nicht einmal in die Nähe von 3500 MB/s kommen, denke ich, dass es schon hier ein Problem gibt. Vielleicht sind die SSD-Leistung und die SMB-Leistung auch zwei verschiedene Probleme. Was habe ich bisher versucht: Ich habe die SMB-Einstellungen geändert und verschiedene Kombinationen ausprobiert. Die aktuelle Konfiguration ist beigefügt. Ich habe alle FS ausprobiert. Ich habe die Bios-Einstellungen überprüft, die hier erwähnt wurden, von aggressiven Energieeinstellungen bis hin zum Energiesparen. Habe Datenträger-Freigaben aktiviert. Direct I/O aktiviert Ich habe verschiedene Einstellungen in Tips und Tweaks ausprobiert. Es gab auch kleine Verbesserungen mit der aktuellen Einstellung. Ich habe die Firmware der SSDs überprüft, aber sie war auf dem neuesten Stand. Verschiedene Datenträger Einstellungen getestet, aktuelle Konfiguration angehängt. Ich habe die SSDs zum Testen in das Array verschoben, was zu einer Verlangsamung der Schreigeschwindigkeit von NVME zu NVME führte. Ich habe jetzt NVME 4 SSDs im System getestet, derzeit habe ich 2 x 2tb Samsung 970 Evo Plus im System. Ursprünglich war es eine 250 gb und eine 2tb Samsung 970 Evo Plus. Auch die getestete WD NVME erreicht genau die gleiche Geschwindigkeit wie die Samsungs. Daten habe ich über SMB und FTP über 2 verschiedene Clients getestet. Verbindung über Iperf geprüft. Einen neuen Unraid USB Stick erstellt. Egal welche Kombination ich in den oben genannten Punkten ausprobiert habe, die einzige marginale Änderung konnte durch die Einstellung in Tips und Tweaks erreicht werden.

Tatsächlich habe ich die Topics schon vor ein paar Tagen gefunde. Leider war das nicht die Lösung meines Problems. Im Unterschied zu den Beiträgen kommen meine SSDs ja auch nicht aus dem Quark, wenn ich direkt von SSD zu SSD kopiere hier sollte doch SMB keine Rolle spielen, oder?