Von Unraid zu Unraid zu Langsam

[ComExperte]

Hallo erstmal,

ich habe nichts hier im Forum gefunden was mir eine Lösung bringen würde, oder kann.

Folgendes ich habe  2 Unraid Server, wenn ich von Server zu Server Kopiere, kopiert er mit guten 110 MBs. Finde denn Wert Gut. Mit der eth0 (1000mbps) Schnittstelle.

Wenn ich aber mit der Schnittstelle eth1 (2500mbps) kopiere komme ich nur auf 50-60 MBs. Hatte vorher 10GB Karten drinnen da genau das Gleiche. Also Hardware Defekt müsste ausgeschlossen sein. PCIe Ports auch schon mal getauscht.

Hier wohl noch ein paar wichtige Punkte, die Server sind direkt verbunden, ohne Switch, Router über den eth1 Schnittstelle.

Wenn ich aber über eth0 kopiere, dann mache ich es über Windows Rechner, also auch Switch. Und über sth1 2500mbps, dann über Krusader.

Kopieren von SSD auf SSD, eben auf Cache.

Wenn ich aber einen andere Rechner(Linux,Mint) an den Server anschließe(eth1), machte er mit den 10GB Karten locker 300-500 Mb, im Schnitt.

Kann es daran liegen, dass ich noch Extra Einstellung an Krusader machen müsste?

Wichtig ist aber für mich das ich mit hoher daten rate von Server zu Server verschieben kann.

Eine Bitte habe ich noch, ich bin nicht so konform mit Unraid (linux), deswegen gibt mir Bitte antworten die auch ein Windows User mit klarkommt.

Danke

 

 

[mgutt]

Wie hast du den Zielserver eingebunden? Einen SMB Share gemountet oder wie?

[ComExperte]

Ja, SMB, das ist richtig.

Also eingebunden ja im dem Sinne wohl nicht, eher mit Kruader verbunden. Aber über SMB, das ist richtig.

Edited November 26, 2021 by ComExperte

[ComExperte]

Aber auch eingebunden für Backup, habe ich jetzt vergessen.

[mgutt]

Führe bitte das auf beiden Servern aus:

egrep 'CPU|eth*' /proc/interrupts

 

Erhältst du als Antwort bei den 10G Karten mehrere CPUs? Muss ungefähr so aussehen:

CPU0       CPU1       CPU2       CPU3       CPU4       CPU5       CPU6       CPU7       CPU8       CPU9       CPU10      CPU11
 128:   29913308          0          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI 524288-edge      eth0
 129:          0   11210660          0          0          0          0          0          0          0          0          0          0  IR-PCI-MSI 524289-edge      eth0
 130:          0          0   13256826          0          0          0          0          0          0          0          0          0  IR-PCI-MSI 524290-edge      eth0
 131:          0          0          0    7000893          0          0          0          0          0          0          0          0  IR-PCI-MSI 524291-edge      eth0
 132:          0          0          0          0   19946721          0          0          0          0          0          0          0  IR-PCI-MSI 524292-edge      eth0
 133:          0          0          0          0          0   15990550          0          0          0          0          0          0  IR-PCI-MSI 524293-edge      eth0
 134:          0          0          0          0          0          0   19140087          0          0          0          0          0  IR-PCI-MSI 524294-edge      eth0
 135:          0          0          0          0          0          0          0   11455140          0          0          0          0  IR-PCI-MSI 524295-edge      eth0
 136:          0          0          0          0          0          0          0          0          6          0          0          0  IR-PCI-MSI 524296-edge      eth0

 

In meinem Fall sind das 12 CPU Threads, daher 12 Interrupts.

 

Wenn das auf beiden Seiten gegeben ist, dann können die 10G Karten RSS (Receive Side Scaling).

 

Dann kannst du dir den Config Editor installieren und über Tools die /boot/config/smb-extra.conf auf dem Stick bearbeiten.

 

Hier fügst du nun folgende Zeilen ein um Multichannel und RSS bei der Karte zu aktivieren:

server multi channel support = yes
interfaces = "<IPvon10GKarte>;capability=RSS,speed=10000000000"
aio read size = 1
aio write size = 1

 

Das natürlich bei beiden Servern. Beispiel:

 

Nun erstmal den SMB Mount trennen, danach auf beiden Seiten das Array stoppen und starten und den Mount wieder verbinden. Nun sollte RSS aktiv sein.

 

Du kannst auch einen vorher/nachher Vergleich machen. Öffne dazu das WebTerminal und führe "htop" aus und starte einen großen Dateitransfer. Ohne RSS siehst du einen smbd Prozess, danach mehrere. Die Last wird nun auf mehrere CPUs verteilt.

 

 

[ComExperte]

Hallo,

so habe mal aus Neugier die 2,5Gb Karten getestet, da kam Folgeendens raus. (siehe Bilder) eth1= 2,5G, und die eth0= 1G.

Werde mal heut Abend die 10G Karte einbauen. 

Nur um was zu lernen, habe ich das jetzt so verstanden die 2,5 Karten sind nicht RSS fähig? Weil nur eine CPU verwendet wird?

 

[mgutt]

34 minutes ago, ComExperte said:

Nur um was zu lernen, habe ich das jetzt so verstanden die 2,5 Karten sind nicht RSS fähig?

Korrekt. Eventuell kann man es nachträglich aktivieren. Dann müsste man mit ethtool probieren. 

 

Ich meine das geht so:

ethtool -K eth1 rxhash on

 

Kann aber sein, dass falls das nicht klappt der Server offline geht und neu gestartet werden muss. Daher stoppe am besten erstmal das Array.

 

Hier gibt es auch noch andere Varianten um das zu aktivieren:

https://suricata.readthedocs.io/en/suricata-6.0.1/performance/high-performance-config.html

[ComExperte]

So, das ist das Ergebnis mit den 10G Karten (Siehe Bild)

 

Nun wollte ich die am Unraid-Server "oberes Bild" die " /boot/config/smb-extra.conf" bearbeiten. Aber der Unraid Server hat diese Datei nicht. Der andere schon.

Meine Frage soll ich einfach die eine mit der andere Kopieren, von Unraid zu Unraid. Aber ich habe gerade überlegt wie ich es am kopiere habe aber keine Ahnung.

Edited November 28, 2021 by ComExperte

[mgutt]

Einfach mit "touch /boot/config/smb-extra.conf" erstellen. Die wird erst durch manche Plugins erstellt zb Recycle Bin.

[ComExperte]

So wollte mal eben eine Info geben.

Der Stand der Dinge ist, ja alle Cpu´s arbeiten, hat auch etwas an Geschwindigkeit zugenommen ( ca.10Mb die Sek.)

Habe auch jetzt mal andere Karten nochmal probiert, 10GB, 8GB, und 2,5GB. Aber alle nur mit ca. 60-70Mb.Sek.

Hatte auch mal ein Update gemacht von Unraid, von 6.10.0-rc1 auf 6.10.0-rc2. Aber leider ohne Erfolg. Habe jetzt wieder auf 6.10.0-rc1 zurückgespielt.  Jetzt habe ich das Problem, dass ich vom Windows Rechner über Arbeitsgruppe nicht mehr auf meine Unraid Server zugreifen kann, nur wenn ich die 10GB Karten ausschalte.

Meine Vermutung ist immer noch das es an Krusader liegt, oder es ist ein Layer 8 Fehler.

Jetzt ist auch bei Krusader die Option sich mit den anderen Unraid Server über Samba zu verbinden verschwunden.

Ich denke, wir kommen so nicht weiter, und hätte volles Verständnis das wir hier absprechen, es sei denn das sie noch eine Idee hätten. Dann wäre ich natürlich gerne bereit es zu probieren, denn es wäre mir eine große Freude würde es mit der10Gb Übertragung klappen.

 

[mgutt]

6 hours ago, ComExperte said:

  Jetzt habe ich das Problem, dass ich vom Windows Rechner über Arbeitsgruppe nicht mehr auf meine Unraid Server zugreifen kann,

Ich verstehe nur Bahnhof. Wie verbindet man sich denn "über Arbeitsgruppe"? Sprichst du von SMB? Also auf die WebGUI kommst du? Dann stimmen deine Interface Einstellungen in der smb-extra nicht. Wenn du allgemein nicht drauf kommst, dann wäre die Frage wie du die Netzwerkkarte zugeordnet hast. Also ist 10G deine eth0 in unRAID und optimalerweise die einzige Netzwerkschnittstelle in unRAID? Hast du evtl mit der MTU herumgespielt?

 

Mit Krusader kann das nichts zu tun haben. Wie auch. Das ist doch nur ein Stück Software innerhalb von unRAID. Oder hat Krusader eine feste IP, die mit was anderem bei dir kollidiert?!