Hi Leute,

ich habe festgestellt, dass wenn ich via ASPM Helper meine 2,5G Realtek NIC auf L1 setzte,

dann habe ich nur noch ca. 300 MBit/s Datenübertragung zum Server.

Wenn ich aber vom Server auf meinen Rechner kopiere, dann hab ich die vollen 2,5GBit/s

Der Docker Netzwerkspeedtest sagt, immerhin 1,5Gbit/s bei aktivierten L1

Wenn ich ASPM aber deaktiviere,

dann habe ich die vollen 2,5GBit/s

beim Speedtest macht es fast keinen Unterschied

Hat einer von euch Unraid/Netzwerk Freaks eine Idee wie ich das lösen kann?

Liebe Grüße

Tim

man kann sich auch totsparen...

35 minutes ago, Timmey85 said:

Hat einer von euch Unraid/Netzwerk Freaks eine Idee wie ich das lösen kann?

Ansatz 1, aspm L1 nicht aktivieren ... was macht es effektiv aus im Verbrauch ?

Ansatz 2, mit den flow control Einstellungen etwas experimentieren, glaube zwar nicht das ... aber probieren kannst du es, Tipps & Tweaks plugin ...

Ansatz 3, andere NIC kaufen und damit testen, meine hier mit dem gleichen Chipsatz (aber als dedizierte Karte und anderes Board) laufen auch mit aspm1 voll ...

kurz, das Thema ist so "fragil" ... schwer da eine Pauschale ... sorry, aber da musst du durch ;)

Der NIC hat Probleme mit dem EEE bei 2,5gbit (welches standardmäßig an ist), wird man auch sehr fündig hier im Forum zu (Im Treiber Thema für den 8125), abschalten und dann gehts auch.

Hatte das auch mal bei nem Board ins Thema geschrieben gehabt, weil der Treiber schlechter ist als der in-Kernel Treiber aus irgendwelchen Gründen.

59 minutes ago, alturismo said:

Ansatz 1, aspm L1 nicht aktivieren ... was macht es effektiv aus im Verbrauch ?

Werde ich später mal prüfen, wenn keine Last ist.

9 minutes ago, Mainfrezzer said:

Im Treiber Thema für den 8125

Ich nutze den Unraid Stock Treiber, kann man das da auch abschalten?

1 hour ago, MAM59 said:

man kann sich auch totsparen...

Stimmt, wenn es nicht anders geht, werde ich damit Leben, aber erst werde ich es veruchen^^

15 minutes ago, Timmey85 said:

Ich nutze den Unraid Stock Treiber, kann man das da auch abschalten?

ich benutze den aspm helper jetzt nicht, deshalb wird das jetzt wahrscheinlich doppelt gemoppelt sein.

Ich hab aber folgendes in der go Datei um aspm zu aktivieren und eee zu deaktivieren.

# disable IEEE 802.3az (Energy Efficient Ethernet):

for i in /sys/class/net/eth?; do dev=$(basename $i); [[ $(echo $(ethtool --show-eee $dev 2> /dev/null) | grep -c "Supported EEE link modes: 1") -eq 1 ]] && ethtool --set-eee $dev eee off; done

sleep 10

# ASPM Realtek

echo 1 | sudo tee -a /sys/bus/pci/devices/0000:03:00.0/link/l1_aspm

die 3:00.0 muss selbstverständlich angepasst werden zu der Nummer am eigenen Board. 3:00.0 ist es bei mir in diesem Fall und so wie es aussieht auf den Screenshots oben, würde es 4:00.0 sein. Und das kann sich auch ändern je nach PCIe Bestückung des Boards


Aber mit dem Helper kann man das eventuell weglassen. Obwohl das wahrscheinlich dazwischen funkten würde.

Ich muss die Befehle in genau der Reihenfolge ausführen weil ich festgestellt hatte, dass wenn man ASPM vor dem EEE deaktivieren angeschaltet hatte, dieser durch den Link Reset wieder rückgängig gemacht wird. Deshalb hab ich auch den sleep Befehl drin, um sicher zu gehen, das Ding ist wieder "wach" ist. Da Plugins vor der go file ausgeführt werden, müsste man da nochmal hinterher rennen.

39 minutes ago, Mainfrezzer said:

die 3:00.0 muss selbstverständlich angepasst werden zu der Nummer am eigenen Board. 3:00.0 ist es bei mir in diesem Fall und so wie es aussieht auf den Screenshots oben, würde es 4:00.0 sein. Und das kann sich auch ändern je nach PCIe Bestückung des Boards

So sieht das bei mir jetzt aus

ce C10 aber mein Speed bleibt bei ca. 35MB/s. Hab ich was falsch eingetragen? Oder zu viele 0 vor der 04:00?

Edited January 9Jan 9 by Timmey85

Das aktiviert sich erst beim neustart. Um das > jetzt < zu aktivieren müsste mal einmal "for i in /sys/class/net/eth?; do dev=$(basename $i); [[ $(echo $(ethtool --show-eee $dev 2> /dev/null) | grep -c "Supported EEE link modes: 1") -eq 1 ]] && ethtool --set-eee $dev eee off; done" bzw, wenn es nur den NIC gibt "ethtool --set-eee eth0 eee off", via terminal ausführen und dann ASPM wieder anschließen anschalten.

Wie gesagt, das schaltet den NIC kurz aus und der verliert die Verbindung fürn paar Sekündchen

kannst Du bitte beim Screenshotserstellen bitte nur das wesentliche einfangen oder gleich hier als quote posten und nicht immer das ganze Fenster?!

ist sogar am PC sehr schlecht zu entziffern....

4 minutes ago, Mainfrezzer said:

Das aktiviert sich erst beim neustart.

Ich hab den Server Neugestartet.

4 minutes ago, _alo_ said:

kannst Du bitte beim Screenshotserstellen bitte nur das wesentliche einfangen oder gleich hier als quote posten und nicht immer das ganze Fenster?!

ist sogar am PC sehr schlecht zu entziffern....

Ich geb mir mühe. Ich klicke immer auf den Screenshot und dann ist der Scharf. Tut mir leid

1 minute ago, Timmey85 said:

Ich hab den Server Neugestartet.

Was spuckt denn "ethtool --show-eee eth0" aus beim Ausführen im Terminal?

3 minutes ago, Mainfrezzer said:

Was spuckt denn "ethtool --show-eee eth0" aus beim Ausführen im Terminal?

EEE settings for eth0:

disabled

5 (us)

Supported EEE link modes: 100baseT/Full

1000baseT/Full

2500baseT/Full

Advertised EEE link modes: Not reported

Link partner advertised EEE link modes: Not reported

Sehr sehr mysteriös, das sollte sofort und schlagartig das Problem gelöst haben. (wie man hier sehen kann)

Ich würde es mal mit dem Treiber für den 8125 auf dem "Appstore" versuchen mit den Einstellungen für aspm und eee wie hier https://forums.unraid.net/topic/141349-plugin-realtek-r8125-r8126-r8168-and-r815267-drivers/page/14/#findComment-1513138.

28 minutes ago, Mainfrezzer said:

Sehr sehr mysteriös, das sollte sofort und schlagartig das Problem gelöst haben. (wie man hier sehen kann)

Daher ja meine vermutung, dass ich im go file was falsch habe

#!/bin/bash
# Start the Management Utility
/usr/local/sbin/emhttp
/var/lib/docker/containers
powertop --auto-tune
# disable IEEE 802.3az (Energy Efficient Ethernet):
for i in /sys/class/net/eth?; do dev=$(basename $i); [[ $(echo $(ethtool --show-eee $dev 2> /dev/null) | grep -c "Supported EEE link modes: 1") -eq 1 ]] && ethtool --set-eee $dev eee off; done
sleep 10
# ASPM Realtek
echo 1 | sudo tee -a /sys/bus/pci/devices/0000:04:00.0/link/l1_aspm

Edited January 9Jan 9 by Timmey85

17 minutes ago, Timmey85 said:

Ich geb mir mühe. Ich klicke immer auf den Screenshot und dann ist der Scharf. Tut mir leid

Ja gute Frage, ist mal so mal so...(Liegt das eigentlich an der Forensoftware oder an Chrome?)

Manchmal verlinkt er auf das PNG-Bild, das kann man dann natürlich auch vergrößern und über "zurück" geht's wieder in den Thread, manchmal macht er aber eben diese Albumansicht des Threads auf über die man alle Bilder der Seite durchgehen kann und dann is eben nix mit vergrößern:

Daher wäre ein passender Ausschnitt wünschenswert, dann muss man im Idealfall gar nicht vergrößern (ist am Handy erst recht doof) 😉

P.S. um einen Screenshot eines Bereiches zu machen:

WIN+SHIFT+S unter Windows

CMD+CTRL+SHIFT+4 unter MacOS

P.P.S. btt.:

ich nutze auf beiden Maschinen (siehe Signatur: 6.12.15 / 7.2.2) den Kerneltreiber (also keinen zusätzlichen aus dem CA), hab im Switch FlowControl aktiviert und keine Probleme mit der Bandbreite.

Auf beiden Systemen nutze ich ebenfalls den ASPM-Helper, dort alles auf Mode=2 und beide Maschinen gehen bis C10 und ich erreiche server-->windows 260 bis 270MB/s und windows-->Server zwar wenige aber immer noch ca. 200MB/s im Schnitt

Edited January 9Jan 9 by _alo_

1 hour ago, Mainfrezzer said:

Was spuckt denn "ethtool --show-eee eth0" aus beim Ausführen im Terminal?

bei mir (6.12.15):

für folgende Verbindungen:

2 hours ago, Mainfrezzer said:

Der NIC hat Probleme mit dem EEE bei 2,5gbit

Kann es vielleicht sein, dass es daran liegt, dass der Treiber gar kein 2500baseT/Full unterstützt als Link Mode (siehe mein Screenshot)?

Also mit 2,5G verbunden sein und 1G EEE advertisen wäre ja schon merkwürdig...

Das sieht bei Dir ja anders aus (bei dem CA-Treiber) 🤔

2 hours ago, Mainfrezzer said:

(welches standardmäßig an ist)

ich habe es nicht wissentlich ausgeschaltet

13 minutes ago, _alo_ said:

P.P.S. btt.:

ich nutze auf beiden Maschinen (siehe Signatur: 6.12.15 / 7.2.2) den Kerneltreiber (also keinen zusätzlichen aus dem CA), hab im Switch FlowControl aktiviert und keine Probleme mit der Bandbreite.

Auf beiden Systemen nutze ich ebenfalls den ASPM-Helper, dort alles auf Mode=2 und beide Maschinen gehen bis C10 und ich erreiche server-->windows 260 bis 270MB/s und windows-->Server zwar wenige aber immer noch ca. 200MB/s im Schnitt

So wie es aussieht, war das der Tipp den ich gesucht habe. Muss das nochmal gegenprüfen aber mit aktiviertem Flow Control bekomme ich jetzt auch voll dampf

Edited January 10Jan 10 by Timmey85

57 minutes ago, _alo_ said:

bei mir (6.12.15):

für folgende Verbindungen:

Kann es vielleicht sein, dass es daran liegt, dass der Treiber gar kein 2500baseT/Full unterstützt als Link Mode (siehe mein Screenshot)?

Also mit 2,5G verbunden sein und 1G EEE advertisen wäre ja schon merkwürdig...

Das sieht bei Dir ja anders aus (bei dem CA-Treiber) 🤔

ich habe es nicht wissentlich ausgeschaltet

ich hab keine ca treiber, hatten das vorher kurz erwähnt, deshalb ja die go file modifikation.

ich benutze den aus dem Kernel

(Der Grund warum ich den 8125 Treiber nicht nutze ist, der limitiert das System auf c8 aus irgend einem Grund. Mit dem r8169 Kernel Treiber gehts bis c10)

Edited January 9Jan 9 by Mainfrezzer

1 hour ago, Mainfrezzer said:

ich hab keine ca treiber, hatten das vorher kurz erwähnt

ah ok, dann hab ich Deine Aussage wohl falsch gedeutet:

3 hours ago, Mainfrezzer said:

Ich würde es mal mit dem Treiber für den 8125 auf dem "Appstore" versuchen

1 hour ago, Mainfrezzer said:

(Der Grund warum ich den 8125 Treiber nicht nutze ist, der limitiert das System auf c8 aus irgend einem Grund. Mit dem r8169 Kernel Treiber gehts bis c10)

genau aus diesem Grund nutze ich ebenfalls den Standard-Kerneltreiber:

unraid 6.12.15

NUC 7.2.2

1 hour ago, Mainfrezzer said:

deshalb ja die go file modifikation.

Diese Kausalität hab ich aber noch nicht ganz verstanden.

Ist das evtl. firmwareabhängig? Oder gibt es spezielle Konstellationen, in denen das Problem auftritt?

Meine Systeme scheinen ja keine Probleme mit dem EEE zu haben 🤷‍♂️ Ich sah da bislang jedenfalls keine Notwendigkeit hier einzugreifen...
Spielt da ggf. auch die Gegenseite, der Switch, eine Rolle?

Was mich allerdings wundert: den Link-Mode "2500baseT" gibt nur der Server mit unraid 7.2.2 aus, obwohl beide mit 2,5G aktiv am gleichen Switch sind:

26 minutes ago, _alo_ said:

ah ok, dann hab ich Deine Aussage wohl falsch gedeutet:

genau aus diesem Grund nutze ich ebenfalls den Standard-Kerneltreiber:

unraid 6.12.15

NUC 7.2.2

Diese Kausalität hab ich aber noch nicht ganz verstanden.

Ist das evtl. firmwareabhängig? Oder gibt es spezielle Konstellationen, in denen das Problem auftritt?

Meine Systeme scheinen ja keine Probleme mit dem EEE zu haben 🤷‍♂️ Ich sah da bislang jedenfalls keine Notwendigkeit hier einzugreifen...
Spielt da ggf. auch die Gegenseite, der Switch, eine Rolle?

Was mich allerdings wundert: den Link-Mode "2500baseT" gibt nur der Server mit unraid 7.2.2 aus, obwohl beide mit 2,5G aktiv am gleichen Switch sind:

Nagel mich jetzt nicht fest, aber irgendwas muss mit den neueren Kernel geändert worden sein, also denke der Treiber ist anders. Ich glaube mit 7.2 oder irgend ner 7.1 Version hat sich das Verhalten vom Nic verändert gehabt (irgendwo ist da noch nen Bugreport von mir) Von dem her kann das ganz gut sein das die Anzeigen deswegen unterschiedlich sind.

Das mit dem EEE sollte vom Switch/Router abhängig sein, ja. Z.b die Fritzbox ist da sehr selektiv mit wem die EEE betreibt, nur meinem PC (weils bei Unraid ja aus ist)

Bei meinem Win-PC gehts auch nur bei 1 Gbit, bei 2,5 hat der Windows Intel Treiber auch EEE aus weils kaputt ist xD

Danke Leute,

noch einmal für alle. Die Lösung war Flow Control bei meinem Unify Switch zu aktivieren. Jetzt läuft es mit voll Dampf :-)

Ihr seit die besten

15 hours ago, Mainfrezzer said:

Bei meinem Win-PC gehts auch nur bei 1 Gbit, bei 2,5 hat der Windows Intel Treiber auch EEE aus weils kaputt ist xD

Ich meine mal gelesen zu haben, dass das auch bei unraid ein Problem war/ist.

Der i225 hat ja allgemein eine lange Pannen Geschichte