Hardwareberatung Mid-Range

[MartinG]

Na, schade, das ist leider zu weit. www.fs.com

Dann klappt 100 pro noch vor Ostern, so wie ich den Laden kennengelernt habe

https://www.fs.com/de/products/36862.html?attribute=1322&id=222616

Edited March 29, 2021 by MartinG

[MiniKahn]

Danke, Versuch ich direkt. Und ist deutlich günstiger als Amazon. Wenn die wirklich ihr 1 Tages lieferversprechen halten... dann wow...

[MiniKahn]

So, heute morgen angekommen. Es lag Gott sei Dank am Kabel. Jumbo Packet auf 9014 gestellt und das ganze ist super schnell mit 900-1000MB/sek.

Zwischenzeitlich habe ich etwas mit dem S3 Plugin experimentiert.  Und da kommt das nächste Problem zum tragen, das ich mit Hilfe diverser Threads nicht 100% behoben bekomme. Vor allem da ich keine C-States oder ACPI Einstellungen im meinem BIOS finden kann.
 
Sleep S3 - Version 3.0.8
Execute Function -> Ruhezustand ....
Custom Commands beide derzeit leer.
 
Runterfahren klappt hervorragend. Pünktlich und derzeit ohne meckern. Aber konnte es noch nicht 100% beobachten.
Aber hochfahren geht nicht wirklich. Doch, Unraid Bootet wenn ich auf die Tastatur drücke die derzeit angeschlossen ist.
Aber weder die Grafikeinheit zeigt mir das Terminal am angeschlossenen Bildschirm und auch das 10GBE-Mellanox-Modul wird nicht gestartet und steht in Unraid auf inaktiv.

Geprüft habe ich schon, dass dieses ‚g‘ in dieser zeile steht. Also Wake on LAN aktiviert ist. Weiß den Befehl grade nicht, aber ihr wisst sicher was ich meine
 
Im BIOS, Version F4 für C246M-WU4 finde ich nur diese Settings (siehe Screenshot) - und die kann ich verstellen wie ich will.
Wake on LAN ist überall da eingeschaltet wo ich es finden konnte
 
Tipps? Gerne nicht direkt die Lösung sondern hinweise zur eigenverantwortlichen Beseitigung des Problems.
 
Liebe Grüße
 
 

Edited March 31, 2021 by MiniKahn

[Ford Prefect]

...kenne das MB und das BIOS nicht...."normal" wäre sowas wie "power on by PCIe event/signal".

Allerdings unterstützt die 10GBE Mellanox gar kein WoL, glaube ich.

Wenn müsstest Du das Paket an den internen NIC senden....hatten wir erst gerade in einem anderen fred.

[MiniKahn]

Ja aufjedenfall an die interne 1GB Karte. Nicht an die Mellanox. Ich such spätestens morgen mal danach.

[MartinG]

Also mir geht's grade genauso...

Ich werde eine subdomain nur für wol mit irgendeinem Port auf der fritzbox auf die interne nic des Boards weiterleiten damit die Fritz das wake Signal schickt.

[MiniKahn]

Stand jetzt geht es bei mir aber auch nicht über die FritzBox an... also nix mit WOL.
Und wenn ich die Tastatur berühre dann bleibt die IGPU aus und die Mellanox Karte..

[MartinG]

Die Fritz schickt direkt an die mellanox.

Die musst an die onboard schicken.

Alternativ patchkabel von PC zu Server.

Netzwerk konfigurieren..

 

Warte ich wechsle das Endgerät...

[MiniKahn]

Die FritzBox ist nicht mit der 10GBE Karte verbunden. Die Mellanox ist nur mit meinem PC verbunden, nicht mit der FritzBox. 
lediglich ein Bond aus 2x 1GBE Onboard Slots an meinen Switch. Und dieser an die FritzBox.

[MartinG]

In der Client Seite des Servers, auf der Fritzbox kann man "bei zugriff aus dem Internet PC starten" Das geht nicht von intern, meiner Erfahrung nach. Nur von extern.

Klickst du auf "PC jetzt starten" dann sollte der Rechner starten.

Du hast pro Netzwerkarte eine client Seite in der Fritzbox. Möglicherweise ist im Standby nur ein Port des Boards aktiv.

Du musst also an den richtigen Port schicken.

 

[MiniKahn]

Kann ich beeinflussen an welchen Port geschickt wird? Die MAC ist im Bond ja die selbe..
In der FritzBox seh ich nur einmal den Tower .. keine mehrfachen Einträge.

[MartinG]

Nein, ist sie nicht. Wenn der Server aus ist dann passiert Softwaretechnisch nichts.

Die Mac ist die HARDWAREADRESSE einer Netzwerkkarte. Und die ist im Standby nicht geändert.

 

2 minutes ago, MiniKahn said:

In der FritzBox seh ich nur einmal den Tower .. keine mehrfachen Einträge.

Sorry, ich glaube Dir nicht.

Bullshit... Okay, Du siehst nur einmal den Tower wenn er aus ist, korrekt?

Dann sollte der Wake aber auch gehen.

 

https://apple.stackexchange.com/questions/95246/wake-other-computers-from-mac-osx

Könnte man auch mal versuchen.

Edited March 31, 2021 by MartinG

[MiniKahn]

Ich sehe nur einmal den Tower in der FritzBox. Ich habe alle Klienten nochmal durchgesehen, die sind auch alle namentlich markiert.

Unraid hat auch nur eine IP Adresse für 1GBE und eine für 10GBE... aber die 10GBE ist NICHT am Router angeschlossen, sondern nur direkt an meinen Windows- PC.

Ich habe mittels LAG ein Bond aus den zwei Ethernetanschlüssen des Mainboards erstellt. Somit agiert das Ganze als eine IP und nicht getrennt. eth1 ist auch vermerkt als Teil des Bondes von eth0.

Und eth2 (das 10GBE Netzwerk) können wir einfach erstmal ignorieren. Nur, dass es beim reboot aus dem Sleep-State nicht wieder aktiviert wird, wie die iGPU...

Hoffe das war verständlich.


/Edit: ich sehe auch im angeschalteten Zustand nur 1x den Tower. Mit einer IP, einer MAC. In meiner FritzBox.
In meinem Switch sehe ich natürlich zwei ‚verbindungen‘ die ich als gemeinsamen Bond/als LAG definiert habe. Das funktioniert auch. Ich schaffe es mit zwei PCs die auf den Cache zu schreiben, diese 2GB auszulasten.

/edit2: auch mit einem WOL Programm, indem ich IP und MAC eingebe, und auf Wake drücke, passiert nichts. Ich vermute, dass die Netzwerkkarte ausgeschaltet ist, wenn das S3 Plugin Greift.
Muss ich etwas unter Customer Scripts eintragen oder so?

[Ford Prefect]

...bei WoL ist die MAC entscheidend, nicht die IP.

In einem Bond ist die MAC zwar die aus der ersten Karte (eth0), aber es ist eine virtuelle NIC im Linux.

Wahrscheinlich funktinionert das setrzen des WoL Flag mit ethtool garnicht richtig, bzw. die Karte schläft dann nicht korrekt, wenn sie Teil des Bond ist.

Ich fürchte, Du musst mal probieren das Bond auflösen und die 1G NIC "standalone", ohne Bond verwenden.

[MartinG]

Ja, ist klar soweit, habs dann doch noch begriffen.. 😂

 

WOL aktiviert?

Möglicherweise nutzt Du zur IP Adressenzuweisung die Karte die im Standby aus ist.

 

Kontrolliere ob die Macadresse der im Standby aktiven Karte die Dein Switch im Standby als aktiv anzeigt mit der in der fritzbox angezeigten Macadresse übereinstimmt.

Stimmt das nicht überein dann musst Du möglicherweise den Bond umbauen. (Reihenfolge ändern)

Sorry, aus Datenschutzgründen nicht komplett.

Jedenfalls kannst Du hier für den Bond die Reihenfolge ändern (Pulldown neben der Macadresse)

 

Bevor Du Dich verrennst: Bond am Switch auflösen und mal so testen ob es geht. Hilft vielleicht um die Funktion sicherzustellen.

 

Ob WOL im Bond über Deinen Switch funktioniert weiß ich natürlich nicht.

Edit/ Du nutzt Modus 4 (802.3ad)? - Müsste man wohl herausfinden ob damit WOL geht /Edit

Edited March 31, 2021 by MartinG

[MiniKahn]

Vielen Dank für die Tipps.
Ich versuche das heute Abend umzusetzen.

Und ja Modus 4 wird verwendet.

[MiniKahn]

Also gut. Ich habe nochmal viel getestet.

 

1. Warum auch immer, bekomme ich Trotz Modus 802.3ad (Nummer 4) und eingeschaltetem LACP in meinem Zyxel GS1900 Switch es nicht reproduziert, dass ich auf SSD1 und SSD2 parallel beide 1GBE auslasten kann. Maximale Transferrate liegt bei 113MB/Sek.. Der Prozessor ist nicht ausgelastet. Zwei verschiedene PCs werden verwendet die jeweils auf eine SSD im Unraid direkt schreiben (Über ein Share "Test-Cache1" und "Test-Cache2" die jeweils SSD1 und SSD2 beschreiben. Starte ich einen Uploadvorgang, gehts mit 114MB/Sek los. Starte ich den 2. Uploadvorgang über dne anderen Share / die andere SSD, bricht es auf 55MB/Sek ein. Also wird maximal 1GBE ausgelastet. --> Was auch immer ich da falsch eingestellt habe. Ich weiß es nicht. 100% meinem Gedächtnis vertrauen, dass es im letzten Test jeweils 110MB/Sek also insgesamt 220MB/Sek. waren, kann ich leider nicht. Also dass ich überhaupt jemals das Bond ausgelastet habe... Sondern ich glaube eher, dass ich das nie getan habe. Gibt es was zu beachten das euch auf die schnelle einfällt?

 

2. Beim umstellen auf Modus 1 (active-backup) geht dann auch Wake on Lan einwandfrei.

 

3. Das Problem, dass die 10GBE Netzwerkkarte und die Grafikkartentreiber offline / deaktiviert sind, besteht allerdings weiter. Muss ich im Custom-Script noch etwas einfügen? Oder gibt es irgendwelche BIOS Settings die ich mir nochmal anschauen kann? Leider finde ich im Powermanagement nichts anderes als die oben aufgeführten.

 

Danke vorab!

[MartinG]

möglicherweise kann man in den Einstellungen des Dynamix S3 Sleep Plugins diverse Befehle zur Ausführung nach Wakeup einbauen.

 

Vielleicht kann man per Befehl einfach die Treiber für Netzwerkkarte und Grafikkarte neu starten lassen.

Also möglicherweise /etc/init.d/networking restart ?

Wenn alles nichts hilft könnte man hier sicher auch einen einfachen reboot befehl zur Ausführung kommen lassen.

Was aber ja nicht unbedingt das Ziel wäre..

[MiniKahn]

Ich habe alles versucht. Aber irgendwas läuft falsch. Ich bekomme weder die Grafikausgabe, noch die 10GB Karte zum laufen.

Und die nächste Sache wäre der Stromverbrauch.
Undervolting, powertop usw.
Mit 3 Platten in spindown, der 10GB Karte und 2 M.2 SSDs werden im Idle ohne Docker usw. nicht unter 25 Watt erreicht.

Irgendwas läuft grundlegend falsch....
Und ich weiß nicht wo ich ansetzen kann.

[Ford Prefect]

...hast Du den spindown mal manuell ausgeführt, weil sicher ist das wohl leider nicht, das die HDDs nicht drehen obwohl diese im Dashboard  grau sind?

 

Siehe hier: 

 

 

Ausserdem mal das neueste S3-sleep plugin von @darkside40 probiert? Hinweise auch in dem thread.

[mgutt]

On 3/31/2021 at 8:59 PM, MiniKahn said:

Aber weder die Grafikeinheit zeigt mir das Terminal am angeschlossenen Bildschirm

Ab wann siehst du denn kein Bild mehr? Weil das BIOS siehst du ja.

[mgutt]

29 minutes ago, MiniKahn said:

Und die nächste Sache wäre der Stromverbrauch.
Undervolting, powertop usw.
Mit 3 Platten in spindown, der 10GB Karte und 2 M.2 SSDs werden im Idle ohne Docker usw. nicht unter 25 Watt erreicht.

Da würde ich mir auch keine Illusionen machen. Zwei M.2 im RAID1 mit aktivem Docker Zugriff gehen nicht schlafen. Und die 10G Karte haut sicher auch gut rein und wenn du Pech hast verhindert sie den tiefen Schlaf der CPU. Die 10G Karte alleine dürfte 7 bis 12W raushauen. Das wurde dir aber auch anfangs gesagt:

https://forums.unraid.net/topic/104214-hardwareberatung-mid-range/?do=findComment&comment=962556

 

Am besten mal ohne 10G Karte messen.

 

Wenn du "powertop" im WebTerminal ausführst, kannst du mit der Tab Taste zur Ansicht mit den C-States wechseln. Davon bitte den Screenshot posten. Fenster bitte aber so groß machen, dass alles drauf passt.

 

 

[MiniKahn]

56 minutes ago, Ford Prefect said:

...hast Du den spindown mal manuell ausgeführt, weil sicher ist das wohl leider nicht, das die HDDs nicht drehen obwohl diese im Dashboard  grau sind?

Das habe ich nun getan. Erst SpinUp. Und nach einer Minute einen manuellen SpinDown. Am Stromverbrauch hat sich nichts geändert. OHNE Docker-Applikationen 23-25W im Idle.

 

56 minutes ago, Ford Prefect said:

Ausserdem mal das neueste S3-sleep plugin von @darkside40 probiert? Hinweise auch in dem thread.

Das habe ich soeben mal installiert. Vorher natürlich das alte Deinstalliert. Der Sleep hat ja aber immer Funktioniert. Dann sinkt der Verbrauch auf unter 2 Watt! Damit wäre ich zufrieden. Aber... wenn ich den PC dann wieder per WoL starte, habe ich keine Grafikausgabe mehr (am Bildschirm einfach alles schwarz, zu keiner Zeit ein Bild, ein BIOS sehe ich auch nicht. Vermutlich da es ja auch nicht angezeigt wird aus dem Ruhezustand heraus...)

Und die 10GBE Karte ist deaktiviert.

 

41 minutes ago, mgutt said:

Die 10G Karte alleine dürfte 7 bis 12W raushauen. Das wurde dir aber auch anfangs gesagt:

Gibt es theoretisch eine Möglichkeit die Karte nur bei bedarf so richtig aufzuwecken? Diese ist nur an meinen PC direkt angebunden. Ist dieser ausgeschaltet, könnte man dann die Karte komplett trennen? Oder meint Ihr, dass das nicht geht?

 

Im Anhang ist einmal der Powertop Auszug. Vielleicht durch den SpinDown und UP oder was auch immer, aber die PKG war zumindest lt. Gedächtnis vor einigen Tagen auch überwiegend im C7 State...  Ich beobachte das mal und update ggf. morgen den Screenshot. Auf mein Gedächtnis kann ich mich derzeit nicht so verlassen... leider

Edited April 6, 2021 by MiniKahn

[mgutt]

15 minutes ago, MiniKahn said:

aber die PKG war zumindest lt. Gedächtnis vor einigen Tagen auch überwiegend im C7 State

Da sollte sie eigentlich auch landen. Irgendwas verhindert den tieferen Schlafzustand. Was du in jedem Fall noch machen kannst, ist den Intel Treiber zu installieren. Dann siehst du auch den Schlafzustand der iGPU in powertop.

 

Dazu das im WebTerminal ausführen und neustarten:

touch /boot/config/modprobe.d/i915.conf

 

Eventuell löst das auch dein Problem, dass der Bildschirm nach einem WakeUp schwarz bleibt.

 

Alternativ auch mal WakeUp ohne powertop und mit BIOS Grundeinstellungen ausprobieren. 

 

15 minutes ago, MiniKahn said:

Gibt es theoretisch eine Möglichkeit die Karte nur bei bedarf so richtig aufzuwecken?

Unwahrscheinlich, aber du kannst es ja mal probieren:

https://unix.stackexchange.com/questions/73908/how-to-reset-cycle-power-to-a-pcie-device/474378

[MiniKahn]

Nur ganz kurz, die GPU sieht man doch. Das Intel Plugin hab ich nämlich installiert. Und den Befehl im Go-File drin. Danach ist die GOU auch unten mittig aufgetaucht. Oder sehe ich was falsch?