Hardwareberatung Mid-Range


MiniKahn

Recommended Posts

Hmm 

1 minute ago, MiniKahn said:

Die 10GBE Karte dient derzeit ausschließlich zur Direktverbindung mit dem PC. Hier habe ich die IP fest Zugewiesen (Unraid: 192.168.178.2, eigener PC: 192.168.178.3). Keine Möglichkeit der Internetverbindung.

Genauso ist auch mein Plan, und im wesentlichen auch meine Umsetzung (für 10G Netz 10.0.0.x; für 1G 192.168.1.x - jeweils feste IPs), aber irgendwas mach ich da anscheinend noch verkehrt. Dann muss ich mich da nochmal in die Materie der Netzwerke weiter reinvertiefen, irgendwo in den Einstellungen muss ja ein Fehler sein - wobei die CX3 im Win10-PC auch etwas zickig ist. Die deaktiviert sich von Zeit zu Zeit (besser gesagt nach Neustarts). Wenn ich sie dann im Gerätemanager wieder aktiviere läuft sie aber ohne zu murren.

Link to comment

Anbei mal meine Konfiguration.

In Windows dann auf den Netzwerkadapter gehen --> IPv4 Einstellungen und dort eben ins selbe Netz 192.168.10.XXX bspw. also bei mir 192.168.10.3.

Unter Energieeinstellungen des Adapters kannst du mal schauen, ob irgendwo der Haken ist, dass der "Computer" dieses Gerät zu Energiespaarzwecken ausschalten darf".

 

 

10GBE.PNG

Edited by MiniKahn
Link to comment
43 minutes ago, MiniKahn said:

Die 10GBE Karte dient derzeit ausschließlich zur Direktverbindung mit dem PC. Hier habe ich die IP fest Zugewiesen (Unraid: 192.168.178.2, eigener PC: 192.168.178.3).

Das kann gehen, man sollte aber lieber eine IP aus einem anderen Adressraum nehmen, wenn man eine Direktverbindung macht. Also zB 192.168.168.2 und 192.168.168.3 oder 10.0.0.2 und 10.0.0.3. Es könnte sonst nämlich sein, dass der Traffic erst zu deinem Gateway geht, also deinem Router oder hat der Router bereits einen anderen Adressbereich?

2 hours ago, MiniKahn said:

die 2 Lüfter die ich eingebaut habe, sind mit Molex an eine Lüftersteuerung angeschlossen.

Zieh die doch mal kurz ab. Einfach um zu schauen was die ausmacht.

Link to comment
27 minutes ago, mgutt said:

Das kann gehen, man sollte aber lieber eine IP aus einem anderen Adressraum nehmen, wenn man eine Direktverbindung macht. Also zB 192.168.168.2 und 192.168.168.3 oder 10.0.0.2 und 10.0.0.3. Es könnte sonst nämlich sein, dass der Traffic erst zu deinem Gateway geht, also deinem Router.

Sorry. Hab ich auch. 192.168.10.XX und bin damit außerhalb meines sonstigen Andress-Raums welcher 192.168.178.XXX. (Siehe Screenshot)

 

Ansonsten mach ich gleich und geb Rückmeldung. was die Lüfter an Stromverbrauch ausmacht.

 

@mgutt du hattest gelesen dass der spindown über den command nicht funktioniert?

 

Ansonsten wenn ich die Lüftersteuerung / die Lüfter welche via Molex auf niedrigster Stufe laufen abziehe, senkt sich der Stromverbrauch um ca. 1 Watt.

 

Zusätzlich dazu bewirkt ein: "/sbin/ifconfig eth2 down" (10GBE Karte) weitere 0.5 Watt.

ein "modprobe -r mlx4_en" bewirkt nichts,  ein "modprobe -r mlx4_core"  wird mit "modprobe: FATAL: Module mlx4_core is in use." verweigert. Auch ein " /sbin/ifconfig eth2 down" davor lässt mich leider diesen Befehl nicht ausführen.

 

/edit:

 

Dumm.. Aber gut... lt. "lsmod | grep mlx4_core" nutzt der mlx4_en den core, war es logisch erst: "modprobe -r mlx4_en" und dann "modprobe -r mlx4_core" auszuführen.

Aber die Karte wird damit nicht gänzlich Deaktiviert. Sie verschwindet zwar aus Unraid... Aber eine weitere Einsparung des Stromverbrauchs ergibt sich dadurch leider nicht.

Edited by MiniKahn
  • Like 1
Link to comment
51 minutes ago, Ford Prefect said:

Internet und alles, was den unraid-Server verlässt geht über das default-gateway...davon solltest Du nur eines haben.

typischerweise macht dies das erste Interface (bon0, br0, etho).

D.h. bei der 10G Verbindung lasse ich das Feld Gateway leer? Hatte da jetzt ursprünglich den Win10-PC eingetragen und nach den dann aufgetretenwn Problemen einfach "Metric" auf zwei gesetzt.

 

53 minutes ago, Ford Prefect said:

Meine CX3 ist im Win10 absolut unauffällig, rennt wie ne 1.

Es gibt da anscheinend nur schwarz oder weiß... Habe bei Google einige Berichte zu "Code 43 Windows Mellanox" gefunden. Und bei jedem dieser Posts waren darunter dann antworten von anderen das alles läuft. Die meisten mit Problemen setzen allerdings auf Intel Z490 Boards. Das trifft bei mir ja auch schon Mal nicht zu. Und weitere Auffälligkeit, die Karten zicken nur unter Windows. Gleiches System unter Linux verhält sich unauffällig...

Link to comment

Also modprobe hat nichts gebracht. Die suche nach Power Save Funktion der Mellanox Karte erbrachte keine Antwort.
Und ein PCI Slot ausschalten geht wahrscheinlich nicht. Dazu wird linux wohl kaum in der Lage sein. Aber auch dahingehend werd ich googeln.
Das wäre für mich ein Durchbruch. Also jeder Tipp, jeder Trick nehm ich gerne an. Undervolting versuche ich noch etwas zu optimieren.

Ansonsten nochmal die Auflistung:

- BIOS alle möglichen Stromspar Settings. Also C-States an, ERP, Power Management usw.
- WoL ausgeschaltet bis auf einen Port.
- Audio aus, usb aus. Serial Port aus.
- 1 RAM Riegel
- Lüfter auf ein Minimum.

- HDDs soweit es geht in den Spindown.
- 2x M.2 SSDs laufen dafür.

- CPU powertop —auto-tune
- CPU Undervolting

Umsetzen will ich noch ein PortDown der 10GBE Karte wenn keine Verbindung von meinem PC da ist. Oder die Karte ganz abschalten. Letzteres präferiert.


Habe ich was vergessen?

Link to comment
1 hour ago, MiniKahn said:

Dumm.. Aber gut... lt. "lsmod | grep mlx4_core" nutzt der mlx4_en den core, war es logisch erst: "modprobe -r mlx4_en" und dann "modprobe -r mlx4_core" auszuführen.

Aber die Karte wird damit nicht gänzlich Deaktiviert. Sie verschwindet zwar aus Unraid... Aber eine weitere Einsparung des Stromverbrauchs ergibt sich dadurch leider nicht.

Die idee galt auch nicht dem Stromsparen, sondern dem erfolgreichen Wake-Up der Mellanox. Also die Befehle ins S3-Plugin

Link to comment
58 minutes ago, MiniKahn said:

Umsetzen will ich noch ein PortDown der 10GBE Karte wenn keine Verbindung von meinem PC da ist. Oder die Karte ganz abschalten. Letzteres präferiert.

Das könnte man ja mit einem Script umsetzen:

 

#!/bin/bash
timeout_seconds=1
pc_ip="192.168.178.10"
eth_device="eth3"
timeout $timeout_seconds ping -c 1 $pc_ip
if [[ $? -eq 124 ]]; then
    echo "$pc_ip is offline"
    if ip link show $eth_device | grep up; then
        echo "$eth_device is set to down."
        ip link set dev $eth_device down
    fi
else
    echo "$pc_ip is online"
    if ip link show $eth_device | grep down; then
        echo "$eth_device is set to up."
        ip link set dev $eth_device up
    fi
fi

 

Das führt man dann zB jede Minute aus.

  • Like 1
Link to comment
4 hours ago, MiniKahn said:

root@Tower:~# mdcmd spindown 0
/usr/local/sbin/mdcmd: line 35: echo: write error: Invalid argument

Ok, der Befehl geht, aber die Parameter haben sich scheinbar seit 6.9 geändert. Denn "mdcmd status" funktioniert noch in 6.9. EDIT: Ja, wurde geändert:

https://forums.unraid.net/topic/103621-spin-up-script-not-working-since-update-69/

 

Teste mal bitte das:

/usr/local/sbin/emcmd cmdSpindown=disk1

 

Geht dann Disk1 schlafen?

 

Oder das:

/usr/local/sbin/emcmd cmdSpindownAll=apply

 

Gehen dann alle schlafen?

 

Bitte beachte, dass Copy & Paste warum auch immer nicht geht (1. Zeile von Hand getippt, 2. Zeile Copy & Paste aus dem Forum):

2044773267_2021-04-0718_28_24.png.7665a15549be3cd551c08888231edea6.png

 

Das hatte ich schon mal @ich777. Weißt du warum Copy & Paste des Befehls in "no such file" endet?

  • Thanks 1
Link to comment
22 minutes ago, mgutt said:

Das hatte ich schon mal @ich777. Weißt du warum Copy & Paste des Befehls in "no such file" endet?

Was sagt 'which emcmd'?

 

Evtl. wird grad ein anderes Kommando ausgeführt und du bekommst den Status zurück.

emcmd ist doch auch nur ein wrapper oder täusche ich mich da?

  • Thanks 1
Link to comment
2 hours ago, MiniKahn said:

[mention]Ford Prefect [/mention] das hat sich, wie geschrieben, mittlerweile erledigt da das Problem beseitigt ist. Nun geht es um das stromsparen. :D

...dachte Grafik geht inzwischen, aber die mellanox bleibt stumm.

Naja, egal.....das eine Karte ohne Treiber mehr Strom zieht als mit, ist nicht ungewöhnlich....sieht man of bei GraKa oder TV, welche an eine VM durchgereicht wurden und die VM dann aus ist.

Meine Quad-SAT-S2 hat so 40W gezogen....der ganze TV-Server PC brauchte nach dem Umbau dann nur 30W, all-in.

  • Thanks 1
Link to comment
38 minutes ago, Ford Prefect said:

...dachte Grafik geht inzwischen, aber die mellanox bleibt stumm.

Das war auch zwischenzeitlich so.

Mit dem Tipp "/sbin/ifconfig eth2 up" habe ich die Mellanox Karte wieder aktiviert bekommen und ist somit wieder bereit.

Die GPU Funktioniert seit dem neuen Sleep Plugin ebenfalls wieder.

 

38 minutes ago, Ford Prefect said:

Naja, egal.....das eine Karte ohne Treiber mehr Strom zieht als mit, ist nicht ungewöhnlich....sieht man of bei GraKa oder TV, welche an eine VM durchgereicht wurden und die VM dann aus ist.

Das war auch kein Vorwurf oder so. Nicht falsch verstehen! Bin sehr dankbar für jede Hilfe!
Ansonsten ändert zumindest im laufenden Betrieb ein "modprobe mlx4_en oder mlx4_core" nichts an Stromverbrauch. Weder beim löschen noch beim entfernen.

 

1 hour ago, mgutt said:

Bitte beachte, dass Copy & Paste warum auch immer nicht geht (1. Zeile von Hand getippt, 2. Zeile Copy & Paste aus dem Forum):

Also bei mir hat es auch mit Copy & Paste direkt funktioniert. Die Platten gehen in den Spindown. Die Cache SSDs allerdings nicht.

Mir fällt allerdings auf, dass wenn ich das Array stoppe und den Spindown Befehl ausführe, spätestens nach einer Minute die Platten wieder anlaufen. Ist das ein normales Verhalten? Allerdings nur wenn das Array gestoppt ist. Ein Spindown über das WebGUI bei gestartetem Array, führt nicht zu diesem Verhalten.

 

Apr  7 19:36:57 Tower flash_backup: adding task: php /usr/local/emhttp/plugins/dynamix.unraid.net/include/UpdateFlashBackup.php update
Apr  7 19:37:01 Tower emhttpd: read SMART /dev/sdc
Apr  7 19:37:16 Tower emhttpd: read SMART /dev/sdb
Apr  7 19:37:25 Tower emhttpd: read SMART /dev/sdd
Apr  7 19:38:12 Tower emhttpd: spinning down /dev/sdd
Apr  7 19:38:12 Tower emhttpd: spinning down /dev/sdb
Apr  7 19:38:12 Tower emhttpd: spinning down /dev/sdc
Apr  7 19:39:01 Tower emhttpd: read SMART /dev/sdc
Apr  7 19:39:16 Tower emhttpd: read SMART /dev/sdb
Apr  7 19:39:26 Tower emhttpd: read SMART /dev/sdd
Apr  7 19:40:58 Tower flash_backup: adding task: php /usr/local/emhttp/plugins/dynamix.unraid.net/include/UpdateFlashBackup.php update
Apr  7 19:41:14 Tower emhttpd: spinning down /dev/sdd
Apr  7 19:41:14 Tower emhttpd: spinning down /dev/sdb
Apr  7 19:41:14 Tower emhttpd: spinning down /dev/sdc
Apr  7 19:42:01 Tower emhttpd: read SMART /dev/sdc
Apr  7 19:42:15 Tower emhttpd: read SMART /dev/sdb
Apr  7 19:42:25 Tower emhttpd: read SMART /dev/sdd
Apr  7 19:42:58 Tower flash_backup: adding task: php /usr/local/emhttp/plugins/dynamix.unraid.net/include/UpdateFlashBackup.php update
Apr  7 19:44:39 Tower emhttpd: spinning down /dev/sdd
Apr  7 19:44:39 Tower emhttpd: spinning down /dev/sdb
Apr  7 19:44:39 Tower emhttpd: spinning down /dev/sdc
Apr  7 19:45:01 Tower emhttpd: read SMART /dev/sdc
Apr  7 19:45:16 Tower emhttpd: read SMART /dev/sdb
Apr  7 19:45:27 Tower emhttpd: spinning down /dev/sdd

 

 

1 hour ago, mgutt said:

Das führt man dann zB jede Minute aus.

Ansonsten habe ich das Script mal angepasst an meine IP usw. Und führe es alle 2 Minuten aus. Bin gespannt und gebe später bescheid.

 

/Edit: Das Script funktioniert, nachdem ich in "ip link show $eth_device | grep down;" das DOWN; bzw. das UP groß geschrieben habe. Es scheint Case-Sensitiv zu sein.

Edited by MiniKahn
  • Like 1
Link to comment
42 minutes ago, MiniKahn said:

Mir fällt allerdings auf, dass wenn ich das Array stoppe und den Spindown Befehl ausführe, spätestens nach einer Minute die Platten wieder anlaufen. Ist das ein normales Verhalten?

Ja, weil Unraid alle paar Minuten prüft ob alle Platten für das Array noch da sind. Sieht man auch in den Logs. Die werden dann förmlich geflutet, wenn man das Array nicht startet.

 

Blöd, dass der Cache nicht auch ausgeht. Heißt dein Cache Pool eigentlich "cache"? Der eine Befehl mit dem Namen muss denke ich exakt dem Poolnamen entsprechen.

Link to comment

Also unter /mnt/cache wird die cache angezeigt. 

Die einzelnen Platten heißen Cache und Cache 2

Aber egal ob ich Cache groß oder klein schreibe. Es passiert leider nichts.

Oder finde ich den richtigen Namen woanders?


Seriennummern sind registriert, damit sollte nix passieren.

2021-04-07 20_36_23-Tower_Main.png

 

/edit:

Guten Morgen,

 

auch ein /usr/local/sbin/emcmd cmdSpindown=nvme0n1 usw. bringt keinen Erfolg. Auch Über diese beiden Pfeile (unter Cache 2), welche für SpinDown Cache da sein sollen, passiert ausser ein kurz drehender Kreis bei den Statuslampen nichts. Danach bleiben die Punkte grün.

Edited by MiniKahn
Link to comment
13 hours ago, ich777 said:

Was sagt 'which emcmd'?

 

Ich hatte das mehrfach per Copy & Paste probiert, aber es schlug immer fehl. Erst nach manueller Eingabe klappte es. Jetzt geht es natürlich immer ^^

 

which emcmd gibt "/usr/local/sbin/emcmd" zurück.

 

Dieses Phänomen hatte schon mal. Ist aber schon länger her.

 

11 hours ago, MiniKahn said:

auch ein /usr/local/sbin/emcmd cmdSpindown=nvme0n1 usw. bringt keinen Erfolg. Auch Über diese beiden Pfeile (unter Cache 2), welche für SpinDown Cache da sein sollen, passiert ausser ein kurz drehender Kreis bei den Statuslampen nichts. Danach bleiben die Punkte grün.

 

Das ist mir gerade auf meinem Testserver auch aufgefallen. Allerdings habe ich da nur eine SSD im Array. Aber das Icon macht da auch nichts. Ist das evtl ein Bug in 6.9.1?

473437575_2021-04-0808_34_08.png.26eeea9d80560b62d4f83e07fb09e2df.png

 

Weil die SSD in 6.8.3 (da allerdings im Cache) kann ich problemlos abschalten:

522449308_2021-04-0808_34_59.png.2ec56e8ab03a5770f485f4dcd5d21970.png

 

 

Link to comment

Also ich kann das wie gesagt nur bestätigen.

 

Ein weiteres Verhalten welches ich gerne verifizieren würde:

Über das Sleep-Plugin wird der Unraid-Server in den Ruhezustand versetzt.

Via Wake-on-Lan wird dieser dann geweckt. Soweit so gut.

Nun beobachte ich folgendes Verhalten:

 Die HDDS starten. Das wäre passend zum Logfile, Geräusch das auftritt und den Stromverbrauch.

Apr 8 09:10:21 Tower kernel: sd 2:0:0:0: [sdc] Starting disk
Apr 8 09:10:21 Tower kernel: sd 3:0:0:0: [sdd] Starting disk
Apr 8 09:10:21 Tower kernel: sd 1:0:0:0: [sdb] Starting disk

PASST. ABER:

 

Die HDDs bleiben laut Webinterface auf "grau". Auch ein klick auf "Spindown" im Webinterface oder "/usr/local/sbin/emcmd cmdSpindownAll=apply" führt nicht zum Erfolg.

Erst nachdem ich mit SpinUP oder "/usr/local/sbin/emcmd cmdSpinupAll=apply" die Platten "aktiviere"

(obwohl sie eigentlich schon laufen - man hört dann auch kein "Anlaufgeräusch" - es ändert sich einfach gar nichts, da die Platten, wie eben erwähnt, bereits laufen),

gelingt ein manueller Spindown.

1426943464_2021-04-0809_14_53-Tower_Main.png.7020523d806496314019e165cb40b50a.png

 

Deshalb sieht derzeit mein Sleep-StartSkript so aus: 

/usr/local/sbin/emcmd cmdSpinupAll=apply
sleep 2
/usr/local/sbin/emcmd cmdSpindownAll=apply

Aber... klüger wäre es, den SpinUp (von Unraid oder von Seiten des Servers /BIOS) gar nicht erst starten zu lassen, falls nicht nötig.

 

 

 

Ungeachtet dessen: Was mich weiterhin richtig abnervt ist, dass auch wenn das Array an ist, immer und immer wieder diese doofen Smart-Werte ausgelesen werden wollen. Das geht die ganze Zeit so...

Apr  8 09:15:06 Tower emhttpd: read SMART /dev/sdc
Apr  8 09:15:22 Tower emhttpd: read SMART /dev/sdb
Apr  8 09:17:28 Tower emhttpd: spinning down /dev/sdb
Apr  8 09:17:28 Tower emhttpd: spinning down /dev/sdc
Apr  8 09:17:36 Tower emhttpd: read SMART /dev/sdc
Apr  8 09:17:45 Tower emhttpd: read SMART /dev/sdb
Apr  8 09:19:38 Tower emhttpd: spinning down /dev/sdb
Apr  8 09:19:38 Tower emhttpd: spinning down /dev/sdc
Apr  8 09:20:05 Tower emhttpd: Spinning up all drives...
Apr  8 09:20:05 Tower emhttpd: spinning up /dev/sdd
Apr  8 09:20:05 Tower emhttpd: spinning up /dev/sdb
Apr  8 09:20:05 Tower emhttpd: spinning up /dev/sdc
Apr  8 09:20:18 Tower emhttpd: read SMART /dev/sdd
Apr  8 09:20:18 Tower emhttpd: read SMART /dev/sdb
Apr  8 09:20:18 Tower emhttpd: read SMART /dev/sdc
Apr  8 09:20:18 Tower emhttpd: read SMART /dev/nvme1n1
Apr  8 09:20:18 Tower emhttpd: read SMART /dev/nvme0n1
Apr  8 09:20:18 Tower emhttpd: read SMART /dev/sda
Apr  8 09:20:20 Tower emhttpd: spinning down /dev/sdd
Apr  8 09:20:20 Tower emhttpd: spinning down /dev/sdb
Apr  8 09:20:20 Tower emhttpd: spinning down /dev/sdc

 

Edited by MiniKahn
Link to comment
11 minutes ago, MiniKahn said:

Die HDDs bleiben laut Webinterface auf "grau". Auch ein klick auf "Spindown" im Webinterface oder "/usr/local/sbin/emcmd cmdSpindownAll=apply" führt nicht zum Erfolg.

Erst nachdem ich mit SpinUP oder "/usr/local/sbin/emcmd cmdSpinupAll=apply" die Platten "aktiviere"

So ein ähnliches komisches Verhalten tritt wohl auch auf, wenn man die Disks über die Kommandozeile anlaufen lässt, weshalb man seit 6.9 noch ein weiteres Kommando ergänzen muss:

https://forums.unraid.net/topic/103621-spin-up-script-not-working-since-update-69/?tab=comments#comment-957509

 

14 minutes ago, MiniKahn said:

Was mich weiterhin richtig abnervt ist, dass auch wenn das Array an ist, immer und immer wieder diese doofen Smart-Werte ausgelesen werden wollen

Ich glaube das wurde schon immer so von Unraid gemacht, früher aber nicht geloggt. Es handelt sich eigentlich gar nicht um das Auslesen der SMART Werte, sondern um den Status der Disk. Also ob sie schläft oder nicht. Darüber wird dann das Icon umgefärbt. So zumindest mein Wissensstand dazu.

Link to comment

In 6.8.3 lautete das Kommando, was ständig im Hintergrund für jede einzelne Disk ausgeführt wurde wie folgt:

/usr/sbin/smartctl -n standby -A /dev/sdb

 

Wie man sieht antwortet eine schlafende Disk darauf mit "STANDBY" und eine wache Disk mit den SMART Werten:

998265423_2021-04-0810_00_26.png.c07e9a4624c5b5ec30b14440e22fd19d.png

 

Und ich vermute das wird jetzt in den Logs einfach angezeigt. Vielleicht auch, weil ich festgestellt habe, dass manchmal Disks beim Check rausfallen und dadurch das Icon durchgehend falsch ist.

Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.