vakilando

Oh man, ich so ein Hohlbein und Trottel vor dem Herrn!! Meine primäre Karte ist natürlich nicht die, mit der meine Dauer Linux VM läuft!!! 🤯 Weiß auch nicht was mich dabei geritten hat dies zu behaupten.....es war vielleicht doch einfach zu spät und ich zu müde..... 😴 Mea maxima culpa! Primäre Karte: Ist die 1050 TI, welche ich wechselweise entweder an die anderen VMs durchreiche oder an Emby. Sekundäre Karte: Ist die 745 GTX die zu meiner automatisch startenden Linux VM durchgereicht wird. Insofern muss sich jetzt niemand an mich wenden und fragen wie ich das realisiert habe... Ich melde mich wieder wenn ich die 745 durch die T400 getauscht habe und begebe mich jetzt erst mal ganz kleinlaut in die Ecke und schäme mich.

Hallo @alturismo nein, da hast du glaube ich recht, das geht nicht... Aber ich dreh alles noch mal zurück und probiere gerne noch einmal um sicher zu gehen. jo, da hast du sicher recht - ich habe zu kompliziert um die Ecke gedacht! hast schon wieder recht! Und danke für die wieder ausführliche Erklärung um beide Karten in den pm mode zu setzen! Hallo @mgutt Hmm, sagen wir es mal so, ich habs einfach gemacht und es hat auf Anhieb geklappt ohne irgendwelche (Kernel-) Optionen setzen zu müssen. Ehrlicherweise muss ich sagen, dass ich mir damals auch keine Gedanken über die Reihenfolge der Grafikkarten (primäre/sekundäre) gemacht habe. Solltest du mehr Infos über mein System haben wollen könnt ich die dir Diagnostics hier anhängen.... Aus heutiger Sicht würde ich die Karten eher umdrehen bzw. sowieso eher ein sparsameres - vermutlich Intel-System - holen. Ich bin damals von einem in die Jahre gekommenen Proxmox Server mit einem RAID 5 gekommen auf dem diverse VMs liefen. Ich wollte auf dem neuen System den ein oder anderen Dienst als Docker laufen lassen. Unraid fand ich spannend, da ich VMs und Docker als Option hatte und mit weniger Platten mehr Speicherkapazität rausholen konnte, die zumden leicht erweiterbar ist. Da mein damaliger Hauptrechner auch in die Jahre gekommen war und ständig an war, hatte ich mir als Ziel gesetzt ein performantes System zu bauen, auf dem auch mein Hauptrechner läuft. Nur mal so als keine Historie...

Moin! Also, ich glaub ich beschreibe jetzt noch mal ein wenig meine Konfiguration: Mainboard: ASUS ROG Strix x570-E Gaming GPU 1 (primär): GeForce 745 GTX (Edit: Falsch es ist die sekundäre Karte!) - an Monitor 1 & 2 angeschlossen - meiner Haupt Linux VM zugewiesen mit Soundkarte inkl. vbios file GPU 2 (sekundär): GeForce 1050 TI: (Edit: Falsch es ist die primäre Karte!) - an Monitor 2 angeschlossen - allen anderen VMs zugewiesen mit Soundkarte inkl. vbios file - in Emby verwendet Vor VFIO bind der 745 GTX: Unraid bootet Ich kann auf Monitor 2 ins BIOS gehen, den Bootprozess beobachten und mich einloggen Meine Haupt Linux Maschine bootet (automatisch) und landet auf Monitor 1 & 2 Sobald meine Haupt Linux Maschine da ist kann ich nicht mehr auf die Unraid Console zugreifen, da sich die VM die Grafikkarte "nimmt" Wenn also meine Haupt VM nicht bootet (kaputt oder Start auf manuell gestellt) kann ich mich ohne VFIO bind auf der Unraid Console direkt anmelden. Diese Option entfällt nun, da der VFIO bind den Zugiff auf die Console zunichte macht (außer BIOS natürlich): Nach VFIO bind der 745 GTX: Unraid bootet Ich kann auf Monitor 2 ins BIOS gehen (Geht nicht mehr: den Bootprozess beobachten und mich einloggen) Meine Haupt Linux Maschine bootet (automatisch) und landet auf Monitor 1 & 2 Weitere Infos: Mein Boot Modus ist "Legacy" Meine Syslinux Config: Ich muss jetzt weg..... weitere Infos bei Bedarf gerne später....!

Hallo @alturismo, besten Dank für deine ausführliche Erklärung! Da ich morgen doch nicht früh raus muss habe ich einfach mal losgelegt... Die Nvidia Karte, die von meiner dauerhaft laufenden Haupt Linux Maschine genutzt wird, habe ich an VFIO gebunden und ein reboot gemacht. Dann habe ich deine Scripte für meine VMs implementiert, die nicht dauerhaft laufen (2x Windows, 1x Linux). Da nur meine Haupt Linux Maschine dauerhaft läuft, habe ich zudem "nvidia-persistenced &" ins go file aufgenommen. Anschließend habe meine gerade laufende Win10 Maschine, die sich die Nvidia Karte mit dem Emby Docker teilt gestoppt, gestartet und wieder gestoppt und es schein alles soweit zu funktionieren. Sehr cool! Noch eine Frage: Die Karte, die nun an VFIO gebunden ist und von meiner Haupt Linux Maschine genutzt wird ist meine primäre Karte. Das bedeutet, dass ich nun beim Neustart von Unraid keinen direkten Zugriff über die Console habe, da keine Ausgabe mehr am Monitor erfolgt. Natürlich ist ein remote Zugriff über SSH möglich aber halt nur wenn alles läuft wie es soll. Wenn es also mal schlecht läuft und ich müsste direkt an die Unraid Console über den angeschlossenen Monitor, müsste ich: den Boot-Stick entfernen und in mein Notebook stecken dort die "vfio-pci.cfg" editieren und die Zeile entfernen, über die meine primäre Karte an VFIO gebunden wird UND im go file "nvidia-persistenced &" auskommentieren... Unraid booten Richtig? EDIT: Meine Aussage, dass die an VFIO gebundene Karte, die von meiner automatisch startenden VM genutzt wird, meine primäre Karte ist war falsch!!. Dieses potentielle Problem müsste ich doch umgehen können, indem ich die primäre Karte doch nicht an VFIO binde und es ebenso über die Scripte steuere. Das ginge dann über die in deinem Beispiel auskommentierten Zeilen "#nvidia-smi -i 0 -pm 0" und "#nvidia-smi -i 0 -pm 1 &". Kannst du mir genauer erklären was da zu machen ist? Ich habe meine GPUs noch nie an VFIO gebunden und hatte noch nie Probleme deswegen. Was bringt mir die VFIO Bindung denn ggf. noch, außer dass es keine Konflikte zwischen Unraid und an VMs durchgereichte Hardware gibt? Beste Grüße und jetzt doch mal gute Nacht!

@ich777 Alles klar, am Wochenende werde ich die eine Karte dauerhaft an VFIO binden und mir das Script von @alturismo mal anschauen. Wenn ich dazu komme werde ich auch die Geforce 745 durch die T400 tauschen. Muss aber vorher noch das vbios extrahieren... Kann ich einfach "nvidia-persistenced" ins go file aufnehmen wenn nur eine Karte dauerhaft an eine VM gebunden ist und die andere wechselweise zwischen VM und Docker verwendet wird? @kdwg: Wow, das klingt nach einem Ziel für mich! Mal schauen wie nah ich da ran komme. @mgutt keine Ahnung, muss ich gucken. Ich habe aber letztens schon mal mein BIOS resettet und noch mal mit Stromspareinstellungen rumgespielt. Bin jetzt immerhin schon bei 90W.....

jep, funzt wieder über alle Kanäle

Laut https://xn--allestrungen-9ib.de/stoerung/vodafone/ hat Vodafone mal wieder Probleme...

Internet über Vodafone und keinen Zugriff. Mobil über Congstar und Zugriff einwandfrei. Ich schätze VF hat's mal wieder geschafft irgendwas zu verbiegen....

Sehr seltsam, ich habe das selbe Problem! Vom PC aus (LAN) und vom Handy (WLAN) keinen Zugriff. Mit dem Handy über LTE aber schon.... Hmmm, ich geh jetzt ins Bett....und schaue morgen noch einmal.

Hallo @geromme, Ist deine ehemalige Cache Disk die Seagate Barracuda SSD unter Unassigned Devices? Wenn ja, hast du sie wohl formatiert, da sie kein Dateisystem (fs = file system) hat.. (erstes Bild) Wenn du eine vollständige Sicherung hast, ist wäre das halb so schlimm. Auf dem zweiten Bild sieht man dein Lucky Backup: Es sieht zumindest so aus, dass du "appdata" - also die Docker Daten - gesichert hast. Gut. Ich sehe aber kein Verzeichnis, das auf die VM Sicherung deutet... Hast du die mit dem Plugin "VMBackup" gesichert? Wenn ja, wie ist da der Zielpfad für die Sicherung angegeben? Ansonsten beantworte bitte noch die anderen Fragen: :

Nein, ich habe aber zwei (identische) user scripts (Video von Space Invader): Script 1: At first start of Array only Script 2: Scheduled Hourly Das Script: #!/bin/bash ### SpaceInvader: https://www.youtube.com/watch?v=KD6G-tpsyKw&list=PLl06mKdXGNOBK85uzS1JC8sotzK1Sbicm&index=2 (Youtube) # check for driver command -v nvidia-smi &> /dev/null || { echo >&2 "nvidia driver is not installed you will need to install this from community applications ... exiting."; exit 1; } echo "Nvidia drivers are installed" echo echo "I can see these Nvidia gpus in your server" echo nvidia-smi --list-gpus echo echo "-------------------------------------------------------------" # set persistence mode for gpus ( When persistence mode is enabled the NVIDIA driver remains loaded even when no active processes, # stops modules being unloaded therefore stops settings changing when modules are reloaded nvidia-smi --persistence-mode=1 #query power state gpu_pstate=$(nvidia-smi --query-gpu="pstate" --format=csv,noheader); #query running processes by pid using gpu gpupid=$(nvidia-smi --query-compute-apps="pid" --format=csv,noheader); #check if pstate is zero and no processes are running by checking if any pid is in string if [ "$gpu_pstate" == "P0" ] && [ -z "$gpupid" ]; then echo "No pid in string so no processes are running" fuser -kv /dev/nvidia* echo "Power state is" echo "$gpu_pstate" # show what power state is else echo "Power state is" echo "$gpu_pstate" # show what power state is fi echo echo "-------------------------------------------------------------" echo echo "Power draw is now" # Check current power draw of GPU nvidia-smi --query-gpu=power.draw --format=csv exit Ich habe keine der zwei Karten an VFIO gebunden... Bei der 745 GTX würde das sicherlich Sinn ergeben, da sie permanent an meine Linux VM durchgereicht wird. Die 1050 TI habe ich eine Zeit lang abwechselnd in der VM und in Emby genutzt, dann geht das nicht - oder doch?

hmmm, von 3900X zu 5800X geht zumindest noch die Care Anzahl runter (12 > 8). Ob das was bringt? ...und den Thread muss ich auch noch mal durchlesen.... Ja, Jellyfin ist ein Emby Fork. Aber ich probiere jetzt erst mal den Grafikkartenwechsel (745GTX > T400). Mir einen 5800G zu holen und dann Probleme zu haben und/oder keine Stromersparnis ist mir zu Joker, da ich den nicht hier so rumliegen habe.... Aber noch mal zu einer meiner urspr. Fragen: Kennst jemand das X570M Pro4 Board? ist es denn relativ sparsam? hat ja auch einen kleineren Formafaktor als mein X570-E Gaming....

Plex hatte ich nur genannt weil in dem Thread bzgl. Ryzen 5700G das Thema iGPU Passthrough zu VM und iGPU Nutzung für Plex Transcoding war. Ich nutze Emby, aber das liest sich Plex oder Emby hin oder her - wie du schon sagst - recht gruselig und riecht nach unstable, so dass ich eher dazu tendiere weder iGPU Passthrough zu VM noch iGPU Nutzung für Emby Transcoding zu realisieren bevor ich nicht irgendwo lese, dass es sicher und stabil läuft. Also ich hatte schon mal das Pech einer defekten SSD im Btrfs RAIDs, aber Gott sei dank ohne Server Crash. Alles lief weiter, so dass ich (neben dem vorhandenen Backup) alles noch mal wegsichern und verlustfrei wiederherstellen konnte. Das allerdings in der Tat mit der VM die auf dem defekten Pool war (damals hatte ich ja nur einen). Naja, solange der Server nicht crasht dachte ich mir: Ist ein Pool hin, kann ich zumindest auf einer VM des anderen Pools weiterarbeiten und den defekten Pool reparieren/auflösen ohne mein verstaubtes noch zu aktualisierendes Notebook rauskramen zu müssen oder direkt den Server herunterfahren zu müssen. Ersatz SSDs habe ich da, so dass ich recht schnell den defekten Pool erneuern kann (dann logischer weise mit einer Downtime). Allerdings weiß ich grad gar nicht was passier wenn der Cache-Pool komplett wegfliegen sollte (ganzer Pool defekt). Docker weg ist halt so, aber wie verhält sich Unraid, wenn der Cache wegfliegt...? hmmmm - kling auch nicht so verkehrt....!

ok, wird eine der Umbaumaßnahmen sein, wenn ich mal Zeit habe (nächstes WE ggf.) Ja, sind beide immer aktiv, da ich die Docker auf dem einen Pool (Cache/Docker) habe und meinen daily driver auf dem anderen (VM). Es ist sowieso etwas komplizierter, da ich aus Performance- aber vor allem aus Sicherheitsgründen auf beiden Pools VMs laufen/liegen habe: sollte ein Pool ausfallen/repariert/stillgelegt werden müssen, bin ich weiter arbeitsfähig.... Das muss ich mir noch mal überlegen mit dem zusammenlegen. So groß ist doch vermutlich die Stromersparnis bei SSDs nicht - hmmm Ich habe gerade diesen Thread gefunden und frage mich ob eine 5700G CPU mit iGPU eine Grafikkarte ersetzen könnte....... Edit: Allerdings hat es irgendwie nur ein Teil der Leute geschafft die iGPU an eine VM oder Plex durchzureichen. Es scheint vom Board abzuhängen und nach jedem BIOS Update muss man wohl das Grafikkarten BIOS neu dumpen. Scheint mir zu "wackelig" und kompliziert.....

Nein, habe ich nicht, aber ich hätte noch eine neue Nvidia T400 4GB im Schrank... Ja, die VM, welche die 745 GTX nutzt, ist dauerhaft an. Es ist mein "Hauptrechner" (Linux mit Nvidia Treibern) 2x M.2, nicht 3. Dennoch hast du recht. Du meinst ich kann 2 NVMEs kaufen und den VM-Pool aus 2 SSDs damit ersetzen (oder Cache/Docker-Pool?)? ja, ist auch mein Plan gewesen Mein Ryzen 9 3900X kommt auf der Liste gar nicht vor, aber ich denke der rangiert dann laut Pfeil zwischen dem R7 3700X und dem R6 3600X? Dann, ja, klingt auch vernünftig. Beide haben aber die selbe TDP, aber ich schätze durch die zusätzlichen Kerne verbraucht der auch mehr...? Also beide SSD-Pools (VM+Cache/Docker) auf ein NVME Pool, richtig? Den Thread "ENERGIE - SPARPOTENTIAL UND VERGLEICHE" les ich mal durch.

Folgenden Thread wollte ich nicht hijacken, daher dieser neue.... Es geht mir um folgenden Vorschlag von @mgutt: @mgutt, ich hätte eine Frage zu dem genannten Asrock X570M Pro4 Board: Ist das X570M Pro4 denn relativ sparsam? Warum ich das frage: Ich habe ein Asus ROG STRIX x570-E Gaming und bin enttäuscht wegen der nicht vorhandenen bzw. nicht funktionierenden "Stromspareinstellungen" und fragte mich ob sich für mich ein Umstieg lohnen könnte (prinzipiell kann ich mir auch vorstellen die CPU zu wechseln, aber ich benötige schon mind. 8 Kerne)? Mein System: ASUS x570-E Gaming Ryzen 3900X CPU 64 GB RAM (2x32) Seasonic FOCUS PX-550 80PLUS Platinum GeForce 745 GTX für meine Linux VM als daily driver GeForce 1050TI für Emby bzw. weitere VMs (2x Win10, 1x Debian mit MailCow, 1x Debian mit Docker-Testsystem) LSI SAS 9211-4i im HBA Mode. Array: 2 WD red 4TB + 1 WD red 4TB Parity 1 Btrfs Pool aus 2 SSDs für Docker und Cache 1 Btrfs Pool aus 2 SSDs für VMs 1 HDD für Backups (UD) 1 HDD für NVR Frigate (+ derzeit auch noch Xeoma ... in Ablösung) Mir ist bewusst, dass ich mit meinem System kein Stromsparwunder erwarten kann, es war auch nie dafür geplant, aber ich bekomme mein System nicht unter 100 W im Idle Modus und das ist mir zu viel. Was ich ggf. (zusätzlich) umsetzen könnte: Statt HDD für NVR eine SSD (kein Problem) (oder sogar die NVR Daten mit z.Zt 2x90GB auf den Cache legen) Die zwei Btrfs Pools zusammenlegen (eigentlich ungern)

- borgbackup => vor dem Umstieg auf Duplicacy mein Hauptbackup - bwm-ng => zu Analysezwecken installiert, brauche ich derzeit nicht mehr - iftop => zu Analysezwecken installiert, brauche ich derzeit nicht mehr - iotop => zu Analysezwecken installiert, brauche ich derzeit nicht mehr - llfuse => zu Analysezwecken installiert, brauche ich derzeit nicht mehr - netcat-openbsd => zu Analysezwecken installiert, brauche ich derzeit nicht mehr - nload => zu Analysezwecken installiert, brauche ich derzeit nicht mehr - perl => soweit ich mich erinnere für Dynamix System Temperature und ggf das snmp plugin - python3 => weiß ich nicht mehr....irgendeine Abhägigkeit? - python-setuptools => weiß ich nicht mehr....irgendeine Abhägigkeit? Powertop: habe ich auch installiert, allerdings die neuere Version von @ich777 unter /boot/extra. Bringt mir bei meinem System allerdings leider auch keinen Mehrwert. Borg Backup: Ich habe noch Backup Repositories... Borg Backup hat mir eigentlich sehr gut gefallen, da müsste ich mich mal entscheiden die Repositories aufzulösen und/oder auf eine Docker Lösung umzusteigen (borgmatic, borg-backup, ...). Dies hatte ich bereits mal versucht, hatte damals aber nicht funktioniert (warum weiß ich nicht mehr). Tools zur Analyse, die könnten immer mal wieder interessant oder notwendig werden. Diese manuell zu installieren oder in /boot/extra abzulegen wäre aufwendiger als über das Nerd Plugin - aber machbar... Perl: in den Nerd Tools steht in der Spalte "Plugins": snmp. Keine Ahnung ob das snmp Plugin perl benötigt...? Fazit: Schade, aber ich würde nicht sterben....

1+ A native way (a plugin or built in) to take snapshots of virtual machines would be awesome!

+1 Seems very usefull to me! Thank you mgutt for the workaround!

I attached my diagnostics. At the moment everything is fine, all shim networks exist (last reboot today wasmanually and wanted). I'll post another diagnostics after a crash. I could also provoke a power outage if it can be helpfull.... flobinedata-diagnostics-20220709-1619.zip

this is true

When I reboot my Unraid server the the shim networks are created and everything is fine. But it does not create the shim networks after an automatic reboot after a crash or power outage. I don't know what should be the difference between a wanted manually reboot and an automatic reboot after crash or power outage??

Ja, das ist richtig. Ich habe auch 2 Cruciales und habe die Warnungen bzgl des Attributs 197 ausgeschaltet, weil es genervt hat und in 100% aller Fälle nach wenigen Minuten wieder auf "OK" gegangen ist.

Nein, es läuft auch ohne, aber eine SSD als Cache beschleunigt unRAID, da sie nicht, wie die Platten im Array über die Parity Platte geschützt wird (abgesehen davon dass eine SSD halt schneller ist...). Ein parity-geschütztes Array ist deutlich langsamer bei Schreibvorgängen, da geschrieben und gleichzeitig gelesen wird (für die Aktualisierung der Paritätsinformationen). Zudem möchtest du Docker container installieren und die sollten definitiv nicht auf dem parity-geschützten Array laufen (Performance!). Die Daten auf dem SSD Cache sind - sofern nicht ein BTRFS RAID Pool aus zwei SSDs konfiguriert ist - ungeschützt und werden in regelmäßigen (individuell einstelbaren) Abständen auf das geschützte Array geschoben. Wenn du nur testen willst und keine SSD hast, kannst du auch erstmal ein Array erstellen, das nicht durch eine Parity Platte geschützt ist, das ist dann performanter.

Nur mal so eingeworfen: Ginge auch ein USB 3 Port > USB 2 Kabel > USB 3 Stick ?