Probleme beim erstellen der VM

[Crownjewels]

Hallo erstmal

bin recht unerfahren und bastel mir grad einen PC mit Unraid zusammen. 
bin schon relativ weit gekommen aber eins gelingt mir nicht. 
ich möchte das Unraid GUI über den VGA Ausgang des Motherboards darstellen lassen. 
Habe hierzu im Syslinux die pci Schnittstellen ausgeschalten. Jetzt sehe ich nach dem blauen Eingabefeld das Booten nicht mehr. 
Die VMs gehen alle automatisch an und über das HDMI bekomme ich ein Bild. 
Beim ersten Booten ist die GUI Oberfläche auf dem VGA Monitor erschienen. 
Nach dem zweiten Booten erscheint diese nicht mehr und ich sehe nur noch das blaue Eingabefeld. 
Wie schaffe ich es das die GUI wieder über VGA startet wie beim ersten Versuch? 

Beste Grüsse

Crown

Asus Motherboard WS C621E SAGE
2x Intel Xeon Gold 6144
3x Nvidia 2080Ti
32GB RAM ECC

5x SSD 500GB (Cache)
7TB HDD

Edited March 7, 2022 by Crownjewels

[Revan335]

Wieso die Schnittstellen/PCI abschalten?

 

Blau kenne ich nur das Boot Menü, vermutlich GRUB. Das Eingabefeld bzw. Prompt, kenne ich nur Schwarz und ist im nicht GUI Modus.

 

Die Default Auswahl kannst du ebenfalls im Syslinux einstellen. Auf den USB Stick unter Main klicken und dann unten bei Syslinux die gewünschte Boot Option wie GUI wählen.

 

Bei mir musste ich den AMD Treiber noch laden lassen. Dann wurde mir auch ein Bild/GUI angezeigt. Finde keine Übersicht meiner Threads, sonst hätte ich dir den Link geschickt. Wo das modprobe für AMD drin steht.

 

Was möchtest du den mit dem Server betreiben das 3x 2080 Ti benötigt werden? Da muss ja dann ein über 1000 W PSU/Netzteil hinterstecken.

 

Ich vermute auf der HDD liegen die Daten. Es wäre sinnvoll diese abzusichern bspw. Paritätsplatte. Der Cache ist vermutlich durch die 5 SSDs abgesichert.

Edited March 8, 2022 by Revan335

[alturismo]

12 hours ago, Crownjewels said:

Asus Motherboard WS C621E SAGE

 

12 hours ago, Crownjewels said:

3x Nvidia 2080Ti

 

ich schätze mal du willst den (optionalen) VGA Anschluss nutzen der auf dem Mainboard integrierten Grafikeinheit

 

ist die Frage in welcher Konstellation das gehen könnte ...

 

12 hours ago, Crownjewels said:

Wie schaffe ich es das die GUI wieder über VGA startet wie beim ersten Versuch? 

 

nur um sicher zu gehen, du bootest im GUI Modus ? oder willst du nur das Terminal sehen ?

 

@ich777 eine Idee hierzu ? diese integrierte Grafik zu nutzen ?

[ich777]

14 hours ago, Crownjewels said:

ich möchte das Unraid GUI über den VGA Ausgang des Motherboards darstellen lassen. 

Auf welcher Unraid version bist du?

 

Hast du die Nvidia GPUs an VFIO gebunden?

Im BIOS und ggf. den Jumper am Motherboard für die integrierte GPU hast du dementsprechend gesetzt das die integrierte GPU als primäre genutzt wird?

 

14 hours ago, Crownjewels said:

Nach dem zweiten Booten erscheint diese nicht mehr und ich sehe nur noch das blaue Eingabefeld. 

Könntest evtl. deine Diagnostics posten?

 

 

EDIT: Hast du im BIOS möglicherweise irgendwas eingestellt das er die Konsole auf einen Seriellen port umleitet falls das dein BIOS unterstütz?

Edited March 8, 2022 by ich777

[Crownjewels]

9 hours ago, Revan335 said:

1) Wieso die Schnittstellen/PCI abschalten?

2)Blau kenne ich nur das Boot Menü, vermutlich GRUB. Das Eingabefeld bzw. Prompt, kenne ich nur Schwarz und ist im nicht GUI Modus.

3)Die Default Auswahl kannst du ebenfalls im Syslinux einstellen. Auf den USB Stick unter Main klicken und dann unten bei Syslinux die gewünschte Boot Option wie GUI wählen.

4)Bei mir musste ich den AMD Treiber noch laden lassen. Dann wurde mir auch ein Bild/GUI angezeigt. Finde keine Übersicht meiner Threads, sonst hätte ich dir den Link geschickt. Wo das modprobe für AMD drin steht.

5)Was möchtest du den mit dem Server betreiben das 3x 2080 Ti benötigt werden? Da muss ja dann ein über 1000 W PSU/Netzteil hinterstecken.

6)Ich vermute auf der HDD liegen die Daten. Es wäre sinnvoll diese abzusichern bspw. Paritätsplatte. Der Cache ist vermutlich durch die 5 SSDs abgesichert.

1) Also die pci Schnittstellen habe ich isoliert weil sonst beim Booten von Unraid die 2080ti von Unraid benutzt wird. 
wenn ich dann die VM starte, dann bekommt man ne error Melung und kein Bild.

2) GRUB, so nennt sich das also. Das mit dem 5sec Timer bei dem man GUI oder Standart oder MemTest,…. Auswählen kann.

3) Hab ich schon auf GUI geändert.

4) Musste kein Treiber laden. GUI wird über die VGA oder halt über HDMI 2080ti angezeigt.

5) Möchte 3VMs mit je einer 2080ti laufen lassen. Oder eine VM mit 2x2080ti im NVLink.

Aber NVLink wird nicht in der VM erkannt. 
Richtig, 1000W sind verbaut. 1500W sind wohl empfehlenswerter, aber das kann ich noch nicht Testen. 
6) Ja, die 3HDD sind als Share angelegt. Die 5 SSDs sind als Cache angelegt auf denen dann auch die VMs laufen. Eine Parität benötige ich im Moment nicht. 
7) „ich schätze mal du willst den (optionalen) VGA Anschluss nutzen der auf dem Mainboard integrierten Grafikeinheit. ist die Frage in welcher Konstellation das gehen könnte ...“

Korrekt, das wäre die Idee. Habe einen kleinen Monitor am Gehäuse angebracht. Hier soll einfach nur die GUI Oberfläche angezeigt werden. 
8. „nur um sicher zu gehen, du bootest im GUI Modus ? oder willst du nur das Terminal sehen ?„ 

Ich boote im GUI. Im Prinzip will ich noch eine VM ohne Graka laufen lassen aber ich gebe mich damit zufrieden nur die GUI angezeigt zu bekommen. 
Hab zwar noch eine VM mit der Onboard Grafikkarte erstellt oder mit VNC aber so wie es grad aussieht packt der Rechner das nicht. Habe ja die PCI Schnittstellen deaktiviert und Unraid läuft jetzt wohl nur über die onboard graka oder über den Prozessor (wahrscheinlich das selbe) aufjedenfall mega langsam. 

Die integrierte Graka hätte sogar eine separate Gruppe (02:00.0)

9) „Auf welcher Unraid version bist du?“

6.9.2

10) „Hast du die Nvidia GPUs an VFIO gebunden?

Im BIOS und ggf. den Jumper am Motherboard für die integrierte GPU hast du dementsprechend gesetzt das die integrierte GPU als primäre genutzt wird?“

Du meinst unter System Devices die Gruppen isoliert? Dann ja.

Ich hab im BIOS danach gesucht, das ich die onboard als Primär umstelle. Habe aber diesbezüglich nichts gefunden. Lediglich etwas mit RT32 Image und 4G Decoding und OPROM. Habe 4G Decoding aktiviert aber frag mich nicht was ich da tat. 
Ja nice, da gibt es Tatsächlich einen Jumper. Wenn ich den setze sollte Ggf. Im BIOS hoffentlich etwas mit VGA erscheinen. 
11) „EDIT: Hast du im BIOS möglicherweise irgendwas eingestellt das er die Konsole auf einen Seriellen port umleitet falls das dein BIOS unterstütz?“

Uff, ich vermute nein. 
12) „Könntest evtl. deine Diagnostics posten?“

Habe die Datei erstellt.

crownjewels-diagnostics-20220308-1839.zip

Edited March 8, 2022 by Crownjewels

[alturismo]

15 minutes ago, Crownjewels said:

Habe die Datei erstellt, ist ne zip. Soll ich sie dir per Mail schicken?

hier anhängen

 

15 minutes ago, Crownjewels said:

Hab zwar noch eine VM mit der Onboard Grafikkarte erstellt oder mit VNC aber so wie es grad aussieht packt der Rechner das nicht. Habe ja die PCI Schnittstellen deaktiviert und Unraid läuft jetzt wohl nur über die onboard graka oder über den Prozessor (wahrscheinlich das selbe) aufjedenfall mega langsam. 

läuft alles über die CPU dann, da die onboard ja bereits von unraid "vergriffen" ist

 

16 minutes ago, Crownjewels said:

Also die pci Schnittstellen habe ich ausgeschalten weil sonst beim Booten von Unraid die 2080ti von Unraid benutzt wird. 
wenn ich dann die VM starte, dann bekommt man ne error Melung und kein Bild.

und das passt auch, ist aber nicht abgeschaltet sondern von unraid isoliert, denke daher die Nachfrage ... passt.

[Revan335]

1 hour ago, Crownjewels said:

Auf welcher Unraid version bist du?“

5.10.28

Das ist dann wohl ne sehr alte Version, sofern du dich nicht verschrieben hast, ein Upgrade wäre dann bestimmt ratsam. @Crownjewels

Edited March 8, 2022 by Revan335

[mgutt]

Bau mal alle GPUs aus und versuche erstmal so dein Glück.

 

Wichtig ist, dass die IPMI GPU deine primäre GPU wird.

 

Ach ja und noch was: Kann der Monitor VGA oder nutzt du einen Wandler zb auf HDMI? Nicht alle Wandler unterstützen alle Auflösungen/Hz Varianten.

[Crownjewels]

On 3/8/2022 at 9:41 PM, mgutt said:

Bau mal alle GPUs aus und versuche erstmal so dein Glück.

 

Wichtig ist, dass die IPMI GPU deine primäre GPU wird.

 

Ach ja und noch was: Kann der Monitor VGA oder nutzt du einen Wandler zb auf HDMI? Nicht alle Wandler unterstützen alle Auflösungen/Hz Varianten.

Ähm ja, das wird mich wieder Tage kosten. 
Ich kann auch einfach alle HDMI Kabel ziehen und dann funktioniert Unraid über den VGA Ausgang im GUI ohne Probleme wenn ich auch das Isolieren der pci aus dem syslinux lösche. 
Eine GPU muss ich sowieso ausbauen um an den Jumper zu kommen. 
Speichert Unraid die ausgewählte primäre GPU dann oder nimmt er später wieder automatisch diese die im PCI verbaut ist?

Kann man Unraid nicht einfach eine GPU für den GUI zuordnen und die anderen isolieren? 

Woran erkenne ich denn welche GPU Unraid als primär ausgewählt hat?

Ich hab einen Wandler nach dem VGA Ausgang auf HDMI. Der Monitor kann so ziemlich alle Auflösungen bis FullHD, hab das schon in der VM ausprobiert in der ich die onboard GPU mit der VM isoliert hab. 

 

Hat nix gebracht: "Werde also erstmal den Jumper setzen und dann diesen Code probieren:

Passthrough all GPUs but the boot GPU

Here, we will make a script to bind vfio-pci to all GPUs but the boot gpu.
Create the script /usr/local/bin/vfio-pci-override.sh:

#!/bin/sh for i in /sys/bus/pci/devices/*/boot_vga; do if [ $(cat "$i") -eq 0 ]; then GPU="${i%/boot_vga}" AUDIO="$(echo "$GPU" | sed -e "s/0$/1/")" USB="$(echo "$GPU" | sed -e "s/0$/2/")" echo "vfio-pci" > "$GPU/driver_override" if [ -d "$AUDIO" ]; then echo "vfio-pci" > "$AUDIO/driver_override" fi if [ -d "$USB" ]; then echo "vfio-pci" > "$USB/driver_override" fi fi done modprobe -i vfio-pci

Quelle: https://wiki.archlinux.org/title/PCI_passthrough_via_OVMF#Passthrough_selected_GPU"

Edited March 11, 2022 by Crownjewels

[mgutt]

1 hour ago, Crownjewels said:

Kann man Unraid nicht einfach eine GPU für den GUI zuordnen und die anderen isolieren? 

Hier kommt es wohl auf das BIOS an, wenn ich so an andere Threads denke. Also wenn die IPMI GPU die primäre ist, sollten die dGPUs ignoriert werden. Nur viele Consumerboards machen die dGPU in Slot 1 automatisch zur primären GPU. Also hat scheinbar weniger mit unRAID zu tun.

[Crownjewels]

Jumper ist richtig gesetzt gewesen. 
Wäre er anderst gesetzt hätte ich garkein Bild über VGA.

EDIT: Habe jetzt im BIOS: Active Video auf Onboard Device umgestellt.

Unraid nimmt beim booten immernoch eine dGPU, sogar die vom Slot7. Stecke ich die HDMI Kabel aus, klappt es das Unraid mit der IPMI GPU bootet.

Kann man Unraid vor dem Booten nicht sagen er soll die PCI Plätze ignorieren und nach dem booten dann laden? 

Die dGPUs sind ja zugeordnet (10de:1e07), und die IPMI GPU hat (1a03:2000)

 

EDIT2: Kann es sein das mein Problem was damit zu tun hat welches nun mit dem Update behoben wird?:

 

"In-tree GPU drivers are now loaded by default if corresponding hardware is detected:

amdgpu

ast

i915

radeon

 

These drivers are required mostly for motherboard on-board graphics used in GUI boot mode.  Loading of a driver can be prohibited by creating the appropriate file named after the driver:

echo "blacklist i915" > /boot/config/modprobe.d/i915.conf

Alternately, the device can be isolated from Linux entirely via the System Devices page.  Note that in Unraid OS 6.9 releases the in-tree GPU drivers are blacklisted by default and to enabling loading a driver you need to create an empty "conf" file.  After upgrading to Unraid OS 6.10 you may delete those files, or leave them as-is.  This change was made to greatly improve the Desktop GUI experience for new users.

 

Added support for Intel GVT-g, which lets you split your Intel i915 iGPU into multiple virtual GPUs and pass them through to multiple VMs, using @ich777's Intel-GVT-g plugin."

Edited March 11, 2022 by Crownjewels

[Crownjewels]

Ich denke ich habe 2 Lösungen gefunden die mir weiterhelfen:

1) Ich installiere „Miracast„ auf einer VM und z.B. auf einem Laptop und bediene die VM ohne Kabelbverbindung. 
2) Ich habe mir einen HDMI Transmitter und Receiver bestellt. Idee wäre: sobald Unraid gebootet hat den Transmitter einschalten, bzw. In der Hoffnung Unraid bootet zuerst über den VGA Anschluss bevor er den Transmitter bedient. 

[Crownjewels]

Tag zusammen, also das mit dem HDMI Transmitter funktioniert. Man muss ihn halt beim Booten ausschalten. 
habe jetzt aber ein anderes Problem:

ich hab die SATA Kabel gezogen gehabt und beim zusammenstecken nicht wieder in den selben Steckplatz gesteckt. 
jetzt erkennt Unraid nicht mehr alle Festplatten. 
liegt es daran das ich par sata steckplätze vertauscht habe?

 

[mgutt]

14 hours ago, Crownjewels said:

liegt es daran das ich par sata steckplätze vertauscht habe?

Nein. unRAID ist es egal wo die stecken. Entweder sind die Ports nicht aktiv (weil das Board in bestimmten Szenarien SATA Ports abschaltet = siehe Anleitung) oder das Kabel ist defekt.