Xanthariel Posted February 27, 2021 Share Posted February 27, 2021 Hallo zusammen, ich habe seit Montag einen Unraid Server bei mir stehen. Verbaute Hardware: Board: Gigabyte X570 Aorus Pro RAM: G.Skill Ripjaws V (2x, 32GB, DDR4-3200, DIMM 288) Chache: Samsung 980 Pro (1000GB, M.2 2280) CPU: AMD Ryzen 7 3800X + be quiet! Dark Rock Pro 4 GPU-1: MSI Radeon RX 570 ARMOR GPU-2: Gainward 8800GT -------------------------------------------------- HDD: 2 x 3 GB 2 x 2 GB -------------------------------------------------- 1 x 1 GB (SSD mit nativ Linux) Am Server selber habe ich einen Monitor/Tastatur/Maus angeschllossen. Mit einigen Anlaufschwierigkeiten habe ich das Ding soweit hingestellt und möchte nun auch den vollen Nutzen daraus ziehen. Daher möchte ich gerne die VM-Geschichte ans Laufen bekommen und hier scheitere ich bisher. DAS PROBLEM: HVM: Enabled IOMMU: Enabled PCIe ACS override: = Multifunktion Damit sollten die Bios-Einstellungen richtig sein Die GPUs laufen in unterschiedlichen IOMMU Gruppen. IOMMU group 22: [10de:0611] 08:00.0 VGA compatible controller: NVIDIA Corporation G92 [GeForce 8800 GT] (rev a2) IOMMU group 23: [1002:67df] 09:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Ellesmere [Radeon RX 570] IOMMU group 24: [1002:aaf0] 09:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI] Ellesmere HDMI Audio [Radeon RX 570] Wenn ich den normalen VNC-Treiber verwende, kann ich eine Virtuelle Maschine starten und bearbeiten. Aber sobald ich eine VM mit einer der beiden GPUs starten möchte geht nix mehr. UnRaid ist 100% unkooperativ :-( Auf dem am Server angeschlossenen Monitor, bekomme ich dann das Bild von der Installation zu sehen, das ich eigentlich auf dem verbundenen Webclient erwarten würde. Dumm nur, dass weder mit der Tastatur am Client, als auch mit der am Server angeschlossenen etwas machen kann - der Mauszeiger bleibt wie eingefrohren und auch Tastatureingaben werden nicht durchgereicht. Wenn ich die USB-Maus & Tastatur in der VM durch schleifen will bekomme ich Fehler wie: internal error: Unknown PCI header type '127' for device '0000:09:00.0' MEINE FRAGEN: 1. Ich habe von Headless Betrieb gelesen - also nur Strom und Netz - kein Monitor/Tastatus/Maus. Wie macht Ihr das, macht das Sinn? Ich will ja explizit remote auf die VMs zugreifen und brauche daher eigentlich nur den Server in einer Ecke, headless würde mich auch reichen. 2. Ich habe nun schon viel gelesen vom dumpen des vbios der GPSs (SpainvaderOne etc.). Nach diesen Angaben sollte man ja die zu dumpende GPU nicht als Primäre GPU verwenden, also habe ich mein altens NVIDIA-Schätzchen in den oberen PCIe Steckplatz genagelt und die Radeon in den zweiten. Habe mir die vbios von einer "Techirgendwas Webseite" gezogen und diese eingebunden - brachte nun aber auch nicht den gewünschten Erfolg. Langsam stellt sich Ratlosigkeit ein. Wo ist mein Denkfehler, was übersehe ich? Habe ich das überhaupt richtig verstanden, dass man - wenn alles funktioniert - die GPU an WebClient benutzen kann? Ich wäre für jede Hilfe dankbar die mich dem Ziel näher bringen. Gruss Thomas Quote Link to comment
mgutt Posted February 27, 2021 Share Posted February 27, 2021 5 hours ago, Xanthariel said: PCIe ACS override: Das auf both und neu starten Dann VFIO Config installieren und darüber beide GPUs inkl Audio und evtl USB Anschlüssen auswählen. Wieder neu starten. Nun sind die GPUs per VFIO gebunden und Unraid findet keine mehr. Dein Problem ist nämlich vermutlich, dass sich Unraid eine der GPUs schnappt. Eventuell auch mal mit Legacy / UEFI im BIOS des Servers spielen. Quote Link to comment
Xanthariel Posted February 27, 2021 Author Share Posted February 27, 2021 Nun kommt der Server nicht mehr hoch... Bildschrim bleibt komplett schwarz. Quote Link to comment
mgutt Posted February 27, 2021 Share Posted February 27, 2021 21 minutes ago, Xanthariel said: Nun kommt der Server nicht mehr hoch... Bildschrim bleibt komplett schwarz. Was Sinn macht, weil du ja jetzt Unraid komplett ohne GPU startest. Du musst die Unraid WebGUI jetzt über ein anderes Gerät öffnen. Quote Link to comment
Xanthariel Posted February 28, 2021 Author Share Posted February 28, 2021 Ich habe ja zwei GPU`s in der Maschine. PCIe1 = NVidia PCIE2= AMD Radeon Nach den Anpassungen bekomme ich nun folgende Fehlermeldung. Dann friert alles ein und ich kann mich auch nicht mehr verbinden weder local noch per Web. Quote Link to comment
mgutt Posted February 28, 2021 Share Posted February 28, 2021 Mach mal bitte einen anderen USB Stick mit dem Creator fertig und danach kopierst du alle Dateien vom Stick auf diesen neuen Stick. Für mich sieht dass so aus als sei dein Stick kaputt. Quote Link to comment
Xanthariel Posted March 4, 2021 Author Share Posted March 4, 2021 Ich habe heute den neuen USB-Stick bekommen und aufgebaut (Rufus formatiert, Zip-Datei auf Stick entpackt, make_boot.bat) = Booten würde er, wenn nicht wieder dieser Fehler käme... Hast Du noch eine Idee? Welche Dateien muss ich denn auf den neuen Stick kopieren, habe jetzt mal alles unter config rüber genommen. Quote Link to comment
mgutt Posted March 5, 2021 Share Posted March 5, 2021 Wenn du auf dem Stick die Datei /config/vfio-pci.cfg löschst, fährt der Server dann wieder normal hoch und gibt es dann in Tools -> Systemlogs keine SQUASHFS error mehr? In der Datei ist nämlich deine Einstellung hinterlegt, die du mit dem VFIO Config Plugin gemacht hast. Das würde das also wieder rückgängig machen. Wenn das dann wieder geht, könntest du mal versuchen nur eine GPU an VFIO zu binden, so dass die andere für Unraid selbst noch übrig bleibt. Ich würde allerdings versuchen die 8800 GT in den ersten Slot zu packen, so dass die die primäre GPU deines Systems darstellt und die zweite stärkere GPU (RX 570) in den zweiten Slot. Die bindest du dann an VFIO, damit du sie an eine VM durchschleifen kannst. Quote Link to comment
Xanthariel Posted March 5, 2021 Author Share Posted March 5, 2021 Das war`s! Danke für den Tipp!! Habe die genannte Datei umbenannt und nun bootet er wieder wie geölt. Im PCIE_1 steckt die NVIDIA-Karte, im PCIE_2 die RX570 - das passt soweit. Da die RX-Karte ja offenbar auch noch eine Soundkarte enthält, was mache ich damit? Soll die auch an VFIO gebunden werden? Quote Link to comment
Xanthariel Posted March 5, 2021 Author Share Posted March 5, 2021 Und noch eine Frage... In meiner Vorstellung wird die RX über den Webbrowser durchgereicht. Ich kann mich also auf der VM anmelden und bekomme die "volle Power" der dicken Grafikkarte durchgereicht (Spiele etc.) Ich habe nun versucht die VM mit Ubuntu zu erstellen und habe keine Chance mich darauf anzumelden... Wenn ich den Monitor nun an die RX anschliesse, sehe ich ein Bild, kann aber weder die Tastatur noch die Maus benutzen... Werder die am Server, noch die am Client. Was übersehe ich hier? Dachte das wäre mit dem durchschleifen dann erledigt? Quote Link to comment
mgutt Posted March 5, 2021 Share Posted March 5, 2021 22 minutes ago, Xanthariel said: Da die RX-Karte ja offenbar auch noch eine Soundkarte enthält, was mache ich damit? Soll die auch an VFIO gebunden werden? Ja, immer GPU, GPU-Audio und falls vorhanden auch GPU-USB. Diese Sachen muss man dann auch vollständig an die VM übergeben. 9 minutes ago, Xanthariel said: Ich habe nun versucht die VM mit Ubuntu zu erstellen und habe keine Chance mich darauf anzumelden... Das liegt denke ich daran, weil du die 1. GPU gegen deine RX ersetzt hast?! In dem Fall ist die einzige grafische Ausgabe also nur noch über den Ausgang der GPU vorhanden und nicht mehr über VNC. Willst du beides, musst du die RX als 2. GPU hinzufügen. 9 minutes ago, Xanthariel said: Wenn ich den Monitor nun an die RX anschliesse, sehe ich ein Bild, kann aber weder die Tastatur noch die Maus benutzen.. Ja, weil die Maus und Tastatur vermutlich mit Unraid verbunden ist. Du musst also auch die Maus und Tastatur als Gerät an die VM durchschleifen. Am besten ist es, wenn du dir einen USB Hub besorgst und den kompletten Hub durchschleifst. Dann kannst du bei Bedarf auch mal neue USB Geräte anklemmen ohne ständig die Config der VM ändern zu müssen. Noch besser ist ein USB Hub mit LAN-Port. Dann hast du auch einen physischen LAN-Port in der VM, was von der Performance her besser ist. Quote Link to comment
Xanthariel Posted March 5, 2021 Author Share Posted March 5, 2021 Also nachdem ich die Datei /config/vfio-pci.cfg gelöscht hatte, bootete der Server wieder. Als ich dann die RX-Karte angeben hatte, konnte ich auch noch booten. Als ich dann den USB-Hub angegeben hatte, fand er kein Netzmehr und brachte nur noch Seich... Hier steckt halt auch der UBS-Stick den ich zum booten nehme drin... vielleicht ist das der Grund für dieses Verhalten? Quote Link to comment
mgutt Posted March 5, 2021 Share Posted March 5, 2021 Ja, wenn du die Gruppe auswählst, sind alle Geräte in der Gruppe für Unraid "weg". Bei AMD Boards ist das leider häufiger so, dass man nicht so viele Gruppen hat. Sonst sind keine USB Ports in einer eigenen Gruppe? Quote Link to comment
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.