2te Grafikkarte - qemu Error


Recommended Posts

Servus,

ich wollte heute, nachdem endlich die zweite Grafikkarte angekommen ist diese für die 2te VM verwenden.
Alles eingestellt (VFIO, in der VM,....) und ich bekomme diesen Fehler:
internal error: qemu unexpectedly closed the monitor
Nach rumprobieren und auch die Grafikkarte umtauschen (Slot 1 & 4 Vertauschen [sind beide 16x]) bleibt der Fehler bestehen.
Ich habe bereits alle ACS Arten durchprobiert aber diese blieben erfolgslos....
Hat jemand einen Peil was ich da machen kann? Es funktioniert scheinbar immer nur die Grafikkarte nicht die auf dem Slot 4 eingesteckt ist.
(2&3 sind 1x und bei 5 wäre zu wenig Platz um sie einzustecken)
Zu dem VMs: Beide funktionieren, wenn die die Graka auf PCIeSlot 1 verwende, die andere jeweils nicht...
Muss man hierbei etwas anders einstellen?

Zur Info - Das System:

     Mainboard - ASRock W480 Creator

     CPU - Intel® Xeon® W-1290P

     RAM - 4x 32 GB RAM Nicht-ECC

     PCIe1 (16x) - Nvidea GTX 1550
     PCIe2 (1x) - Frei Wegen Platzmangel
     PCIe3 (1x) - Sata Adapter

     PCIe4 (16x) - Nvidia GTC 1050Ti

     PCIe5 (16x) - Noch leer, geplant ist noch eine kleinere Graka wenn die Preise mal wieder normal sind für VM Nr 3 ;-)

    (Gleich darunter ist schon das Netzteil - daher hat PCIe5 Nur eine Slotbreite Platz)

Link to comment

Du kannst beide GPUs in den System Devices sehen? Dann laufen sie auch.

 

1 hour ago, Firemaster640 said:

internal error: qemu unexpectedly closed the monitor

Sonst nichts? Normal kommt da noch mehr wie zb hier:

https://forums.unraid.net/topic/89592-pf-sense-vm-internal-error-qemu-unexpectedly-closed-the-monitor-solved/?do=findComment&comment=831541

 

 

Wir brauchen auf jeden Fall mehr Input. Also VM Logs und Syslogs vom VM Startzeitpunkt.

 

 

Ansonsten:

Kannst du im BIOS irgendwo die PCIE Aufteilung auswählen? Korrekt wäre entsprechend X8X8 (daran sollte es aber nicht liegen, da die Karten ja erkannt werden). PCIE5 hast du auch mal getestet? Der Slot läuft über den Chipsatz, sollte also unabhängig funktioniert. Beachte aber, dass du PCIE5 nicht nutzen kannst wenn du M2_3 oder SATA3_3 in Verwendung hast:

 

IMG_20210803_182503.thumb.jpg.520202b089699fb53e3af6f09cce4589.jpg

Link to comment
56 minutes ago, mgutt said:

Sonst nichts?

Leider nicht, siehe Screenshot im Anhang

 

###################################################################

 

57 minutes ago, mgutt said:

VM Logs

Spoiler

ErrorWarningSystemArrayLogin


-device pcie-root-port,port=0x10,chassis=9,id=pci.9,bus=pcie.0,multifunction=on,addr=0x2 \
-device pcie-root-port,port=0x11,chassis=10,id=pci.10,bus=pcie.0,addr=0x2.0x1 \
-device pcie-pci-bridge,id=pci.11,bus=pci.1,addr=0x0 \
-device pcie-root-port,port=0x12,chassis=12,id=pci.12,bus=pcie.0,addr=0x2.0x2 \
-device nec-usb-xhci,p2=15,p3=15,id=usb,bus=pcie.0,addr=0x7 \
-device virtio-serial-pci,id=virtio-serial0,bus=pci.3,addr=0x0 \
-blockdev '{"driver":"file","filename":"/mnt/user/domains/Sascha - Linux/vdisk1.img","node-name":"libvirt-5-storage","cache":{"direct":false,"no-flush":false},"auto-read-only":true,"discard":"unmap"}' \
-blockdev '{"node-name":"libvirt-5-format","read-only":false,"cache":{"direct":false,"no-flush":false},"driver":"qcow2","file":"libvirt-5-storage","backing":null}' \
-device virtio-blk-pci,bus=pci.4,addr=0x0,drive=libvirt-5-format,id=virtio-disk2,bootindex=1,write-cache=on \
-blockdev '{"driver":"file","filename":"/mnt/disks/Dokumente_Bilder-Festplatte/Dokumente/Sascha - Linux/vdisk2.qcow2","node-name":"libvirt-4-storage","cache":{"direct":false,"no-flush":false},"auto-read-only":true,"discard":"unmap"}' \
-blockdev '{"node-name":"libvirt-4-format","read-only":false,"cache":{"direct":false,"no-flush":false},"driver":"qcow2","file":"libvirt-4-storage","backing":null}' \
-device virtio-blk-pci,bus=pci.5,addr=0x0,drive=libvirt-4-format,id=virtio-disk3,write-cache=on \
-blockdev '{"driver":"file","filename":"/mnt/disks/Dokumente_Bilder-Festplatte/Bilder/Sascha - Linux/vdisk3.qcow2","node-name":"libvirt-3-storage","cache":{"direct":false,"no-flush":false},"auto-read-only":true,"discard":"unmap"}' \
-blockdev '{"node-name":"libvirt-3-format","read-only":false,"cache":{"direct":false,"no-flush":false},"driver":"qcow2","file":"libvirt-3-storage","backing":null}' \
-device virtio-blk-pci,bus=pci.6,addr=0x0,drive=libvirt-3-format,id=virtio-disk4,write-cache=on \
-blockdev '{"driver":"file","filename":"/mnt/disks/Spiele-Festplatte/Sascha - Linux/vdisk4.qcow2","node-name":"libvirt-2-storage","cache":{"direct":false,"no-flush":false},"auto-read-only":true,"discard":"unmap"}' \
-blockdev '{"node-name":"libvirt-2-format","read-only":false,"cache":{"direct":false,"no-flush":false},"driver":"qcow2","file":"libvirt-2-storage","backing":null}' \
-device virtio-blk-pci,bus=pci.7,addr=0x0,drive=libvirt-2-format,id=virtio-disk5,write-cache=on \
-blockdev '{"driver":"file","filename":"/mnt/disks/Video-Festplatte/Sascha - Linux/vdisk5.qcow2","node-name":"libvirt-1-storage","cache":{"direct":false,"no-flush":false},"auto-read-only":true,"discard":"unmap"}' \
-blockdev '{"node-name":"libvirt-1-format","read-only":false,"cache":{"direct":false,"no-flush":false},"driver":"qcow2","file":"libvirt-1-storage","backing":null}' \
-device virtio-blk-pci,bus=pci.8,addr=0x0,drive=libvirt-1-format,id=virtio-disk6,write-cache=on \
-netdev tap,fd=35,id=hostnet0 \
-device virtio-net,netdev=hostnet0,id=net0,mac=52:54:00:dd:81:a0,bus=pci.2,addr=0x0 \
-chardev pty,id=charserial0 \
-device isa-serial,chardev=charserial0,id=serial0 \
-chardev socket,id=charchannel0,fd=36,server,nowait \
-device virtserialport,bus=virtio-serial0.0,nr=1,chardev=charchannel0,id=channel0,name=org.qemu.guest_agent.0 \
-device usb-tablet,id=input0,bus=usb.0,port=5 \
-device vfio-pci,host=0000:02:00.0,id=hostdev0,bus=pci.9,addr=0x0 \
-device vfio-pci,host=0000:02:00.1,id=hostdev1,bus=pci.10,addr=0x0 \
-device usb-host,hostbus=1,hostaddr=13,id=hostdev2,bus=usb.0,port=1 \
-device usb-host,hostbus=1,hostaddr=7,id=hostdev3,bus=usb.0,port=2 \
-device usb-host,hostbus=1,hostaddr=11,id=hostdev4,bus=usb.0,port=3 \
-device usb-host,hostbus=1,hostaddr=8,id=hostdev5,bus=usb.0,port=4 \
-sandbox on,obsolete=deny,elevateprivileges=deny,spawn=deny,resourcecontrol=deny \
-msg timestamp=on
2021-08-03 17:30:45.780+0000: Domain id=2 is tainted: high-privileges
2021-08-03 17:30:45.780+0000: Domain id=2 is tainted: host-cpu
char device redirected to /dev/pts/1 (label charserial0)
2021-08-03 17:30:49.607+0000: shutting down, reason=failed

Die letzte Zeile ist gelb Hinterlegt.

 

####################################################################################

 

59 minutes ago, mgutt said:

Syslogs

Spoiler


Aug 3 18:00:15 Server nmbd[5285]:
Aug 3 18:00:15 Server nmbd[5285]: *****
Aug 3 18:00:15 Server kernel: usb 1-10.3: reset full-speed USB device number 10 using xhci_hcd
Aug 3 18:00:15 Server kernel: usb 1-9.2.4: reset full-speed USB device number 15 using xhci_hcd
Aug 3 18:05:13 Server ntpd[2188]: kernel reports TIME_ERROR: 0x41: Clock Unsynchronized
Aug 3 18:05:31 Server nmbd[5285]: [2021/08/03 18:05:31.236515, 0] ../../source3/nmbd/nmbd_become_lmb.c:397(become_local_master_stage2)
Aug 3 18:05:31 Server nmbd[5285]: *****
Aug 3 18:05:31 Server nmbd[5285]:
Aug 3 18:05:31 Server nmbd[5285]: Samba name server SERVER is now a local master browser for workgroup WORKGROUP on subnet 192.168.122.1
Aug 3 18:05:31 Server nmbd[5285]:
Aug 3 18:05:31 Server nmbd[5285]: *****
Aug 3 18:05:31 Server nmbd[5285]: [2021/08/03 18:05:31.236556, 0] ../../source3/nmbd/nmbd_become_lmb.c:397(become_local_master_stage2)
Aug 3 18:05:31 Server nmbd[5285]: *****
Aug 3 18:05:31 Server nmbd[5285]:
Aug 3 18:05:31 Server nmbd[5285]: Samba name server SERVER is now a local master browser for workgroup WORKGROUP on subnet 172.17.0.1
Aug 3 18:05:31 Server nmbd[5285]:
Aug 3 18:05:31 Server nmbd[5285]: *****
Aug 3 19:30:33 Server webGUI: Successful login user root from 192.168.178.43
Aug 3 19:30:45 Server kernel: br0: port 3(vnet1) entered blocking state
Aug 3 19:30:45 Server kernel: br0: port 3(vnet1) entered disabled state
Aug 3 19:30:45 Server kernel: device vnet1 entered promiscuous mode
Aug 3 19:30:45 Server kernel: br0: port 3(vnet1) entered blocking state
Aug 3 19:30:45 Server kernel: br0: port 3(vnet1) entered forwarding state
Aug 3 19:30:46 Server usb_manager: Info: rc.usb_manager vm_action Sascha - Linux prepare begin -
Aug 3 19:30:46 Server avahi-daemon[4768]: Joining mDNS multicast group on interface vnet1.IPv6 with address fe80::fc54:ff:fedd:81a0.
Aug 3 19:30:46 Server avahi-daemon[4768]: New relevant interface vnet1.IPv6 for mDNS.
Aug 3 19:30:46 Server avahi-daemon[4768]: Registering new address record for fe80::fc54:ff:fedd:81a0 on vnet1.*.
Aug 3 19:30:48 Server kernel: vfio-pci 0000:02:00.0: enabling device (0000 -> 0003)
Aug 3 19:30:48 Server kernel: vfio-pci 0000:02:00.0: vfio_ecap_init: hiding ecap 0x19@0x900
Aug 3 19:30:48 Server kernel: qemu-system-x86[23028]: segfault at a8 ip 000055c0734d612a sp 00007fff178e7d50 error 4 in qemu-system-x86_64[55c0733c9000+51d000]
Aug 3 19:30:48 Server kernel: Code: ef ff 66 66 2e 0f 1f 84 00 00 00 00 00 0f 1f 00 55 53 48 89 fb 48 83 ec 08 48 8b 6f 58 e8 4e de ff ff 48 89 df e8 16 e9 ff ff <48> 8b 85 a8 00 00 00 48 85 c0 74 52 8b 93 a0 00 00 00 eb 0e 66 90
Aug 3 19:30:49 Server avahi-daemon[4768]: Interface vnet1.IPv6 no longer relevant for mDNS.
Aug 3 19:30:49 Server avahi-daemon[4768]: Leaving mDNS multicast group on interface vnet1.IPv6 with address fe80::fc54:ff:fedd:81a0.
Aug 3 19:30:49 Server kernel: br0: port 3(vnet1) entered disabled state
Aug 3 19:30:49 Server kernel: device vnet1 left promiscuous mode
Aug 3 19:30:49 Server kernel: br0: port 3(vnet1) entered disabled state
Aug 3 19:30:49 Server avahi-daemon[4768]: Withdrawing address record for fe80::fc54:ff:fedd:81a0 on vnet1.
Aug 3 19:30:50 Server usb_manager: Info: rc.usb_manager vm_action Sascha - Linux stopped end -

 

######################################################################################

 

59 minutes ago, mgutt said:

VM Startzeitpunkt

Wird nicht automatisch gestartet, die VM habe ich heute erstellt und via VNC heute erstmal eingerichtet. Sie startet jedoch Problemlos, wenn die erste Grafikkarte nicht im Server sitzt oder die erste Grafikkarte angewählt wird.

 

#####################################################################################

 

1 hour ago, mgutt said:

PCIE Aufteilung

Ich hab im BIOS gesucht, jedoch (typisch Gigabyte - unübersichtlich) habe ich nichts gefunden um dies einzustellen.

 

#######################################################################################

 

1 hour ago, mgutt said:

PCIE5 hast du auch mal getestet?

 

3 hours ago, Firemaster640 said:

bei 5 wäre zu wenig Platz um sie einzustecken

Das Netzteil limitiert den Platz

 

###############################################################################################

 

1 hour ago, mgutt said:

Beachte aber, dass du PCIE5 nicht nutzen kannst wenn du M2_3 oder SATA3_3 in Verwendung hast:

Wurde bedacht 🙂 Aber Danke für den Hinweiß

Bildschirmfoto vom 2021-08-03 19-30-54.png

Link to comment
4 hours ago, Firemaster640 said:

2021-08-03 17:30:49.607+0000: shutting down, reason=failed

image.png.39bfddc86388561e03e313fa74b07fe1.png

Das ist ja mal eine aussagekräftige Fehlermeldung ^^

 

4 hours ago, Firemaster640 said:

-device vfio-pci,host=0000:02:00.0,id=hostdev0,bus=pci.9,addr=0x0 \
-device vfio-pci,host=0000:02:00.1,id=hostdev1,bus=pci.10,addr=0x0 \

Das sind die beiden GPUs? Nur zwei Einträge deutet darauf hin, dass nur GPUs, aber nicht die dazugehörigen Audio Devices und USB Devices durchgeschliffen wurden. Alles muss an VFIO gebunden und an die VM durchgeschliffen werden. Bitte Screenshots der VM Geräte und Tools -> System Devices posten.

 

4 hours ago, Firemaster640 said:

Syslogs

Laut den VM Logs wurde die VM um 17:30 gestartet. Du hast aber nur syslogs ab 18 Uhr gepostet.

 

4 hours ago, Firemaster640 said:

Das Netzteil limitiert den Platz

Ist das jetzt mein Problem? 🙊😅😁

Link to comment
6 hours ago, mgutt said:

Das ist ja mal eine aussagekräftige Fehlermeldung ^^

Daher ist es auch für mich ein Riesen Problem xD

 

6 hours ago, mgutt said:

Das sind die beiden GPUs? Nur zwei Einträge deutet darauf hin, dass nur GPUs, aber nicht die dazugehörigen Audio Devices und USB Devices durchgeschliffen wurden. Alles muss an VFIO gebunden und an die VM durchgeschliffen werden. Bitte Screenshots der VM Geräte und Tools -> System Devices posten.

Bild im Anhang, es wird alles durchgereicht

 

6 hours ago, mgutt said:

Laut den VM Logs wurde die VM um 17:30 gestartet. Du hast aber nur syslogs ab 18 Uhr gepostet.

Es könnte sein, dass ich ne Falsche Zeitzone eingestellt habe im Bios 🤔 Zone +1 und -1 Verwechseln und so

 

Bildschirmfoto vom 2021-08-04 07-20-31.png

Link to comment
16 hours ago, Firemaster640 said:

typisch Gigabyte

Du meinst Asrock? 🤔

 

Dein Problem konnte ich jetzt 3x finden und es blieb leider immer ungelöst:

https://forums.unraid.net/topic/78545-internal-error-qemu-unexpectedly-closed-the-monitor/

https://forums.unraid.net/topic/80932-internal-error-qemu-unexpectedly-closed-the-monitor-seabios/

https://forums.unraid.net/topic/83470-adata-xpg-sx8200-pro-going-offline/

 

Einer hatte bei QEMU sogar einen Bug Report gestartet, der aber ebenfalls offen blieb, aber der dortige Entwickler sprach von "segfaulted":

https://bugs.launchpad.net/qemu/+bug/1821054#:~:text=It looks like qemu has segfaulted

Quote

It looks like qemu has segfaulted;

...

Could you get a backtrace of qemu crashing - this might be easiest if your distro records core dumps somewhere.

 

Und in deinen syslogs ist ebenfalls so ein Fehler:

Aug 3 19:30:48 Server kernel: vfio-pci 0000:02:00.0: enabling device (0000 -> 0003)
Aug 3 19:30:48 Server kernel: vfio-pci 0000:02:00.0: vfio_ecap_init: hiding ecap 0x19@0x900
Aug 3 19:30:48 Server kernel: qemu-system-x86[23028]: segfault at a8 ip 000055c0734d612a sp 00007fff178e7d50 error 4 in qemu-system-x86_64[55c0733c9000+51d000]
Aug 3 19:30:48 Server kernel: Code: ef ff 66 66 2e 0f 1f 84 00 00 00 00 00 0f 1f 00 55 53 48 89 fb 48 83 ec 08 48 8b 6f 58 e8 4e de ff ff 48 89 df e8 16 e9 ff ff <48> 8b 85 a8 00 00 00 48 85 c0 74 52 8b 93 a0 00 00 00 eb 0e 66 90

 

Ich würde jetzt folgende Schritte versuchen:

 

1.)  Schau mal bitte mit folgendem Befehl mit welcher Bandbreite die Karten angebunden sind:

lspci -vv | grep -B 30 LnkSta:

 

2.) Einen Monitor an die Grafikkarten anschließen und neu starten. Bleiben sie aus (gut) oder siehst du Unraid (schlecht)? Ist letzteres der Fall: Wurde im BIOS die iGPU als primäre GPU gewählt? Ändert sich irgendwas, wenn man nur eine GPU verbaut hat?

 

3.) Unraid im Legacy Mode booten. Dazu auf den Namen des USB Sticks klicken und ganz unten ist dann die Option:

image.png.2ea44e63d3b3f068e51538768fd4a1e9.png

 

4.) Alle Geräte wieder von VFIO lösen (Haken rausnehmen) und die verschiedenen PCIe ACS Override Optionen durchprobieren:

image.png.b2eab62e131694f46c497b499b8fe3c8.png

 

Also Downstream, neu starten, GPUs an VFIO binden, neu starten, (neue) VM erstellen und die nicht funktionierende GPU durchschleifen. Das dann mit jeder Option wiederholen. Wie gesagt immer mit einer neuen VM.

 

5.) Letzte Option wäre ein Bug Report bei QEMU zu starten. Da müssten wir uns dann mit einem der Unraid Entwickler kurz schließen wie man eigentlich diesen gewünschten Backtrace bekommt.

 

 

Link to comment
2 hours ago, mgutt said:

 

1.)  Schau mal bitte mit folgendem Befehl mit welcher Bandbreite die Karten angebunden sind:

Soweit ich sehe sind die richtig mit 8x8x angebunden,  was mich wundert ist jedoch,dass die 2te Grafikkarte bzw. Soundkarte nicht die VFIO "in use" hat.
Überall sonst steht es jedoch drin ?_?
 

Spoiler

--
        Region 0: Memory at fe010000 (32-bit, non-prefetchable) [size=4K]

01:00.0 VGA compatible controller: NVIDIA Corporation TU106 [GeForce GTX 1650] (rev a1) (prog-if 00 [VGA controller])
        Subsystem: ASUSTeK Computer Inc. Device 879d
        Control: I/O+ Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx+
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Latency: 0
        Interrupt: pin A routed to IRQ 151
        IOMMU group: 14
        Region 0: Memory at c3000000 (32-bit, non-prefetchable) [size=16M]
        Region 1: Memory at 80000000 (64-bit, prefetchable) [size=256M]
        Region 3: Memory at 90000000 (64-bit, prefetchable) [size=32M]
        Region 5: I/O ports at 5000 [size=128]
        Expansion ROM at c4000000 [disabled] [size=512K]
        Capabilities: [60] Power Management version 3
                Flags: PMEClk- DSI- D1- D2- AuxCurrent=375mA PME(D0+,D1-,D2-,D3hot+,D3cold+)
                Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=0 PME-
        Capabilities: [68] MSI: Enable+ Count=1/1 Maskable- 64bit+
                Address: 00000000fee00618  Data: 0000
        Capabilities: [78] Express (v2) Legacy Endpoint, MSI 00
                DevCap: MaxPayload 256 bytes, PhantFunc 0, Latency L0s unlimited, L1 <64us
                        ExtTag+ AttnBtn- AttnInd- PwrInd- RBE+ FLReset+
                DevCtl: CorrErr- NonFatalErr- FatalErr- UnsupReq-
                        RlxdOrd+ ExtTag+ PhantFunc- AuxPwr- NoSnoop+ FLReset-
                        MaxPayload 256 bytes, MaxReadReq 512 bytes
                DevSta: CorrErr- NonFatalErr- FatalErr- UnsupReq- AuxPwr+ TransPend-
                LnkCap: Port #0, Speed 8GT/s, Width x16, ASPM L0s L1, Exit Latency L0s <1us, L1 <4us
                        ClockPM+ Surprise- LLActRep- BwNot- ASPMOptComp+
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
                        ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
                LnkSta: Speed 8GT/s (ok), Width x8 (downgraded)
--
        Capabilities: [bb0 v1] Physical Resizable BAR
                BAR 0: current size: 16MB, supported: 16MB
                BAR 1: current size: 256MB, supported: 64MB 128MB 256MB
                BAR 3: current size: 32MB, supported: 32MB
        Kernel driver in use: vfio-pci

01:00.1 Audio device: NVIDIA Corporation TU106 High Definition Audio Controller (rev a1)
        Subsystem: ASUSTeK Computer Inc. Device 879d
        Control: I/O- Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx-
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Latency: 0, Cache Line Size: 64 bytes
        Interrupt: pin B routed to IRQ 17
        IOMMU group: 15
        Region 0: Memory at c4080000 (32-bit, non-prefetchable) [size=16K]
        Capabilities: [60] Power Management version 3
                Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0-,D1-,D2-,D3hot-,D3cold-)
                Status: D0 NoSoftRst+ PME-Enable- DSel=0 DScale=0 PME-
        Capabilities: [68] MSI: Enable- Count=1/1 Maskable- 64bit+
                Address: 0000000000000000  Data: 0000
        Capabilities: [78] Express (v2) Endpoint, MSI 00
                DevCap: MaxPayload 256 bytes, PhantFunc 0, Latency L0s unlimited, L1 <64us
                        ExtTag+ AttnBtn- AttnInd- PwrInd- RBE+ FLReset- SlotPowerLimit 75.000W
                DevCtl: CorrErr- NonFatalErr- FatalErr- UnsupReq-
                        RlxdOrd+ ExtTag+ PhantFunc- AuxPwr- NoSnoop+
                        MaxPayload 256 bytes, MaxReadReq 512 bytes
                DevSta: CorrErr- NonFatalErr- FatalErr- UnsupReq- AuxPwr- TransPend-
                LnkCap: Port #0, Speed 8GT/s, Width x16, ASPM L0s L1, Exit Latency L0s <1us, L1 <4us
                        ClockPM+ Surprise- LLActRep- BwNot- ASPMOptComp+
                LnkCtl: ASPM L0s L1 Enabled; RCB 64 bytes, Disabled- CommClk+
                        ExtSynch- ClockPM+ AutWidDis- BWInt- AutBWInt-
                LnkSta: Speed 8GT/s (ok), Width x8 (downgraded)
--
                        MultHdrRecCap- MultHdrRecEn- TLPPfxPres- HdrLogCap-
                HeaderLog: 00000000 00000000 00000000 00000000
        Kernel driver in use: vfio-pci

02:00.0 VGA compatible controller: NVIDIA Corporation GP107 [GeForce GTX 1050 Ti] (rev a1) (prog-if 00 [VGA controller])
        Subsystem: PNY GP107 [GeForce GTX 1050 Ti]
        Control: I/O- Mem- BusMaster- SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx-
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Interrupt: pin A routed to IRQ 255
        IOMMU group: 16
        Region 1: Memory at 6050000000 (64-bit, prefetchable) [disabled] [size=256M]
        Region 3: Memory at 6060000000 (64-bit, prefetchable) [disabled] [size=32M]
        Region 5: I/O ports at 7000 [disabled] [size=128]
        Expansion ROM at c4f80000 [virtual] [disabled] [size=512K]
        Capabilities: [60] Power Management version 3
                Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0-,D1-,D2-,D3hot-,D3cold-)
                Status: D3 NoSoftRst+ PME-Enable- DSel=0 DScale=0 PME-
        Capabilities: [68] MSI: Enable- Count=1/1 Maskable- 64bit+
                Address: 0000000000000000  Data: 0000
        Capabilities: [78] Express (v2) Legacy Endpoint, MSI 00
                DevCap: MaxPayload 256 bytes, PhantFunc 0, Latency L0s unlimited, L1 <64us
                        ExtTag+ AttnBtn- AttnInd- PwrInd- RBE+ FLReset-
                DevCtl: CorrErr- NonFatalErr- FatalErr- UnsupReq-
                        RlxdOrd+ ExtTag+ PhantFunc- AuxPwr- NoSnoop+
                        MaxPayload 256 bytes, MaxReadReq 512 bytes
                DevSta: CorrErr+ NonFatalErr- FatalErr- UnsupReq+ AuxPwr- TransPend-
                LnkCap: Port #1, Speed 8GT/s, Width x16, ASPM L0s L1, Exit Latency L0s <1us, L1 <4us
                        ClockPM+ Surprise- LLActRep- BwNot- ASPMOptComp+
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
                        ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
                LnkSta: Speed 8GT/s (ok), Width x8 (downgraded)
--
                HeaderLog: 00000000 00000000 00000000 00000000
        Capabilities: [600 v1] Vendor Specific Information: ID=0001 Rev=1 Len=024 <?>
        Capabilities: [900 v1] Secondary PCI Express
                LnkCtl3: LnkEquIntrruptEn- PerformEqu-
                LaneErrStat: 0
        Kernel driver in use: vfio-pci

02:00.1 Audio device: NVIDIA Corporation GP107GL High Definition Audio Controller (rev a1)
        Subsystem: PNY GP107GL High Definition Audio Controller
        Control: I/O- Mem- BusMaster- SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx-
        Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
        Interrupt: pin B routed to IRQ 255
        IOMMU group: 17
        Region 0: Memory at c4f00000 (32-bit, non-prefetchable) [disabled] [size=16K]
        Capabilities: [60] Power Management version 3
                Flags: PMEClk- DSI- D1- D2- AuxCurrent=0mA PME(D0-,D1-,D2-,D3hot-,D3cold-)
                Status: D3 NoSoftRst+ PME-Enable- DSel=0 DScale=0 PME-
        Capabilities: [68] MSI: Enable- Count=1/1 Maskable- 64bit+
                Address: 0000000000000000  Data: 0000
        Capabilities: [78] Express (v2) Endpoint, MSI 00
                DevCap: MaxPayload 256 bytes, PhantFunc 0, Latency L0s unlimited, L1 <64us
                        ExtTag+ AttnBtn- AttnInd- PwrInd- RBE+ FLReset- SlotPowerLimit 75.000W
                DevCtl: CorrErr- NonFatalErr- FatalErr- UnsupReq-
                        RlxdOrd+ ExtTag+ PhantFunc- AuxPwr- NoSnoop+
                        MaxPayload 256 bytes, MaxReadReq 512 bytes
                DevSta: CorrErr+ NonFatalErr- FatalErr- UnsupReq+ AuxPwr- TransPend-
                LnkCap: Port #1, Speed 8GT/s, Width x16, ASPM L0s L1, Exit Latency L0s <1us, L1 <4us
                        ClockPM+ Surprise- LLActRep- BwNot- ASPMOptComp+
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
                        ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
                LnkSta: Speed 8GT/s (ok), Width x8 (downgraded)
--

 

##############

 

2 hours ago, mgutt said:

2.) Einen Monitor an die Grafikkarten anschließen und neu starten. Bleiben sie aus (gut) oder siehst du Unraid (schlecht)? Ist letzteres der Fall: Wurde im BIOS die iGPU als primäre GPU gewählt? Ändert sich irgendwas, wenn man nur eine GPU verbaut hat?

Habe ich bereits probiert, beide bleiben aus und die iGPU ist als primäre drin. Es ändern sich jedoch auch nix, wenn ich nur eine drin habe.

 

#############

 

2 hours ago, mgutt said:

3.) Unraid im Legacy Mode booten.

Der Haken war dort schon drin.  Und jetzt startet er nicht mehr... jedenfalls ohne den Haken... Wie fixe ich das jetzt?

 

###########

 

 

2 hours ago, mgutt said:

4.) Alle Geräte wieder von VFIO lösen (Haken rausnehmen) und die verschiedenen PCIe ACS Override Optionen durchprobieren

Habe ich bevor ich den Forumeintrag erstellt habe bereits ausprobiert... leider Erfolgslos

 

############

 

2 hours ago, mgutt said:

5.) Letzte Option wäre ein Bug Report bei QEMU zu starten.

Wo kann ich das machen?

Link to comment
10 minutes ago, Firemaster640 said:

Der Haken war dort schon drin.  Und jetzt startet er nicht mehr... jedenfalls ohne den Haken... Wie fixe ich das jetzt?

 

Mit Haken heißt ja UEFI. Nur ohne Haken wäre Legacy. Wenn er ohne Haken nicht bootet, dann solltest du in deinem BIOS mal Legacy/CSM aktivieren. 

 

Der "Fix" wäre den Bindestrich vom EFI Ordner wieder zu entfernen:

 

UEFI

image.png.a6f9500937a1051d9f4068e11a9fc8a7.png

 

Legacy

354035200_2021-08-0412_33_58.png.3578f96aa3792cca1e808c629f97287b.png

Link to comment

Das habe ich nicht so gemeint: Nachdem ich den Haken rausgenommen hatte bootete der Server stets ins BIOS und nicht mehr den USB. Das umstellen im BIOS auf Legacy speichert das BIOS irgendwie nicht, alle anderen Einstellungen werden (versuchsweise durchgeführt) gespeichert. Daher musste ich ein bisschen rumprobieren das Unraid wieder startet.
Das Problem mit der 2ten Grafikkarte ist jedoch weiterhin vorhanden...

Link to comment
4 hours ago, Firemaster640 said:

Nachdem ich den Haken rausgenommen hatte bootete der Server stets ins BIOS und nicht mehr den USB.

Dann findet das BIOS kein Bootmedium. Das klingt so als würde es nur UEFI Medien erlauben, was Unraid in dem Moment ja nicht mehr ist.

 

4 hours ago, Firemaster640 said:

Das umstellen im BIOS auf Legacy speichert das BIOS irgendwie nicht, alle anderen Einstellungen werden (versuchsweise durchgeführt) gespeichert.

Gibt es ein BIOS Update? Wenn nein, frag bitte ASRock was da los ist. Häufig verteilt ASRock Beta Versionen über den Support.

Link to comment

Ich habe es gestern Abend hinbekommen, der Fehler war im Bios versteckt.
Nachdem mir bei dem letzten Versuch aufgefallen ist, dass die Grafikkarte scheinbar nicht richtig arbeitet habe ich so ziemlich alle Einstellungen durchprobiert und bin auf etwas scheinbares banales gestoßen: "Stromsparmodus"
Das Mainboard hatte eine Einstellung aktiv, der nicht aktive PCIe Geräte in einen Schlafzustand schickt um den Strom zu sparen. Es werden diese jedoch ganz normal erkannt und können auf diese auch zugegriffen werden, nur sie aktivieren sich nach dem Boot nicht mehr.
Ich kann (es war eine Abkürzung) jetzt  nicht mehr genau sagen wie diese Einstellung sich nennt, ab den Zeitpunkt, als diese Deaktiviert war funktionierte alles Problemlos.

  • Like 1
Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.