Gigabyte Z590 Master - 10900K @ unraid 6.10 rc2 |Unknown PCI header type '127' for device|


WowaDriver
Go to solution Solved by WowaDriver,

Recommended Posts

Hallo @all,

 

ich habe nun 3 Tage meiner Lebenszeit damit verschwendet, dass neue System zum laufen zu bekommen, leider erfolglos. Viel konnte ich über das Forum schon nachlesen aber hier komme ich nicht weiter. .

 

Ich habe einen neuen Server aufgebaut:

 

Gigabyte Aorus Master z590 @ Bios F3 (Stock); dann mit F7 und F8 (latest) - aktuell wieder auf F7 (Hyperthreading, Intel VD-T ist eingeschaltet im BIOS)

Intel i9-10900K

Nvidia 1660 

Mellanox Connect-X3 Dual SPF+

Neuer USB Stick mit UNRAID 6.10 rc2 musste her weil der alte nicht mit UEFI booten wollte und im Lagency Mode - Black screen 

 

Nachdem der neue Stick erstellt worden ist, habe ich den config Ordner vom alten Unraid 6.9.2 Stick raufkopiert und anschließend in UEFI gebootet. Daraufhin wurde eine neue Lizenz für den neuen Stick gekauft und das Array gestartet. Alles gut, alles da und Docker usw. funktioniert.

 

Meine VM's hingegen nicht. Zumindest die nicht, welchen ich mittels Passthrough was durchreiche... Jedesmal kommt die Meldung:

 

internal error: Unknown PCI header type '127' for device '0000:01:00.0' für die 1660 GPU in der Windows VM

und

internal error: Unknown PCI header type '127' for device '0000:02:00.0' für das Durchreichen der Mellanox NIC an meine Xpenology VM

 

Die Linus VM startet normal durch. Windows und Xpenology ebenfalls aber nur ohne passthrough. 

 

Hatte über diesen Fehler diverse Threads durchgelesen bei denen es hieß eine andere BIOS Version zu benutzen... ich habe jetzt 3 durch s.o. und keinen Erfolg gehabt.

 

Habt ihr einen Rat für mich?

 

Außerdem bekomme ich folgende Meldung auf dem Dashboard, habe ich hier mcelog richtig ausgeführt?

394277441_Bildschirmfoto2022-02-20um15_59_26.png.413e18e5f5bf6584746c520f968f954a.png

739028537_Bildschirmfoto2022-02-20um15_59_46.thumb.png.cc9581757cb97170c0344500ca38408b.png

1588384994_Bildschirmfoto2022-02-20um16_00_27.thumb.png.b4fac4146756482d7b8a1efa8346fbeb.png

 

Doofe Frage zum Schluss: Oder kann ich meinen config Ordner vom 6.9.2 Stick nicht einfach in den neuen 6.10 rc2 kopieren?

 

Danke für das lesen meiner Probleme!

Link to comment
1 hour ago, WowaDriver said:

Oder kann ich meinen config Ordner vom 6.9.2 Stick nicht einfach in den neuen 6.10 rc2 kopieren?

Würde ich nicht machen. Wer weiß welche Configs beim Update geändert werden.

 

1 hour ago, WowaDriver said:

 

Habt ihr einen Rat für mich?

Ich lese nichts zu VFIO und was ist mit UEFI im BIOS, ist CSM/Legacy deaktiviert?

Link to comment

Hallo @mgutt, auf deine Rückmeldung kann man immer zählen, erstmal danke dafür! Weiß ich zu schätzen!

 

24 minutes ago, mgutt said:

Würde ich nicht machen. Wer weiß welche Configs beim Update geändert werden.

Würdest du vorschlagen somit den Stick neu aufzusetzen, komplett? Falls ja wie mache ich das dann mit dem Key? Hab da nicht all zu viel Erfahrung, da ich das erste mal einen Stick gewechselt habe. 

 

24 minutes ago, mgutt said:

Ich lese nichts zu VFIO und was ist mit UEFI im BIOS, ist CSM/Legacy deaktiviert?

VFIO sind natürlich angewählt und durchgereicht, somit beim UNRAID Boot ausgeschlossen:

1169419129_Bildschirmfoto2022-02-20um17_47_41.thumb.png.c7fb2e53ddf07e6bd4a7c7fadc6b4e7d.png

 

In den entsprechenden VM's ist eigentlich auch alles so wie es soll hier die Win-VM:

936797045_Bildschirmfoto2022-02-20um17_51_58.thumb.png.fd67bd5d95e45c07529c529f9c07fd78.png

 

und hier die XPenology VM:

780388273_Bildschirmfoto2022-02-20um17_52_24.thumb.png.ff513fc319ab4053317a339823e15118.png

 

Was komisch ist, dass nur die beiden durchgereichten Geräte im PCI slot 1 und 2 Probleme machen. Im dritten Slot ist ja der Dell 310 HBA, welcher als LSI 9811 im IT Mode für die 8 HDD's ohne Probleme durchgereicht wird... vielleicht ist das ja eine Info womit ihr Experten was anfangen könnt. Im Bios steht, dass Slot 1&2 mit 8x laufen und Slot 3 mit 4x. Das ist auch so geplant gewesen.

Edited by WowaDriver
Link to comment

Noch nicht und das ist das einzige was ich bei der Gpu noch nicht probiert habe. Erklärt aber nicht den Grund warum die Mellanox Karte nicht durchgereicht wird (Slot 2). Habe schon zum testen eine alte Intel Dual Gigabit NIC anstelle der GPU (Slot 1) eingebaut, diese wird ebenfalls nicht durchgereicht. Was ich noch probieren wollte - ist aber aufwendig - alle durchzureichenden Geräte nur im Slot3 also den letzten zu stecken nach einander und zu schauen ob er dies durchreicht. Ich habe das Gefühl, dass es mit den beiden 1-2 Slot zu tun hat.

 

Oder eben den Stick neu zu machen und mit einer fresh Installation das ganze zu versuchen.

Link to comment
31 minutes ago, mgutt said:

Wow gesagt. Was ist mit UEFI/CSM? Kann die alte Karte überhaupt UEFI? Sind Slots 1 und 2 evtl CPU und der 3. vom Chipsatz?

Oh das habe ich oben übersehen, ja ich habe sowohl nur mit UEFI Settings alles durchgespielt, als auch mit CSM aktiviert. Ging beides nicht. Hab eben vom Nachbarn einen alten USB 2 Stick bekommen und mit einer Testlizenz versehen. Baue eben mal die VM's nach und schaue was da passiert. (ebenfalls alles unter 6.10 rc2) 

 

Der dritte Slot des Mainboard ist tatsächlich am Chipsatz und die anderen beiden an der CPU.

152796887_Bildschirmfoto2022-02-20um19_18_26.thumb.png.e93d5c2f4b7f45977a77ce36333ff9d3.png

 

Die GPU (Nvidia 1660) und Mellanox Connect-X3 sind doch beides PCI-E 3.0 somit sollte das doch Kein Thema sein wenn die direkt an der CPU hängen oder?

Edited by WowaDriver
Link to comment
18 hours ago, mgutt said:

Mach mal CSM im BIOS aus und stell die primäre GPU auf die iGPU. Dann boote unRAID im GUI Modus und check mal ob du auf dem Onboard HDMI unRAID siehst und ob der Nvidia HDMI schwarz bleibt.

 

Hallo @mgutt

 

Hatte ich schon von anfang an so. iGPU ist als primary device eingestellt und Bild kommt auch nur dort raus wenn ich in die GUI boote (sowohl in UEFI als auch mit CSM on). Aktuell ist CSM aus. 

 

Ich habe jetzt einiges gestern abend noch durchprobiert:

  1. PCI Slot 1 - GPU entfernt. PCI Slot 2 - Mellanox Connect-X3 MCX312A-XCBT drin gelassen und den LSI 9811-IT in Slot 3
    -> Problem weiterhin vorhanden
  2. PCI Slot 1 - GPU drin gelassen. PCI Slot 2 - Mellanox Connect -X3 entfernt und LSI 9811-IT in Slot 3
    -> Win-VM startet durch ohne Fehlermeldung - jedoch schwarzer Bildschirm bei VNC Ausgabe (GPU1: VNC & GPU2: Nvidia 1660) bottet auch nicht final zu ende, da über RDP keine Verbindung aufgebaut werden kann - aber immerhin keiner ERROR 127... Denke es liegt hier nun daran das ich ohne GPU Bios boote
  3. PCI Slot 1 - GPU entfernt und anstelle dessen die Mellanox Connect-X3 Karte reingesteckt und LSI 9811-IT in Slot 3 belassen
    -> Xpenology VM spuckt kein 127 Error mehr aus startet aber denoch nicht durch und gibt folgenden Fehler aus:
    error.thumb.jpg.429b15c97a6670414cfebab577f6366f.jpg
  4. PCI Slot 1 - GPU drin gelassen. PCI Slot 2 mit einer alten 2x Port Dual Intel Nic (1 Gig) versehen und in Slot 3 die LSI 9811-IT
    -> Xpenology VM startet einmal durch mit den den durchgereichten NIC ist aber nicht auffindbar gewesen im Netzwerk. Habe die VM neugestartet und dann kamm der Fehler wie zu Beginn: internal error: Unknown PCI header type '127' for device

So langsam vermute ich, ich habe ein Problem mit den PCI Lanes. Ich habe hier die Einstellungen für das Bifurcation von Auto auf 8x8x4 bzw 8x4x4 geändert hat auch nichts gebracht. Weil wenn die Mellanox Karte in Slot 2 ist kommt eben der Fehler Unknown PCI header type '127' for device - oder muss ich die Mellanox Karte zum durchreichen irgendwie mit einer bestimmten "IT" Firmware flashen - ähnlich dem LSI9811-IT ?? 

 

Ich will noch erwähnen, dass ich die Anschlüsse der Board komplett ausgereizt habe und vielleicht hier auch ein Bottleneck irgendwo entstehen von dem ich nichts weiß. Laut datanblatt denke ich aber ist meine KOnfiguration so machbar. Habe hier akribisch alles vorher geprüft. Von Unraid selbst wird ja alles eigentlich erkannt, auch die Mellanox-X3 Dual SFP+ Karte. Nur Durchreichen das will nicht funktionieren. 

 

Ich habe zur Veranschaulichung mal den gesamten System Aufbau mal aufgemalt:

image.thumb.png.75251c53008ae1f4bfa73a39b538c456.png

 

Falls ihr was seht was so nicht kompatibel ist bin ich für Ratschläge dankbar. Mich wundert es das alle Komponenten vorher auf meinem alten ASUS z170 pro gaming Board liefen und dort hatte ich ncoh 2 Dual Intel Nic Karten dazu - letzteren sind nur rausgefallen und wurden eben durch die Mellanox Connect-X3 ersetzt. Kann doch eigentlich nciht sein, dass der z590 Chipsatz anstelle des z170 nicht mit der Hardware klarkommt... oder?

 

Hier mal das Blockdiagramm von z170 pro gaming als Vergleich:

image.png.87c708eea4fcfd3124616a01f2f8d93d.png

 

Verständlicherweise bin ich jetzt ein bisschen frustriert. Habe letzte Woche viel Geld auf den Tisch gelegt und aktuell ein System erhalten, was nichtmal in der Lage ist zwei PCI Karten urch zureichen... 

 

z590 Board = 300€

10900K = 300€

Mellanox-X3 = 100€

10 GB Switch = 100€

Unraid Lizenz = 100€

 

Ich hoffe so sehr das es nur ein Anwender Fehler ist mienerseits - da ich das Board sehr sehr gerne behalten würde. 

 

Weiterhin für jeden Tipp dankbar!

 

//EDIT: Habe im englischen Unterforum was gefunden wo über Probleme mit dem Board in Verbindung mit der Bluetooth / Wifi Karte berichtet wird. Meint ihr das kann bei mir auch daran liegen?

 

 

Edited by WowaDriver
Link aus englishem SUB Forum
Link to comment

HiHo,


es ist völlig egal in welchem Slot die Karte(n) sitzt(en), meistens. GPU würde ich in den Slot 3* packen, wenn du damit nicht zockst, sonst in Slot 1. Mellanox dann in den 2* oder 3 Slot, das LSi in Slot 1* oder 2.

 

*Preferred Slot

 

Im BIOS ebenfalls prüfen ob alles erkannt wird. Da ich hier das nur mit einem Aorus Ultra Z490 und i9-9900K gegenprüfen könnte, kann ich nicht versprechen ob das bei dir so auch funktioniert.

Normal sieht aber bei dir nichts komisch oder falsch aus.

 

CSM ist bei mir aktiviert sowie UEFI Boot.

 

 



 

Link to comment
1 minute ago, mgutt said:

Ich sehe da kein Problem mit den Lanes. Vielleicht versuchst du mal alle Datenträger raus und mit einem neuen Windows installieren und schauen ob die Hardware da läuft. Oder Ubuntu über einen USB Stick.

Vielen Dank erneut für die Rückmeldung! Kann ich gerne ausprobieren. Gebe heute abend nach Feierabend Bescheid!

 

2 minutes ago, RiDDiX said:

HiHo,


es ist völlig egal in welchem Slot die Karte(n) sitzt(en), meistens. GPU würde ich in den Slot 3* packen, wenn du damit nicht zockst, sonst in Slot 1. Mellanox dann in den 2* oder 3 Slot, das LSi in Slot 1* oder 2.

 

*Preferred Slot

 

Im BIOS ebenfalls prüfen ob alles erkannt wird. Da ich hier das nur mit einem Aorus Ultra Z490 und i9-9900K gegenprüfen könnte, kann ich nicht versprechen ob das bei dir so auch funktioniert.

Normal sieht aber bei dir nichts komisch oder falsch aus.

 

CSM ist bei mir aktiviert sowie UEFI Boot.

Auch hier möchte ich mich für die Rückmeldung bedanken. Das sowohl verwendete Hersteller als auch Wahl des Boards sowie CPU nicht komplett unterschiedlich sind - beruhigt mich das ein wenig und ich hoffe ich kann das Board dann behalten. Rückgabefrist endet nämlich bald. 

 

Ich wollte die GPU schon für CAD Anwendungen und gelegentliches "Gamen" verwenden somit ist diese in Slot 1 schon gut aufgehoben. Die Mellanox-X3 muss dann in Slot 2 weil dieser ebenfalls 8x elektrisch angebunden ist und für 2x10 Gib Nic benötigt wird. 

 

Dem LSI 9811-IT mit 8 HDD's reicht der x4 Anschluss aus, da hier immer noch 2,0 GByte/s unter PCIe 2.0 geschafft werden - hier kommt das RAID 5 mit den 8 HDD's eh nicht ran. 

 

@RiDDiX@mguttwas sagt ihr zu den verlinkten beiden Thread aus dem Englischen Forum bzgl. der WIFI Bluetooth Karte?

Link to comment

Zu dem Bluetooth Problem kann ich leider nichts sagen, da es beim z490 Aorus Ultra läuft ohne Probleme, der andere Server ist auf AM4 und hat kein Onboard Bluetooth/WLAN dort habe ich eine billow PCIe Card eingebaut. Frag mich nicht was für ein Hersteller, aber immerhin mit Intel Chips for WiFi und Bluetooth. xD

 

Zum alten Thema zurück, würde ich wenn für dich möglich, dennoch mal meine Reihenfolge versuchen. Just to know if will work or not.

  • Like 1
Link to comment
23 hours ago, WowaDriver said:

Neuer USB Stick mit UNRAID 6.10 rc2 musste her weil der alte nicht mit UEFI booten wollte und im Lagency Mode - Black screen 

 

Nachdem der neue Stick erstellt worden ist, habe ich den config Ordner vom alten Unraid 6.9.2 Stick raufkopiert und anschließend in UEFI gebootet. Daraufhin wurde eine neue Lizenz für den neuen Stick gekauft und das Array gestartet. Alles gut, alles da und Docker usw. funktioniert.

Wenn der Stick mal nicht booten will dann am besten immer an einen Windows PC ran und nochmal die Stable von hier als zip runterladen und die bz* vom zip Archiv auf den USB Stick ersetzen genau so wie die changes.txt und dann die Datei "make_bootable.bat" als Administartor nochmal ausführen.

 

Das ganze kannst du auch machen wenn du zB von 6.10.0-rc2 auf 6.9.2 downgraden willst, aber bitte achte darauf das du nur die bz* Dateien und die changes.txt auf deinem Stick ersetzt. ;)

 

23 hours ago, WowaDriver said:

Doofe Frage zum Schluss: Oder kann ich meinen config Ordner vom 6.9.2 Stick nicht einfach in den neuen 6.10 rc2 kopieren?

Ich würd nie die config ersetzen, immer die bz* Dateien und die changes.txt

 

23 hours ago, WowaDriver said:

Außerdem bekomme ich folgende Meldung auf dem Dashboard, habe ich hier mcelog richtig ausgeführt?

Kannst evtl mal deine Diagnostics posten oder per PN schicken? Wäre interessant welchen Fehler du genau hast, das liest man aber meistens nur vom log raus.

 

3 hours ago, WowaDriver said:

mit CSM on

Hast du die GPU an VFIO gebunden?

 

1 hour ago, WowaDriver said:

@RiDDiX@mguttwas sagt ihr zu den verlinkten beiden Thread aus dem Englischen Forum bzgl. der WIFI Bluetooth Karte?

Hast du denn deine Bluetooth und WIFI karte an VFIO gebunden? Ist normalerweise eine combo Karte wobei ein Teil davon (WiFi) normalerweise über PCIe angebunden ist und ein Teil (Bluetooth) über USB angebunden ist, du musst normalerweise beide Sachen durchreichen was unter umständen nicht sauber funktioniert bei den Z oder H der 4ten und 5ten Generation.

 

3 hours ago, WowaDriver said:

So langsam vermute ich, ich habe ein Problem mit den PCI Lanes. Ich habe hier die Einstellungen für das Bifurcation von Auto auf 8x8x4 bzw 8x4x4 geändert hat auch nichts gebracht. Weil wenn die Mellanox Karte in Slot 2 ist kommt eben der Fehler Unknown PCI header type '127' for device - oder muss ich die Mellanox Karte zum durchreichen irgendwie mit einer bestimmten "IT" Firmware flashen - ähnlich dem LSI9811-IT ?? 

Bitte stell das wieder auf Auto zurück weil es in deinem Anwendungsfall unter umständen Probleme macht, das gehört eigentlich für was anderes.

 

Ja du musst einen HBA mit der IT Firmware flashen wenn er nicht schon auf einer IT Firmware ist, deine Diagnostics würden hier schon ein wenig weiterhelfen.

  • Like 1
Link to comment
21 hours ago, WowaDriver said:

VFIO sind natürlich angewählt und durchgereicht, somit beim UNRAID Boot ausgeschlossen:

Warte mal jetzt sehe ich erst, du willst doch die Karten an verschiedene VMs durchgreichen aber dein BIOS/Motherboard zerstückelt die IOMMU gruppen nicht richtig bzw. kann das Probleme bereiten so wie es bei dir aussieht, probier mal im VM Manger bei den Settings:

grafik.png.8358b804e73150fc13e5996c5e29040a.png

und starte den Server einmal neu.

 

Sieh dann mal bei den System devices nach ob sich dann die IOMMU gruppen geändert haben.

 

Bzw. kannst du auch Multi-function probieren und danach auch neu starten.

  • Like 1
Link to comment

Hallo @ich777 auch dir vielen Dank für das Lesen meiner Probleme und die sehr ausführliche Antwort!!

 

Werde alles schnellstmöglich einmal ausprobieren und anschleißend berichten! 

 

13 minutes ago, ich777 said:

Kannst evtl mal deine Diagnostics posten oder per PN schicken? Wäre interessant welchen Fehler du genau hast, das liest man aber meistens nur vom log raus.

Stelle ich auch rein - Hierzu sei erwähnt, dass die Meldung nur kommt wenn ich vom Backup mit der alten config boote. Sofern ich eine Fresh installation mit der testlizenz verwende ist alles gut und ich bekomme auch in der console keine Fehlermeldungen. 

 

15 minutes ago, ich777 said:

Hast du die GPU an VFIO gebunden?

Sowohl als auch, hatte beides nicht funktioniert. 

 

15 minutes ago, ich777 said:

Bitte stell das wieder auf Auto zurück weil es in deinem Anwendungsfall unter umständen Probleme macht, das gehört eigentlich für was anderes.

 

Ja du musst einen HBA mit der IT Firmware flashen wenn er nicht schon auf einer IT Firmware ist, deine Diagnostics würden hier schon ein wenig weiterhelfen.

Es ist bereits wieder auf Auto da die Umstellung nichts gebracht hat. Den HBA hatte ich selbst auf die P19 in IT geflasht - ich meinte hier eher in die Richtung ob die Mellanox-X3 Karte ebenfalls sowas wie eine IT Firmware benötigt? Denke aber eher nicht weil es ja im Forum heißt, dass diese mit 6.10rc2 out of the box laufen soll und UNraid selbst sofern ich sie nicht durchreiche erkennt und in der Netzwerk Settings anzeigt. 

 

10 minutes ago, ich777 said:

Warte mal jetzt sehe ich erst, du willst doch die Karten an verschiedene VMs durchgreichen aber dein BIOS/Motherboard zerstückelt die IOMMU gruppen nicht richtig probier mal im VM Manger bei den Settings:

grafik.png.8358b804e73150fc13e5996c5e29040a.png

und starte den Server einmal neu.

 

Sieh dann mal bei den System devices nach ob sich dann die IOMMU gruppen geändert haben.

 

Bzw. kannst du auch Multi-function probieren und danach auch neu starten.

Mein Bauchgefühl sagt mir irgendwie, dass du soeben das Problem möglicherweise gefunden hast. Tatsächlich ist mir das zwar aufgefallen aber ich habe es nicht hinterfragt. Ist die GPU in Slot 1, die Mellanox in Slot 2 und der HBA in Slot 3 so kann ich den HBA einzeln an die VIFO binden und die GPU und Mellanox entweder beider oder keine... und da ich die dann auch noch an zwei VM's druchreichen will, könnte es das sein. Wobei ich dazu sagen muss keine der VM's ging ja an ... und gestartet wurde ja immer nur eine und nicht beide zeitgleich!

 

Ich berichte! Danke Danke Danke!

Link to comment
1 minute ago, WowaDriver said:

Stelle ich auch rein - Hierzu sei erwähnt, dass die Meldung nur kommt wenn ich vom Backup mit der alten config boote. Sofern ich eine Fresh installation mit der testlizenz verwende ist alles gut und ich bekomme auch in der console keine Fehlermeldungen. 

Hierzu wären wie gesagt deine Diagnostics interessant, vielleicht schmeißt dir irgendwas einen Fehler rein von deiner alten config.

 

2 minutes ago, WowaDriver said:

Sowohl als auch, hatte beides nicht funktioniert. 

Ich würd dir auf jeden fall empfehlen das du CSM zum booten nimst und auch dann natürlich auch legacy und nicht mit UEFI bootest, selbst wenn CSM also Legacy im BIOS an ist heißt das noch lange nicht das du auch mit Legacy bootest.

Kontrollier am besten auf deinem USB Boot stick das der Ordner EFI einen Bindestich am ende hat sprich er sollte EFI- heißen damit kann dein BIOS nicht UEFI booten weil einfach der Ordner EFI nicht gefunden wird (hab ich wieder mal super kompliziert erklärt aber hoffe das macht Sinn).

 

4 minutes ago, WowaDriver said:

die Mellanox-X3 Karte ebenfalls sowas wie eine IT Firmware benötigt?

Nein, IT und IR gibt es nur bei HBAs.

Was ist das genau für einen Mellanox Karte? Wenn es eine Infiniband Karte ist dann wird sie unter unRAID nicht unterstützt bzw. wenn die Karte auch Ethernet unterstützt dann evtl. schon aber das musst du zuerst mal umstellen.

 

6 minutes ago, WowaDriver said:

Mein Bauchgefühl sagt mir irgendwie, dass du soeben das Problem möglicherweise gefunden hast.

Da wäre ich mir noch nicht so sicher...

  • Like 1
Link to comment
3 minutes ago, ich777 said:

Was ist das genau für einen Mellanox Karte?

Mellanox Connect-X3 MCX312A-XCBT

 

3 minutes ago, ich777 said:

Ich würd dir auf jeden fall empfehlen das du CSM zum booten nimst und auch dann natürlich auch legacy und nicht mit UEFI bootest, selbst wenn CSM also Legacy im BIOS an ist heißt das noch lange nicht das du auch mit Legacy bootest.

Kontrollier am besten auf deinem USB Boot stick das der Ordner EFI einen Bindestich am ende hat sprich er sollte EFI- heißen damit kann dein BIOS nicht UEFI booten weil einfach der Ordner EFI nicht gefunden wird (hab ich wieder mal super kompliziert erklärt aber hoffe das macht Sinn).

Uff Anfängerfehler meinerseits... denke ich. Der Ornder heißt auf dem Stick defintiv EFI da ja auch mit dem Unraid Stick creator UEFI angeklickt wurde. Wenn ich im BIOS CSM also legancy aktiviert hatte, dann habe ich möglicherweise trotzdem UEFI gebootet du hast recht. Der Stick wird ja zweimal gelistet. Einmal mit einem UEFI: Sandisc Cruizer und einmal nur Sandisc Cruizer. Letzterer wäre ja für den eigentlichen Legency Boot notwendig. Welchen er aber genommen hat, kann ich jetzt nicht sagen würde ich nochmal testen.... peinlich 🤦‍♂️

 

7 minutes ago, ich777 said:

Hierzu wären wie gesagt deine Diagnostics interessant, vielleicht schmeißt dir irgendwas einen Fehler rein von deiner alten config.

Kriegst du, aktuell bin ich noch bei der Arbeit.

  • Like 1
Link to comment

Hallo @mgutt @ich777 @RiDDiX,

 

hatte es gestern nicht mehr geschafft alles durch zu probieren somit mein kleines Delay in der Bericht Erstattung.

 

Spoiler: Sorry für die langen Beiträge - ich versuche alles möglichst chronologisch aufzubauen damit man alles nachvollziehen kann. Außerdem besteht das Problem weiterhin und ich denke mittlerweile, dass es was mit der Mellanox Connect-X3 MCX312A-XCBT Dual SFP+ Karte zusammenhängt, denn wenn diese nicht verbaut ist kann ich auch die GTX 1660 ohne Fehler an die WIN-VM durchreichen (bleibt zwar schwarz alles, denke liegt aber an der fehlenden ROM, von UNRAID kommt KEINE Fehlermeldung).

 

On 2/21/2022 at 1:46 PM, mgutt said:

Ich sehe da kein Problem mit den Lanes. Vielleicht versuchst du mal alle Datenträger raus und mit einem neuen Windows installieren und schauen ob die Hardware da läuft. Oder Ubuntu über einen USB Stick.

Danke für diesen TIPP! Tatsächlich habe ich mit der M2 SSD aus der VM einen native Boot durchgeführt.  Alles verbaut gelassen und Windows erkennt alles. GTX1660 ist verwendbar alle Onbard SATA Steckplatze und der LSI 9811 IT sowie die Mellanox Connect-X3 MCX312A-XCBT mit beiden Ports. Also denke ich habe ich hier wie du geschrieben hast keine Probleme mit der Hardware Konfiguration und alles ist so nutzbar! Schonmal gut an der Stelle!

image.jpeg.732772d1403ea8c387a1d61c308f3b5a.jpegimage.png.84c9eccaae3f4025f9b258c1e11a27a9.png

 

On 2/21/2022 at 4:07 PM, WowaDriver said:
On 2/21/2022 at 3:59 PM, ich777 said:

Hierzu wären wie gesagt deine Diagnostics interessant, vielleicht schmeißt dir irgendwas einen Fehler rein von deiner alten config.

Hier die beiden Diagnostics vom Stick mit neuem Unraid 6.10rc2 und alter config. Hier habe ich weiterhin absolut nichts zum laufen bekommen. Plus das es eben die o.g. Fehlermeldungen im Dashboard gab. Ich habe hier extra mal in UEFI und mal in Lagency gebootet, falls das was ausmacht.

 

unraid-server-diagnostics-20220222-1056 - neuer Stick mit alter config + all vifo UN-bount : UEFI Boot.zip

unraid-server-diagnostics-20220222-1124 - neuer Stick mit alter config + all vifo UN-bount : Lagency Boot.zip

 

===============================================================================================

Nachdem ich erfolgreiche Ergebnisse in Windows direkt mit der Hardware hatte, hatte ich Gewissheit, dass diese prinzipiell Laufen muss und wollte mich ein wenig weiter mit den BIOS Settings beschäftigen - vielleicht hat man hier was übersehen. Folgende für UNRAID interessante Settingsmöglichkeiten habe ich im BIOS finden können:

 

Ist CSM deaktiviert so wird die Mellanox Connect-X3 MCX312A-XCBT Dual SFP+ im Bios angezeigt (siehe erstes Bild). Aktiviere ich CSM hingegen und dabei ist egal ob ich die Untereinstellmöglichkeit für "Storage Boot Control" und "Other PCI DEvices" entweder auf Legacy oder UEFI setze. Hatte es dann so belassen, dass Storage Boot Control auf Legacy und Other PCI Devices auf UEFI verbliebenen ist und die Mellanox Karte somit im BIOS nicht weiter sichtbar war (Unraid hingegen sieht diese weiterhin in den System Devices):

image.jpeg.f3fcfcc366c4a63b335aa738d2b588cf.jpeg

image.jpeg.a041498edfa7f0da6c91fb73d4739cb1.jpeg

 

On 2/21/2022 at 1:52 PM, RiDDiX said:

HiHo,


es ist völlig egal in welchem Slot die Karte(n) sitzt(en), meistens. GPU würde ich in den Slot 3* packen, wenn du damit nicht zockst, sonst in Slot 1. Mellanox dann in den 2* oder 3 Slot, das LSi in Slot 1* oder 2.

Hat leider auch nichts gebracht außer das die BUS ID sich entsprechend der Einbau Situation angepasst hat.

 

===============================================================================================

On 2/21/2022 at 3:39 PM, ich777 said:

Warte mal jetzt sehe ich erst, du willst doch die Karten an verschiedene VMs durchgreichen aber dein BIOS/Motherboard zerstückelt die IOMMU gruppen nicht richtig bzw. kann das Probleme bereiten so wie es bei dir aussieht, probier mal im VM Manger bei den Settings:

grafik.png.8358b804e73150fc13e5996c5e29040a.png

und starte den Server einmal neu.

Spoiler: hier hatte ich kurzeitig ein Erfolgserlebnis...

 

Alles jetzt nachfolgende habe ich mit 2 Boot Stick durchgespielt. Zu erst mit dem Stick und der Backup Config auf neuem Unraid 6.10rc2 und dann auf einem komplett neuen Stick mit Unraid 6.10rc2 inkl. Testlizenz. Außerdem wurden alle Szenarien einmal in UEFI und einmal Lagency Boot durchgeführt. Hier sei noch erwähnt, dass bei beiden Varianten auf gleiche Art und Weise entsprechend der gewählten Einstellung für die "PCIe ACS override" die IOMMU Groups generiert worden sind und ich diese somit nur einmal zeige:

 

Als erstes mit Unraid 6.10rc2 alter config:

Bei allen folgenden Varianten wurden folgende BIOS Settings verwendet:

image.png.02de4f62d5d8a81f5006036c3f188f98.png

  1. PCIe ACS Override -> Disabled  => GTX1660 und Mellanox Connect-x3 in einer IOMMU Group
    Trotzdem: internal error: Unknown PCI header type '127' for device – egal ob vfio gebindet sind oder nicht image.thumb.png.ccb8cf6a9fe694215e93089a2d2ebe16.png
     
  2. PCIe ACS Override -> Downstream  => GTX1660 mit Unterfunktionen in einer und Mellanox Connect-x3 in einer separaten IOMMU Group

    Trotzdem: internal error: Unknown PCI header type '127' for device – egal ob vfio gebindet sind oder nicht
    image.thumb.png.1b044257067119faa6b7782de1dda315.png
    => In meinen Augen die beste Variante rein von der Aufteilung.
     

  3. PCIe ACS Override -> Multi-Function  => GTX1660 und Mellanox Connect-x3 in einer IOMMU Group und zusätzlich noch die PCI Bridge … also bisher der schlechteste Modus

    Trotzdem: internal error: Unknown PCI header type '127' for device – egal ob vfio gebindet sind oder nicht (außerdem gleiches Ergebnis wie "Disabled")
    image.thumb.png.14686b8a27669cd84b2f20987322f764.png
     

  4. PCIe ACS Override -> Both  => GTX1660 mit Unterfunktionen jeweils in einzelnen und Mellanox Connect-x3 in einer separaten IOMMU Group

    Trotzdem: internal error: Unknown PCI header type '127' for device – egal ob vfio gebindet sind oder nicht
    image.thumb.png.a7aa393fd724cdc11f3543ed3c96ccee.png

Für die Varianten 1-4 hatte ich immer auch zeitgleich ins Mellanox Plugin von @ich777 geschaut, ob die Karte da erkannt wird. In jedem Fall wurde sie nicht richtig erkannt, obwohl Sie in den System Devices in Unraid gelistet war:

image.thumb.png.fd13fc3ea7e8ff5789912d7485f64020.png

 

Da ich hier nicht weiterkam habe ich mit dem zweiten Stick und einer komplett unberührten UNRAID 6.10rc2 Version inkl Testlizenz mein Glück versucht.

 

Als zweites mit Unraid 6.10rc2 fresh Install:

Bei allen folgenden Varianten wurden folgende BIOS Settings verwendet:

image.png.02de4f62d5d8a81f5006036c3f188f98.png

 

CSM Aktiviert – in UEFI gebootet – VIFO‘s unbount – Mellanox-X3 wird in PCI Devices angezeigt, UNRAID erkennt sie auch sowie auch das Mellanox Plugin von @ich777 

image.thumb.png.31aad9ada288b4bb06f9784924b29af0.png

  1. PCIe ACS Override -> Disabled  => GTX1660 und Mellanox Connect-x3 in einer IOMMU Group

    Erfolgserlebnis: Xpenology VM mit Mellanox Connect-X3 passtrhough funktioniert – auch nach Neustart  des Systems selbst oder Neustart der VM. Aber auch nur sofern diese VM als erstes gestartet wird. Starte ich einmal die Win-VM und liefert den Fehler 127, dann geht auch die Xpenology VM nicht mehr
    Bei der Win-VM und der GTX 1660 trotzdem: internal error: Unknown PCI header type '127' for device – egal ob vfiogebindet sind oder nicht und egal ob die Xpenology VM läuft oder nicht
    Blöderweise kann ich ums Verrecken diesen Zustand nicht erneut reproduzieren und ich habe an diesem Zeit Stempel auch leider keine Diagnostics gesichert... Misst. Habe sogar extra einen dritten neuen Stick hierfür erstellt, leider Fehlanzeige, Slotwechsel und stundenlanges Demontieren bzw. Stromlosstellen hat auch nicht geholfen.
    image.thumb.png.ab861bc528b76d89619332c052128ba4.png
    Anhand des grünen Punkts ist zu erkennen, dass die VM mit passthrough läuft.
     

  2. siehe oben - exakt gleiches Verhalten

  3. siehe oben - exakt gleiches Verhalten

  4. siehe oben - exakt gleiches Verhalten

Wenn ich mit dem neuen Stick die Variante 1-4 im Legency Boot durchteste erhalte ich ebenfalls die Ergebnisse wie mit der alten Config. Die Mellanox Karte wird einfach nicht erkannt inkl. Felher 127 beim durchreichen:

image.thumb.png.35b7ab651d3c4d5afd16d100f4fbb891.png

 

Ich habe dann dennoch vom der Fresh Installation einmal die Diagnostics erstellt, aber leider an einem Zeitstempel wo das Passthrough nicht mehr geklappt hat der Mellanox Karte.

tower-diagnostics-20220222-2050.zip

 

So langsam bin ich mit meinem Latein am Ende. Keine Ahnung was ich falsch mache. Die Mellanox Karten werden ja als Refubrished Ware verkauft. Kann es sein das die einen weg hat? Das die mal richtig und vollständig erkannt wird von Unraid und mal nicht?

 

An dieser Stelle möchte ich mich erneut bei euch Bedanken, dass ihr eure Zeit für meine Probleme opfert! Vielen Dank!

 

//EDIT1: Hat man nicht irgendwie noch Möglichkeiten gehabt die PCI Karten komplett von UNRAID ignorieren zu lassen? Sprich noch ein weiterer Weg ohne das VFIO Binding? 

 

//EDIT2: BRAINSTORMING: MIt der Mellanox Connect-X3 habe ich dann insgesamt 3 10 GB Nic's im System. Leider kann man wohl die Mellanox Dual Port nur beide Ports zusammen an eine VM weiterreichen. Ich hatte mit dem Gedanken gespielt die Onbard 10GB Nic an die Xpenology VM druchzureichen und die Mellanox anstelle diese für Unraid zu verwenden, geht aber nicht weil Unraid die Onboard Nic immer verwenden will und diese entsprechend nicht anwählbar ist in den System Devices zwecks VFIO Binding. 

 

Offtopic: Auf der Xpenology VM läuft mein Datengrab im RAID 5 mit 8 Platten, wodurch ich eine 10GB Nic ausreizen könnte. Zugriff darauf ist aber nicht permament und eher durch Emby. Außerdem läuft dort die Kamera Software von Synology Surveilance Station mit 8 Cams die ebenfalls eigentlich nicht so viel Bandbreite benötigen. Wie würdet ihr es machen, eher die Dual SFP 10Gb Karte an Xpenology weiterleiten und dann im dynamischen Link Agg. Modus laufen lassen, oder ein Port für das RAID5 und ein Port für die Kamera Software belassen? Dann hätte Unraid nur einen 10Gb Onboard Port für alle anderen br0 VM's, Docker (NGINX, WIREGUARD, ADGUARD, EMBY mit 10 Usern) und Unraid eben selbst.

 

Oder würdet ihr - sofern möglich - das ganze anderes rum fahren. Sprich der Xpenology VM nur die Onbard 10GB Nic zuweisen, was ihr eigentlich mehr als ausreicht und Unraid dann die Dual SFP+ karte im dyn. Link Agg. Modus?

 

@all die eine Mellanox Connect-X3 MCX312A-XCBT Dual SFP+ Karte in Ihrem Unraid System verbaut haben. Die karte wird ja nur auf einer Bus Number angezeigt, hier ist es nicht möglich die Nic's aufzuteilen und seperaten VM's zuzuweisen - auch nicht mit einer neuen Firmware oder?

 

Edited by WowaDriver
Link to comment
10 hours ago, WowaDriver said:

Für die Varianten 1-4 hatte ich immer auch zeitgleich ins Mellanox Plugin von @ich777 geschaut, ob die Karte da erkannt wird. In jedem Fall wurde sie nicht richtig erkannt, obwohl Sie in den System Devices in Unraid gelistet war:

Das kann nicht funktionieren da die Karte jedes mal an VFIO gebunden war und damit für das Host System mehr oder weniger nicht zu sehen ist weil sie eben für die Nutzung in VMs reserviert ist und somit "sieht" das Plugin die Karte nicht.

 

10 hours ago, WowaDriver said:

CSM Aktiviert – in UEFI gebootet – VIFO‘s unbount – Mellanox-X3 wird in PCI Devices angezeigt, UNRAID erkennt sie auch sowie auch das Mellanox Plugin von @ich777 

Genau deswegen wird sie wieder in dem Plugin angezeigt.

 

Lass die Karte bitte an VFIO gebunden wenn du sie durchreichn willst und schmeiß das Plugin runter.

 

10 hours ago, WowaDriver said:

PCIe ACS Override -> Downstream  => GTX1660 mit Unterfunktionen in einer und Mellanox Connect-x3 in einer separaten IOMMU Group

Diese Einstellung würde ich wählen aber mit aktiviertem CSM und auch wirklich in den Legacy mode booten, mit dem erhältst du Erfahrungsgemäß die besten Ergebnisse, auch wenn die karte an VFIO gebunden ist.

 

10 hours ago, WowaDriver said:

//EDIT1: Hat man nicht irgendwie noch Möglichkeiten gehabt die PCI Karten komplett von UNRAID ignorieren zu lassen? Sprich noch ein weiterer Weg ohne das VFIO Binding? 

Dann funktioniert sie in den VMs aber auch nicht mehr. Genau für diesen Zweck ist VFIO da, deswegen bekommst du auch keine Ausgabe vom Mellanox Plugin und das die Karte eben nicht gefunden wurde.

 

 

Ich empfehle dir mal klein anzufangen, eins nach dem anderen zu machen und die Grafikkarte mal links liegen zu lassen.

 

Für die Mellanox CSM aktivieren und in Legacy booten -> PCIe ACS Override -> Downstream -> reboot.

Die Mellanox Karte an die VM durchreichen, wie machst du das eigentlich? Hast mal einen screenshot?

Dann probieren ob die startet.

Link to comment
On 2/23/2022 at 10:33 AM, ich777 said:

Das kann nicht funktionieren da die Karte jedes mal an VFIO gebunden war und damit für das Host System mehr oder weniger nicht zu sehen ist weil sie eben für die Nutzung in VMs reserviert ist und somit "sieht" das Plugin die Karte nicht.

Das ist so nicht ganz richtig - ich hatte ja geschrieben: "Trotzdem: internal error: Unknown PCI header type '127' for device – egal ob vfio gebindet sind oder nicht"

 

Hierzu habe ich noch eine Frage: (Nicht wundern habe hier die Reihenfolge zwischen GPU und NIC getauscht)

CSM aktiv

Im Bios alles einstellbare auf Legacy eingestellt und auch Legacy gebootet

PCIe ACS Override auf Downstream gestellt.

Alle drei PCI Devices (GPU, NIC und HBA) via VFIO gebindet und den entsprechenden VM's nach dem Reboot zugewiesen
Nochmal rebootet 

Es ist keine VM eingeschaltet nur UNraid ist frisch gestartet und ich gehe in die System Devices

=> Warum hat nur der HBA einen grünen Punkt??

 

image.thumb.png.dc7a508491c0797091042d379311a8c3.png

 

On 2/23/2022 at 10:33 AM, ich777 said:
On 2/22/2022 at 11:34 PM, WowaDriver said:

CSM Aktiviert – in UEFI gebootet – VIFO‘s unbount – Mellanox-X3 wird in PCI Devices angezeigt, UNRAID erkennt sie auch sowie auch das Mellanox Plugin von @ich777 

Genau deswegen wird sie wieder in dem Plugin angezeigt.

Lass die Karte bitte an VFIO gebunden wenn du sie durchreichn willst und schmeiß das Plugin runter.

Ja bin ich grundsätzlich mit einverstanden - aber warum zum Henker lässt sich dieser Zustand nicht reproduzieren??

 

For your info: Ich habe heute ein Telefonat mit ITS-Hähnlein wo ich die Mellanox Karte gekauft habe. Hier ist man der Meinung, dass es sich um ein Problem mit dem Consumer Board handeln muss und dieses sporadisch die x16 Anbindung mal richtig und mal falsch aufteilt. Möglicherweise ist das die Antwort darauf warum ich den oben beschriebenen Zustand nicht reproduzieren kann...

By the way, ich kann leider dein Beitrag nicht finden habe aber mal gelesen wenn man Server PCI Karten auf einem Consumer Board betreiben will kann es ab und an sein, dass ein PIN abgedeckt werden muss... muss ich das was bei der Mellanox Karte berücksichtigen oder sind damit die markierten PINS gemeint:

image.thumb.png.9df40619a15b8c691ee1f354f605810a.png

 

On 2/23/2022 at 10:33 AM, ich777 said:

Die Mellanox Karte an die VM durchreichen, wie machst du das eigentlich? Hast mal einen screenshot?

Normalerweise eben durch das Bindung der VFIO's und dann sind die PCI Devices ja in den VM's unten selektierter. Bei der Mellanox Karte hingegen habe ich das Problem, dass diese trotz des VFIO Bindings nicht auftaucht im VM Config Dialog, sodass ich diese klassisch manuell durchreiche. Anschließend wird diese dann auch im VM Config Dialog gelistet und ist "DE-selektierbar".

image.thumb.png.f4438567b879e9ee797b70b25ab2d3ba.png

 

On 2/23/2022 at 10:33 AM, ich777 said:
On 2/22/2022 at 11:34 PM, WowaDriver said:

PCIe ACS Override -> Downstream  => GTX1660 mit Unterfunktionen in einer und Mellanox Connect-x3 in einer separaten IOMMU Group

Diese Einstellung würde ich wählen aber mit aktiviertem CSM und auch wirklich in den Legacy mode booten, mit dem erhältst du Erfahrungsgemäß die besten Ergebnisse, auch wenn die karte an VFIO gebunden ist.

Einverstanden und war da auch ehr der Meinung, dass diese Einstellung die richtige sein muss!

 

On 2/23/2022 at 10:33 AM, ich777 said:

Ich empfehle dir mal klein anzufangen, eins nach dem anderen zu machen und die Grafikkarte mal links liegen zu lassen.

Für die Mellanox CSM aktivieren und in Legacy booten -> PCIe ACS Override -> Downstream -> reboot.

Folgende Config:

=> Mellanox Karte ist in Slot 1 verbaut und GPU wurde entfernt!

Diese Einstellung betrifft ja nur die oberen beiden PCI Spots welche direkt an die CPU angebunden sind und hier ist 8x/8x die Einstellung die ich brauchimage.png.6ad806f3de033e7c9d9563beeae7b8fa.png

image.png.87b9b735654db68c4ee1368edce1f3ca.png

 

In Legacy gebootet:

image.thumb.png.03b741630ae96c72da2bd210bcfe53bc.png

 

image.thumb.png.a68ac003a232784d52392a6d66c124a4.png

 

VFIOs gebindet (es sei angemerkt der grüner Punkt ist weiterhin nur beim HBA)

image.thumb.png.2c89c71362f1486d1351fff71a3af52c.png

 

Mellanox Nie und HBA sind an die VM durchgereicht:

image.png.f8d2c47a9dd6ff76046153145d03e31f.png

 

Ergebnis: weiterhin Error 127 aber immerhin startet die WIN-VM was auch zu erwarten war, da keine GPU verbaut ist.

image.png.32554a1f6288b73bdd983bf92a16947f.png

 

//EDIT: habe mir eben mal die Manual von der Mellanox Karte angeschaut. Wenn ich es richtig verstehe handelt es sich physisch zwar um eine x8 Karte aber laut der angehängten Tabelle und meiner Interpretation kann ich diese wohl auch in ein x4 Port PCIe 3.0 stecken... Versteht ihr das auch so? Würde dann versuchen heute abend diese Gamechanger in den dritten Slot anstelle des HBA's zu stecken und über den Chipsatz anstelle die CPU anzubinden. Hier ein link zur Manual: MCX312A-XCBT

image.png.586de0ffed2e3d00ae67ee5260839fd0.png

 

Von dem Druchsatz her sollte rein rechnerisch auch ein x4 Anschluss reichen um zwei 10GB Nics zu versorgen (2000 MB/s würde hier ja reichen), nur hat die Karte ja nicht umsonst einen x8 PCI Anschluss, oder?

image.png.5052fd275bb6dad7b69141d194262d1e.png 

Edited by WowaDriver
Mellanox Datasheet
Link to comment
On 2/21/2022 at 3:21 PM, RiDDiX said:

Zum alten Thema zurück, würde ich wenn für dich möglich, dennoch mal meine Reihenfolge versuchen. Just to know if will work or not.

Du sagst du hast das z490 mit dem 9900k.

 

hast du den auch alle drei Slots belegt mit ähnlicher Konfiguration wie ich?

 

habe jetzt wild mit den slots rumprobiert... sobald was in slot zwei drin ist, egal was kommt der Fehler 127 als ob die beiden pci4.0 Slot 1/2 nicht in der Lage sind sich die 16 lanes zu teilen. Lasse ich Slot 2 frei läuft alles normal.

 

die gpu in Slot 3 geht nicht da der Kühler zu groß ist... leider.

 

Aktuell habe ich die mellanox im Slot 3 und die wird jedesmal ohne Probleme erkannt.

 

In Slot 2 ist der HBA und jetzt löst dieser error 127 aus.

Link to comment

Da haben wir den Fehler schon fast gefunden. Sorry für die späte Antwort.

 

Kannst du mir Screenshots / Fotos des BIOS unter PCIE Geräten schicken? Da ich nicht weiß wie das aktuell BIOS beim z590 aufgebaut ist.

 

Wenn du die möglichkeit hast und bei PCIE Slots die Lanes usw. einstellen kannst 4x4 8x4 usw. schreib welche Möglichkeiten du da hast.

 

Ideal wären für die beiden Erweiterungskarten einfach 4x nehmen und bei der GPU 16x wenn geht.

 

Ja ich hab alles belegt, aktuell glaube ich sogar, dass kein einziger Slot frei ist, weder SATA noch PCI/PCIe. NVMe hab ich aber nur in 1 und 2 da der dritte mir SATA Ports killt.

 

EDIT:

SORRY habe die Screenshots nun gesehen 8x4x4x und testen. Das sollte ausreichend für alle drei Geräte sein.

Edited by RiDDiX
Link to comment

Du solltest aufhören dich auf die Lanes zu versteifen. Es ist völlig Wumpe wie viele das nun sind. PCIe ist voll abwärtskompatibel. Dh jede Karte würde auch mit X1 laufen.

 

Und da die Karten beim nativen Booten in Windows laufen, ist ja technisch alles in Ordnung.

 

Der nichtsagende Fehler 127 sagt bekanntlich aus, dass Qemu nicht auf die Karte zugreifen kann, weil sie eine unerwartete Antwort von sich gibt. Also sie ist zb in einem Status, wo sie bereits "hochgefahren" ist. Es gibt diverse Lösungen in so einem Fall. Zb eine eigene GPU ROM verwenden oder einen Reset Befehl über die Kommandozeile oder BIOS Update oder Firmware Update der Karte. Und natürlich darf die Karte nicht von Unraid in Verwendung sein (was ja mit VFIO verhindert wird).

 

Was ich machen würde:

- BIOS Reset

- vfio Datei vom Stick löschen

- UEFI booten

- alle VMs abschalten

- nur eine Karte einbauen

- diese eine Karte an VFIO binden

- komplett neue Ubuntu VM erstellen. Alles eingestellt lassen wie es ist und Karte durchschleifen.

 

Ergebnis prüfen. Das ganze mit der nächsten Karte wiederholen (also auch neue VM erstellen).

 

Durch das wilde herumstecken, bezweifle ich nämlich, dass deine Windows XML und das virtuelle BIOS überhaupt noch kompatibel zu der verbauten Hardware sind (das virtuelle BIOS steckt im libvirt.img und kann nicht geändert, sondern nur gelöscht werden, wenn man die VM löscht). Du musst also immer eine neue VM erstellen, um dies als weitere Fehlerquelle auszuschließen.

Link to comment

ich hab jetzt nicht den ganzen thread verfolgt, aber zum Thema Z590 und PCIEx hier eine ähnliche Erfahrung ohne Lösung

 

2 GPU's per passthrough in diesen Slots zum Laufen zu bekommen.

 

image.png.4e21a07905def03d5bdd3f9cc371f3df.png

 

Um die Trennung überhaupt ans Laufen zu bekommen musste auch ACS Override aktiviert werden (ohne ACS ... kommen die Geräte in einer IOMMU, kein separates passthrough möglich ...)

 

wenn ACS aktiviert war, Trennung, VFIO und Zuweisung machbar, aber beim Start einer VM immer ein Crash ... egal welche Konstellation in den Settings hier gewählt wurden, ich denke das hängt mit am Z590er Chipsatz (evtl. auch in Kombi mit 10xxx CPU), bei meinem Vorgänger Z370 ging das problemlos mit meinem i9 9900 er.

 

ich hab jetzt für mich die GPU's so aufgeteilt (ist jetzt keine Lösung hier)

 

image.png.7488f2b44a3344d6c292bd53ae00ef7a.png

 

oben x16 für die Gaming VM, unten x4 (da der PCIE Platz vom Chipsatz kommt) für den Desktop VM, glücklicherweise habe ich unten den Platz für die GPU ...

 

Zusammengefasst, ich vermute das (in meinem Beispiel) PCIE1 + PCIE3 (CPU PCIE Plätze) keine Chance haben für unraid dual bestückt zu werden (im Zusammenspiel mit passthrough) und da auch hier das Problem liegt ... wenn auch anderes Board und andere CPU (ASRock Z590 Velocita & i9-10850k)

Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.