WowaDriver

What do you mean with „once it’s up and running“? Do I not have the possibility to shut down the vm‘s?

Hey @all, do i understand it right... whit this plugin i can virtualize the uhd 770 of an 13900k to many vm's i want and can also use it simulantiously in the dockers like emby and plex?

Statusupdate: @DataCollector: zu a) ja das ist richtig und ich nutze Unraid nicht wegen den von dir o.g. Gründen im Bezug auf das klassische Array von Unraid. Hierfür habe ich einen kleinen Stick 8-16Gb zugewiesen und alles vom Array ausgelagert. Der dümpelt leer vor sich hin, nur damit das "Unraid Array" startet. zu b) Ich habe mich mit Unraid schon so dermaßen angefreundet, dass ich nichts anderes mehr möchte. Ich habe mich bewusst für Unraid entschieden weil ich es als Hypervisor für meine VM's und Docker Container nutze. zu c) da bin ich dran und das soll wohl gehen, aber aktuell legt sich beim zfs pool noch nicht selbstständig schlafen. Und zu meinem Anliegen allgemein und als Lösung: Das native ZFS Dateisystem in Unraid läuft so wie ich es auch gelesen habe mit der Auto Expand Funktion. Wichtig ist nur man muss anfangs beim Erstellen des Pools festlegen wieviel Platten man eben in einem raidz fahren möchte. Ich wollte unbedingt 8 Platten (7+1 Parity) und habe somit 6x18TB und zwei alte 2x8TB Platten verbaut. Das raidz wurde somit auf knappe 56TB erzeugt was somit 7x8TB entspricht und auch logisch ist, da wie bei Raid 5 die größeren Platten das Niveau der kleinsten Platte einnehmen. Nachdem alle Daten rüber geschaufelt worden sind, habe ich erstmal eine 8Tb Platte gegen eine neue 18TB Platte getauscht. Folgedessen ist das raidz 2degraded" bzw. abgestürzt und hat die neue 18TB "resilverd" bzw. das raid neu aufgebaut. Das hat bei einer 18Tb Platte nur etwa 6 Std. gedauert. Bei meinem alten Raid 5 mit 8x6Tb Platten hatte das etliche Tage gedauert. Anschließend das gleiche für die letzte Platte wiederholt und als der Resilverungs Porzess durchgelaufen ist, hat sich das maximale Volumen des Pool auf 122TB erhöht. Somit alles so wie es soll und gewollt war. Danke für das Lesen meiner Problem. Mir war eigentlich klar, dass es so kommt wie es gekommen ist, ich wollte mich eben nur einmal absichern bevor ich den Schritt gegangen bin.

Ja das ist mir klar und ich habe auch vor ZFS in einem seperaten Pool einzusetzen. Ein Unraid Array für Daten habe ich gar nicht. Ich gehöre zum Team RAID5 und Synology. Hatte dies ca. 4 Jahre als VM auf Unraid laufen mit den 8 Platten als RAID5, weil dies in Unraid so eben nicht nutzbar war. Jetzt wo ZFS da ist möchte ich die Vorteile eines RAID5 mit denen eines ZFS Pool kombinieren. Build und Rebuild Zeiten und vor allem Zugriffszeiten via 10GbE ohne NVMe Cache. Ziel ist es auch diesen ZFS Pool dann bei nicht Zugriff in den Schlafmodus gehen, das was ich gelesen habe soll dies ja möglich sein. Dann wäre das stromspar Potenzial auch gegeben, auch wenn nicht so wie bei einem klassischen UNraid Array, bei dem ja auch nur die Platte angesteuert wird, die eben benötigt wird... das ist auch eher sekundär Ziel. Ich greife wenn auf das Storage zu mit großen Daten Mengen und da ist der Cache Speicher schnell mal eben voll... Somit finde ich ein RAID5 bzw. jetzt ein raidz1 besser geeignet. Das mit dem Erweitern habe ich ja durchgespielt nur will ich das mit den produktiv Platten nur machen wenn ich mir 100%ig sicher bin das es klappt, dashalb die Frage an die Community.

Hi again, niemand einen Ratschlag für mich ob ich mit meinem Vorhaben richtig fahre? Gruß

Hallo @all, ich möchte das neue native Dateisystem in Unraid als raidz1 mit 8 Platten nutzen. Ich habe von 8x6TB die voll waren auf 8x18TB aufgerüstet und alle Daten des alten RAID5 aus einem Synology System auf 2 der 18TB Platten zwischen gespeichert. Mangels Unwissenheit war mein Plan ursprünglich so (ich nahm an eine raidz1 zfs Erweiterung verhält sich wie ein RAID5): 1. raidz1 mit 6 Platten aufsetzen 2. die Daten von den zwei übrigen Platten rüber spielen 3. die beiden übrigen Platten dem raidz1 hinzufügen. Ende vom Lied, geht nicht! Ich kann immer nur das erweitern was ich anfangs erstellt habe. Sprich 6 Platten (5+1) also als nächstes nochmal 6 Platten (5+1) eben. Oder eben 4 Platten (3+1) und das ganze dann nochmal. Jedoch möchte ich keine zwei Paritätsplatten haben. Mir reicht eine. Der wichtigste Content ist eh mit 6 TB doppelt und dreifach gesichert. Nun zum Problem und meiner Idee dieses zu lösen. Ich habe testweise ein raidz1 mit 8 Platten (4x18TB und 4x1TB) aus alten Platten aufgebaut um zu erzwingen, das er ein raidz1 mit 8 (7+1) Platten erstellt. War dann natürlich mega klein. Ich habe Testdaten drauf geschaufelt und anschließend, nacheinander erst eine 1TB Platte gegen eine 18TB getauscht und dann die andere. Ende vom Lied, Daten waren noch drauf und er hat die 18TB Platten angenommen und die Poolgröße automatisch erweitert. Nun würde ich das ganze eben auch gerne mit den realen Daten machen. Also ein raidz1 aus 6x18TB und 2x8TB aufbauen (56TB) die produktiven Daten rüber schaufeln und anschließend die beiden 8TB Platten gegen die übrigen beiden 18TB Platten tauschen. Der Test war erfolgreich nur hab ich bisschen schiss das produktiv umzusetzen mangels Erfahrung mit zfs... ich wollte mir das Vorgehen gern von euch bestätigen lassen. Ich würde gerne andere Wege gehen, habe aber knapp 32TB Daten und nur alternativ 12TB an alten Festplatten liegen. Das RAID5 aus 8x6TB musste leider zeitnah gehen um die neuen Platten holen zu können. Sonst hätte ich beide Pool parallel laufen lassen und das zfs Pool sauber erstellt und die Daten migriert. Killt mich bitte nicht für meine Idee falls diese blödsinn ist. Bin für jeden Tipp dankbar! Beste Grüße

Hi @all, i want to use a virtual vmxnet3 interface for my xpenology vm. Principally it works, but the interface is shown as an normal 1 gig interface and not like it should be as a 1 gbe interface. The correct drive for the vm is loaded. Do I have to make some setting on the Unraid base? My unraid server is connected with 1x RJ45 10 GBe onboard nic and 2x SFP+ mellanox connect x3 port physically. So here it shouldn't be a problem.... It would be really cool if somebody can give me a tip. Thanks!

Maybe you are right, but the only power saving settings I found are these both and they are disabled... All three ASPM Settings are manually off and the LPM Support too Do you have an other idea?

Ja gut das ginge dann wohl immer hätte aber den Nachteil das es qmu drives währen und ich die Smart Werte nicht durchreichen könnte. Performance technisch wäre es wohl auch etwas schlechter. misst würde gerne das pci device durch reichen.

Hi @all, my mainboard is a Gigabyte z590 Aorus Master which has 3x mechanical x16 PCIe Ports. The first and the second one is connected to the CPU and the third to the chipset. For the first both i can configure the bios to these bifurcation modes: Auto, 8x/8x and 8x/4x/4x. I selected 8x/4x/4x and put only in the second slot these PCIe to 2x M.2 Adapter Card in: Dpofirs Adapterkarte mit 2 X 32 Gbit/s Erweiterungskarten, Dual M.2 NVMe SSD zu PCIE X8 M Key Festplattenkonverter Leser Erweiterungskarte, Unterstützt Full Speed NVME SSD/M.2 PCIE(ph45) In these PCIe Adapter I would connect 2 of these JMB585 SATA Controller cards with 5x Sata ports each. Unraid itself detects all fine. Both JMB585 are shown correctly and the connected HDD's will also shown and accesable: (in this picture the HDD's were not shown because they are bounded to VFIO for passing through to a VM) The problem I have is when I passthrough both devices to one and the same vm I get the error: internal error: Unknown PCI header type '127' for device '0000:02:00.0' I also tried to play with these arguments in the syslinux config at the boot: vfio-pci.ids=197b:0585 or xen-pciback.hide=(02:00.0)(03:00.0) which I had from this thread because of the same Vendor ID of the both JMB585 But still the same Error 127... When I go with the mouse in the system devices over the first JMB585 this pops up (maybe one other an other person know what to get out of this information): Inside the VM and its template I passthrough the devices like this: <hostdev mode='subsystem' type='pci' managed='yes'> <driver name='vfio'/> <source> <address domain='0x0000' bus='0x02' slot='0x00' function='0x0'/> </source> <address type='pci' domain='0x0000' bus='0x02' slot='0x00' function='0x0'/> </hostdev> <hostdev mode='subsystem' type='pci' managed='yes'> <driver name='vfio'/> <source> <address domain='0x0000' bus='0x03' slot='0x00' function='0x0'/> </source> <address type='pci' domain='0x0000' bus='0x04' slot='0x00' function='0x0'/> </hostdev> <memballoon model='none'/> </devices> </domain> I think here is all fine and like the way it should be done... //EDIT: The freakiest part of the things: Here it should be added that it did not work all the time, and I just left the server on for 1 hour or so. I tried it again and it starts the VM... So slowly I despair of the sense here. Could it be that after an unraid, i.e. host reboot, it takes a while until it stops addressing the PCIe devices and they virtually "go into standby" so that they lose the "already booted status"? I shut down the VM afterwards and could restart it immediately without any problems... buuuut when I did Unraid itself restarted and I get again error 127. After many try I can not reproduce this described scenario... At this point I have to give up and will be happy if you guys can help me! Thanks a lot for your time and reading my problems!!!

Sonst noch irgendwelche Tricks auf Lager? Habe die Kiste nun 2 mal neugestartet und einmal 30min und einmal 60min gewartet. Ohne Erfolg. Somit war das irgend so ein Zufallsding, das es vorhin einmal funktioniert hat. Umgesteckt wurde nichts. Ebensowenig an den Bios Settings oder ACS Override Settings was geändert. //EDIT: Die beiden JMB585 haben ja die selbe Verdorr ID. Wenn ich mit der Maus über den ersten gehe erscheint folgende Info. Vielleicht hilft es ja: Bei den USB Geräten, sofern diese die selbe Verdor ID haben gibt es ja auch Probleme und da wird mittels folgendem Workaround getrickst. Dies lässt sich aber auf PCIe Devices nicht ableiten nach meinem Verständnis: VM USB PASSTHROUGH MULTIPLE DEVICES WITH THE SAME VENDOR/PRODUCT

Ehm Nein wie mach ich den das? Ich dachte unter System Diveces sehe ich nur die BUS IDs der einzelnen PCI Devices, dort sehe ich ja keine Kennung der Slots oder?

Hi @all und Hi @mgutt, aus dem Thread mit den 20 bzw. 24 Sata Ports Erweiterungskarten hast du ja gelesen, dass ich ein PCIe zu M.2 Adapter und darin 2 M.2 zu 5x Sata Controller mit jeweils einem JMB585 Chip zum testen da habe. Die Windows VM läuft weiterhin wie oben beschrieben mit dem angepassten Bios ROM ohne Probleme. Parallel beides zum laufen bekommen habe ich nicht. Somit habe ich aktuell alle PCIe Devices entfernt und nur die neue Adapterkarte mit den beiden JMB585 Controller im zweiten (der beiden direkt an die CPU angebundenen Ports) verbaut und diesen in den Settings auf x8/x4/x4 eingestellt. Damit kann der zweite Port beide Controller erkennen und zeigt in Unraid auch brav beide an - ebenso die daran angeschlossenen HDD's. Beide Controller habe ich an VFIO gebunden und ebenfalls in der Syslinux Config geblacklistet. Ebenso habe ich diese an die VM angehangen. <hostdev mode='subsystem' type='pci' managed='yes'> <driver name='vfio'/> <source> <address domain='0x0000' bus='0x02' slot='0x00' function='0x0'/> </source> <address type='pci' domain='0x0000' bus='0x02' slot='0x00' function='0x0'/> </hostdev> <hostdev mode='subsystem' type='pci' managed='yes'> <driver name='vfio'/> <source> <address domain='0x0000' bus='0x03' slot='0x00' function='0x0'/> </source> <address type='pci' domain='0x0000' bus='0x04' slot='0x00' function='0x0'/> </hostdev> <memballoon model='none'/> </devices> </domain> Es kommt beim Start nun immer die Fehlermeldung wie davor schon auch bei der Win VM mit GPU und fehlender ROM. Oder wie du sagst der nichts aussagende Fehler 127: internal error: Unknown PCI header type '127' for device '0000:02:00.0' Du sprichst oben von: Für solche Fehle gibt es verschiedene Lösungsansätze. Hast du noch was in der Trickkiste auf Lager? Bei einem JMB585 kann ich ja keine modifizierte Rom einhängen wie bei der GPU... //EDIT: Hier sei ergänzt, dass es die ganze Zeit nicht geklappt hat, und ich den Server eben angelassen habe für 1 Stunde etwa. Ich habe es nochmal probiert und siehe da er startet auf einmal die VM... So langsam verzweifle ich hier an der Sinnhaftigkeit. Kann es sein, dass er nach einem Unraid also Host reboot eine Zeit brauch bis er die PCIe Devices nicht mehr anspricht und diese quasi "in den Standby fahren" damit sie den von dir o.g. "bereits Hochgefahren Status" verlieren? Ich habe die VM danach herunter gefahren und konnte sie sofort ohne Probleme wieder neu starten... Unraid selbst neugestartet und erneut Fehler 127. Ich lasse ihn wieder 30 min stehen und versuche es anschließend erneut.

Danke habe ich schon bestellt kommen morgen an. Werde heute dennoch mal mit 3 single Platten die noch frei sind mal mit dem LSI 9211-8i ein raid5 in der vm aufbauen und anschließend gehen die beiden JMB585 tauschen und die Platten verstreut über beide Controller durchreichen. Hier gilt es dann zwei Hürden zu schlagen. 1. den Fehler ‘127‘ zu vermeiden beim durchreichen der Controller 2. hoffen das der Synology VM für das RAID5 die Laufwerks Reihenfolge und Aufteilung egal sind. Das habe ich vielleicht missverständlich ausgedrückt. Als ich meinen Server vor drei Jahren aufbaute hatte, waren die Backplanes noch nicht vorhanden. Somit hatte ich den LSI 9211-8i direkt an den sata Platten mit den o.g. Kabeln im Einsatz. Als dann später die Backplanes kamen, mussten SFF zu SFF Kabel her. Jetzt wo ich das hier gerade schreibe fällt mir ein, das ich mir damals schon die Frage der Reihenfolge in den Backplanes gestellt hatte. Damals aber via Try and Error einfach ausprobiert und es hat geklappt. Also entweder hatte ich Glück und habe in beiden Backplanes die Reihenfolge korrekt erwischt oder dem raid ist es egal in welcher Reihenfolge die Platten kommen.

Also anscheinend hast du Recht @mgutt, die PCIe zu M.2 Platine läuft. Meine NVMe wird darin sauber erkannt. Die beiden M.2 zu 5x Sata sind anscheinend defekt. Ich habe Sie auf die beiden Onbard M.2 Steckplatze meines z590 Board gesteckt. UNraid erkennt diese zwar als JMB585 Device an, zeigt aber keine einzige angeschlossene Platte. Oder aber es liegt an den verwendeten 4xSATA zu SFF-8087 Kabeln welche an den Raidsonic HDD Käfigen angeschlossen sind. Versuche gleich nochmal direkt Platten via Sata zu verbinden. Also ich habe die Fehlerquelle lokalisieren können. Sowohl die PCIe zu M.2 Adapterkarte läuft sauber, als auch die M.2 zu 5x Sata JMB585 Karten (hier sowohl auf der Adapterkarte als auch auf dem Mainboard direkt) Meine Fehlerquelle sind die SFF-8087 Kabel. Hier habe ich folgende in Verwendung: YIWENTEC Mini SAS 36p SFF-8087 zu 4 SATA Target Festplatte Connector Daten kabel 0.75m Diese sind an Rackmaxx bzw. Raidsonic RM324 Backplanes angeschlossen, welche eben einen MiniSAS Anschluss haben. Es scheint so, dass die Kabel nur in eine Richtung funktionieren. "SFF-8087 zu 4 SATA Target" Heißt es ja in der Beschreibung. Das habe ich auch 100% überprüft und auch direkt versucht vom Mainboard an die SAS HDD Käfige zu gehen, auch hier werden keine Platten erkannt. Jetzt heißt es Hausaufgaben machen und hoffen, dass es "4x Sata (Host) zu SFF-8087 (Target)" Kabel gibt. //EDIT: Bzw. such ich morgen mal das Handbuch der RM324 raus und hoffe man kann mit den vielen Pins auf der Rückseite irgendwelche configs einstellen. Denke aber das waren alles nur PINS für die Lüftersteuerung, Pipser usw //EDIT 2: Habe eben bei Amazon tatsächlich die benötigten Kabel finden können. Hätte nicht gedacht das es da einen Unterschied machen würde. Samstag geht es dann an das weitere Testen. Hoffe bekomme dann nicht wieder den Fehler: internal error: Unknown PCI header type '127' for device '0000:02:00.0' beim durchreichen an die VM. CableCreation [umgekehrtes Kabel Mini SAS 36 Pin (SFF-8087) Stecker auf 4 SATA 7-polige Buchse, Mini SAS (Target) auf 4 SATA (Host) Kabel, 0,5 m