Opensense VM on Unraid Firewall Mini PC Intel N100 Intel I226V NIC

[nightfly2000]

Hallo zusammen. Ich bin recht neu hier und  beschäftige mich schon länger mit Unraid als NAS Betriebssystem welches super auf meinem alten HP Microserver NL 36 seine Dienste tut! Meine Netzwerk und VM Kenntnisse sind daher eher Basic+

 

Ich habe mich aber doch schon einige Zeit mit diversen Themen bezüglich Hardware Passthrougt, vswitch (libvirt) beschäftigt. Mein Plan ist folgender. Ich habe mir einen dieser Intel N100 Mini PC bestellt. Intel N100 Mini PC Dieser hat 5 Intel I226-V Nic´s integriert. Ich möchte Unraid als Host Betriebssystem betreiben und Opnsense als VM. Die Opnsense soll dann als DHCP Server für mein ganzes Netzwerk dienen.

 

Im Prinzip zeigt der Link genau das was ich möchte, bzw. vor habe : Opnsense on KVM.

Ich habe nun mehrere Themen bzw. "Probleme". Ziel ist das ich meinen Hauptrechner der eine 2,5GB Nic hat über den Mini PC auf dem Opnsense läuft mit meinem Unraid Nas, das ebenfalls eine 2,5 GB Nic hat verbinde.

 

Thema Nummer 1 ist der Mini PC selber. Die Dokumentation ist quasi nicht vorhanden und vom Bios gibt es leider auch keine Beschreibung. Es gibt nur im servethehome Forum viele Infos von anderen Usern, die alles mühsam selber zusammentragen servethehome N100 Firewall PC Forum.

Im Bios kann man so viel Einstellungen tätigen, ohne das man weiß ob die Settings überhaupt Wirkung haben, da es auch Optionen z.B. für Thunderbolt und Ultrabook Dock gibt. (Ist halt leider ein Chinesen Bios) In Unraid unter den System Devices gibts mal eher kein Thunderbolt

 Mein Plan ist das ich eine Nic per passthrough direkt der Opnsense VM durchreiche. Diese soll dann der Wan Port der Opnsense sein. Die restlichen Lan Ports sollten in Unraid quasi nur als Vswitch dienen. Ich möchte ja immer auf Unraid zugreifen können sollte die VM mal Down sein. Und die erstellte Bridge übergebe ich dann der Opnsense als Lan Port. Die Konstellation scheint mal zu funktionieren. Ich habe unter Unraid die 4 Lan Ports zu einer Bridge zusammengefügt. Dem Lan Port der Bridge gebe ich eine statische IP-Adresse. Mit dieser IP-Adresse komme ich dann auf das Unraid Webinterface. Alle Geräte die dann an einem der Lan Ports angeschlossen sind bekommen auch eine IP-Adresse per DHCP von Opnsense.

Nun zu einem der Probleme.

 

Laut IOMMU Gruppen sollte jeder Lan Port eine eigene Gruppe sein. Die 5 Ports heißen eth0-eth4. Ich habe auch schon verschiedene PCI ACS Override Optionen probiert und hätte keine Veränderung der Aufteilung von den Lan Ports und den Gruppen bemerkt.  Wenn ich nun eth4 auswähle und Bind selected to vfio at boot bestätige und einen Reboot mache, verschwindet auch eth3 in den Netzwerksettings in Unraid. Ich sehe den durchgereichten Port zwar unter der VM und kann den zum durchreichen auswählen. Allerdings bekomme ich eine Fehlermeldung beim versuch die VM zu starten. Irgendwie lässt sich keine vernünftige Lan Port Konstellation auswählen mit der ich zufrieden bin. Es verschwindet immer ein zusätzlicher anderer Lan Port wenn ich einen anderen zum durchreichen auswähle.

Die einzige Konstellation die funktioniert ist, das ich eth0 durchreiche. Dann kann ich mit den restlichen 4 Ports eine Bridge konfigurieren. Allerdings ist es bei der Konstellation komisch das der eth0 Port in den Netzwerkeinstellungen in Unraid erhalten bleibt. Bei allen anderen Konstellationen verschwindet der Lan Port in den Einstellungen, der zum durchreichen konfiguriert ist.

 

Es macht also den Anschein das die Lan Ports über PCIE mit anderen Devices geteilt sind und sich nicht einzeln zum durchreichen konfigurieren lassen.  Ich habe im Bios verschiedene Optionen an den PCIE Settings wie ASPM on off etc. probiert um zu prüfen ob sich seitens Unraid was ändert. Leider ohne merklichen Erfolg. 

 

Daher meine 2 Fragen:

 

1. Ist die Konfiguration mit der Bridge in Unraid so die richtige Lösung für mein Vorhaben? Ich möchte nicht mit Vlan´s etc arbeiten sondern es so simple wie möglich halten.

 

2. Wie und wo kann ich dann zwecks der IOMMU Gruppen und der Ports ansetzen und hier bei bedarf mehr Logfiles etc. zu Verfügung stellen? Ich denke es ist nicht ganz clever den eth0 Port aktuell zu nutzen. Ich habe mit Unraid 6.13.3 angefangen und bin mal zur aktuellen 6.13.4RC18 gewechselt. Dort läuft das Powermanagement meiner Meinung nach besser. (Habe den Strom direkt an der Steckdose gemessen. Der PC braucht wirklich nur so um die 10-11W auch unter Lan last!). Die Probleme mit dem Durchreichen sind bei beiden Versionen identisch.

 

Anbei noch die Screenshots. Ich habe aktuell nur 3 Ports zur Bridge hinzugefügt, weil ich den eth1 noch als "Notfalls" Port lasse damit ich mich gegebenenfalls noch über diesen Port zu Unraid verbinden kann. Vielleicht ist das auch ein Treiber Problem seitens der Intel Nic´s. Ich meine ich hätte da mal irgendwo was gelesen. Vielleicht sind die I226 Treiber in dem Unraid Kernel 6.1.46 noch gar nicht richtig implementiert und Unraid nimmt die I225 Treiber.

 

Laut der neuen Unraid Version kann man auch super die geladenen Treiber sehen. (Siehe Screenshot).

 

Danke schon mal für die Hilfe.

LG.

Chris.

Edited August 25, 2023 by nightfly2000

[alturismo]

6 hours ago, nightfly2000 said:

Danke schon mal für die Hilfe.

 

ein Tipp meinerseits ... formatier mal deinen Text zumindest etwas mit Absätzen ...

 

ich habe jetzt nach dem 3. Satz abgebrochen nachdem ich die Buchstabenflut gesehen habe

 

nur als Tipp da ich sicher bin dass dies einigen so geht und dann weniger retour kommt ...

[Ford Prefect]

On 8/25/2023 at 12:15 PM, nightfly2000 said:

Nun zu einem der Probleme.

 

Laut IOMMU Gruppen sollte jeder Lan Port eine eigene Gruppe sein. Die 5 Ports heißen eth0-eth4. Ich habe auch schon verschiedene PCI ACS Override Optionen probiert und hätte keine Veränderung der Aufteilung von den Lan Ports und den Gruppen bemerkt.  Wenn ich nun eth4 auswähle und Bind selected to vfio at boot bestätige und einen Reboot mache, verschwindet auch eth3 in den Netzwerksettings in Unraid. Ich sehe den durchgereichten Port zwar unter der VM und kann den zum durchreichen auswählen. Allerdings bekomme ich eine Fehlermeldung beim versuch die VM zu starten. Irgendwie lässt sich keine vernünftige Lan Port Konstellation auswählen mit der ich zufrieden bin. Es verschwindet immer ein zusätzlicher anderer Lan Port wenn ich einen anderen zum durchreichen auswähle.

Die einzige Konstellation die funktioniert ist, das ich eth0 durchreiche. Dann kann ich mit den restlichen 4 Ports eine Bridge konfigurieren. Allerdings ist es bei der Konstellation komisch das der eth0 Port in den Netzwerkeinstellungen in Unraid erhalten bleibt. Bei allen anderen Konstellationen verschwindet der Lan Port in den Einstellungen, der zum durchreichen konfiguriert ist.

Dein Screenshot bzgl. IOMMU Gruppen sieht doch einwandfrei aus...jeder NIC der i226V ist in einer eigenen Gruppe, soweit ich erkennen kann.

Evtl. ist Dir nicht klar, was "durchreichen" bedeutet? Das Device/der NIC, verschwindet aus dem Host...klar werden dann die restlichen NICs/ethX in unraid neu nummeriert und es sind eben dann weniger NICs noch "für unraid" da....die per IOMMU durchgereichten sind nur für VMs (und können auch nicht zwischen (laufenden) VMs geteilt werden).

 

 

On 8/25/2023 at 12:15 PM, nightfly2000 said:

Mein Plan ist das ich eine Nic per passthrough direkt der Opnsense VM durchreiche. Diese soll dann der Wan Port der Opnsense sein.

OK

 

On 8/25/2023 at 12:15 PM, nightfly2000 said:

Die restlichen Lan Ports sollten in Unraid quasi nur als Vswitch dienen. Ich möchte ja immer auf Unraid zugreifen können sollte die VM mal Down sein. Und die erstellte Bridge übergebe ich dann der Opnsense als Lan Port. Die Konstellation scheint mal zu funktionieren. Ich habe unter Unraid die 4 Lan Ports zu einer Bridge zusammengefügt. Dem Lan Port der Bridge gebe ich eine statische IP-Adresse.

Das ist irgendwie Mumpitz oder ich verstehe nicht, wie Du die Bridge an Opnsense "übergibst".

Was soll der Sinn der Bridge hier sein...Bandbreiten-Bündelung?

Opensense ist eine VM...die kann virtio ... gib der Sense einfach einen NIC auf der br0 als virtio und nimm diesen in der Sense als LAN. Die Geschwindigkeit ist hier die der CPU-Bandbreite (mehr geht nicht - egal wie viele NICs physisch in der Bridge sind).

 

On 8/25/2023 at 12:15 PM, nightfly2000 said:

Mit dieser IP-Adresse komme ich dann auf das Unraid Webinterface. Alle Geräte die dann an einem der Lan Ports angeschlossen sind bekommen auch eine IP-Adresse per DHCP von Opnsense.

Also hast Du da nen externen Switch dran und alle 4 Ports verbunden?

Das nützt Dir nix....die Bridge in unraid hat die MAC des ersten ETH-Ports in der Bridge....der externe Switch sieht immer nur die eine MAC, auf allen vier Ports.

Das bringt ggfls auch einige Switches durcheinander.

Wenn Du Redundanz willst oder mehr Bandbreite, nutze einen Bond (muss der Switch auch unterstützen).

 

On 8/25/2023 at 12:15 PM, nightfly2000 said:

Es macht also den Anschein das die Lan Ports über PCIE mit anderen Devices geteilt sind und sich nicht einzeln zum durchreichen konfigurieren lassen.  Ich habe im Bios verschiedene Optionen an den PCIE Settings wie ASPM on off etc. probiert um zu prüfen ob sich seitens Unraid was ändert. Leider ohne merklichen Erfolg. 

s.o.

 

On 8/25/2023 at 12:15 PM, nightfly2000 said:

Daher meine 2 Fragen:

 

1. Ist die Konfiguration mit der Bridge in Unraid so die richtige Lösung für mein Vorhaben? Ich möchte nicht mit Vlan´s etc arbeiten sondern es so simple wie möglich halten.

siehe oben....ist mMn Mumpitz.

Du machst in unraid eine Bridge (oder Bond) und hängst die Sense mit einem Virtio-NIc da rein....die physischen Port(s) der Bridge spielen in der Sense keine Rolle.

Alternative ist, Du reichst für das Sense-LAN nochmal 1-n echte NICs per IOMMU an die Sense durch und nutzt einen externen Switch (machst bei n>1 NICs *in der Sense* und dem externen Switch Bonding fürs LAN).

[nightfly2000]

On 8/28/2023 at 12:04 PM, Ford Prefect said:

Dein Screenshot bzgl. IOMMU Gruppen sieht doch einwandfrei aus...jeder NIC der i226V ist in einer eigenen Gruppe, soweit ich erkennen kann.

Evtl. ist Dir nicht klar, was "durchreichen" bedeutet? Das Device/der NIC, verschwindet aus dem Host...klar werden dann die restlichen NICs/ethX in unraid neu nummeriert und es sind eben dann weniger NICs noch "für unraid" da....die per IOMMU durchgereichten sind nur für VMs (und können auch nicht zwischen (laufenden) VMs geteilt werden).

 

Hi, danke für die Antworten ich versuche mich etwas kürzer zu fassen um es vielleicht auch verständlicher darzustellen.  Durchreichen verstehe ich. Es verschwinden auch die Nic´s, die zum durchreichen ausgewählt sind. Nur leider eben nicht nur die, die ich auswähle. Beispiel ich bezeichne die Nic Ports als 1-5. In meinem Screenshot ist Nic 1 zum durchreichen ausgewählt.

 

Aber in Unraid sind unter den Netzwerkeinstellungen trotzdem noch alle 5 Nic´s ersichtlich. Wenn ich einen anderen Port zum durchreichen auswähle verschwindet der auch unter den Einstellungen, so wie es sein sollte. (Aber es verschwindet dann immer auch ein anderer Port mit)  Wenn ich z.B. Port 5 zum durchreichen auswähle verschwindet Port 5 und 4 in den Unraid Netzwerkeinstellungen und ich kann die VM nicht starten da ich einen Fehler bekomme, wenn ich den Port 5 zum durchreichen auswähle. Den Port 4 sehe ich dann gar nicht mehr und kann den auch nicht zum durchreichen auswählen. Ich werde mal den Fehler und das Log dazu posten.

 

Daher ist es ja komisch das nur die Konstellation mit dem Port 1 zum durchreichen funktioniert. Das heißt die Ports 2-4 bleiben unter den Einstellungen erhalten. Aber inklusive dem Port 1. Ich habe das mal anhand der Macadresse geprüft welcher Port dann welcher ist. Und der physische Port 1 ist auch immer der Port 1 in Unraid und bei den andern Ports das gleiche. Ich hätte nicht feststellen können das Unraid dann die Lan Ports anders nummeriert, wenn einer zum durchreichen weg fällt.

 

On 8/28/2023 at 12:04 PM, Ford Prefect said:

 

OK

 

Das ist irgendwie Mumpitz oder ich verstehe nicht, wie Du die Bridge an Opnsense "übergibst".

Was soll der Sinn der Bridge hier sein...Bandbreiten-Bündelung?

Opensense ist eine VM...die kann virtio ... gib der Sense einfach einen NIC auf der br0 als virtio und nimm diesen in der Sense als LAN. Die Geschwindigkeit ist hier die der CPU-Bandbreite (mehr geht nicht - egal wie viele NICs physisch in der Bridge sind).

 

Nein ich möchte keine Banbreitenbündelung. Ich möchte einfach einen Lanport als Wan nutzen und die andern 4 Lanports sollen eine Bridge bilden und als Switch fungieren. Wenn ich alle Lanports z.b. der Opnsense durchreiche, dann müsste ich die Lanports auch dort zu Bridge zusammenfassen um diese als Switch nutzen zu können. Ich übergebe eben der Opnsense aktuell den Wan Port direkt durchgereicht und einen Virtio Port der Bridge der dann für die Opensense als Lanport fungiert.

 

Die Opensense soll ja DHCP Server für das gesamte Netzwerk spielen. Daher soll die Bridge in Unraid per DHCP von Opensense die IP Adressen bekommen (funktioniert ja auch).  Die Verkabelung sieht aktuell so aus. Lan Port 1 ist der Wan Port. Lan Port 2 geht zu einem PC der auch eine 2.5Gbit Lan Port hat. Lan Port 3 geht zu einem Nas das ebenfalls eine 2.5Gbit Lan Port hat. Lan Port 3 geht zu einem Gbit Switch der das restliche Netzwerk per Kabel und Wlan versorgt und eben den Teilnehmern die DHCP Adressen vergibt. Lan Port 4 und 5 wären daher noch Reserve und könnten in Zukunft gegebenenfalls  andere Geräte mit 2.5 Gbit Lan Ports versorgen. (Ich möchte mir aktuell noch keinen neuen Switch gönnen, der 2,5Gbit Ports hat, weil die preislich noch nicht so interessant sind und auch zu wenig Ports haben in den kompakten Größen)

On 8/28/2023 at 12:04 PM, Ford Prefect said:

Also hast Du da nen externen Switch dran und alle 4 Ports verbunden?

Das nützt Dir nix....die Bridge in unraid hat die MAC des ersten ETH-Ports in der Bridge....der externe Switch sieht immer nur die eine MAC, auf allen vier Ports.

Das bringt ggfls auch einige Switches durcheinander.

Wenn Du Redundanz willst oder mehr Bandbreite, nutze einen Bond (muss der Switch auch unterstützen).

Habe ich oben beschrieben und den Screenshot beigefügt, so wie ich es habe. Das was rot durchgestrichen ist, ist der WAN Port der direkt durchgereicht ist und nicht virtuell zur Opnsense geht. Und gelb ist in der Lösung das mit dem veth. Das habe ich mir mal durchgelesen was es damit auf sich hat.

 

Man könnte in Unraid per Konsole so ziemliche alle Befehle mit den virsh Befehlen abdecken. In dem Screenshot wird eben per veth die Möglichkeit geschaffen sich immer auf den Host verbinden zu können selbst wenn die VM Down ist. Das ist ja auch eine Funktion die mir wichtig ist. Bei mir funktioniert das eben so das ich der Bridge und dem Client eine manuelle IP gebe. Mit der komme ich dann ohne Probleme aufs Webinterface von Unraid.

 

On 8/28/2023 at 12:04 PM, Ford Prefect said:

s.o.

 

siehe oben....ist mMn Mumpitz.

Du machst in unraid eine Bridge (oder Bond) und hängst die Sense mit einem Virtio-NIc da rein....die physischen Port(s) der Bridge spielen in der Sense keine Rolle.

Alternative ist, Du reichst für das Sense-LAN nochmal 1-n echte NICs per IOMMU an die Sense durch und nutzt einen externen Switch (machst bei n>1 NICs *in der Sense* und dem externen Switch Bonding fürs LAN).

 

Edited September 3, 2023 by nightfly2000

[Ford Prefect]

11 hours ago, nightfly2000 said:

Hi, danke für die Antworten ich versuche mich etwas kürzer zu fassen um es vielleicht auch verständlicher darzustellen.

...Du schreibst leider (wieder) sehr kompakt...schwer zu folgen, ohne Absätze 

 

11 hours ago, nightfly2000 said:

Durchreichen verstehe ich. Es verschwinden auch die Nic´s, die zum durchreichen ausgewählt sind. Nur leider eben nicht nur die, die ich auswähle. Beispiel ich bezeichne die Nic Ports als 1-5. In meinem Screenshot ist Nic 1 zum durchreichen ausgewählt. Aber in Unraid sind unter den Netzwerkeinstellungen trotzdem noch alle 5 Nic´s ersichtlich. Wenn ich einen anderen Port zum durchreichen auswähle verschwindet der auch unter den Einstellungen, so wie es sein sollte. (Aber es verschwindet dann immer auch ein anderer Port mit)  Wenn ich z.B. Port 5 zum durchreichen auswähle verschwindet Port 5 und 4 in den Unraid Netzwerkeinstellungen und ich kann die VM nicht starten da ich einen Fehler bekomme, wenn ich den Port 5 zum durchreichen auswähle.

OK, das ist wirklich komisch.

 

Ich habe seit 2 Jahren selbst so ein ähnliches Modell in der Fewo (6x i211V) und da läuft es einwandfrei.

Die IOMMU Liste sieht für mich OK aus...

Welche unraid-Version hast Du getestet? Versuche es mal mit einer vor v6.12

Ansonsten fällt mir nur ein, dass da in der Hardware, intern auf PCIe-Seite noch ein Switch o.ä. verbaut ist und das System damit nicht klarkommt.

Ich glaube kaum, dass der Hersteller sich für diesen UseCase Mühe gegeben hat...

 

Plan B wäre einen USB-Nic mal testweise zu nutzen, für unraid selbst und dann immer die internen NICs in verschiedenen Kombinationen durchreichen, bis Du eine findest, die Dir passt.

 

11 hours ago, nightfly2000 said:

Ich übergebe eben der Opnsense aktuell den Wan Port direkt durchgereicht und einen Virtio Port der Bridge der dann für die Opensense als Lanport fungiert.

....so sollte es OK sein...

 

Ich denke, es ist ein Hardware/BIOS Thema...ausser probieren, wie oben beschrieben, fällt mir nix besseres ein. Wie gesagt, die IOMMU-Liste sieht OK aus.

 

[nightfly2000]

Sorry für die späte Antwort. Ich habe jetzt einmal allerhand Bios Settings etc. probiert.

 

Mein Ergebnis sieht folgendermaßen aus. Ich habe eigentlich nur Probleme mit dem 5. Port.

Dort ist das Phänomen, das der 4. Port mit verschwindet und es im Log einen Fehler gibt.

 

Alle anderen Ports lassen sich problemlos durchreichen ohne das andere Ports verschwinden.

 

Ich hätte halt gerne den Letzen Port als Wan Port genutzt.

Habe die Bridge nun auf Eth 0,1,2,4 erstellt. Eth3 ist nun mein durchgereichter Port. Gerade wegen der neuen Unraid Version, wo es diverse Änderungen bezüglich der Bridges und den Docker Container gab wollte ich den Eth0 nicht durchreichen und den als WAN Port für die Opensense nutzen. 

Ich konnte den selben Fehler auch immer auf Unraid 6.12.3 bzw. 6.12.4 +6.12.4 RC reproduzieren.

 

Hier sieht man Port 5 zum durchreichen ausgewählt

 

 

Mit dem Ergebnis das Eth 3 auch unter den Einstellungen verschwunden ist.

 

 

Das ergibt dann folgenden Fehler wenn man die VM versucht zu starten.

 

 

Hier der Syslog. 

Es gibt folgenden Error igc: probe of 0000:04:00.0 failed with error -13

 

syslog.txt

 

Ich denke das es da Probleme mit den ASPM Settings der PCie Ports im Bios gibt. Habe mich jetzt ein wenig mit dem Powermanagement gespielt und da kann sein, dass wenn man bei einem PCie Port im Bios ASPM L1 oder L1u0 aktiviert auch plötzlich die letzten beiden Lanports nach einem Reboot in Unraid verschwunden sind. Dann gibts auch keinen Fehlermeldungen im Log.

 

Der Befehl: 

lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )'

 

 liefert folgende Ausgabe. Zumindest ließen sich die ASPM L1 Settings im Bios teilweise aktivieren.

 

00:1c.0 PCI bridge: Intel Corporation Device 54b8 (prog-if 00 [Normal decode])
                LnkCap: Port #1, Speed 8GT/s, Width x1, ASPM L1, Exit Latency L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1c.1 PCI bridge: Intel Corporation Device 54b9 (prog-if 00 [Normal decode])
                LnkCap: Port #2, Speed 8GT/s, Width x1, ASPM L1, Exit Latency L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1c.2 PCI bridge: Intel Corporation Device 54ba (prog-if 00 [Normal decode])
                LnkCap: Port #3, Speed 8GT/s, Width x1, ASPM L1, Exit Latency L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1c.3 PCI bridge: Intel Corporation Device 54bb (prog-if 00 [Normal decode])
                LnkCap: Port #4, Speed 8GT/s, Width x1, ASPM L1, Exit Latency L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1c.6 PCI bridge: Intel Corporation Device 54be (prog-if 00 [Normal decode])
                LnkCap: Port #7, Speed 8GT/s, Width x1, ASPM L1, Exit Latency L1 <16us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
00:1d.0 PCI bridge: Intel Corporation Device 54b1 (prog-if 00 [Normal decode])
                LnkCap: Port #10, Speed 8GT/s, Width x1, ASPM not supported
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+
01:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
02:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
03:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
04:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
05:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04)
                LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us
                LnkCtl: ASPM L1 Enabled; RCB 64 bytes, Disabled- CommClk+
06:00.0 Non-Volatile memory controller: Sandisk Corp PC SN735 NVMe SSD (DRAM-less) (prog-if 02 [NVM Express])
                LnkCap: Port #0, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 unlimited
                LnkCtl: ASPM Disabled; RCB 64 bytes, Disabled- CommClk+

 

Daher habe ich noch ein paar andere Fragen zwecks dem Powermanagement. Welches Tool ist für die CPU (Alder-Lake) nun eigentlich vorzuziehen? Corefreq oder powertop?

Powertop lässt sich mit auto-tune leider nicht ausführen. Corefreq lässt sich ohne Probleme starten. Es gibt folgende Fehlermeldung:

modprobe cpufreq_stats failed. 

 

Ich hätte im Servethehome Forum gelesen das die Tools wie Powertop unter Proxmox funktionieren. Auch soll dieses Script unter Proxmox funktionieren

setPL. Es scheint das unter Unraid da einige Tools fehlen. Gibt es da eine Lösung, das man die nachinstalliert? Habe nur Powertop aus den Nerd-Tools installiert.

Es wäre fein wenn sich das Powermanagement per Software regeln lässt, weil die wie gesagt die Bios Settings sind furchtbar. Habe dort einmal auf verdacht PL1 und PL2 mit 6/25 Watt gesetzt. Corefreq zeigt mir auch diese Settings an. Nur ist eben nicht klar gelten die für den Turbo Modus oder den Normalen z.b....

 

LG.

Chris

 

 

 

 

Edited September 3, 2023 by nightfly2000

[Ford Prefect]

1 hour ago, nightfly2000 said:

Ich konnte den selben Fehler auch immer auf Unraid 6.12.3 bzw. 6.12.4 +6.12.4 RC reproduzieren.

OK, gut.

 

1 hour ago, nightfly2000 said:

Mein Ergebnis sieht folgendermaßen aus. Ich habe eigentlich nur Probleme mit dem 5. Port.

Dort ist das Phänomen, das der 4. Port mit verschwindet und es im Log einen Fehler gibt.

 

Alle anderen Ports lassen sich problemlos durchreichen ohne das andere Ports verschwinden.

 

Ich hätte halt gerne den Letzen Port als Wan Port genutzt.

...das ist nur ne Kopfsache...Fazit: freue Dich, dass Du eine technisch funktionierende Kombination finden kannst und nimm die.

 

1 hour ago, nightfly2000 said:

Gerade wegen der neuen Unraid Version, wo es diverse Änderungen bezüglich der Bridges und den Docker Container gab wollte ich den Eth0 nicht durchreichen

Auch das ist ne Kopfsache. Durchgereichte NICs siehst Du ja garnicht mehr in der unraid Netzwerk-Konfig und Du kannst die Nummerierung, welche NIC/MAC jetzt eth0 ist frei einstellen. ... passt halt nicht mehr zur Beschriftung am Gerät, aber auch das kann man lösen.

 

1 hour ago, nightfly2000 said:

Ich denke das es da Probleme mit den ASPM Settings der PCie Ports im Bios gibt. Habe mich jetzt ein wenig mit dem Powermanagement gespielt und da kann sein, dass wenn man bei einem PCie Port im Bios ASPM L1 oder L1u0 aktiviert auch plötzlich die letzten beiden Lanports nach einem Reboot in Unraid verschwunden sind.

Dann verzichte drauf oder nimm eben eine Kombination, die funktioniert, mit Deinen Einstellungen.

Ich vermute, dass einige NICs noch mal mit nem PCIe-Switch an den Chipsatz oder die CPU angebunden sind, da sonst für alles nicht genug Lanes da sind. Daher dann das unterschiedliche Verhalten der Port(-Nummern).

 

1 hour ago, nightfly2000 said:

Das ergibt dann folgenden Fehler wenn man die VM versucht zu starten.

Ich hatte diesen Fehler bei einer durchgereichten Telefonie-Karte...ein anderes Modell hat das Problem behoben...der Unterschied: PCIe-Bridge Baustein auf der Karte war ein anderes Modell/von einem anderen Hersteller. 

 

Mein Fazit: siehe oben.

[cz13]

11 hours ago, nightfly2000 said:

Gibt es da eine Lösung, das man die nachinstalliert?