opnsense VM - kein internet mit unraid, andere Geräte schon

[Encore]

Hey zusammen,

 

habe 2 NICS in meinem mainboard, wovon eines in einer eigenen iommu gruppe ist und ich an eine opnsense VM gebunden habe.

Da der zweite nic an einer iommu gruppe mit dem chipsatz etc hängt, habe ich eine virtio-net bridge erstellt an br0 gebunden.

 

ich bin mir den risiken bewusst das mein Netzwerk lahmgelegt ist wenn was am server wäre -- habe als backup noch nen omada er605 in der schublade, welcher dann bei längeren wartungsarbeiten verwendet werden kann.

 

alles läuft auch soweit gut, dhcp klappt, pihole klappt usw.

geräte kommen auch ins netz (wlan/lan)

 

außer unraid selbst.

habe unraid eine statische ip zugewiesen außerhalb des dhcp bereichs und zur sicherheit auch noch static in der opnsense selbst gesetzt.

das gateway ist das lan interface - in meinem fall 192.168.0.1 dhcp ist 192.168.0.101-254   // unraid selbst nutzt 192.168.0.100

 

nun das komische -- wenn ich die pfsense neustarte, kann ich für vl 5 minuten das internet von unraid aus nutzen.

danach kriege ich keine verbindung mehr ins internet hin - ping 8.8.8.8 - destinatation host unreachable --- das gateway kann ich aber anpingen und andere geräte auch...

 

was mach ich falsch? hat jemand eine idee woran es liegen könnte?

[Ford Prefect]

49 minutes ago, Encore said:

alles läuft auch soweit gut, dhcp klappt, pihole klappt usw.

Hast Du da noch einen dhcp-Server am Start, zB im PiHole?

49 minutes ago, Encore said:

danach kriege ich keine verbindung mehr ins internet hin - ping 8.8.8.8 - destinatation host unreachable --- das gateway kann ich aber anpingen und andere geräte auch...

Wie sieht die Routing Tabelle im unraid zu den beiden Zeitpunkten aus?

Was sagt ein "traceroute -n 8.8.8.8" ...welche IP wird hier als Gateway wirklich "angesprungen"?

49 minutes ago, Encore said:

was mach ich falsch? hat jemand eine idee woran es liegen könnte?

Ich nehme mal an, der NIC, welcher mit IOMMU durchgeschleift ist, ist das WAN interface in der Sense..der virtio-NIC das LAN Interface und hat hier die 192.168.0.1?

Wie ist das WAN Interface eingebunden? Hast Du (noch) eine WAN IP zum Zeitpunkt X und wie sieht die Routing-Tabelle in der Sense aus (default Route aufs WAN-IF)?

Edited May 9, 2023 by Ford Prefect

[Encore]

15 minutes ago, Ford Prefect said:

Hast Du da noch einen dhcp-Server am Start, zB im PiHole?

1 hour ago, Encore said:

nope, die sense ist der einzige

15 minutes ago, Ford Prefect said:

Wie sieht die Routing Tabelle im unraid zu den beiden Zeitpunkten aus?

Was sagt ein "traceroute -n 8.8.8.8" ...welche IP wird hier als Gateway wirklich "angesprungen"?

AFTER RESTART:

 

root@NAS:~# traceroute -n 8.8.8.8
traceroute to 8.8.8.8 (8.8.8.8), 30 hops max, 60 byte packets
 1  192.168.0.1  0.449 ms  0.438 ms  0.444 ms
 2  XX.XXX.246.42  3.968 ms  3.962 ms  3.935 ms (mal zenziert)
 3  217.5.67.178  8.448 ms  8.611 ms  8.611 ms
 4  80.150.170.70  10.139 ms  10.112 ms  8.576 ms
 5  * * *
 6  8.8.8.8  8.123 ms  7.745 ms  7.711 ms

 

AFTER BLOCKING:

 

root@NAS:~# traceroute -n 8.8.8.8
traceroute to 8.8.8.8 (8.8.8.8), 30 hops max, 60 byte packets
 1  192.168.0.100  1062.048 ms !H  1062.029 ms !H  1062.020 ms !H
---> 192.168.0.1 ist in unraid aber auch als default gateway in den netzwerkeinstellungen gesetzt, kA wieso unraid selbst gateway spielen will <-----

 

15 minutes ago, Ford Prefect said:

Ich nehme mal an, der NIC, welcher mit IOMMU durchgeschleift ist, ist das WAN interface in der Sense..der virtio-NIC das LAN Interface und hat hier die 192.168.0.1?

richtig 

 

15 minutes ago, Ford Prefect said:

Wie ist das WAN Interface eingebunden? Hast Du (noch) eine WAN IP zum Zeitpunkt X und wie sieht die Routing-Tabelle in der Sense aus (default Route aufs WAN-IF)?

das WAN interface ist ganz simple mit einem vlan7 tag für die ppoe einwahl ins telekom netz eingerichtet , nichts weiteres  hab auch zu beiden momenten eine öffentliche WAN ip -- andere geräte funktionieren auch tadellos, die sense ist bei mir quasi der primäre router-- mit den routen alles unangetastet gelassen das wan interface nutzt als gateway quasi den von der telekom zugewiesenen ( WAN_PPPOE (active)WANIPv4 254       XX.XXX.246.42)

 

 

 

lustig ist ja, in unregelmäßigen abständen, nach stunden oder so, geht es dann für 1-2 minuten wieder und dann wieder schicht im schacht.

Edited May 9, 2023 by Encore

[Ford Prefect]

2 minutes ago, Encore said:

AFTER BLOCKING:

 

root@NAS:~# traceroute -n 8.8.8.8
traceroute to 8.8.8.8 (8.8.8.8), 30 hops max, 60 byte packets
 1  192.168.0.100  1062.048 ms !H  1062.029 ms !H  1062.020 ms !H
---> 192.168.0.1 ist in unraid aber auch als default gateway in den netzwerkeinstellungen gesetzt, kA wieso unraid selbst gateway spielen will <-----

Tja, irgendwo da ist aber das Problem. 🤔

Was sagt die ARP Tabelle in unraid zum Zeitpunkt X - welche MAC hängt hinter den IPs?

Hast Du noch Docker mit custom-Network und eigener IP am Start? ipvlan oder macvlan eingestellt?

Ich würde empfehlen, wenn schon Router-VM, dann nur mit durchgeschleiften NICs für alles...diese dann über nen Switch.

Kannst Du einen/zwei dedizerte NICs mit ner Karte nachrüsten?

Hast Du VLANs am Start? Wenn Du keinen NIC nachrüsten/durchschleifen kannst, dann wäre das noch ne Option...aber komplizert.

 

Welche unraid-Version ist es denn?

[Encore]

16 minutes ago, Ford Prefect said:

Was sagt die ARP Tabelle in unraid zum Zeitpunkt X - welche MAC hängt hinter den IPs?

 

70:85:C2:DA:62:C9 ist die 192.168.0.100 -> unraids mac

 

192.168.0.1 ist die mac von dem durchgeschliffenen nic

nicht erschrecken, das WG interface läuft zwar auf 192.168.178.2, ist aber keine fritzbox dahinter  (bin nur damit groß geworden und mag die "178" net iwie lieber haha

in beiden szenarien ist aber in der routing tabelle 192.168.0.1 via br0 drinnen

 

16 minutes ago, Ford Prefect said:

Hast Du noch Docker mit custom-Network und eigener IP am Start? ipvlan oder macvlan eingestellt?

 

ja, ein proxy ipvlan und ein nextcloud ipvlan

 

16 minutes ago, Ford Prefect said:

Ich würde empfehlen, wenn schon Router-VM, dann nur mit durchgeschleiften NICs für alles...diese dann über nen Switch.

 

war meine ambition, leider kam mir da die iommu gruppe in den weg, da ich die nicht vom chipsatz weg krieg, nur der andere war "standalone" -- nen usb nic denke ich mal ist auch nicht das gelbe vom ei wegen usb overhead

 

als switch hab ich nen omada switch dran hängen, der auch vlans kann.

16 minutes ago, Ford Prefect said:

Kannst Du einen/zwei dedizerte NICs mit ner Karte nachrüsten?

 

mini itx mit 1x pcie lässt grüßen, da steckt ne P4000 drinnen 

 

16 minutes ago, Ford Prefect said:

Hast Du VLANs am Start? Wenn Du keinen NIC nachrüsten/durchschleifen kannst, dann wäre das noch ne Option...aber komplizert.

 

 nicht in nutzung aktuell - fürs lan aber mit unraid ja nicht so dolle, da dann 1 gbit auf 500 mbit reduziert wird as i know

 

 

Edit 

Version ist die aktuellste Beta rc5

Edited May 9, 2023 by Encore

[Ford Prefect]

10 minutes ago, Encore said:

70:85:C2:DA:62:C9 ist die 192.168.0.100 -> unraids mac

 

192.168.0.1 ist die mac von dem durchgeschliffenen nic

Das zeigt nicht die ARP Tabelle...mach mal ein "arp -ne"

 

Die MAC der 192.168.0.1 sollte die des Virtio-IF aus der VM Konfig sein...ist da keine angegeben?

Es wäre interessant, ob die MAC sich ändert, zwischen den beiden Zeitpunkten wo es noch geht und dann nicht mehr...also ob die MAC zu der den unrad NIC wechselt für die IP 192.168.0.1 ?

 

14 minutes ago, Encore said:

ja, ein proxy ipvlan und ein nextcloud ipvlan

Kannst Du mal versuchen, den Docker-Dienst zu deaktivieren...geht es dann (länger gut)?

 

15 minutes ago, Encore said:

nen usb nic denke ich mal ist auch nicht das gelbe vom ei wegen usb overhead

Wenn das USB3 ist bzw. genug Luft wäre, dann wäre das eine Option fürs WAN-IF....schön ist es latürnich nicht, vor allem weil "man" mal dran ziehen kann...

17 minutes ago, Encore said:

 nicht in nutzung aktuell - fürs lan aber mit unraid ja nicht so dolle, da dann 1 gbit auf 500 mbit reduziert wird as i know

Nö, das ist ja quatsch...natürlich würde sich die Bandbreite (dynamisch) aufteilen, aber der virtio-NIC hat ja volle CPU-Bandbreite...ob Du dann im unraid aus dem LAN nur 48Gbps  oder 50Gbps rauskriegst ist da ja nicht wirklich ein grosser Verlust (oder was hast DU für ne CPU). Ob es aber überhaupt funktionieren würde, weiss ich nicht...alle VLAN-IFs haben natürlich trotzdem, weiterhin die gleiche MAC...meine Hoffnung ist, dass die aber getrennt bleiben und man eben "nur" darauf achten muss, echte Clients und Docker und VMs auf getrennte VLANs zu legen (meine Vermutung ist ipvlan löst das aus oder die MAC der VM im virtio ist nicht stabil). Andere mit ner dedizierten Sense haben mit ipvlans keine Probleme...

Wir gesagt...Vermutung...ein USB-Eth geht einfacher und sollte zumindest funktioneren

[Encore]

17 minutes ago, Ford Prefect said:

Das zeigt nicht die ARP Tabelle...mach mal ein "arp -ne"

 

bei der 192.168.0.1 ip zeigt er keine mac:

192.168.0.1                      (incomplete)                              br0

jetzt kann ich auch nach vm neustart zb nicht testen, unraid hat wieder kein zugriff, kann dir also nciht sagen obs im "funktionalen" moment was ändert.

 

falls relevant, alle anderen geräte funktionieren tadellos, nur unraid selbst macht die probleme

 

17 minutes ago, Ford Prefect said:

Kannst Du mal versuchen, den Docker-Dienst zu deaktivieren...geht es dann (länger gut)?

 

schon probiert, genau das selbe problem

 

17 minutes ago, Ford Prefect said:

Wenn das USB3 ist bzw. genug Luft wäre, dann wäre das eine Option fürs WAN-IF....schön ist es latürnich nicht, vor allem weil "man" mal dran ziehen kann...

41 minutes ago, Encore said:

ziehen wird da zum glück niemand dran  zur not wirds mit sekundenkleber festgemacht höhöhö 

 

17 minutes ago, Ford Prefect said:

Nö, das ist ja quatsch...natürlich würde sich die Bandbreite (dynamisch) aufteilen, aber der virtio-NIC hat ja volle CPU-Bandbreite...ob Du dann im unraid aus dem LAN nur 48Gbps  oder 50Gbps rauskriegst ist da ja nicht wirklich ein grosser Verlust (oder was hast DU für ne CPU)

ahh habs falsch verstanden, dachte in unraid selbst vlans anlegen und den richtigen nic also br0 in vlans aufteilen um das als router on stick nutzen als wan und lan

 

cpu ist nen 9400 i5

 

17 minutes ago, Ford Prefect said:

Wir gesagt...Vermutung...ein USB-Eth geht einfacher und sollte zumindest funktioneren

hab nen usb 3 nic hier rumliegen, allerdings realtek - unterstützt das die sense mitlerweile? wenn das jetzt fürs wan interface kein sicherheitsrisiko darstellt - wie zb bei virtio als wan - und meine cpu jetzt nicht dauerhaft auf 100% läuft (jaja, strom ist teuer) dann wäre das nen versuch wert, solang unraid das stabil durchreicht - da ich nicht nen usb controller durchreichen kann sondern halt nur der usb nic ) 

 

 

edit:

 

ist virtio-net überhaupt passend als netzwerkadapter für die sense?

 

Edited May 9, 2023 by Encore

[Ford Prefect]

2 minutes ago, Encore said:

bei der 192.168.0.1 ip zeigt er keine mac:

192.168.0.1                      (incomplete)                              br0

Das ist komisch.

Ich habe es gerade nochmal mit ner fedora-Live-ISO probiert...2x Virtio-Nic, einmal br0 und einmal br0.10 (VLAN 10).

Die VM bekommt vom Router je ein IP im VLAN...Wenn ich die VM aus dem unraid-Terminal anpinge, tauchen die MACs in der arp-Tabelle auf, die in der VM-Konfig angegeben sind.

So sollte es sein....

7 minutes ago, Encore said:

ahh habs falsch verstanden, dachte in unraid selbst vlans anlegen und den richtigen nic also br0 in vlans aufteilen um das als router on stick nutzen als wan und lan

Jaja, schon richtig...die VM als Router-on-a-Stick nutzen....zumindest innerhalb unraid (Dockers usw sschön trennen) Im unraid VLANs an....dann aber "pro VLAN" ein Virtio-NIC auf die VM.

Aber, wie gesagt, ob das funzt weiss ich nicht...komplizierter ist es auf jeden Fall.

11 minutes ago, Encore said:

cpu ist nen 9400 i5

Der hat genug Bumms..sollte 50+Gbps machen über virtio.

 

12 minutes ago, Encore said:

hab nen usb 3 nic hier rumliegen, allerdings realtek - unterstützt das die sense mitlerweile? wenn das jetzt fürs wan interface kein sicherheitsrisiko darstellt - wie zb bei virtio als wan - und meine cpu jetzt nicht dauerhaft auf 100% läuft (jaja, strom ist teuer) dann wäre das nen versuch wert, solang unraid das stabil durchreicht - da ich nicht nen usb controller durchreichen kann sondern halt nur der usb nic ) 

Achso...mein (doppelter) Denkfehler...dachte USB durchreichen geht und Sense kann mit dem NIC umgehen...Realtek?...denke nein.

Du kannst den anderen on-board-Nic nicht durchreichen und den USB für unraid LAN nehmen?...

 

Dann zurück ans Reissbrett...wieso verschwindet das default-GW? Bitte nochmal mit der ARP Tabelle prüfen. Ein externer Client, der weiterhin funktioniert..dessen ARP-Tabelle zeigt wann welche MAC für die 192.168.0.1?

[Ford Prefect]

21 minutes ago, Encore said:

ist virtio-net überhaupt passend als netzwerkadapter für die sense?

Gute Frage...ich hab das nie probiert...Du kannst "nur" virtio oder auch nen Intel NIC probieren...ich habe für wichtige VMs einfach genug echte NICs im System...da mache ich einfach keine Versuche....und ne Sense habe ich garnicht am Start...nutze Mikrotik RouterOS...wenn als VM, dann als CHR....da geht es mit virtio-net.

Edited May 9, 2023 by Ford Prefect

[Encore]

11 minutes ago, Ford Prefect said:

Achso...mein (doppelter) Denkfehler...dachte USB durchreichen geht und Sense kann mit dem NIC umgehen...Realtek?...denke nein.

Du kannst den anderen on-board-Nic nicht durchreichen und den USB für unraid LAN nehmen?...

leider nicht, da der zweite nic in einer iommu gruppe mit dem chipsatz hängt, da sind dann auch noch andere sachen  mit in der gruppe, wenn ich den nic an vfio binde, wird ja die gesamte gruppe an vfio gebunden und dann hab ich ja nen problem - habs erst garnicht probiert, hab das früher mal auf nem anderen system gemacht , dann ging garnix mehr

 

der zweite intel nic ist in einer eigenen iommu gruppe - den hab ich an vfio gebunden und an die sense durchgereicht.

 

11 minutes ago, Ford Prefect said:

Dann zurück ans Reissbrett...wieso verschwindet das default-GW? Bitte nochmal mit der ARP Tabelle prüfen. Ein externer Client, der weiterhin funktioniert..dessen ARP-Tabelle zeigt wann welche MAC für die 192.168.0.1?

192.168.0.1           52-54-00-ae-53-ce     dynamisch  zeigt mir mein aktueller laptop an, dort wird die mac des virtio-net interfaces richtig erkannt (habs im vm manager von unraid gegengeprüft)

Edited May 9, 2023 by Encore

[Ford Prefect]

8 minutes ago, Encore said:

192.168.0.1           52-54-00-ae-53-ce     dynamisch  zeigt mir mein aktueller laptop an, dort wird die mac des virtio-net interfaces richtig erkannt (habs im vm manager von unraid gegengeprüft)

Ja, das ist, wie es sein sollte.

Warum "hält" das in unraid selbst nicht?

Die mögliche Theorie, dass es am virtio(-net) bei Sense liegt, ist damit auch eher widerlegt.

 

OK, nochmal Ausschluss-Prinzip:

Wenn die MAC einmal in der Tabelle ist, geht im gleichen IP-Segment die Kommunikation nicht über L3/IP, sondern L2/MAC.

Kannst Du mal abwarten, bis es bei unraid nicht mehr funktioniert...dann den ARP cache des Laptop löschen (Win: "arp -ad", glaube ich).

Geht danach das I-Net vom Laptop aus noch und wie sieht dessen ARP-Tabelle nach dem 2ten I-Net-Versuch aus?

 

ich bin total überfragt, was das auslösen würde, auf dem unraid host....im Log sieht man nix?

[Encore]

4 minutes ago, Ford Prefect said:

Kannst Du mal abwarten, bis es bei unraid nicht mehr funktioniert...dann den ARP cache des Laptop löschen (Win: "arp -ad", glaube ich

in der shell mit admin rechte gemacht, inet bleibt beim laptop -- bei unraid gehts ganze zeit nicht mehr  

192.168.0.1           52-54-00-ae-53-ce     dynamisch ist unverändert

 

 

[Encore]

13 minutes ago, Ford Prefect said:

ich bin total überfragt, was das auslösen würde, auf dem unraid host....im Log sieht man nix?

libvirt protokoll ist geflutet mit 2023-05-09 20:41:23.498+0000: 14428: error : virNetSocketReadWire:1791 : End of file while reading data: Input/output error 

mehr seh ich aber nicht

 

 

muss ich in den netzwerkeinstellungen bei unraid bei der metrik neben gateway vl eine 1 eintragen statt leer lassen?

 

Edited May 9, 2023 by Encore

[Encore]

update

 

inet ging in unraid wieder kurz

 

192.168.0.1              ether   52:54:00:ae:53:ce   C                     shim-br0  stand dann da

 

da nutzt er jetzt iwie nen shim-br0 - kA was das ist

 

wenns ausfällt steht da nur br0 mit dem unknow mac

hielt jetzt ca 1 minute, jetzt steht wieder das alte bild da ohne mac und br0

 

 

Host access to custom networks: Enabled ist bei mir auch an, sofern relevant - wegen wireguard und pihole(im docker)

Edited May 9, 2023 by Encore

[Ford Prefect]

5 minutes ago, Encore said:

in der shell mit admin rechte gemacht, inet bleibt beim laptop -- bei unraid gehts ganze zeit nicht mehr  

192.168.0.1           52-54-00-ae-53-ce     dynamisch ist unverändert

OK, dann funzt der ARP-Request des Clients und die VM arbeitet auch wie sie soll.

Es ist ein "lokales" unraid "Problem".

...nur warum? 🤔

Welche unraid Version nochmal...hast Du mal eine ältere oder eine 6.12rc probiert? ...ich stehe gerade auf dem Schlauch.

 

1 minute ago, Encore said:

libvirt protokoll ist geflutet mit 2023-05-09 20:41:23.498+0000: 14428: error : virNetSocketReadWire:1791 : End of file while reading data: Input/output error 

Gehört da jedenfalls nicht hin.

Ich erinnere mich, das Sense (Pf- und Opn-Variante) unterschiedlich zickig waren, mit der Auswahl des BIOS und des Chipsatzes in der VM.

Je nachdem gab es da auch Probleme ob die NICs überhaupt gefunden wurden.

Ich sehe, ich habe hier auf dem unraid in der FeWo noch eine alte OPNsense20.1 konfiguriert...Machine: i440fx-4.2 BIOS: seabios

Kannst Du da mal bei Dir auch sowas "konservatives" einstellen?

 

1 minute ago, Encore said:

update

 

inet ging in unraid wieder kurz

 

192.168.0.1              ether   52:54:00:ae:53:ce   C                     shim-br0  stand dann da

 

da nutzt er jetzt iwie nen shim-br0 - kA was das ist

Ist, glaube ich, in den Docker-Daemon Settings der Host-Access zum unraid. Habe ich bei mir nicht aktiv...Kannst Du auch mal ausschalten - zusätzlich zum deaktivieren des Docker-Daemons (nicht nur die Docker selbst)...die "shim"-EInträge in der Routing Tabelle sollten dann auch weg sein....

[Encore]

6 minutes ago, Ford Prefect said:

Ich sehe, ich habe hier auf dem unraid in der FeWo noch eine alte OPNsense20.1 konfiguriert...Machine: i440fx-4.2 BIOS: seabios

beides schon probiert, da ich das auch gelesen hatte. brachte aber keine verbesserung, bin dann wieder auf i440fx 7.1 gegangen mit seabios

 

6 minutes ago, Ford Prefect said:

Welche unraid Version nochmal...hast Du mal eine ältere oder eine 6.12rc probiert?

jap, backup zurückgespielt gehabt selbe problematik

 

6.12.0-rc5 testweise erneut 4.1 getestet - selbes bild

++++++++

 

8 minutes ago, Ford Prefect said:

st, glaube ich, in den Docker-Daemon Settings der Host-Access zum unraid. Habe ich bei mir nicht aktiv...Kannst Du auch mal ausschalten - zusätzlich zum deaktivieren des Docker-Daemons (nicht nur die Docker selbst)...die "shim"-EInträge in der Routing Tabelle sollten dann auch weg sein....

hab mal docker erneut probiert den kompletten daemon ---- dann geht das internet ohne probleme bisher

 

hatte vorher nur die container heruntergefahren

ggfls tut docker da mit iwas kolidieren?

 

[Ford Prefect]

10 minutes ago, Ford Prefect said:

error : virNetSocketReadWire

...sucht man hier, gibt es Viele die betroffen sind.

Solution gibt es nicht, soweit ich das auf die Schnelle sehe.

 

Oben hast Du die dGPU nicht per IOMMU durchgereicht...der i5 hat doch eine IGP...kannst Du die NVIDIA einfach mal auch in den IOMMU Bind mit aufnehmen (musst nicht an VM durchreichen)...ddas hat bei einigen wohl geholfen...ansonsten gibt es da alles Mögliche...von "harmlos" bis nix geht mehr bei VMs).

Vielleicht ist das erstmal die falsche Fährte

[Ford Prefect]

18 minutes ago, Encore said:

hab mal docker erneut probiert den kompletten daemon ---- dann geht das internet ohne probleme bisher

 

hatte vorher nur die container heruntergefahren

ggfls tut docker da mit iwas kolidieren?

Das ist dann wohl doch der Host-Access in den Settings...wenn Du den aus lässt (OK, einige Docker werden dann nicht laufen/müssen auf custom-network umgestellt werden)...aber geht es dann mit gestartetem Docker-Daemon?

 

Edit: hab das gefunden: 

 

Aber ganz ehrlich...auf das feature an sich kann man verzichten...nutze nur custom networks (OK, inkl. VLANs)...braauche keine Verrenkung in der Routing Table.

Docker, welche damit nicht klarkommen, fliegen einfach raus....keep it simple stupid.

Edited May 9, 2023 by Ford Prefect

[Encore]

also ich glaube es lag an den ipvlan einstellung in docker.

 

sowohl mit host access als auch ohne brachte keine verbesserung, nach 1-2 minuten war unraid wieder down.

habe jetzt testweise mal macvlan genutzt (weiß den unterschied zwischen ipvlan u nd macvlan eh nicht, wieso sollte man ipvlan verwenden? - da teilt man sich ja die mac mit dem host

 

vl lag daran das problem?

läuft jetzt seit 4 minuten bisher mal ohne problem.

mit eingeschaltetem host zugriff in docker 

 

vl gibts probleme mit ipvlan docker + virtio-net an der pfsense als gateway auf dem selben host hmmmmmmmmmmmmmmmmmmmmmm

 

 

edit:

das host zugriff habe ich dringend gebraucht, damit ich in wireguard in mein lan komme, also quasi mein smartphone unterwegs mittels wireguard vpn mein pihole dns server nutzen kann, da ohne host zugriff keine verbindung zum pihole herstellbar war.

 

 

edit2:

 

geht immer noch

 

Edited May 9, 2023 by Encore

[Ford Prefect]

9 minutes ago, Encore said:

habe jetzt testweise mal macvlan genutzt (weiß den unterschied zwischen ipvlan u nd macvlan eh nicht, wieso sollte man ipvlan verwenden? - da teilt man sich ja die mac mit dem host

ipvlan wurde (ab 6.10??) der "neue" Standard, da macvlan in Verbindubg mit VMs nicht stabil war.

Ja, alle Docker haben die gleiche MAC...das macht aber nur die Fritzboxen und andere SoHo-Router kirre.

 

11 minutes ago, Encore said:

vl gibts probleme mit ipvlan docker + virtio-net an der pfsense als gateway auf dem selben host hmmmmmmmmmmmmmmmmmmmmmm

keine Ahnung...eine dedizierte Sense hat da keine Probleme, aber die nutzt auch kein virtio.

11 minutes ago, Encore said:

das host zugriff habe ich dringend gebraucht, damit ich in wireguard in mein lan komme, also quasi mein smartphone unterwegs mittels wireguard vpn mein pihole dns server nutzen kann, da ohne host zugriff keine verbindung zum pihole herstellbar war.

Ja...das hatte ich befürchtet, dass Du solche Docker "brauchst"...wenn die Sense aber läuft, kann die ja auch Wireguard "nativ"....da wäre das VPN an der richtigen Stelle in der Architektur, dem Router.

 

OK, immerhin bist Du einen Schritt weiter...macvlans wurden allerdings aus gutem Grund "verbannt"...ich hatte bis 6.9 keine Probleme, aber dann ging es los.

Mit ipvlans läuft alles (ich nutze aber eben Host-Acces bewussst nicht...mein dedizierter Router macht aber auch 10Gbps und kann Wireguard nativ ... brauche einfach keine Docker damit).

[Encore]

habs gerade auch nochmal getestet.

ohne das host access häkchen. mit ipvlan = geht nach 1-2 minuten nicht mehr

 

mit macvlan mit/ohne host häkchen -> geht auch nach 2 minuten noch

 

also zumindest in meinem szenario - nutze nur die pfsense als vm - scheint es echt nen problem mit dem ipvlan zu sein oO

 

ich makiere dein letzten beitrag auch mal als großes fettes danke für rat und tat als solution  hast dir verdient -> werde berichten, sollte es wieder probleme geben  haha oder sich was am status öndern, experementiere noch bissel rum wieso ipvlan nicht geht obwohl es "besser" seins oll für vms hmmhm

 

 

 

 

[Ford Prefect]

3 hours ago, Encore said:

habe als backup noch nen omada er605 in der schublade, welcher dann bei längeren wartungsarbeiten verwendet werden kann.

Ich weiss, Du willst das nicht hören, aber vertick das Ding in der Bucht...Omada Router taugen nix, haben nichtmal ne Firewall für IPv6...kauf Dir einen Mikrotik, der fängt bei 50EUR an, nach oben keine Grenzen: https://geizhals.de/mikrotik-routerboard-hex-rb750gr3-a1679274.html?hloc=at&hloc=de

[Encore]

1 minute ago, Ford Prefect said:

Ich weiss, Du willst das nicht hören, aber vertick das Ding in der Bucht...Omada Router taugen nix, haben nichtmal ne Firewall für IPv6...kauf Dir einen Mikrotik, der fängt bei 50EUR an, nach oben keine Grenzen: https://geizhals.de/mikrotik-routerboard-hex-rb750gr3-a1679274.html?hloc=at&hloc=de

habs auch gemerkt 😛 fand das ökosystem halt nice, aaaaaaaaaber tplink sit echt langsam mit updates, aber mitlerweile kann es das , kam glaub mit nem update nach. nur ganz am anfang nicht 

hab das als backup hier noch liegen da ich auch 2 omada accesspoints habe usw, fand da die ubiquiti alternative gut

[Ford Prefect]

...bei omada APs bin ich bei Dir...Switche evtl. aber Router, nein.

Ich habe einen Mikrotik kosmos...unfi ist/war auch nix für mich....bei mikrotik kriege ich lange, sehr lange Updates...habe hier noch einen 8 Jahre alten Hex, der gerade von der neueste ROS v7.9 immer noch unterstützt wird. Da kommt keiner mit.

 

Evtl. doch mal über VLANs nachdenken und diesen Docker-Host Access loswerden...ist eh eine Krücke. ...Wireguard auf die Sense / den Router....Docker sind auch nur kleine Mini-VMs...IPs gibt es genug...der Router muss das lösen/machen.

[Encore]

bin gerade schon dabei, WG auf die pfsense umzuziehen und den host haken wegzumachen.

 

bei der vlan geschichte sagst du ja, wirds kompliziert :X

 

mikrotik kenne ich, da musste ich aber beim routerOS kotzen.^^ wieso man da nicht wenigstens ein WENIG am UI design arbeiten kann ... haha