Unraid seit Update auf 6.12.4 nicht aus VLAN erreichbar

[telly]

Hallo,

 

mein Unraid Server ist genau seit dem Update auf 6.12.4 nicht mehr aus anderen VLANs erreichbar. Die Docker Dienste jedoch schon, diese sind mit br0 im gleichen Subnetz mit eigenen IP Adressen konfiguriert.

 

Beispiel:

Unraid IP 192.168.2.20 im VLAN2

Docker IP 192.168.2.30 im VLAN2

beide erreichbar aus dem VLAN2, keine Probleme

 

Die Server IP 192.168.2.20 ist aus anderen VLANs nicht erreichbar, kein Ping, keine WebUI. Die Docker Container jedoch schon. Routing und Firewall scheidet aus, da wurde nichts geändert, das Routing funktioniert, nur die Server IP ist von anderen VLANs nicht erreichbar.

 

Hat jemand einen Lösungsvorschlag?

 

[Ford Prefect]

5 hours ago, telly said:

mein Unraid Server ist genau seit dem Update auf 6.12.4 nicht mehr aus anderen VLANs erreichbar.

...und wenn Du auf 6.12.3 zurück gehst, geht es wieder ?

 

5 hours ago, telly said:

Die Server IP 192.168.2.20 ist aus anderen VLANs nicht erreichbar, kein Ping, keine WebUI. Die Docker Container jedoch schon.

 

Also, der Client sitzt in einem anderen VLAN und ist kein Docker auf unraid, sondern zB ein PC/Laptop o.ä in dem (V)LAN, zB VLAN30: 192.168.30.155?

 

5 hours ago, telly said:

Routing und Firewall scheidet aus, da wurde nichts geändert, das Routing funktioniert, nur die Server IP ist von anderen VLANs nicht erreichbar.

Das es vorher funktionierte heisst ja nicht, das es vorher richtig war

 

Inter-VLAN Routing läuft immer über den Router.

Bist Du sicher, dass unraid in jedem VLAN eine eigene IP hat und auch den Router mit einer IP aus dem VLAN als Gateway hat, zB VLAN30 - unraid: 192.168.30.20, GW 192.168.30.1 ?? 

 

5 hours ago, telly said:

Hat jemand einen Lösungsvorschlag?

Erstmal verstehen, wie Dein Setup heute aussieht

Ich bin selbst noch auf 6.12rc2....in 6.12.4 ist einiges umgestellt worden im networking....bist Du auf ipvlan oder macvlan bei den Dockern und/oder hast Du vorher wg. macvlan den workaround mit getrennten Netzwerkkarten für unraid und Docker gemacht?

[telly]

1 hour ago, Ford Prefect said:

...und wenn Du auf 6.12.3 zurück gehst, geht es wieder ?

ich habe noch nie einen Rollback durchgeführt und habe das auch nicht vor, wenn es vermeidbar ist. Zeitlich passt es 100%, dass das Update den Fehler mitgebracht hat.

 

1 hour ago, Ford Prefect said:

Also, der Client sitzt in einem anderen VLAN und ist kein Docker auf unraid, sondern zB ein PC/Laptop o.ä in dem (V)LAN, zB VLAN30: 192.168.30.155?

So richtig. 

 

1 hour ago, Ford Prefect said:

Bist Du sicher, dass unraid in jedem VLAN eine eigene IP hat und auch den Router mit einer IP aus dem VLAN als Gateway hat, zB VLAN30 - unraid: 192.168.30.20, GW 192.168.30.1 ?? 

Nein, der Unraid Server ist nur im VLAN 2 mit einer IP. Das Routing zwischen den Netzen übernimmt die OPNsense.

Wenn es da Probleme gäbe, würde ich doch auch die Docker im VLAN2 vom VLAN30 aus nicht erreichen, die im gleichen VLAN und Subnetz sind, wie der Server selbst.

1 hour ago, Ford Prefect said:

bist Du auf ipvlan oder macvlan bei den Dockern und/oder hast Du vorher wg. macvlan den workaround mit getrennten Netzwerkkarten für unraid und Docker gemacht?

Docker läuft mit ipvlan, der Server hat nur eine Netzwerkkarte, falls das hilft.

 

Schonmal danke für weitere Ideen...

[Ford Prefect]

9 hours ago, telly said:

Schonmal danke für weitere Ideen...

Ja, das ist komisch...was sagt denn die Interface- und die Routing-Tabelle von unraid? ...mach doch mal bitte ein "ifconfig" und ein "netstat -rnp"

[telly]

Hier die Screenshots:

 

[telly]

Ich kann übrigens vom Unraid Server (VLAN2) auch keine Adressen im VLAN30 erreichen. Vielleicht ist wirklich was in der lokalen Routing Tabelle des Unraid Servers fehlerhaft.

[Ford Prefect]

2 hours ago, telly said:

Hier die Screenshots:

 

2 hours ago, telly said:

Ich kann übrigens vom Unraid Server (VLAN2)

...Dein unraid Server hat ja auch keine IP-Adressse in VLAN2.

So steht es schon in Deinem ersten Screenshot.

Die IP-Adresse 192.168.2.12 ist für br0 und nicht br0.2 ...so steht es auch in der Routing Tabelle.

Vielleicht als Hinweis: eth0/br0 ist das (V)LAN mit der default VLAN-ID = 1.

Wenn ich Dich richtig verstehe, willst Du das Dein unraid-Server nur im VLAN2 erreichbar ist? Dannstelle VLANs in unraid aus uund setze die PVID im Switch für Dein eth0 auf ID=2.

Hier ein Beispiel, wie es bei mir mit verschiedenen VLANs aussieht:

[telly]

Der Switchport ist schon immer PVID untagged 2. Wie gesagt, erreiche ich die Docker über br0 mit anderen IP Adressen, wie z. B. 192.168.2.16.

Habe dennoch testweise eine freie IP für VLAN 2 vergeben. Keine Änderung. Habe dann VLANs in Unraid deaktiviert, das ist vermutlich bisher unnötig gewesen, da der Switchport nur VLAN2 durchlässt. Auch nach Server-Neustart gleiches Verhalten. Unraid IP ist nicht erreichbar, Docker sind erreichbar. Vielleicht ist ein Rollback auf 6.12.3 doch eine Option, aber das löst ja das Problem für zukünftige Updates nicht. 

[Ford Prefect]

18 minutes ago, telly said:

Der Switchport ist schon immer PVID untagged 2.

Hätte wahrscheinlich ohne auch garnicht funktioniert.

21 minutes ago, telly said:

Habe dann VLANs in Unraid deaktiviert, das ist vermutlich bisher unnötig gewesen, da der Switchport nur VLAN2 durchlässt.

...eben.

 

22 minutes ago, telly said:

Vielleicht ist ein Rollback auf 6.12.3 doch eine Option, aber das löst ja das Problem für zukünftige Updates nicht. 

Vielleicht hast Du woanders in Deiner Infrastruktur ja noch einen anderern Fehler im VLAN Setting.

Von hier aus schwer zu sagen oder zu helfen.

 

23 minutes ago, telly said:

Unraid IP ist nicht erreichbar, Docker sind erreichbar.

Das ist alles nur externe Beobachtung auf IP/Layer3 ...Du musst in beiden Layern 2+3 schauen, wie der Pakete fliessen, in beiden Richtungen.

Plan B: netzwerk planen und neu aufbauen, alles und nicht allein unraid.

 

[telly]

nach downgrade auf 6.12.3 gleiches Problem, das letzte Update ist also unschuldig. Habe weiter getestet... es ist egal, ob ich aus dem VLAN30 per LAN oder WLAN (Unifi) komme, kann den Server aus dem VLAN 30 nicht erreichen.

Habe nun die Opnsense Firewall im Verdacht, da wurde vor Kurzem auf 23.7.3 aktualisiert. Könnte von der Zeit her auch passen.

 

Könntest Du bitte nochmal einen Screenshot von einer funktionierenden Routingtabelle schicken? Ist das richtig, dass beim Subnetz 2.0 Metric 1 steht?

[Ford Prefect]

8 hours ago, telly said:

Habe nun die Opnsense Firewall im Verdacht, da wurde vor Kurzem auf 23.7.3 aktualisiert. Könnte von der Zeit her auch passen.

Zeitlich eventuell ja, aber dass es an der Version der Sense liegt glaube ich nicht. Der Reboot der Sense (ähnlich wie Dein unraid) hat wahrscheinlich einen Cache gelöscht (vermute stark, weil VLANs im Spiel sind, den ARP-Cache).

Will sagen, Dein Setting ist evtl. dort auch ähnlich verknurpst, wie schon beim unraid....nur weil mal die IP Verbindung geklappt hat, heisst das nicht, das die VLANs ordnungsgemäss "gearbeitet" haben.

 

9 hours ago, telly said:

Könntest Du bitte nochmal einen Screenshot von einer funktionierenden Routingtabelle schicken? Ist das richtig, dass beim Subnetz 2.0 Metric 1 steht?

Metriken haben damit garnix zu tun. Die sind dann wichtig, wenn es zum gleichen Ziel mehr als einen Pfad/eine Route gibt.

[telly]

Ich hab die Ursache gefunden. Eine Wireguard Site-to-site Verbindung ist falsch konfiguriert, sobald ich den Tunnel ausschalte, läuft alles bestens.

Da werde ich nochmal nachbessern. Vielen Dank für die Hilfe, ggf. komme ich wegen des Tunnels nochmal darauf zurück 😇

[Ford Prefect]

58 minutes ago, telly said:

Ich hab die Ursache gefunden. Eine Wireguard Site-to-site Verbindung ist falsch konfiguriert, sobald ich den Tunnel ausschalte, läuft alles bestens.

Wenn ich das richtig gesehen habe, hast Du WG auf dem unraid installiert? Warum, wenn Du eine Sense hast...das würde die ganze Sache weniger kompliziert machen, oder?

[telly]

Richtig, ich will auf einem anderen Standort meine Daten sichern. Da ist ein Telekom Speedport Router mit Portfreigabe auf ein PiVPN vorhanden.

Hatte es noch nicht hinbekommen, eine Site-to-site Verbindung zwischen dem PiVPN als Wireguard-Server und der OPNsense als Wireguard Client einzurichten.

Mir geht es darum dass meine Seite die Verbindung aktiv aufbaut und nicht umgekehrt. Sollte vom Remotestandort keine Verbindung aufgebaut werden, komme ich von hier nicht mehr drauf. Deshalb baut Wireguard im Unraid die Verbindung auf und der PiVPN am Remotestandort ist quasi Wireguard Server. Das ist noch Baustelle, für Lösungsvorschläge bin ich immer offen

 

Gibt es Verbesserungsvorschläge für die s2s-Verbindung zwischen den Standorten? Remote ist leider nur der Speedport vorhanden. Vielleicht muss auch ein anderes Produkt auf dem Raspberry anstatt PiVPN laufen? Ich denke immer, dass meine OPNsense keine Verbindung nach extern aktiv aufbauen kann, sozusagen als Client/Peer, weil sie als WG Server fungiert und Peers sich zur OPNsense verbinden.

[Ford Prefect]

2 minutes ago, telly said:

Gibt es Verbesserungsvorschläge für die s2s-Verbindung zwischen den Standorten? Remote ist leider nur der Speedport vorhanden. Vielleicht muss auch ein anderes Produkt auf dem Raspberry anstatt PiVPN laufen? Ich denke immer, dass meine OPNsense keine Verbindung nach extern aktiv aufbauen kann, sozusagen als Client/Peer, weil sie als WG Server fungiert und Peers sich zur OPNsense verbinden.

Wireguard ist eigentlich ein Mesh....die Verbindung wird von der Seite ("Peer") aufgebaut, welche einen "Endpoint" konfiguriert hat.

In der Sense kenne ich mich nicht aus. Evtl. gibt es zwei unterschiedliche "Module" oder Konfigs, eines als "Server" für RoadWarrior-Clients und eines für Client-Peers zu einem Server. Aber es muss bestimmt was geben, sonst könnte es ja nie eine s2s-Verbindung via WG zwischen zwei Sense-Sites geben

[telly]

Danke für alles, da frage ich mal in den OPNsense Foren nach