Docker macvlan in seperaten VLAN mit Unifi Hardware

[Rockikone]

Hallo,

evtl. kann ich dem einen oder anderen mit meinem Weg dabei helfen Docker mit macvlan in einem separaten VLAN einzurichten. Ich habe selbst jetzt etliche Stunden gebraucht, um es funktionsfähig zu bekommen. Hintergrund war, dass die Portweiterleitung von meiner Unifi Dreammachine Pro auf den Docker Nginx Reverse Proxy im VLAN nicht funktionierte. Aufrufe der nach außen gehosteten Docker (Nextcloud, Bitwarden, Baikal ....) waren nur im internen Netzwerk möglich, aber nicht über eine DNS Adresse. Inzwischen funktioniert alles und läuft stabil. Wo der Hund begraben war, kann ich nicht sagen. Ich habe auch keine Kernel Fehlermeldungen aufgrund macvlan.

 

Um die Einstellungen durchzuführen, müsst ihr das Array stoppen. Da z.B. beim Netzwerk dieses nur beim gestoppten Array möglich ist.

 

Ich habe eine zweite Netzwerkkarte verbaut eth2 , welche nur für das Docker/VM VLAN zuständig ist.

 

1. Wichtig ist, dass ihr auf allen euren Netzwerkenkarten eth0,eth1......... die Netzwerkbrückung deaktiviert. Bei mir läuft macvlan über eth2. Sobald jedoch z.B. in eth0 die Brückung aktiviert war, bekam ich die Kernel Fehlermeldungen. HIer nun die Einstellungen meiner im Betrieb befindlichen Netzwerkkarten. Solltet ihr die Docker in einem separaten VLAN haben wollen (bei mir der Fall in eth2) müsst ihr dort das benötigte VLAN eintragen.

 

 

 

 

2. Unter den Dockereinstellungen müsst ihr nun unten das optionale Netzwerk (beim mir eth2.25 aufgrund VLAN) anklicken. Alle anderen Netzwerke könnte ihr unten unchecken. Auch müsst ihr nun hier die Einstellung für den Netzwerkmodus ipvlan auf macvlan umstellen. Auf dem Screenshot ist die Einstellung nicht ersichtlich, da bei deaktivierter Netzwerkbrückung und eingestellten macvlan das Auswahlfeld verschwunden ist. Es ist bei aktivierten ipvlan aber ganz sicher da

 

 

3. Nun könnt ihr das Array starten und müsste nun natürlich alle Docker bzgl. Netzwerk anpassen. Hier z.B. bei mir der Nginx reverse Proxy

 

 

4. Da ihr ja die Brückung in den Netzwerkeinstellungen deaktiviert habt, müsste ihr in den VM Einstellung und VM's auch noch Einstellungen ändern. In den VM Einstellungen habe ich vhost0 eingestellt, du kannst aber auch andere Netzwerkkarten auswählen. Ich habe ja alle Docker und VM's über die eth2 laufen. Es wird dann auch z.B. vhost2 und vhost2.25 (VLAN) angeboten.

 

 

Eure virtuellen Maschinen müsste ihr unter Bearbeitung bzgl Netzwerkeinstellungen auch ändern. Bei mir war hier noch z.B. die Brückung br0 eingetragen, obwohl diese nicht mehr existiert.

Hier nun die geänderte Netzwerkeinstellung meiner Homeassistant VM. Die VM ist danach im VLAN für Docker/VM's und kommuniziert über den eth2 Port.

 

 

5. Nun natürlich noch die Portweiterleitung in eurer Unifi konfigurieren.

 

 

 

 

Der Server läuft bei mir hiermit seit 2 Tagen stabil und ich habe keinerlei Kernel Fehlermeldungen aufgrund macvlan.

 

Wünsche gutes Gelingen.

 

Grüße aus Bayern

 

Thomas

Edited September 4, 2023 by Rockikone

[sonic6]

4 hours ago, Rockikone said:

die Netzwerkbrückung deaktiviert.

 

4 hours ago, Rockikone said:

seit 2 Tagen stabil und ich habe keinerlei Kernel Fehlermeldungen aufgrund macvlan.

 

fall dein Server auf 6.12.4 läuft, könnte es eher an 6.4.12 liegen, dass es keine probleme mehr mit macvlan gibt.

Für alle anderen, die aufgrund von den MACVLAN Traces hier gelandet sind: Ließt den 6.12.4 Changelog, geht die manuellen Schritte durch und updated, danach sind die MACVLAN Probleme Geschichte.

Für alle anderen Fälle, danke natürlich für deinen Aufwand.

[Rockikone]

Die Kernel Fehlermeldungen kamen bei mir auch noch bei aktivierter Netzwerkbrücke unter 6.12.4.

Laut Changelog müssen ja die Netzwerkbrücken deaktiviert werden.

 

Es müssen ja auch mehrere Sachen eingestellt werden (Changelog nicht ganz ersichtlich). Darum meine Anleitung.

 

Grüße

[Ford Prefect]

4 hours ago, sonic6 said:

Für alle anderen Fälle, danke natürlich für deinen Aufwand.

Da schliesse ich mich gerne meinem Vorredner an...

 

9 hours ago, Rockikone said:

evtl. kann ich dem einen oder anderen mit meinem Weg dabei helfen Docker mit macvlan in einem separaten VLAN einzurichten.

[...]

Ich habe eine zweite Netzwerkkarte verbaut eth2 , welche nur für das Docker/VM VLAN zuständig ist.

Also unabhängig von der doch schmerzlichen Diskussion und Entwicklung der macvlan/ipvlan Thematik in unraid (und das "vlan" in macvlan hat nix direkt mit VLANs auf dem LAN/Ethernet des unraid Hosts zu tun)...

...verwirrt  mich Deine Aussage.

Denn, Du weisst aber schon, dass das V in VLAN für virtuell steht und eben bedeutet, dass man mehrere Segmente (Layer 2, Ethernet)  auf dem selben physikalischen Interface  nutzen kann, statt sonst nur einem. Sprich, mit einer seperaten Netzwerkkarte braucht man ja kein VLAN mehr, weil man zwei echte LANs hat.

...warum also ein VLAN Setup?

 

P.S.: Verzeihung für etwas OffTopic, hier.

[Rockikone]

Danke für die Rückmeldung. Soweit ich weiß, brauchst du den VLAN Tag, um mit einem VLAN verbunden werden zu können. Heißt, ich habe auf der Unifi ein VLAN für Docker/VM'S schon vor längerer Zeit angelegt. Die "virtuellen Maschinen/Docker" sollen dort sein und nicht im Default Netzwerk 192.168.100.* sondern im 10.10.4.* Netz.

Ich bezog hier meine Aussage nicht auf das macVLAN, sondern auf eines meiner VLANS im Unifi Ökosystem.

 

[sonic6]

Ich möchte dein Arbeit in keiner weise schmälern, jedoch ist es wichtig hier für Klarheit im MACVLAN Chaos und den damit verbundenen Vermutungen zu schaffen.

 

12 hours ago, Rockikone said:

Die Kernel Fehlermeldungen kamen bei mir auch noch bei aktivierter Netzwerkbrücke unter 6.12.4.

Das ist Richtig, weil man MACVLAN nicht und nie und niemals zusammen mit einer Bridge nutzen darf. (Warum das in der Vergangenheit gemacht wurde, lassen wir mal dahin gestellt. Auch warum es immer noch möglich ist, finde ich fragwürdig.) Irgendwo im Englischen Bereich gab es hierzu Informationen von den Dev's (Unraid und Kernel), dass man MACVLAN nicht mit einer Bridge betreiben sollte.

Das war auch der Grund, warum vor Monaten schon IPVLAN als Default Driver für Docker eingeführt wurde.

Die Lösung die mit 6.12.4 eingeführt wurde, dass man eth0 mit MACVLAN nutzen kann, war lediglich für user gedacht, die aufgrund ihrer Hardware auf MACVLAN angewiesen waren. (Zb die Fritzbox, die mehrere IP Adresse von einer MAC nicht mag.)

Für alle anderen gilt im ersten Schritt: Auf IPVLAN umstellen.

 

12 hours ago, Rockikone said:

Es müssen ja auch mehrere Sachen eingestellt werden (Changelog nicht ganz ersichtlich). Darum meine Anleitung.

Das eine Bridge nicht mehr mit MACVLAN zu betreiben ist, steht im Changelog recht detailliert, auch was hierfür zutun ist um unter MACVLAN auf eth0 umzustellen.

[Ford Prefect]

50 minutes ago, Rockikone said:

Soweit ich weiß, brauchst du den VLAN Tag, um mit einem VLAN verbunden werden zu können.

das ist klar...meine Aussage war ja, warum Du VLANs überhaupt brauchst, wenn Du physische Harware (Ports) genug hast, denn unraid hat ja getrennte NICs für jedes LAN- (+IP)-Segment, wie Du sagst.

 

51 minutes ago, Rockikone said:

Heißt, ich habe auf der Unifi ein VLAN für Docker/VM'S schon vor längerer Zeit angelegt. Die "virtuellen Maschinen/Docker" sollen dort sein und nicht im Default Netzwerk 192.168.100.* sondern im 10.10.4.* Netz.

Nur weil die Docker kleine "VMs" sind (virtualisierte Apps und mittels macvlan eingebunden sind) müssen sie netzwerktechnisch nicht in ein VLAN.

(V)LAN ist Layer 2 .. IP-Segmente sind Layer 3....IP-Segmente trennt ein Router/die IP-Firewall, (V)LAN-Segmente trennt ein Switch (eine Unifi hat beides in einem Gerät).

Auf VLAN gehst Du dann, wenn Du in der Netzwerk-Infrastruktur zwischen den Komponenten nicht genug Kabel hast oder eben ein so dickes (10G/40G/100G), das Du dir die Bandbreite da drin teilen willst/kannst und damit weniger Kabel brauchst.

VLANs in der Unifi machen zB also dann Sinn, wenn Du diese "nur"/allein mit einem 10G Interface an den Switch anschliesen willst. unraid, das an den gleichen Switch geht, braucht kein VLAN, wenn Netzwerkkarte 1 und Netzwerkkarte 2 vorhanden sind und diese getrennt genutzt werden und auch so an den Switch gehen - der Switch braucht VLANs um den Traffik von unraid durch die eine Verbindung in die Unifi zu schieben.

Gibt es keinen extra Switch zwischen unifi und unraid (das mit zwei NICs ohne LACP arbeitet) braucht es keine VLANs in der unifi (und auch nicht in unraid) da jedes LAN 1:1 zwischen unifi (dem Switch da drin) und unraid (mit einzelnen, getrennten NICs) verbunden werden kann.