Ich habe die Lösung gefunden.
Ich bin auf diesen Forum Post gestoßen wo das Problem auch schon aufkam.
Dort wird darauf auf die Release Notes verwiesen (Unraid 6.12.0)
https://docs.unraid.net/unraid-os/release-notes/6.12.0/#network-improvements
Unter dem Punkt Network improvements.
Darin sind die änderungen erklärt und zudem wurde ein weiterer Post verlinkt der erklärt was man in den Einstellungen zusätlich umstellen muss um das WebUi von Unraid via tailscale etc. zu erreichen.
Und um das ganze bei jedem Start automatisch zu "starten" (neu laden) gibt es hier ein Skript von SpaceInvaderOne.
https://github.com/SpaceinvaderOne/Unraid-ZeroTier-Server-Restart-fix