Ford Prefect

Bei der Router-VM und virtio-NICs schon, ja. ...guter Schachzug. Tja, dafür mag ich keine Sense....ich kann einfach nicht BSD "denken". Mikrotik/RouterOS ist einfach Linux...und man kann wirklich alles machen...winbox ist garnicht so schlecht und man ist letztlich viel effektiver als mit nem HTML5-UI ala unify. Und mit L3HW-Offloading können Routerboards und die CRS-Switche auch was leisten...eine Sense mit soviel Bumms kostet locker hunderte EUR und braucht das 10-50fache an Strom, weil die CPU alles kompensieren muss.

...bei omada APs bin ich bei Dir...Switche evtl. aber Router, nein. Ich habe einen Mikrotik kosmos...unfi ist/war auch nix für mich....bei mikrotik kriege ich lange, sehr lange Updates...habe hier noch einen 8 Jahre alten Hex, der gerade von der neueste ROS v7.9 immer noch unterstützt wird. Da kommt keiner mit. Evtl. doch mal über VLANs nachdenken und diesen Docker-Host Access loswerden...ist eh eine Krücke. ...Wireguard auf die Sense / den Router....Docker sind auch nur kleine Mini-VMs...IPs gibt es genug...der Router muss das lösen/machen.

Ich weiss, Du willst das nicht hören, aber vertick das Ding in der Bucht...Omada Router taugen nix, haben nichtmal ne Firewall für IPv6...kauf Dir einen Mikrotik, der fängt bei 50EUR an, nach oben keine Grenzen: https://geizhals.de/mikrotik-routerboard-hex-rb750gr3-a1679274.html?hloc=at&hloc=de

ipvlan wurde (ab 6.10??) der "neue" Standard, da macvlan in Verbindubg mit VMs nicht stabil war. Ja, alle Docker haben die gleiche MAC...das macht aber nur die Fritzboxen und andere SoHo-Router kirre. keine Ahnung...eine dedizierte Sense hat da keine Probleme, aber die nutzt auch kein virtio. Ja...das hatte ich befürchtet, dass Du solche Docker "brauchst"...wenn die Sense aber läuft, kann die ja auch Wireguard "nativ"....da wäre das VPN an der richtigen Stelle in der Architektur, dem Router. OK, immerhin bist Du einen Schritt weiter...macvlans wurden allerdings aus gutem Grund "verbannt"...ich hatte bis 6.9 keine Probleme, aber dann ging es los. Mit ipvlans läuft alles (ich nutze aber eben Host-Acces bewussst nicht...mein dedizierter Router macht aber auch 10Gbps und kann Wireguard nativ ... brauche einfach keine Docker damit).

Das ist dann wohl doch der Host-Access in den Settings...wenn Du den aus lässt (OK, einige Docker werden dann nicht laufen/müssen auf custom-network umgestellt werden)...aber geht es dann mit gestartetem Docker-Daemon? Edit: hab das gefunden: Aber ganz ehrlich...auf das feature an sich kann man verzichten...nutze nur custom networks (OK, inkl. VLANs)...braauche keine Verrenkung in der Routing Table. Docker, welche damit nicht klarkommen, fliegen einfach raus....keep it simple stupid.

...sucht man hier, gibt es Viele die betroffen sind. Solution gibt es nicht, soweit ich das auf die Schnelle sehe. Oben hast Du die dGPU nicht per IOMMU durchgereicht...der i5 hat doch eine IGP...kannst Du die NVIDIA einfach mal auch in den IOMMU Bind mit aufnehmen (musst nicht an VM durchreichen)...ddas hat bei einigen wohl geholfen...ansonsten gibt es da alles Mögliche...von "harmlos" bis nix geht mehr bei VMs). Vielleicht ist das erstmal die falsche Fährte

OK, dann funzt der ARP-Request des Clients und die VM arbeitet auch wie sie soll. Es ist ein "lokales" unraid "Problem". ...nur warum? 🤔 Welche unraid Version nochmal...hast Du mal eine ältere oder eine 6.12rc probiert? ...ich stehe gerade auf dem Schlauch. Gehört da jedenfalls nicht hin. Ich erinnere mich, das Sense (Pf- und Opn-Variante) unterschiedlich zickig waren, mit der Auswahl des BIOS und des Chipsatzes in der VM. Je nachdem gab es da auch Probleme ob die NICs überhaupt gefunden wurden. Ich sehe, ich habe hier auf dem unraid in der FeWo noch eine alte OPNsense20.1 konfiguriert...Machine: i440fx-4.2 BIOS: seabios Kannst Du da mal bei Dir auch sowas "konservatives" einstellen? Ist, glaube ich, in den Docker-Daemon Settings der Host-Access zum unraid. Habe ich bei mir nicht aktiv...Kannst Du auch mal ausschalten - zusätzlich zum deaktivieren des Docker-Daemons (nicht nur die Docker selbst)...die "shim"-EInträge in der Routing Tabelle sollten dann auch weg sein....

Ja, das ist, wie es sein sollte. Warum "hält" das in unraid selbst nicht? Die mögliche Theorie, dass es am virtio(-net) bei Sense liegt, ist damit auch eher widerlegt. OK, nochmal Ausschluss-Prinzip: Wenn die MAC einmal in der Tabelle ist, geht im gleichen IP-Segment die Kommunikation nicht über L3/IP, sondern L2/MAC. Kannst Du mal abwarten, bis es bei unraid nicht mehr funktioniert...dann den ARP cache des Laptop löschen (Win: "arp -ad", glaube ich). Geht danach das I-Net vom Laptop aus noch und wie sieht dessen ARP-Tabelle nach dem 2ten I-Net-Versuch aus? ich bin total überfragt, was das auslösen würde, auf dem unraid host....im Log sieht man nix?

Gute Frage...ich hab das nie probiert...Du kannst "nur" virtio oder auch nen Intel NIC probieren...ich habe für wichtige VMs einfach genug echte NICs im System...da mache ich einfach keine Versuche....und ne Sense habe ich garnicht am Start...nutze Mikrotik RouterOS...wenn als VM, dann als CHR....da geht es mit virtio-net.

Das ist komisch. Ich habe es gerade nochmal mit ner fedora-Live-ISO probiert...2x Virtio-Nic, einmal br0 und einmal br0.10 (VLAN 10). Die VM bekommt vom Router je ein IP im VLAN...Wenn ich die VM aus dem unraid-Terminal anpinge, tauchen die MACs in der arp-Tabelle auf, die in der VM-Konfig angegeben sind. So sollte es sein.... Jaja, schon richtig...die VM als Router-on-a-Stick nutzen....zumindest innerhalb unraid (Dockers usw sschön trennen) Im unraid VLANs an....dann aber "pro VLAN" ein Virtio-NIC auf die VM. Aber, wie gesagt, ob das funzt weiss ich nicht...komplizierter ist es auf jeden Fall. Der hat genug Bumms..sollte 50+Gbps machen über virtio. Achso...mein (doppelter) Denkfehler...dachte USB durchreichen geht und Sense kann mit dem NIC umgehen...Realtek?...denke nein. Du kannst den anderen on-board-Nic nicht durchreichen und den USB für unraid LAN nehmen?... Dann zurück ans Reissbrett...wieso verschwindet das default-GW? Bitte nochmal mit der ARP Tabelle prüfen. Ein externer Client, der weiterhin funktioniert..dessen ARP-Tabelle zeigt wann welche MAC für die 192.168.0.1?

Alles gut, ich will Dir das nicht einreden...gar nix falsch an Deiner Entscheidung. Dachte nur, Du willst jetzt nochmal nachvollziehen, wie es "normalerweise" geht, nachdem der erste Versuch nicht der Bringer war...

Das zeigt nicht die ARP Tabelle...mach mal ein "arp -ne" Die MAC der 192.168.0.1 sollte die des Virtio-IF aus der VM Konfig sein...ist da keine angegeben? Es wäre interessant, ob die MAC sich ändert, zwischen den beiden Zeitpunkten wo es noch geht und dann nicht mehr...also ob die MAC zu der den unrad NIC wechselt für die IP 192.168.0.1 ? Kannst Du mal versuchen, den Docker-Dienst zu deaktivieren...geht es dann (länger gut)? Wenn das USB3 ist bzw. genug Luft wäre, dann wäre das eine Option fürs WAN-IF....schön ist es latürnich nicht, vor allem weil "man" mal dran ziehen kann... Nö, das ist ja quatsch...natürlich würde sich die Bandbreite (dynamisch) aufteilen, aber der virtio-NIC hat ja volle CPU-Bandbreite...ob Du dann im unraid aus dem LAN nur 48Gbps oder 50Gbps rauskriegst ist da ja nicht wirklich ein grosser Verlust (oder was hast DU für ne CPU). Ob es aber überhaupt funktionieren würde, weiss ich nicht...alle VLAN-IFs haben natürlich trotzdem, weiterhin die gleiche MAC...meine Hoffnung ist, dass die aber getrennt bleiben und man eben "nur" darauf achten muss, echte Clients und Docker und VMs auf getrennte VLANs zu legen (meine Vermutung ist ipvlan löst das aus oder die MAC der VM im virtio ist nicht stabil). Andere mit ner dedizierten Sense haben mit ipvlans keine Probleme... Wir gesagt...Vermutung...ein USB-Eth geht einfacher und sollte zumindest funktioneren

Tja, irgendwo da ist aber das Problem. 🤔 Was sagt die ARP Tabelle in unraid zum Zeitpunkt X - welche MAC hängt hinter den IPs? Hast Du noch Docker mit custom-Network und eigener IP am Start? ipvlan oder macvlan eingestellt? Ich würde empfehlen, wenn schon Router-VM, dann nur mit durchgeschleiften NICs für alles...diese dann über nen Switch. Kannst Du einen/zwei dedizerte NICs mit ner Karte nachrüsten? Hast Du VLANs am Start? Wenn Du keinen NIC nachrüsten/durchschleifen kannst, dann wäre das noch ne Option...aber komplizert. Welche unraid-Version ist es denn?

Hast Du da noch einen dhcp-Server am Start, zB im PiHole? Wie sieht die Routing Tabelle im unraid zu den beiden Zeitpunkten aus? Was sagt ein "traceroute -n 8.8.8.8" ...welche IP wird hier als Gateway wirklich "angesprungen"? Ich nehme mal an, der NIC, welcher mit IOMMU durchgeschleift ist, ist das WAN interface in der Sense..der virtio-NIC das LAN Interface und hat hier die 192.168.0.1? Wie ist das WAN Interface eingebunden? Hast Du (noch) eine WAN IP zum Zeitpunkt X und wie sieht die Routing-Tabelle in der Sense aus (default Route aufs WAN-IF)?

Ich habe den Wechsel vollzogen, weil ich mit BTRFS nur Ärger hatte....ZFS kenne ich schon lange und habe nur gute Erfahrungen gemacht....daher bin uch auf die 6.12rc gewechselt. Ja, das Konzept wurde sprachlich umgestellt. Ob das nun verständlicher ist, muss man für sich selbst beurteilen...technisch aber ändert sich dadurch nix. Bei mir wurde der NVMe- Cache-Pool um 2 Grad deutlich kühler mit ZFS... Äh, Du meinst Redundanz...was ist mit Redundanz im Cache-Pool/Primary Store selbst? Wenn da ein "Raid-Level", egal ob BTRFS oder ZFS gewählt wird, dass keine Redundanz hat, nutzt Dir die Parity nix.

Ich glaube Du hast da noch ein Verstädnisproblem. Hier nochmal, was auch die Hilfe zum Cache in den Share-Einstellungen sagt - und genauso funktioniert es auch.: -> ergo, um mittels Mover Dateien vom Cache-Pool auf das Array zu verschieben, ist der Cache am Share nicht zu deaktiveren, sondern auf "Yes" zu stellen. Bitte auch den jeweiligen, ausgewählten Cache-Pool beachten...nur der "default" Cache Pool heisst "Cache"...Du kannst in jedem Share einen beliebigen unraid -Pool als Cache-Pool verwenden.

Out-of--the-Box -> auspacken, einschalten, geht Immer schon beachten, das jede IP-Verbindung eine Hin- und eine Rückrichtung (Route) braucht. Tools wie Ping und traceroute sind Dein Freund...bei nginx evtl noch das Thema DNS (nslookup). Ist der Tunnel Seitens der Fritzen über ipv4 oder iv6 gebaut? Wo/Wer ist das Gateway im (Sub-)Netz, Wo/Wer ist die Default-Route...welche Wege gehen die Pakete?

Habe keine Fritz, aber NAT-Loopback bzw hairpin-NAAT sollte eigentlich so gehen: https://avm.de/service/wissensdatenbank/dok/FRITZ-Box-7362-SL/663_DNS-Auflosung-privater-IP-Adressen-nicht-moglich/ Hast Du das alles wirklich so gemacht? Edit: prüfe mal, ob die Fritz Deine Domain dauf die öffentliche IP auflöst? Dann musst Du natürlich im lokalen DNS dafür noch einen Eintrag mit der Heimnetz-IP machen...weiss aber nicht, ob die Fritz sowas kann.

...ich fürchte da musst Du dann durch. Edit: aber wieso sind da viele Regeln notwendig? Eine Forward-Regel (entweder ACCEPT oder DROP für die VLAN-Interfaces (in- / out-), beschränkt auf IP-Hosts die entweder IN oder NICHT-IN einer Liste sind) -> eine Regel.

Deine Annahme war anders...zumindest war meine Antwort darauf bezogen.

OK, schnuckelig aber eng....hast Du die 4te 3.5er HDD in den 5.25er Schacht eingebaut? Kommt auch ohne Gehäuse-Lüfter, oder? ...könnte da schön warm werden.

...eigentlich sollten die oben gezeigten 8TB Toshiba die N300er Serie sein...das sind NAS Disks ...und (relativ? - haben also vorher funktioniert) neu waren die wohl auch, was mich stutzig macht. Ich habe schon viele HDDs jongliert, aber dabei sind bisher keine kaputt gegangen...schon garnicht neue. Allein wenn DJ-Wurstfinger die Anschlüsse vermatscht, ist es aus...ist mir erst einmal passiert, in einem komischen Tray....falschrum eingesetzt und reingewürgt 🥲

@Toysmandas ist jetzt Pech, dass gleich zwei Deiner Disks futsch sind. Welches Gehäuse ist es denn nun geworden? Du wolltest doch was in NAS Grösse? Aber erstmal viel Erfolg weiterhin...

...das ist Ansichtssache. Aber Deine zpools da hatten nix mit dem unraid Array zu tun. Du hast die fehlende Redundanz im zpool "backup" selbst so erstellt/so gewollt. Das "Problem" hast Du in TrueNAS, ubuntu mit ZFS usw. auch so...hat nix mit unraid zu tun.

Du meinst Du hast den selbst geschrieben oder ist es eine App aus dem ubuntu Repositories? ...einen Basis-Container (official image) für ubuntu gibt es natürlich...aber openjdk hat seine Images eingestellt. Welche Lizenz bei anderen jdks dahinter hängt, weiss ich aktuell nicht. Das/Ein Problem ist -soweit ich mich erinnere - , das zB Oracle die Verteilung so nicht erlaubt, deshalb musst Du die jdk-runtime manuell in Deinen Docker einbauen oder gar zur Laufzeit runterladen. Wie es sich mit anderen Images mit jdk (ibm, aws, ...) verhält und welche Linux-Distro dann im Image dahinterliegt weiss ich aktuell nicht. Du kannst den Docker lokal bauen und lokal nutzen...oder ihn danach in den Docker-Hub hochladen und über ein unraid-template mit der URL aus dem Docker-Hub wieder "installieren". Hier sind die Grundlagen: https://docs.docker.com/develop/ Edit: das sieht interessant aus: https://learn.microsoft.com/en-us/java/openjdk/containers