User Sicherheit und Docker user fragen

[W0nderW0lf]

Loading config from /boot/config/vfio-pci.cfg
BIND=0000:00:02.0|8086:9bc8 0000:00:08.0|8086:1911 0000:00:12.0|8086:06f9 0000:00:15.0|8086:06e8 0000:00:16.0|8086:06e0 0000:00:16.3|8086:06e3
---
Processing 0000:00:02.0 8086:9bc8
Vendor:Device 8086:9bc8 found at 0000:00:02.0

IOMMU group members (sans bridges):
/sys/bus/pci/devices/0000:00:02.0/iommu_group/devices/0000:00:02.0

Binding...
Successfully bound the device 8086:9bc8 at 0000:00:02.0 to vfio-pci
---
Processing 0000:00:08.0 8086:1911
Vendor:Device 8086:1911 found at 0000:00:08.0

IOMMU group members (sans bridges):
/sys/bus/pci/devices/0000:00:08.0/iommu_group/devices/0000:00:08.0

Binding...
Successfully bound the device 8086:1911 at 0000:00:08.0 to vfio-pci
---
Processing 0000:00:12.0 8086:06f9
Vendor:Device 8086:06f9 found at 0000:00:12.0

IOMMU group members (sans bridges):
/sys/bus/pci/devices/0000:00:12.0/iommu_group/devices/0000:00:12.0

Binding...
Successfully bound the device 8086:06f9 at 0000:00:12.0 to vfio-pci
---
Processing 0000:00:15.0 8086:06e8
Vendor:Device 8086:06e8 found at 0000:00:15.0

IOMMU group members (sans bridges):
/sys/bus/pci/devices/0000:00:15.0/iommu_group/devices/0000:00:15.0

Binding...
Successfully bound the device 8086:06e8 at 0000:00:15.0 to vfio-pci
---
Processing 0000:00:16.0 8086:06e0
Vendor:Device 8086:06e0 found at 0000:00:16.0

IOMMU group members (sans bridges):
/sys/bus/pci/devices/0000:00:16.0/iommu_group/devices/0000:00:16.0
/sys/bus/pci/devices/0000:00:16.0/iommu_group/devices/0000:00:16.3

Binding...
Unbound 0000:00:16.3 from serial
Successfully bound the device 8086:06e0 at 0000:00:16.0 to vfio-pci
---
Processing 0000:00:16.3 8086:06e3
Vendor:Device 8086:06e3 found at 0000:00:16.3

IOMMU group members (sans bridges):
/sys/bus/pci/devices/0000:00:16.3/iommu_group/devices/0000:00:16.0
/sys/bus/pci/devices/0000:00:16.3/iommu_group/devices/0000:00:16.3

Binding...
0000:00:16.0 already bound to vfio-pci
0000:00:16.3 already bound to vfio-pci
Successfully bound the device 8086:06e3 at 0000:00:16.3 to vfio-pci
---
vfio-pci binding complete

Devices listed in /sys/bus/pci/drivers/vfio-pci:
lrwxrwxrwx 1 root root 0 Sep 23 15:31 0000:00:02.0 -> ../../../../devices/pci0000:00/0000:00:02.0
lrwxrwxrwx 1 root root 0 Sep 23 15:31 0000:00:08.0 -> ../../../../devices/pci0000:00/0000:00:08.0
lrwxrwxrwx 1 root root 0 Sep 23 15:31 0000:00:12.0 -> ../../../../devices/pci0000:00/0000:00:12.0
lrwxrwxrwx 1 root root 0 Sep 23 15:31 0000:00:15.0 -> ../../../../devices/pci0000:00/0000:00:15.0
lrwxrwxrwx 1 root root 0 Sep 23 15:31 0000:00:16.0 -> ../../../../devices/pci0000:00/0000:00:16.0
lrwxrwxrwx 1 root root 0 Sep 23 15:31 0000:00:16.3 -> ../../../../devices/pci0000:00/0000:00:16.3

ls -l /dev/vfio/
total 0
crw------- 1 root root 249, 0 Sep 23 15:31 1
crw------- 1 root root 249, 1 Sep 23 15:31 2
crw------- 1 root root 249, 2 Sep 23 15:31 3
crw------- 1 root root 249, 3 Sep 23 15:31 5
crw------- 1 root root 249, 4 Sep 23 15:31 6
crw-rw-rw- 1 root root 10, 196 Sep 23 15:31 vfio

 

[Ford Prefect]

...warum hast Du denn diese Bindings eingestellt? ...die mit grünem Punkt?
Wenn Du VM und Docker Dienste stopst, solltest Du die ja einstellen können...nimm die 4 NICs vorher aus der network config von unraid raus und nutze in unraid erstmal nur den onboard NIC. Zu den 4 anderen auch kein Kabel verbinden...dann sollte man die doch per vfio auswählen können.

Gesendet von meinem SM-G780G mit Tapatalk

[W0nderW0lf]

Also ich glaube in meinem Rechner steckt der Wurm drin.

Ich hab deinen Ratschlag befolgt, alles deaktiviert, neugestarted und ... Mir ist aufgefallen, dass das interne NIC von der Kiste (LAN Adapter ausgebaut) Hell-Rot/Dunkel Orange leuchtet. Egal wie ich das anschließe, egal welches Kabel ich verwende. Ich hab BIOS resetted. NIC Pins auf schäden überprüft, aber irgendwie will der nicht... Der bekommt zwar eine IP von der Fritte nach dem booten, aber unRAID kann nicht Ordnungsgemäß starten.

 

Ich habe auch keine Ahnung ob der einbau der 4Port LAN Karte den Treiber "zerschossen" hat. Es sind immerhin 2 unterschiedliche NIC's der eine interne ist ein e1000(irgendwas) und die Karte igb. Nicht das die CPU priorisieren musste und hat nun standardmäßig den anderen Treiber geladen mit dem der interne nicht klar kommt. Ich kenne mich da nicht ganz aus und ich bin mir nicht sicher wie ich das am besten korrigiere....

 

Der Port würde generell auch mit dem Roten Licht funktionieren. Dafür müsste ich wieder mit der network.cfg file spielen. (Hatte bei der 1. Einrichtung das gleiche problem...) Aber dafür darf ich nicht die network.cfg für die anderen NIC's entfernen.

[Ford Prefect]

Ok, die LEDS würde ich erstmal ignorieren.
Treiber kannst Du nicht zerschiessen, da unraid im RAM läuft und der Stick/das OS unveränderlich ist.

Wenn eine IP ausgegeben wird ist das ja schon ok.

...in den Netzwerk- Settings kannst Du weiter unten die Nummerierung einstellen.
Stelle die onboard auf eth0 ... die 4x igb auf eth1-3.

Bei eth0 DHCP an, bonding aus, Bridge ein, mit nur eth0 als member....dann nur die onboard mit dem Kabel zur Fritz (nicht lan4, da kommt später ja die opnsense dran) verbinden, die 4xigb ohne Kabel.

Nimm bei vfio/ IOMMU alle Häkchen raus.
Dann neu booten.

Dann sollte unraid be IP bekommen und es sollte gehen.
Wenn nicht, stell dann mal Deine Diagnostics.zip nach dem reboot hier rein.

Edit: Wenn es nicht geht, dann die onboard als eth3 und die 4 igb als eth0-3 konfigurieren.
Aber eben nur eth0 ohne bond und als bridge mit nur eth0 Einstellung starten...auch nur 1 Kabel.
Dann sollten in der IOMMU Einstellung zumindest 3 der igb auswählbar sein.

Gesendet von meinem SM-G780G mit Tapatalk

[W0nderW0lf]

Hab alles gemacht. Trotzdem klappt das mit IOMMU nicht.

 

Hier die Diagnostics. Habe gestern Abend mal ins Dell Forum gepostet und dann hat sich der Support gemeldet. Mal abwarten was die sagen werden. Kannst gerne derweil die diagnostics checken.

Wahrscheinlich wäre es sinnfrei jetzt mit der LAN WAN Friten Opnsense Umstellung anzufangen, solange die Zuweisung nicht funktioniert.

 

optiplex-diagnostics-20210924-1114.zip

[Ford Prefect]

...mal sehen....bin gerade nur mit Phone unterwegs...ohne Laptop. Evtl. nimmt sich ja jemand anderes derweil der diagnostics an. Wenn die Devices in den iommu group drin sind, kommt man auch dran. Bedingung ist, daß der unraid host diese nicht in Benutzung hat.

Gesendet von meinem SM-G780G mit Tapatalk

[W0nderW0lf]

Kurzes Update...

Der Support hat mir zwar geschrieben, aber jetzt soll ich ein Video machen damit der das rote licht am NIC sieht...

jedenfalls habe ich mich dazu entschieden mit unRAID auf dem DELL Optiplex aufzuhören und OPNsense bare auf die Kiste zu installieren. Für meine Festplatten werde ich mir dafür ein gebrauchtes Board+Ryzen 1700x Bundle mit einem gescheiten Tower für 6 Festplatten besorgen. Damit hätte der Optiplex alle Leistung die er bräuchte um ne gute Firewall für IPS/IDS + reverse Proxy abzugeben.

Damit hätte ich schon mal eine sehr stabile basis.

 

Danke aber für eure Hilfe!

[mgutt]

Also du nimmst jetzt den OptiPlex und parallel einen 1700x Build? Bezahlst du nichts für Strom oder wie kommst du nun auf diese Konstellation?

[W0nderW0lf]

Klar zahl ich für Strom. Aber beides verbraucht im Idle nicht viel. Außerdem wird das kein 24/7 betrieb. Sobald ich schlafen gehe wird alles ausgeschaltet. Nur der Router und mein Smart Home läuft über den ich die Steckdosen kontrolliere. Ich hab atm 1 Nextcloud aufm Pi und einen managed switch. Beides verbraucht auch nicht sehr viel. Ich bin da schon möglichst "ökologisch" unterwegs. Bei uns läuft generell nicht viel. Nur halt wenn wir arbeiten. Ich habe also ein sehr bescheidenes kleines Homelab.

[mgutt]

4 hours ago, W0nderW0lf said:

Aber beides verbraucht im Idle nicht viel.

Der 1700x Build dürfte alleine >20W ziehen. Und welchen Sinn hat OpenSense, wenn es nicht 24/7 läuft?!

 

 

[W0nderW0lf]

Der 1700x Build ist auch meine "Datenzentrale" .. Bitwarden, Musik streaming, Plex, VM's etc... Aber nichts davon muss 24/7 laufen. Warum auch? Alles nur relevant wenn wir wach sind und Dinge tun, oder unterwegs sind ... Irgendwo im Urlaub oder whatever. Aber für mich gibt es keinen Grund ein Gerät 24/7 laufen zu lassen. Wenn ich zocke schalte ich mein Nextcloud und den Switch aus. Wenn ich pennen gehe wird überall der Stecker gezogen. Ergo, alle Geräte sind nicht erreichbar und somit nicht angreifbar.
Ich meine du sagst doch selber zu Recht, "ob ich keinen Strom zahle?".. Bei mir läuft nichts was nicht absolut nötig ist.

Ich sehe es halt auch so.. nach meinen jetzigen Erfahrungen die ich mit unRAID in den letzten Tagen gesammelt habe, laufe ich öfter vor Probleme, als wenn ich eine strikte Trennung zwischen Firewall und Hypervisor einhalten würde. für den Optiplex habe ich 200€ geblättert. Eine Kiste mit anähernd guten specs im kleinformat kostet halt 2-3x so viel. Verbrauchen zwar auch weniger, aber im schnitt sind das auch nur ~100W weniger. Außerdem ist der Optiplex nicht für mehrere HDD's ausgelegt. da passen gerade so 2 HDD's rein. Ich hab die 3. Platte lose drin liegen gehabt. Das ist auch nicht optimal. Früher oder später hätte ich sowieso ein Upgrade gemacht. Netzteil habe ich bereits. für den neuen unRAID zahle ich 100 mit board CPU, kühler und 16GB RAM. Fehlt nur noch das passende gehäuse (welches ich auch schon gefunden habe)..
Man muss auch sagen, im Vergleich zu manch anderen Homelabs ist meines noch echt winzig. Ich habe kein Rack hier mit echten Servern die wirklich auf 24/7 ausgelegt sind. was sind da schon 2 workstations.... So viel € für die Stromrechnung kann ich schon entbehren. XD Bin ja kein miner..