Nach 2 Jahre mit OpenMediaVault auf einem Raspberry Pi 4 und einem externen Festplattengehäuse musste ein Server auf x86 Basis mit ordentlichem OS her, das neben Docker Containern auch virtuelle Maschinen erlaubt um meine OPNsense Firewall auf Basis eines Intel N6005 abzulösen und alles in einem Gehäuse zu vereinen. Hauptgründe für den Umstieg waren die mangelnde Geschwindigkeit (CPU + LAN) und die limitierende ARM64 Architektur. Beibehalten werden sollte der lautlose Betrieb bei ausgeschalteten HDDs durch passive Kühlung.

 

Die Entscheidung fiel auf folgende Komponenten:

 

• CPU: AMD Ryzen 7 5700G (@45W cTDP und untervolted mittels Curve Optimizer)
• MoBo: ASRock B550M Pro4
• CPU Kühler: Noctua NH-P1
• RAM: 64GB (2x32GB) DDR4
• PSU: Seasonic Prime Fanless PX-450
• LAN: Mellanox ConnectX-3 MCX354A 2x 40GbE
• LAN: Intel I225-V 4x 2,5GbE (Passthrough zu OPNsense)
• Cache: 4x Samsung 970 EVO Plus 2TB (RAID10)
• Array: 2x Seagate Exos X20 18TB
• Gehäuse: Jonsbo UMX4
• PCIe Bifurcation Adapter x8xM.2xM.2
• Coral Dual Edge TPU + PCIe x1 Adapter (für Frigate)

 

Da ich ca. 10 Jahre gebraucht habe um die Daten auf dem Array anzuhäufen sollten mir die 50% freier Speicher noch einige Zeit reichen und auch die nur zwei 3,5" Plätze im Gehäuse verkraftbar sein.

Das Array läuft nur 1-2x pro Woche für kurze Zeit, die wichtigen Daten liegen alle auf dem üppig bemessenen Cache.

 

Dashboard

 

Main

 

 

 

 

Schreiben zum Cache kann ich mit ~2,4GB/s

 

Lesen vom Cache geht mit ~1,8GB/s

Edited March 18, 20233 yr by meganie

....schön!

 

9 hours ago, meganie said:

LAN: Mellanox ConnectX-3 MCX354A 2x 40GbE

Hast Du auch nen 40GbE Switch am Start oder machst Du das nur mit Direktverbindung?

Die 40GbE Karte ist direkt mit einer baugleichen Karte in meinem Client verbunden. Andere 40GbE Hardware ist momentan nicht im Einsatz.

Man bekommt zwar auch günstig alte 40Gb Mellanox Switches, die können aber leider nur Infiniband und kein Ethernet.

hast du die OPNsense als "produktiv" Firewall im Einsatz und wenn ja, wie ist da deine Erfahrung? 4 Port LAN Karte hast du vermutlich direkt durchgereicht, eine SSD auch, für die OPNsense oder ist das eine "normale" virtuelle Disk.
Bin gerade selber am überlegen eine virtuelle Firewall umzusetzen (mit Hardware Backup für Notfälle) und da ist halt die Frage, wie gut das unter unRAID läuft und wie man das idealerweise umsetzt.
Alternativ wäre ja auch eine Idee Proxmox 8 als unterbau einzusetzen und dann da die Firewall bzw. unRAID zu virtualisieren.

Die OPNsese läuft jetz seit einem halben Jahr produktiv ohne Probleme. Von der 4 Port LAN Karte sind 3 Ports durchgereicht zur VM, von der 40 GbE ist ein Port viruelle an dieOPNsense angebunden, die lassen sich leider nicht einzeln durchreichen. Die VM liegt auf einer virtuellen Disk auf dem Cache wegen der Ausfallsicherheit.

Ich sehe du nutzt frigate als Docker. Wie viele Kameras hast du bei frigate eingebunden? Nutzt du dafür den Google Coral Accelerator? Falls nicht, wir wirkt sich das auf die CPU aus?

kurze Frage.... was zieht den so eine Kiste an Strom?

On 9/14/2023 at 12:18 PM, blobby said:

Ich sehe du nutzt frigate als Docker. Wie viele Kameras hast du bei frigate eingebunden? Nutzt du dafür den Google Coral Accelerator? Falls nicht, wir wirkt sich das auf die CPU aus?

Ich habe 3 Kameras eingebunden (2x8MP + 1x5MP), die Objekterkennung läuft über eine Google Dual Edge TPU, wie im ersten Beitrag geschrieben. Für die Hardwarebeschleunigung von FFMPEG wird die interne GPU der APU genutzt.

 

1 hour ago, Brocken said:

kurze Frage.... was zieht den so eine Kiste an Strom?

~35W im IDLE und ~55W mit der moderaten Last durch die Container und VMs.

On 9/16/2023 at 3:16 PM, meganie said:

~35W im IDLE und ~55W mit der moderaten Last durch die Container und VMs.

IDLE ist mit schlafenden HDDs?

 

Der CPU Kühler sieht inetressant aus. Schafft der das gut passiv?

 

Hast Du mal vor einbau des m.2 adapters getestet? Überlege auch, ob ich 4x 970 evo 2TB Als cache nutze, aber vermute hohen idle verbauch.

In welchem Slot steckt der m.2 adapter?

Edited April 5, 20242 yr by TraumG

31 minutes ago, TraumG said:

IDLE ist mit schlafenden HDDs?

Ja

 

31 minutes ago, TraumG said:

Der CPU Kühler sieht inetressant aus. Schafft der das gut passiv?

Ja, bei 45W cTDP überhaupt kein Problem. Auch 65W TDP sollten kein Problem sein, der läuft ja nicht immer unter Vollast. Wichtig ist ein passendes Gehäuse, das die natürliche Konvektion nicht behindert: https://ncc.noctua.at/recommended/NH-P1-68/cases

 

33 minutes ago, TraumG said:

Hast Du mal vor einbau des m.2 adapters getestet? Überlege auch, ob ich 4x 970 evo 2TB Als cache nutze, aber vermute hohen idle verbauch.

In welchem Slot steckt der m.2 adapter?

Nein, aber hoher idle Verbrauch ist es auch nicht gerade: https://www.anandtech.com/show/13761/the-samsung-970-evo-plus-ssd-review/9

2 hours ago, meganie said:

Nein, aber hoher idle Verbrauch ist es auch nicht gerade: https://www.anandtech.com/show/13761/the-samsung-970-evo-plus-ssd-review/9

 

Nicht, daß es sich idle viel auswirken wird, aber bitte beachten:

TraumG schrieb von "970 evo 2TB"

Du erwähnst den verbrauch der "970 evo PLUS"

 

Das sind 2 unterschiedliche Modellreihen.

Ich mache mir weniger sorgen um den idle verbrauch der 970 evo an sich, aber die frage ist, ob da durch die bifurcation karten irgendwas bzgl. Power management verändert wird

 

Wenn das gut funktioniert,  ist die schlafend sehr sparsam.

 

Wird bei mir aner langsam thema, da ich in rochtung 10G recherchiere u d dann würde mehr speed ja auch was nutzen

Edited April 22, 20242 yr by TraumG

1 minute ago, TraumG said:

ob da durch die bifurcation karten irgendwas bzgl. Power management verändert wird

Wenn es dumme/passive Karten sind, sollte da eigentlich gar nichts passieren. Da werden dann tatsächlich einfach nur die vorhandenen lanes physisch aufgeteilt.

Bei aktiven Karten mit pcie Switch drauf, da könnte ich mir das durchaus vorstellen