June 10, 20251 yr Ich plane meinen Umzug von Synology auf einen Unraid-Server und habe dazu die folgende HW-Ausstattung:Mobo: Gigabyte B760M DS3H DDR4 Rev 1.0CPU: Intel Core i7-12700KCPU Lüfter: Noctua NH-L9i-17xxGehäuse: Fractal Node 804Netzteil: be quiet! 13M Pure Power 550 WattNVMe: SK hynix Platinum P41 NVMe SSD 2TB PCIe 4.0NVMe: Kingston FURY Renegade SSD 2TB PCIe 4.0RAM: Mushkin DDR4 32 GB 3200 ECC RegHBA: LSI SAS 9800-8i (SATA Erweiterung) ggf. geplantHD1: Toshiba MG10 - 20TB SATA, 3.5HD2: Toshiba MG10 - 20TB SATA, 3.5HD3: Western Digital WD30 SATA - 3 TB, 3.5HD4: Western Digital WD40 SATA - 4 TB, 3.5HD5: 1,5 TB SATA (ggf. geplant)HD6: 1 TB SATA (ggf. geplant)USV: CyberPower BR1000ELCD Backup USV System 1000 VA, 600 WattAuf der Synology (wird später als Backup-Server dienen) habe ich bisher verschiedene Docker-Anwendungen in einem MacVLan betrieben: bookstack, mealie, jdownloader, jellyfin (kein Transcoding, nur Streaming), calibre, mariadb 10, netalertx, ngingx proxy manager (npm), nzbget, paperlessngx, pihole, portainer, searxng, unbound, uptime-kuma, wallabag watchtower.Filme, Videos und Fotos liegen ebenfalls auf der Synology genauso wie die Daten der einzelnen Docker Apps.Der npm aktualisiert regelmäßig LE-Zertifikate und mit ihm habe ich Sub Domains für die Docker Apps angelegt, also z.B. bookstack.domain.tld etc.Nach intensivem Studium in diesem Forum nehme ich folgendes mit:A. Cache-Pool: Ich plane die beiden NVMe als Raid1 in einem Cache-Pool anzulegen und dort die Docker und ggf. VM abzulegen. Darüber hinaus sollten dort die Dateien liegen, mit denen aktuell gearbeitet wird wie z.B. Fotos zur Bildverarbeitung etc. Ziel ist es, das Array möglichst oft schlafen zu lassen und nur zu definierten Zeiten durch den Mover zu wecken.B. HD/Array: Eine der beiden Toshiba mit 20 TB als Parity, der Rest als Array.C. Das Filesystem des Cache-Pools (NVMe) ist per default BTRFS , das des Arrays sollte XFS (für Spindown der HDs).Zur Einrichtung des Unraid Servers habe ich nun verschiedene Fragen:1. Kann ich mit Unraid ebenfalls ein MacVLan einrichten und die Docker Apps mit npm als Subdomains anlegen wie oben beschrieben.2. Da auf der Synology ein MacVLan nicht mit dem Host kommunizieren kann, musste ich dort eine Bridge zwischen Host und MacVlan einrichten. Ist eine solche Bridge mit Unraid ebenfalls erforderlich oder kann der Host direkt mit den MacVLAN Apps kommunizieren?3. Ist die unter C dargestellte Wahl der Filesysteme so sinnvoll? Was ist mit ZFS für den Cache-Pool vs BTRFS?4. Da die Docker Apps und VMs auf dem Cache-Pool liegen: Wie werden sie gesichert, falls ein Stromausfall länger dauert als die USV überbrückt? Per Backup auf die Synology oder das Array? Mir ist klar, dass die Docker Apps relativ schnell wiederhergestellt werden können. In diesem Fall geht es um die Daten also z.B. die eBooks für Calibre etc. Bieten sich hier unassigned devices wie unter Punkt 5 beschrieben an?5. Sollte der Cache-Pool, wie unter A beschrieben, als Raid1 angelegt werden? 6. Alternativ überlege ich, die HD 5-6 als unassigned devices für lokales Backup zu nutzen. Welches Filesystem bietet sich für unassigned devices an? Ebenfalls xfs, wenn Spindown im Vordergrund stehen soll? Die Synology wird als Backup an einem anderen Ort stehen. Ich denke, es werden sich ggf. noch mehr Fragen ergeben, sobald ich mit der konkreten Umsetzung starte.
June 10, 20251 yr Community Expert Solution 5 minutes ago, PinkCarlos said:Cache-Pool: Ich plane die beiden NVMe als Raid1 in einem Cache-Pool anzulegen und dort die Docker und ggf. VM abzulegenHab ich auch so, finde ich gut, aber würde ich bei dem Board was Du gewählt hast, nochmal überdenken, denn der obere M.2 Slot ist an die CPU angebunden und ich befürchte, dass Dein System in C2 stecken bleibt, wenn Du dort eine Cache-SSD als Teil eines RAID1 drin betreibst. Du kannst aber auch einen PCIe X1 Adapter auf M.2 für die zweite SSD verbauen...7 minutes ago, PinkCarlos said:Kann ich mit Unraid ebenfalls ein MacVLan einrichtenJa, solltest Du sogar (anstelle von ipvlan)!8 minutes ago, PinkCarlos said:Ist die unter C dargestellte Wahl der Filesysteme so sinnvoll? Was ist mit ZFS für den Cache-Pool vs BTRFS?Glaubensfrage. Die einen schwören auf zfs, weil von einigen Usern Probleme berichtet wurden, die wohl auf btrfs zurückzuführen waren. Andere betonen, dass btrfs immer noch Standard sei, da im Vergleich zu zfs niocht so pflegeintensiv und es bei zfs auch Probleme geben kann, die dann im schlimmsten Fall auch gerne einen rebuild erzwingen. 🤷♂️Das Zauberwort heißt in jedem Fall: BACKUP12 minutes ago, PinkCarlos said:Da die Docker Apps und VMs auf dem Cache-Pool liegen: Wie werden sie gesichert, falls ein Stromausfall länger dauert als die USV überbrückt?Standardmäßig gar nicht, aber sichern kannst Du die z.B. bequem über das Plugin "Backup Appdata", aber ich verstehe nicht, was ein Stromausfall damit zu tun haben soll? Im Plugin kannst Du ein Ziel angeben und die Daten dahin sichern, wo Du möchtest. Das kann jeder Ordner sein, ob jetzt pool/array oder eingemountetes UnassignedDevice oder Deine Synology.15 minutes ago, PinkCarlos said:Sollte der Cache-Pool, wie unter A beschrieben, als Raid1 angelegt werden?Wenn Du den Cache redundant haben willst, bietet sich das an. 26 minutes ago, PinkCarlos said:LSI SAS 9800-8iwürde ich nochmal überdenken, wenn es stromsparend sein soll. Hier ist ein ASM1166 (gibt's auch in PCIeX1 um wieder den CPU-angebundenen X16 Slot zu umgehen) mit aktueller Firmware die Standard-Empfehlung.18 minutes ago, PinkCarlos said:Mushkin DDR4 32 GB 3200 ECC RegECC unterstützt das Board nicht, nimm normalen 23 minutes ago, PinkCarlos said:Welches Filesystem bietet sich für unassigned devices an? Ebenfalls xfs, wenn Spindown im Vordergrund stehen soll?Ob UDs auch von unraid in den Spindown geschickt werden, weiß ich ehrlicherweise gar nicht, weil ich sie nicht nutze, aber wenn, dann hat es bestimmt nichts mit dem Filesystem zu tun. xfs für single discs macht auf jeden Fall Sinn.25 minutes ago, PinkCarlos said:be quiet! 13M Pure Power 550 Wattbin gespannt wie das sich im Low Power Modus schlägt...da gibt es hier glaube ich noch keine Erfahrungen zu.
June 10, 20251 yr Author 1 hour ago, _alo_ said:Ja, solltest Du sogar (anstelle von ipvlan)!Da ich auch eine Fritzbox habe, scheint MacVLAN gesetzt zu sein.Wie sieht es mit der Host Kommunikation aus? Analog zur Synology mit einer Bridge? Oder ohne und direkt?1 hour ago, _alo_ said:würde ich nochmal überdenken, wenn es stromsparend sein soll. Hier ist ein ASM1166 (gibt's auch in PCIeX1 um wieder den CPU-angebundenen X16 Slot zu umgehen) mit aktueller Firmware die Standard-Empfehlung.Das Mobo hat auch einen PCIeX16 Slot. Bringt der evtl. weitere Geschwindigkeitsvorteile?1 hour ago, _alo_ said:ECC unterstützt das Board nicht, nimm normalenDanke für den Tipp, habe ich übersehen.2 hours ago, _alo_ said:... aber ich verstehe nicht, was ein Stromausfall damit zu tun haben soll?Oh, bin vom flüchtigen RAM-Cache ausgegangen2 hours ago, _alo_ said:bin gespannt wie das sich im Low Power Modus schlägt...da gibt es hier glaube ich noch keine Erfahrungen zu.Ja, ist erst ab Mitte Juni verfügbar
June 10, 20251 yr Community Expert 4 minutes ago, PinkCarlos said:Wie sieht es mit der Host Kommunikation aus? Analog zur Synology mit einer Bridge? Oder ohne und direkt?achso ja, hatte ich übersehen.Meinst du in den Einstellungen dieses Feature5 minutes ago, PinkCarlos said:Das Mobo hat auch einen PCIeX16 Slot. Bringt der evtl. weitere Geschwindigkeitsvorteile?cpu-angebunden sind i.d.R. der oberste M.2 Slot sowie der Grafikkarten-X16-Slot.Oft verursachen nunmal aktive Geräte, die mit diesen Lanes verbunden sind, dass das Erreichen tieferer Pkg-C-States als C2 verhindert wird.Welche Geschwindigkeitsvorteile erhoffst Du Dir?4 HDDs an einem ASM-Controller an PCIe3.0X1 sollten machbar sein. Die Parity an einen anderen Controller zu hängen, z.B. onboard (oder andersrum) wäre vielleicht noch sinnvoll.8 minutes ago, PinkCarlos said:Oh, bin vom flüchtigen RAM-Cache ausgegangendann solltest Du dich vielleicht nochmal ins Thema cache-pool einlesen....Die Daten liegen schon auf dem Cache-Pool, also der SSD bzw. dem RAID1.10 minutes ago, PinkCarlos said:Ja, ist erst ab Mitte Juni verfügbarja dann...Ist sicherlich interessant, aber gibt es einen Grund, wieso Du nicht auf das bewerte BN341 (PP12M 550W) zurückgreifst? Edited June 11, 20251 yr by _alo_
June 11, 20251 yr 11 hours ago, PinkCarlos said:1. Kann ich mit Unraid ebenfalls ein MacVLan einrichten und die Docker Apps mit npm als Subdomains anlegen wie oben beschrieben.ja, wie @_alo_ beschrieben hat, ist das Erstellen der bridge in Unraid integriert (muss aber aktiviert werden)Info dazu, das hat nichts mit dem OS an sich zu tun sondern ist rein Docker spezifisch, dieser "Hack" dazu ist halt integriert ;)Docker oob will das normal nicht ;)11 hours ago, PinkCarlos said:4. Da die Docker Apps und VMs auf dem Cache-Pool liegen: Wie werden sie gesichert, falls ein Stromausfall länger dauert als die USV überbrückt? Per Backup auf die Synology oder das Array? Mir ist klar, dass die Docker Apps relativ schnell wiederhergestellt werden können. In diesem Fall geht es um die Daten also z.B. die eBooks für Calibre etc. Bieten sich hier unassigned devices wie unter Punkt 5 beschrieben an?5. Sollte der Cache-Pool, wie unter A beschrieben, als Raid1 angelegt werden?8 hours ago, PinkCarlos said:Oh, bin vom flüchtigen RAM-Cache ausgegangendu beschreibst ja selbst dass der cache im raid1 ... ;) ist auch wie erwähnt KEIN Ram cache ... also passt.
June 11, 20251 yr Author 16 hours ago, _alo_ said:Hab ich auch so, finde ich gut, aber würde ich bei dem Board was Du gewählt hast, nochmal überdenken, denn der obere M.2 Slot ist an die CPU angebunden und ich befürchte, dass Dein System in C2 stecken bleibt, wenn Du dort eine Cache-SSD als Teil eines RAID1 drin betreibst. Du kannst aber auch einen PCIe X1 Adapter auf M.2 für die zweite SSD verbauen...Mein Kenntnisstand dazu ist nicht sehr ausgeprägt: Was meinst du mit "C2 stecken bleibt"?Zum Adapter:Nach meinem Wissen unterstützt PCIe 4.0 16 GBit/s pro Lane. Wenn ich einen PCIe x1 Adapter nutze, verschenke ich dann nicht 3 Lanes, wobei ich davon ausgehe, dass x1 für 1 Lane steht.Wenn ich den auf dem Board vorhandenen PCIe 4 x16 Steckplatze mit einem Adapter für 4 NVMe bestücke, nutze ich dann hätte ich 4 NVMes mit jeweils 4 Lanes mit theoret. 64 GBit/s. Ich weiß, dass hierfür das Mobo einige Voraussetzungen (PCI-E-Split, PCI-E RAID etc.) liefern muss.Ist dieser Denkansatz korrekt?
June 11, 20251 yr Community Expert 55 minutes ago, PinkCarlos said:Was meinst du mit "C2 stecken bleibt"?den meisten Usern geht es hier darum einen möglichst sparsamen Homeserver aufzubauen, der i.d.R. die meiste Zeit des Tages schläft.Zum einen sind das die Platten, die schlafen gelegt werden ("spindown"), aber auch das gesamte System (CPU, Cipsatz/PCIe,...) soll sich möglich tief schlafen legen.Das ASPM wird hierfür wichtig.Kurzform:Ein Indiz dafür, wie tief ein System schläft sind die "Pkg C-States", die Du Dir mit dem tool "powertop" anzeigen lassen kannst.Ein waches System befindet sich in C2, je mehr Komponenten sich schlafen legen, so geht es immer weiter/tiefer bis in C10.Je mehr/länger Komponenten das System wach halten, umso weniger gelangt es in tiefere Pkg-C-States.PCI-Lanes sind entweder direkt an der CPU angebunden oder über den Chipsatz (je nachdem welcher, hat er mehr oder weniger Lanes).Bei vielen Chipsätzen/CPUs hat sich herausgestellt, dass das System tiefer schlafen geht, wenn man für aktiv Nutzung ausschließlich die Chipsatz-Lanes verwendet.54 minutes ago, PinkCarlos said:Nach meinem Wissen unterstützt PCIe 4.0 16 GBit/s pro Lane. Wenn ich einen PCIe x1 Adapter nutze, verschenke ich dann nicht 3 Lanes, wobei ich davon ausgehe, dass x1 für 1 Lane steht.hierzu hab ich schon öfters mal so eine Grafik gepostet:Also ja, PCIe4.0 hat fast 2GB/s je Lane (X1). bei X16 sind es demnach fast 32GB/s. Für schnelle Grafikkarten sicherlich interessant, aber hier?Eine normale 3,5" HDD macht ca. 250MB/s, d.h. vier Stück davon an einem ASM-Controller als Beispiel machen rund 1GB/s (wenn alle gleichzeitig laufen, was gerade bei unraid eher selten der Fall ist, außer beim Parity-Build/Check). D.h. hierfür würde ein PCIe 3.0 X1 Anschluss ausreichen.Das ist auch der Hintergrund, warum einige (inkl. mir) den PCIe-Typ der Slots von 4.0 auf 3.0 im Bios runtersetzen, weil es a) reicht und b) dadurch Strom eingespart wird (vielleicht).Also PCIe 4.0 X1 ist also mit 2GB/s für das meiste gut genug. Sogar für eine 10GE Karte, die ja nun auch maximal 1GB/s überträgt und ggf. auf eine SSD schreiben will.1 hour ago, PinkCarlos said:Wenn ich den auf dem Board vorhandenen PCIe 4 x16 Steckplatze mit einem Adapter für 4 NVMe bestücke, nutze ich dann hätte ich 4 NVMes mit jeweils 4 Lanes mit theoret. 64 GBit/s. Ich weiß, dass hierfür das Mobo einige Voraussetzungen (PCI-E-Split, PCI-E RAID etc.) liefern muss.Damit so etwas geht, muss der Chipsatz (und das Board) "Bifurcation" unterstützen (wird vielleicht auch manchmal "Split" genannt, RAID hab ich in diesem Zusammenhang noch nicht gesehen) !Dann kannst Du z.B. aus einem X16 dann X8X8 oder X8X4X4 oder X4X4X4X4 machen um entsprechend viele Geräte zu versorgen/anzuschließen.Das ist aber eher höherwertigeren Systemen (oder AMD) vorbehalten und eher nicht in einem INTEL Mainstream Chipsatz wie der B-Serie zu finden. (Mein Z690 könnte iirc X8X4X4, aber mein Board unterstützt das leider auch nicht).Das sollte man am besten vorher je nach Board und CPU abklären, ob das geht, was man da vorhat.Ich hatte mir z.B. auch schon eine 4x M.2 X16 Karte für 12€ bei AliExpress gekauft, die liegt daher jetzt hier ungenutzt in der Ecke.... Edited June 11, 20251 yr by _alo_
June 11, 20251 yr Author 50 minutes ago, _alo_ said:den meisten Usern geht es hier darum einen möglichst sparsamen Homeserver aufzubauen, der i.d.R. die meiste Zeit des Tages schläft.Danke für die Erläuterungen.Ja, ein sparsam Server ist auch mein Ziel ...1 hour ago, _alo_ said:Also ja, PCIe4.0 hat fast 2GB/s je Lane (X1). bei X16 sind es demnach fast 32GB/s. Für schnelle Grafikkarten sicherlich interessant, aber hier?Eine normale 3,5" HDD macht ca. 250MB/s, d.h. vier Stück davon an einem ASM-Controller als Beispiel machen rund 1GB/s (wenn alle gleichzeitig laufen, was gerade bei unraid eher selten der Fall ist, außer beim Parity-Build/Check). D.h. hierfür würde ein PCIe 3.0 X1 Anschluss ausreichen.Das ist auch der Hintergrund, warum einige (inkl. mir) den PCIe-Typ der Slots von 4.0 auf 3.0 im Bios runtersetzen, weil es a) reicht und b) dadurch Strom eingespart wird (vielleicht).Also PCIe 4.0 X1 ist also mit 2GB/s für das meiste gut genug. Sogar für eine 10GE Karte, die ja nun auch maximal 1GB/s überträgt und ggf. auf eine SSD schreiben will.Dann macht es Sinn, mein Board so zu bestücken mit max. 5 möglichen NVMe?:Als PCIe M.2 Dual Adapter käme z.B. dieser in Frage: Akasa Dual M.2 PCIe SSD adapter
June 11, 20251 yr Community Expert 32 minutes ago, PinkCarlos said:Dann macht es Sinn, mein Board so zu bestücken mit max. 5 möglichen NVMe?:Als PCIe M.2 Dual Adapter käme z.B. dieser in Frage: Akasa Dual M.2 PCIe SSD adapterIch glaube, Du hast das Thema noch nicht ganz verstanden.ich sehe hier 3 NVMes (wenn man die CPU angebundenen Lanes auslässt):1x Chipset M.22x PCIe X1 per M.2-Adapter (z.B. so einen)Dann fehlt Dir aber auch die Möglichkeit, einen weiteren ASM SATA-Controller einzubauen.Der Platz/die Möglichkeiten sind bei mATX leider begrenzt ;)Der DUAL Adapter, den Du verlinkt hast, adaptiert auf einem Slot zwei X4 Schnittstellen. Eine benötigt die Karte selbst, die andere X4 Schnittstelle wird über ein Kabel rausgeführt.Du könntest einen solchen Adapter verwenden, wennDu auf dem board zwei X4 Slots hättestoder die X1 Slots hinten offen wären, dass diese X4 Anschlüsse mechanisch reinpassen UND dieser Adapter bzw die NVMes darin dann auch mit X1 laufen.Aber auf keinen Fall kriegst du zwei solche DUAL Adapter in zwei Slots um 4 NVMes zu betreiben... Edited June 11, 20251 yr by _alo_ Adapter Link hinzugefügt
June 11, 20251 yr Community Expert 44 minutes ago, PinkCarlos said:Ja, ein sparsam Server ist auch mein Ziel ...Dann überdenke nochmal die Hardwareauswahlist wirklich einen i7 nötig?soll es das bislang unbekanntes Netzteil werden?willst du nicht lieber einen ASM1166 einsetzen?willst du nicht vielleicht statt HD3-HD6 lieber EINE größere HDD einbauen?
June 11, 20251 yr Author 11 minutes ago, _alo_ said:Dann überdenke nochmal die Hardwareauswahlist wirklich einen i7 nötig?soll es das bislang unbekanntes Netzteil werden?willst du nicht lieber einen ASM1166 einsetzen?willst du nicht vielleicht statt HD3-HD6 lieber EINE größere HDD einbauen?Die CPU ist schon verbaut, da gibt es kein zurück.Ich werde das Netzteil BN341 (PP12M 550W) nehmen und den von dir vorgeschlagenen PCIe X1 M.2-Adapter für meine zweite NVMe.Den zweiten PCIe X1 Slot lasse ich vorerst unbenutzt, um ihn später ggf. mit einer ASM1166 zu bestücken.Eine größere HDD ist immer eine Option, dachte nur es wäre nachhaltiger, die vorhandenen HDD zu nutzen, wobei HDD 5-6 wahrscheinlich nicht zum Einsatz kommen.
June 11, 20251 yr Author 44 minutes ago, _alo_ said:Ich glaube, Du hast das Thema noch nicht ganz verstanden.Dazu finden ich den Austausch in solchen Foren gut, da es auch immer implizit um Wissensvermittlung geht.Danke dafür.
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.