Hallo liebe Community,

Ich habe nun schon einige Jahre Unraid stabil und erfolgreich am laufen. Mein Server setzt dabei verschiedene Dienste im Netzwerk um:

• ca. 10TB an Daten

• Verschiedene Container fürs Homelab (Adguard, Immich, Paperless...)

• Home Assistant als VM

• Einige VM`s für Testzwecke (Windows Server, Windows 11..)

Aktuell habe ich folgende Konfiguration am laufen:

Array mit folgenden Festplatten

• 1 x 10TB

• 1 x 8TB

• 2 x 4TB

Dazu ein SSD Pool mit 2 x 2TB SSD.

Da meine Festplatten schon in die Jahre gekommen sind und sich die Daten, Filme und Fotos weiter ansammeln, habe ich mir neue Festplatten bestellt.

• 5 x 8TB Ironwolf Pro

• 2 x 2TB NVME

Die beiden SSD`s würde ich gerne weiter behalten um dort VMs und Container drauf laufen zu lassen. Dazu hätte ich noch eine 500GB SSD in der Schublade liegen, die ich auch mit einsetzen könnte, wenn es Sinn ergibt.

Da ich zuhause ein 10G Netzwerk habe möchte ich nun herausfinden, wie ich die Festpatten am besten neu Einsetzt um maximale Geschwindigkeit gepaart mit guter Ausfallsicherheit zu haben. Da kommt eure Erfahrung ins Spiel.

Könnt ihr mir ein paar Tipps geben, wie ihr in meiner Situation fortfahren würdet?

Eine kleine Info noch: Alle Daten wurden gesichert und die wichtigsten VMs wurden ausgelagert um einmal neu Starten zu können.

Grüße Andre

1 hour ago, Rayman87 said:

Da ich zuhause ein 10G Netzwerk habe möchte ich nun herausfinden, wie ich die Festpatten am besten neu Einsetzt um maximale Geschwindigkeit gepaart mit guter Ausfallsicherheit zu haben. Da kommt eure Erfahrung ins Spiel.

Für 10G kann ich aus Erfahrung nur empfehlen, die Netzwerkkarte, sowie auch die NVMe(s) mit mindestens PCI3.0x2 anzubinden. PCIe3.0x1 ist zwar auch nah an 1GB/s, aber es ist zu nah an der Grenze, d.h. die Übertragungsrate bricht oft ein, siehe hier. Bei PCIe4.0 bist du ab x1 auf der sicheren Seite.

Auf welchem Board/System soll das ganze denn laufen (hat das überhaupt genug Anschlussmöglichkeiten für all die Laufwerke)?

Ist Stromsparen für Dich ein Thema (dann weniger Laufwerke einbauen, z.B. 3x 20TB statt 5x 8TB - kostet das gleiche, belegt weniger Ports, verbraucht weniger Strom und bietet 8TB mehr Speicher)?

Ansonsten bin ich durchaus ein Fan von Raid1 für die Pools.....

Beim Array reicht m.M.n. eine parity. Lieber mehr externe Backups vorhalten....

1 hour ago, Rayman87 said:

Da meine Festplatten schon in die Jahre gekommen sind und sich die Daten, Filme und Fotos weiter ansammeln, habe ich mir neue Festplatten bestellt.

• 5 x 8TB Ironwolf Pro

• 2 x 2TB NVME

Da ich zuhause ein 10G Netzwerk habe möchte ich nun herausfinden, wie ich die Festpatten am besten neu Einsetzt um maximale Geschwindigkeit gepaart mit guter Ausfallsicherheit zu haben. Da kommt eure Erfahrung ins Spiel.

Wenn DU die festplatten weiter im klassichen unraid Array verwenden willst, hast Du dort weiterhin nur die Lesegeschwindigkeit der jeweilig angesprochenen Festplatte.

In einem solchen Array mit Parity hast Du im Array auch weiterhin nur die Schreibgeschwindigkeit von ca., 33-50% der Partity. Ha ändern auch andere Festplatten nichts dran.

Ohne Parity liegt dei Schreibgescjhwindigkeit bei fast 100% der jeweilig benötigten festplatte (genau wie beim lesen).

Wenn Du mehr Geschwindigkeit mit mechanischen Festpletten willst, aber dafür die Stropmsparmöglichkeiten verlieren willst kannst Du die Festplatten in einem/mehrerenb Pools zu Raid zusammenfassen.

1 hour ago, Rayman87 said:

Könnt ihr mir ein paar Tipps geben, wie ihr in meiner Situation fortfahren würdet?

Ich würde weiterhin das klassische unraid Array nehmen (wegen dem Stromsparen). Wenn Ausfallsicherheit dort gewünscht ist mit Parity (größte+schnellste mechanische Platte).

Dann eine NVMe SSD als xfs Singledatenträger in einem eigenen Pool und diesen in den Shares als Cache dem Array vorgeschaltet.

Die zweite NVMe SSD ist in der Konstellation nicht erforderlich und braucht somit auch nicht mitlaufen und Energie in Wärme umsetzen..

Hallo ihr beiden,

erstmal danke für eure Infos und Tipps.

Im Vorfeld noch von mir die Info, dass Stromsparend nicht nötig ist.

Zu Euren Anliegen:

17 minutes ago, _alo_ said:

Für 10G kann ich aus Erfahrung nur empfehlen, die Netzwerkkarte, sowie auch die NVMe(s) mit mindestens PCI3.0x2 anzubinden. PCIe3.0x1 ist zwar auch nah an 1GB/s, aber es ist zu nah an der Grenze, d.h. die Übertragungsrate bricht oft ein, siehe hier. Bei PCIe4.0 bist du ab x1 auf der sicheren Seite.

Eine NVME ist über PCI4.0 und eine über PCI3.0x2 angebunden. Die 10G Karte ist PCI x8

28 minutes ago, _alo_ said:

Auf welchem Board/System soll das ganze denn laufen (hat das überhaupt genug Anschlussmöglichkeiten für all die Laufwerke)?

Ist Stromsparen für Dich ein Thema (dann weniger Laufwerke einbauen, z.B. 3x 20TB statt 5x 8TB - kostet das gleiche, belegt weniger Ports, verbraucht weniger Strom und bietet 8TB mehr Speicher)?

Ansonsten bin ich durchaus ein Fan von Raid1 für die Pools.....

Beim Array reicht m.M.n. eine parity. Lieber mehr externe Backups vorhalten....

Wie schon geschrieben, ist der Stromverbrauch etwas zu vernachlässigen. Die Festplatten sind auch schon alle Zuhause :-) Ich habe 4 SATA Ports auf meinem Board und einen Zustzcontroller auf PCI x4 Basis verbaut. Der funktioniert auch schon jetzt zuverlässig seit einigen Jahren.

25 minutes ago, DataCollector said:

Wenn DU die festplatten weiter im klassichen unraid Array verwenden willst, hast Du dort weiterhin nur die Lesegeschwindigkeit der jeweilig angesprochenen Festplatte.

In einem solchen Array mit Parity hast Du im Array auch weiterhin nur die Schreibgeschwindigkeit von ca., 33-50% der Partity. Ha ändern auch andere Festplatten nichts dran.

Ohne Parity liegt dei Schreibgescjhwindigkeit bei fast 100% der jeweilig benötigten festplatte (genau wie beim lesen).

Wenn Du mehr Geschwindigkeit mit mechanischen Festpletten willst, aber dafür die Stropmsparmöglichkeiten verlieren willst kannst Du die Festplatten in einem/mehrerenb Pools zu Raid zusammenfassen.

Ich würde hier tatsächlich zu einem Pool auf raidz1 Basis tendieren. Dazu vorgeschaltet die NVME als Cache.

Hier die Frage, ob es sinn machen, beide 2TB NVME als Cache zu nutzen.

4 hours ago, Rayman87 said:

Ich würde hier tatsächlich zu einem Pool auf raidz1 Basis tendieren. Dazu vorgeschaltet die NVME als Cache.

Ich habe bisher noch keinen zfs Pool mit 3 oder mehr Festplatten (Raid5/6) aufgebaut ... ich werdende aber unter Windows hardearerraid (Broadcom) mit bis zu 12 festplatten in einem raid6 und ja:
Raid5/6 kann auchg mit vielen Datenträgern (Festplatten) so flott werden, daß es 10Gb/s Lan sättigen kann.

Da Du aber eben eine NVMe vorschalten willst, würde sich das bei Dir nur lesend wirklich auswirken, weil Schreibzugriffe ja auf die NVMe SSD gehen, die dann später iden Pool moven köönte.

4 hours ago, Rayman87 said:

Hier die Frage, ob es sinn machen, beide 2TB NVME als Cache zu nutzen.

2x 2TB NVM in einem Pool zusammengescahltet als Raid0: das macht Sinn, wenn Du gedenkst wirklich schnell Datenmengen >3,9TB in unraid rein zu pressen, bevor ein Mover die in Deinen zfs Festplatten Pool verschieben will.

2x 2TB NVMe in einem Pool zusammengescahltet als Raid1: Ich bin da kein Fan von, aber ja,. es gibt einige Leiute, die meinen, daß ihre Daten so extrem wichtig sind, daß die Ausfallsicherheit unbedingt noitwendig ist, da die Beatmungsmaschien der oma dran hängt oder so... ja, dann ist auch das anzuraten. Für noermale Privatanwender sehe ich raid1 eher als Luxusspielereio und als nicht wirklich NOTwendig an.

2x NVMe SSD in je einem eigenen Pool getrennt aber jede als Cache im Rahmen eines (anderen) shares: Ja, das mache ich. Eine NVMe SSD bedient die shares für die Systemverzeichnisse (system, appdata...),

die andere NVMe SSD ist weitaus größer (4TB) und dient eben als Cache für die shares in denen ich meine eigenen Nutzdaten platziere (weil ich eben doch des öfteren über 10Gb/s Lan Mengen > 3,xTB in einem Rutsch in mein unraid rein presse).

Danke für deine Ausführungen.

Dann wäre für mich jetzt eigentlich ratsam folgendes auszuführen:

• Raidz1 Pool mit den 5 x 8TB Festplatten ohne Cache Laufwerk

• je eine NVME Pool als Cache für einzelne Shares

Bei deinen ersten beiden Ausführungen zu den NVME gebe ich dir recht und sehe ich auch als nicht wirklich praktikabel an.

Wie denkst du über die Planung, dass ich meine beiden 2TB SSD im Raid1 als Pool für die Container und VMs nutze?

19 minutes ago, DataCollector said:

2x 2TB NVMe in einem Pool zusammengescahltet als Raid1: Ich bin da kein Fan von, aber ja,. es gibt einige Leiute, die meinen, daß ihre Daten so extrem wichtig sind, daß die Ausfallsicherheit unbedingt noitwendig ist, da die Beatmungsmaschien der oma dran hängt oder so... ja, dann ist auch das anzuraten. Für noermale Privatanwender sehe ich raid1 eher als Luxusspielereio und als nicht wirklich NOTwendig an.

ja ich bin da Fan von, warum?

weil ich:

• einen schnellen Cache zum Reinpumpen von großen Mengen über 10G haben möchte

• ein "sicheres" Array mit Parity haben möchte

• aus stromspargründen das Array nur möglichst selten laufen soll, deshalb bei mir der Mover nur nachts läuft

• die Daten auf dem Cache solange auch möglichst sicher sein sollen

Um den cache auch möglichst sicher gegen Hardwareausfall zu bekommen, sehe ich hier halt nur zwei Möglichkeiten:

1. mover intervall maximal klein stellen, damit möglichst sofort verschoben wird --> hoher Stromverbrauch durch das Array --> Datenverlust bei Ausfall minimiert aber trotzdem vorhanden

2. RAID1 nutzen --> ?

Ich weiß nicht, wieso es beim Cache immer gleich um lebenswichtige Dinge gehen muss (unwiederbringliche Fotos z.B. finde ich persönlich auch wichtig!) , aber beim Array ist es völlig ok, wenn man parity-Platte(n) einsetzt oder ein Hardware-RAID. Warum macht ihr das dann noch? Ihr habt doch Backups.... was ist denn da schon wichtiges drauf?

Gibt es außer dem Preis und dem "vergeudeten" Slot noch weitere Nachteile von Raid1 für den Pool?

P.S.: wirklich lebenswichtig ist die ganze unraid-Kiste nicht, das ist insgesamt pure Luxusspielerei und nicht NOTwendig, egal ob mit Raid1 oder ohne! 😉

aber jeder wie er mag

@_alo_

Gute Sichtweise :-)