Hilfe bei erstem Setup und Konfig Disks

[Tommi]

Hallo,

 

ich bin Neuling in Sachen Unraid - das vorweg

Komme aktuell von Proxmox und habe mir nun diese Konfig bestellt.

 

- ASRock Z790 pro RS DDR5

- Intel i5 13500T 1,6 Ghz

- 32 GB Kingston Fury Beast

- 2x Crucial P3 NVMe M.2

- 3x Seagate IronWolf Pro 4TB

 

Noch vorhanden optional: 2x 10TB Seagate Disks + 2x 2TB WD Disks

 

Anforderung:

Migration der Proxmox VMs und der LXC Docker auf Unraid (ca. 500GB Daten, überwiegend InfluxDB aus HomeAssistant und diverse andere Home Automation Container)

Nutzung der NAS Funktionalitäten für File -Ablage und Backup (TimeMachine, etc.)

Die Grundlegende Frage ich mir gerade stelle, wie ich die Pools aufbaue

 

• Die Bestellung ging auf der Annahme, dass ich eine NVMe dediziert für den Datastore der aktiven VMs und Docker Container verwende (Steckplatz 1 an der CPU) und die zweite NVMe als Cache für den Datastore der NAS (Steckplatz 2 am Chipsatz

 

• Welches Filesystem ist hier zu empfehlen? Ich komme von ZFS unter Proxmox.  Dies scheint bei Unraid aufgrund der Spindown Thematik nicht die erste Wahl sein.

 

• Soll ich noch weitere NVMe´s konfigurieren? evt. für den Cache oder als Redundanz? Hätte noch 2 NVMe Steckplätze auf dem Board zur Verfügung.

 

• Dann die Frage, ob ich eine der 10TB Disken als Parity definieren soll in dem 3x4TB Array? Würde sich nach meinen Recherchen hin anbieten. Liege ich da richtig?

 

Könnt ihr mir hierzu bitte eine Empfehlung geben?

Danke für eure Hilfe!

Tommi 

 

[saber1]

35 minutes ago, Tommi said:

Welches Filesystem ist hier zu empfehlen?

Einzelne Disks als XFS. Sowohl im Array als auch in einem Pool.

 

36 minutes ago, Tommi said:

Soll ich noch weitere NVMe´s konfigurieren? evt. für den Cache oder als Redundanz?

Ist ganz Dir überlassen.

Falls Du das obere Szenario mit einer Disk im Pool (XFS) nutzt, solltest Du, sofern Dir die Daten wichtig sind, eine geeignete Backup-Strategie haben/umsetzen.

Aber natürlich kannst Du auch zwei (oder mehr) Disks einem Pool zuweisen. In dem Fall würde ich dann ZFS wählen.

Zu BTRFS findest Du leider recht viele Problemmeldungen hier im Forum.

 

Mein Cache läuft mit zwei NVMe (2x 2TB) als ZFS.

 

39 minutes ago, Tommi said:

Liege ich da richtig?

Absolut. So bist Du halt gegen den Ausfall einer Datendisk geschützt.

[DataCollector]

13 minutes ago, Tommi said:

Komme aktuell von Proxmox und habe mir nun diese Konfig bestellt.

- ASRock Z790 pro RS DDR5

- Intel i5 13500T 1,6 Ghz

- 32 GB Kingston Fury Beast

- 2x Crucial P3 NVMe M.2

- 3x Seagate IronWolf Pro 4TB

 

Okay, das Kind liegt also schon im Brunnen, somit macht es keinen Sinn nahezu alle Komponenten der gewählten Hardware zu kommentieren. 🤢

 

13 minutes ago, Tommi said:

Anforderung:

Migration der Proxmox VMs und der LXC Docker auf Unraid (ca. 500GB Daten, überwiegend InfluxDB aus HomeAssistant und diverse andere Home Automation Container)

 

Ob Du die migrieren kannst weiß ich nicht. Aber schlimmstenfalls kann man die gleichen Docker in unraid neu (fast identisch) erstellen.

 

13 minutes ago, Tommi said:

Die Grundlegende Frage ich mir gerade stelle, wie ich die Pools aufbaue

• Die Bestellung ging auf der Annahme, dass ich eine NVMe dediziert für den Datastore der aktiven VMs und Docker Container verwende (Steckplatz 1 an der CPU) und die zweite NVMe als Cache für den Datastore der NAS (Steckplatz 2 am Chipsatz

 

ja, Du kannst 2 getrennte Pools nutzen und deren Zuordnung zu Shares unterschiedlich einstellen.

 

13 minutes ago, Tommi said:

• Welches Filesystem ist hier zu empfehlen? Ich komme von ZFS unter Proxmox.  Dies scheint bei Unraid aufgrund der Spindown Thematik nicht die erste Wahl sein.

 

Bei einzelnen Datenträgern nutze ich xfs. Ich brauche keine Snapshots.

zfs ist (in meinen Augen) sinnvoll, wenn man in einem Pool mehrere Datenträger verbinden will. Also sowas wie ein Raid0, 1, 5 oder 6 mit mehreren SSDs  oder Festplatten erreichen will. Aber das ist ja nicht Dein Anwendungszweck. Also würde ich xfs nehmen.

 

13 minutes ago, Tommi said:

• Soll ich noch weitere NVMe´s konfigurieren?

 

Was Du erzielen willst mußt Du wissen. Wenn Du die bisherige Idee verfolgst hast Du keinr Ausfallsicherheit. Wenn Deine Daten in den Pools/Caches aber auch nicht so lebenswichtig sind, sollte ein gelegentliches Backup der Daten auch reichen um im Falle eines Ausfalles den zuletzt gesicherten Stand wieder einzuspielen und damit weiter zu arbeiten.

 

 

13 minutes ago, Tommi said:

• evt. für den Cache oder als Redundanz? Hätte noch 2 NVMe Steckplätze auf dem Board zur Verfügung.

 

Du kannst natürlich jeden der beiden Pools auch als raid1 mit zfs erstellen und hast dann Ausfallsicherheit, wenn einer der Datenträger eines Verbundes verstirbt. Das hängt eben davon ab, wie wichtig die Daten sind. In einer Firmenumgebung, bei der bei einem Ausfall das Personal arbeitslos idle rumsteht und auf Reparatur und Wiedereinspielung der Daten warten muß: absolut Redundanz und zusätzliche Backups sind wichtig.

Im Privatumfeld.... naja, das ist dann eben Geschmackssache.

 

13 minutes ago, Tommi said:

• Dann die Frage, ob ich eine der 10TB Disken als Parity definieren soll in dem 3x4TB Array? Würde sich nach meinen Recherchen hin anbieten. Liege ich da richtig?

 

Wenn Du auch im array eine Ausfallsicherheit gegen 1 oder 2 Disks haben willst, brauchst Du auch eine oder 2 Paritydisks.

Diese Paritydisk(s) müssen je mindestens so groß sein, wie die größte Datendisk im Array.

Natürlich KANNST Du eine 10TB Parity nutzen um 3x4TB im Array zu sichern. Aber irgendwie verstehe ich dieses Konstrukt nicht (da bin ich dann leider doch wieder oben bei der schon getätigten Bestellung der ganzen Komponenten, die in meinen Augen eine mehr als fragliche Wahl darstellen).

 

Wenn Du 3x4TB im Array haben willst  und sagen wir mal keine Parity, wären das 12 TB Nutzkapazität.

Du hast angeblich schon 2x10TB optional.

Warum die 3x4TB kaufen, wenn Du einfach die beiden 10TB ins Array steckst und nur eine beliebige 2 -10 TB große Disk dazu kaufen könntest?

 

3x4TB Seagate Ironwolf Pro  kosten zusammen aktuell zwischen ca. 321 und 645 Euro laut geizhals:

https://geizhals.de/?cat=hde7s&asuch=pro&v=e&hloc=de&sort=r&bl1_id=30&xf=1080_SATA+6Gb%2Fs~13810_4000~13811_4000~8457_non-SMR~957_Seagate

 

Eine einzige Festplatte im Bereich 2TB bis 10TB zugekauft (anstatt der 3x4TB) würde dann zwischen 2TB (ab 100 Euro) und 10TB (ab 248 Euro) wegkommen. Selbst eine 10TB Seagate Ironwolf Pro NAS würde für "nur" nur 280 über die Theke gehen.

Das wären dann eben 12 bis 20TB Nutzkapazität mit nur 3 Festplatten und erheblich billiger als diese 3x4TB neu zuzukaufen..

 

Oder Du kaufst eine 18TB für die Parity und schnappst sie Dir aus einem der Sonderangebote für rund 250 Euro oder normal rund 265 Euro.

Dadurch hast Du auch einen geringeren Stromverbrauch, wenn Du nur 3 statt 4 oder noch mehr Festplatten einsetzt und kommst auch billiger weg...

Auch brauchst Du dann nicht so viele SATA Ports und kannst einfacher erweitern, wenn es doch eng wird.

 

 

Wenn ich in dieser Situation wäre:

Alle oben genannten Bestellungen stornieren (sofern Du das Zeugs zum normalpreis kaufst und man sie Dir nicht extreeeeeeem günstig verscherbelt).

Dann erst einmal mitteilen, wieviel Nutzkapazität man wirkllich in diesem ersten Step haben will und wohin diese Reise vielleicht gehen soll.

Besonderheiten nicht vergessen (spezielle Steckkarten oder so), begrenzter Geldbeutel...

Dann kann man vielleicht bessere/billigere/stromsparendere Vorschläge machen aus den man sich dann das heraussucht, was wirklich sinnvoll ist.

[Tommi]

Danke für die Antworten.

Die 10TB Disks haben 5 Jahre auf dem Buckel und fallen nun zum 3ten Mal aus und wurden von Seagate heuer nochmal getauscht.

Ich traue den 10TB Disks einfach nicht, daher hätte ich sie maximal als Parity eingesetzt, da ich hier dann eine zweite zur Hand hätte die ich auch kurzfristig tauschen kann bei Bedarf.

Die Kapazität von 3x4TB reicht mir. Vorher hatte ich in Summe 2x10TB in einer Syno als Mirror. 

Das die Komponenten was gekostet haben, ist mir klar. Ich möchte halt ein neues System bei dem ich nicht ständig mit altersbedingten Ausfällen rechnen muss.

 

Mein primärer Fokus liegt auf Performance für die VMs und den Containern und das ich den Proxmox ablöse. Zumindest versuche ich es mit Unraid, in der Hoffnung das es ein adekquater Ersatz ist für die Eingestaubte Syno und den NUC.

 

[DataCollector]

Just now, Tommi said:

Die 10TB Disks haben 5 Jahre auf dem Buckel und fallen nun zum 3ten Mal aus und wurden von Seagate heuer nochmal getauscht.

 

Festplatten unter unraid werden im normalen Szenario erheblich weniger beansprucht werden, weil sie ja in der Regel im Array sind und die meiste Zeit schlafen.

Und wenn die gerade frisch getauscht (refurbished) sind sind die noch für lange Zeit brauchbar.

Die meiste Last liegt auf der Parity und wenn man dort die neueste Festplatte einsetzt sehe ich da kein Problem.

 

Just now, Tommi said:

Ich traue den 10TB Disks einfach nicht, daher hätte ich sie maximal als Parity eingesetzt,

Gerade die Parity hat die meiste Last. Genau dort würd eich ausfallgefärdete Datenträger nicht einsetzen.

Aber warum vertraust Du refurbished Festplatten nicht?

Ist setze sowas sogar in meinen Windows Hardwarerraid-Systemen ein bei denen die Platten nie in den schonenden Spindown gehen.

 

Just now, Tommi said:

Die Kapazität von 3x4TB reicht mir.

3x4TB ohne Parity oder 3x4TB mit Parity. Wieviel Nutzkapazität willst Du im ersten Step haben?

 

Just now, Tommi said:

Vorher hatte ich in Summe 2x10TB in einer Syno als Mirror. 

 

Also reichen Dir 10TB. Ohne Parity reicht da eine einzige Festplatte. Da Du sowieso mindestens 320 Euro dafür eingeplant hast:

1x18TB wie gesagt zwischen 250 und 265 Euro. Spart Strom gegenüber 3 Disks.

 

Just now, Tommi said:

Das die Komponenten was gekostet haben, ist mir klar. Ich möchte halt ein neues System bei dem ich nicht ständig mit altersbedingten Ausfällen rechnen muss.

 

Ich sage nichts gegen den Neukauf von passenden Komponenten.

Aber ein T-Prozessor. das DDR5 Mainboard, ein Overclocker Speicher und dazu noch genau diese NVMe SSDs neu kaufen?

Wäre nicht so meins. Keine dieser Komponeten wäre in meinen Augen für mich geeignet.

Aber das kann zum Glück jeder selber entscheiden.

Ich hoffe Du wirst damit glücklich.

 

Just now, Tommi said:

Mein primärer Fokus liegt auf Performance für die VMs und den Containern und das ich den Proxmox ablöse.

 

Und dafür nimmst Du einen eingedrosselten T-Prozessor? 😔

Die billigere Type ohne T kann man auf den meisten Mainboards auch im UEFI/BIOS eindrosseln, aber wenn man eben doch merkt, daß er etwas zu wenig Damof hat, muß man den nicht gleich ausbauen, sondern die Drosselung einfach mindern/abschalten.

Und meinst Du wirklich bei einer eingedrosselten CPU macht sich der Unterschied von 32GB DDR5 Overclocker-RAM gegenüber billigerem 32GB DDR4-Normal-Ram wirklich in einer VM bemerkbar?

 

Just now, Tommi said:

Zumindest versuche ich es mit Unraid, in der Hoffnung das es ein adekquater Ersatz ist für die Eingestaubte Syno und den NUC.

 

Sagen wir so, mit unraid kannst Du alles konsolidieren. Eine eingestaubte Syno wird leistungsmäßig garantiert übertroffen. Was Du bei dem NUC hast weiß ich nicht. Aber ob Dich die Hardwarewahl dann nicht bald in den Hintern beißt...

 

Die Fragen zu den Array/Pools wurden beantwortet.

 

Den Sinn der Hardwarewahl kann ich beiweitem nicht erkennen (auch nicht mit den nachgelieferten Infos). Mein Kommentar dazu war von mir nur als ein freundlicher Hinweis gedacht um vielleicht noch etwas zu retten. Bitte nicht böse sein.

Solltest Du die Hardware doch mal genauer diskutieren wollen, ein neues Thema aufmachen und ausreichend Details liefern, dann kann man da genaueres sagen.

 

In jedem Fall: wenn Dir Deine Daten wichtig sind: Mache ausreichend oft Backups.

 

Ich bin raus. Und viel Spaß! 🙂

[marhal]

Hallo alle zusammen, 

 

eine Frage hätte ich doch an @DataCollector. Was wäre den Hardware Vorschlag gewesen,  wenn die Anforderung min 12 Festplatten und zwei NVME beinhalten müsste ?

Wäre das ältere ASRock Z690 PG Riptide eine Option ?  Mit welchen Prozessor würdest du nehmen?

 

VG

Marhal 

[alturismo]

2 minutes ago, marhal said:

eine Frage hätte ich doch an @DataCollector. Was wäre den Hardware Vorschlag gewesen,  wenn die Anforderung min 12 Festplatten und zwei NVME beinhalten müsste ?

 

wenn du jemanden pingen willst dass der dies auch sieht musst du auch auf den aufpoppenden Namen klicken ...

 

sieht dann auch anders aus ... @DataCollector

[DataCollector]

1 hour ago, marhal said:

Was wäre den Hardware Vorschlag gewesen,  wenn die Anforderung min 12 Festplatten und zwei NVME beinhalten müsste ?

 

Ich fasse zusammen:

Anforderung:
Ein paar VM (unbenannter Verwendung, deshalb gehe ich vom Leistungsprofil einfachee Bürotätigkeiten aus.)
500GB InfluxDB aus HomeAssistant
und Home Automation.
+ NASfunktion mit 12 Festplatten

+ 2 NVMe SSD (unbekannter Verwendung)

 

Das läßt sich mit der Standardempfehlung abgdecken:

Ein B760 Mainboard + CPU mit iGPU + 2 ASM1166 Zusatzkontroller + 1-2 DDR Ram + ein Rudel Kabel + Netzteil + 2 NVMe

 

Als erster Diskussionsaufschlag:

- Gigabyte B760M-DS3H-DDR4  (1x PCIe 4.0 x16 + 2x PCIe 3.0 x1 + 2x M.2/M-Key (PCIe 4.0 x4, 2280) ) aktuell ca. 105 Euro

- Intel Core i3-12100, 4C/8T, 3.30-4.30GHz, boxed (incl. Kühler) (BX8071512100) aktuell ca. 120 Euro (wenn man einen Kühler für unter 15 Euro bekommt, ist auch die Tray Version für 105 Euro interessant)

- 1 oder mehr Mushkin Essentials DIMM 32GB, DDR4-2666, CL19-19-19-43 (MES4U266KF32G) für je 56 Euro

-  be quiet! Pure Power 11 FM 550W ATX 2.52 (BN317) oder so. Ca. 116 Euro

- 2x ASM1166 Steckkarte mit PCIe x1 Anschluß. beispielsweise: 

https://de.aliexpress.com/item/4000979700492.html
Hier die "E 1xPCI-E to 6 Port" Variante wählen: aktuell 26,20 Euro/Stück.   {Wenn schnelle Festplatten, dann pro Kontroller nur max. 4 Festplatten ins Array}

- 2 NVMe SSD. Smasung 970 Evo plus (1TB oder 2TB) sind eigentlich keien falsche Wahl. Sollte man massiv viele Daten in kurzer Zeit da rein pressen wollen habe ich mit den AData Legend 960 (auch als max zu haben) 4TB sehr gute Erfahrungen gemacht. Leider steigen die Preise für sowas schon wieder. Ich habe die noch für je 200 Euro bekommen, Aktuell 4TB  >300 Euro.

 

Man sollte auch bedenken: falls man hier 12 kleine Festplatten verwenden will ist das möglich schluckt aber mehr Strom als wenige kleine Festplatten.

Auch interessant: Steckkarten/Zusatzkontroller können die niedrigen Ernergiesparmodi (C-Sates) beeinflussen. Aber bei 12 Festplatten sind die paar Watt wohl eher egal.

 

Sollte man mehr Rechenpower oder CPU Kerne wünschen kann man sich aus dem Portfolio der S1700 CPUs bedienen.

"T" Prozessoren sind meist teuerer und einfach nur in Hardware gedrosselt. Wenn an eien normale CPU nimmt, kann man bei den meisten Mainboards die normalen CPUs auch im BIOS/UEFI eindrosseln. Drosselungen bremsen natürlich die Performance der VM/Docker ein.

"F" Prozessorfen haben keine eingebaute GPU (iGPU). Das mact bei unraid keinen wirklichen Sinn. Bevorzugt CPU mit iGPU wählen!

"K" Prozessoren sind unlocked. Hier könnte man overclocken. Übertakten macht für eine NAS, welches lange unbeobachtet stabil laufen soll keinen Sinn. Diese SPUs kann man wählen, sollte sie aber dennoch im Normalbetrieb verwenden.

 

 

1 hour ago, marhal said:

Wäre das ältere ASRock Z690 PG Riptide eine Option ?

 

Mit dem Mainboard hast Du zwar mehr PCIe Steckplätze, wirst aber aufgrund der 8 OnBoard SATA Ports dennoch mindestens einen Zusatzkontroller verwenden müssen, der Dir die C-States vermiest.

Auch sehe ich in dem Z-Chipsatz und den zusätzlichen features einen etwas größeren Stromverbrauch.

Wenn Du dies akzeptierst und die zusätzlichen Mainboardfeatures brauchst, kann man auch das Mainboard nehmen.

Der dort vorhandene PCIe x16 (elektrisch x4) Slot hat den Charme, daß man einen ASM1166 mit einem normalen x4 Anschluß (elektrisch x2) einsetzen kann und dort auch bis zu 6 Festplatten im Array gleichzeitig performant (>250MByte/s) nutzbar sind.

 

1 hour ago, marhal said:

 Mit welchen Prozessor würdest du nehmen?

 

Das hängt eben stark von der gewünschten Leistungsfähigkeit ab. Wenig VM/Dockerleistung erforderlich: I3 12100 ist sehr preiswert, kommt als boxed mit Kühler und ist mit seinen 4C 8 Threads schon ganz gut.

Wenn man unbedingt mehrere VM gleichzeitig haben will oder auch darin etwas mehr Leistung braucht: I5-12400 wäre die nächste preiswerte Stufe mit 6 Kernen und 12 Threads. etc...

[marhal]

Vielen Dank für die schnelle und auch super ausführliche Erklärung. Das hat mir schon in meine Entscheidungsfindung echt geholfen. 

Ich hätte noch einmal eine Frage zum Stromverbrauch, was ja das Hauptziel unteranderem ist. 

 

Die Daten würde ich in einem Cache auf der NMVe aufbewahren. So das die Festplatten halt in Spin Down gehen können. Und den Mover so einstellen das er alles was X Tage ist auf die Festplatten verschieben soll, da der Zugriff darauf eh selten ist. 

 

3 hours ago, DataCollector said:

Auch interessant: Steckkarten/Zusatzkontroller können die niedrigen Ernergiesparmodi (C-Sates) beeinflussen. Aber bei 12 Festplatten sind die paar Watt wohl eher egal.

Hier würde ich halt deine Empfehlung nachgehen, und jeweils nur 4 Festplatten anschließen. Mich würde interessieren ob es ein Erfahrungswert gibt, Wieviel die Karten zusätzlich an Strom verbrauchen.

 

VG

Marhal

[DataCollector]

18 minutes ago, marhal said:

Hier würde ich halt deine Empfehlung nachgehen, und jeweils nur 4 Festplatten anschließen.

Das kommt eben auf die (leider unbekannten) Festplatten an.

Wenn Du da ein Konvolut vieler kleiner, alter, langsamer Festplatten dran betreibst, die die von mir veranschlagten 250MByte/s pro Festplatte nicht im Ansatz schaffen, kannst du auch 5 oder gar 6 der Festplatten an den Kontroller anschließen.

Jede der Steckkarten behersrcht eben maximal 1GByte/s.

Diese 1GByte/s teilst Du einfach durch die Anschlüsse/Festplatten die Du anschließen willst und weißt wie flott das werden kann, wenn die alle gleichzeitig benutzt werden.

 

Funfact:

Ich rede hier von Festplaten im Array, weil diese ja im schlimmsten Falle (Parityerzeugung/-check/-turbowrite) alle gleichzeitg laufen und möglichst schnell ihre Dtaen liefern sollten.

Du kannst die freibleibenden Anschlüsse aber problemlos für denn einen oder anderen Pool verwenden, der eben nicht gleichzeitig zur Vollast des Array benutzt wird.

 

18 minutes ago, marhal said:

Mich würde interessieren ob es ein Erfahrungswert gibt, Wieviel die Karten zusätzlich an Strom verbrauchen.

Diese Karten selber können je mit 2 Watt veranschlagt werden.

Aber sie können die C-States der CPU negativ beeinflussen, was dann noch einmal verhindert, daß dei CPU in die tiefsten C-States eintauchen kann. Aber ob die CPU nun im C10 oder C8 döst dürften geschätzt vielleicht auch nur 1-4 Watt ausmachen.

Selbst C3 läßt die CPU dann nicht auf 50 Watt hoch schnellen.

Aber genauere Werte kann man nur am aktuell aufgebauten System messen. Das sind alles Schätzungen.