HW Zusammenstellung für Unraid / Proxmox Server [NVME M.2 Problem - Black Screen]

[philvomgrill]

Hallo an alle!

Ich habe hier die letzten Monate viel gelesen mit dem Ziel einen neuen und vor allem effizienten All-in-one Server zusammenzustellen.

Der Server soll auch meinen stromsparenden ESXi (J5005) und mein betagtes 2-Slot Synology NAS ersetzen. Das Ganze ist schon Jahre überfaellig, da meine Daten ebenso auf vielen unterschiedlichen nicht-redundanten Rechnern / Festplatten verteilt sind, da das NAS zu wenig Speicherplatz hat. Ich bin mir noch unschlüssig, ob ich darauf evtl auch noch OPNsense unterbringe (derzeit Ubiquiti Dream Machine), indem ich eine passende Intel NIC dazu stecke. Das ist aber erst einmal nicht wichtig. Der kleine ESXi könnte dann in Zukunft als Backup Server fungieren, indem ich zwei passende Platten im RAID1 dazustecke. Alternativ könnte ich evtl mit einem Raspi4 4GB und zwei USB Platten im RAID1 eine Backup Lösung realisieren.

 

Mein Ziel war es bis jetzt eigentlich einen Proxmox Server aufzusetzten mit ZFS und Full Disk Encryption sowie VMs und LXC Container. Darauf bin ich vor allem durch die Youtube Videos von Christian Zengel (sysoptv) gekommen. In Verbindung mit einem Proxmox Backup Server würden die Daten bereits auf dem PVE verschlüsselt und zum PBS übertragen, der sich dann im Keller befinden soll. (Verschlüsselung erwünscht wg. Einbruch, Diebstahl (Keller ist in einem Mehrfam. Haus, nicht sonderlich gut geschützt), hatte hier im Forum auch mal gelesen, dass es möglich sei den Key auf einen Cloudspeicher zu legen, Entschlüsselung geschieht automatisch sofern der Key auf dem Cloudspeicher vorhanden ist, alternativ kannte ich bislang nur die Lösung per Dropbear (ssh Passwort Eingabe), die mir auch gefällt bei einem möglichen Reboot. Da die ausgewählte CPU "nur" 64GB RAM unterstützt und ich das aufgrund der HDD Kapazität auch brauchen werden bin ich mir gar nicht mehr soo sicher, ob meine angenommene Idealvorstellung wirklich das Richtige für mich ist. Zugleich habe ich Angst bekommen wie hoch die Kosten werden wenn ich einen W... Xeon auswähle, noch mehr RAM etc.... Ich habe hier sehr viel Hilfreiches in Richtung Effizienz, vor allem von @mgutt und den von ihm erstellten FAQs gefunden und aufgesaugt. Vor allem daraus resultierend folgende derzeitige Aufstellung (bis jetzt noch nichts bestellt, nicht zuletzt aufgrund der Preise/Verfügbarkeiten) und hoffe, dass ich hier noch den einen oder anderen Tip, Korrektur von Auffälligkeiten mitnehmen kann bevor ich endlich alles bestelle:

 

 

Hardware bis jetzt

• 1x GIGABYTE C246M-WU4 (270€ Amazon US inkl. Zoll etc über amazon.de)
• 1x Intel Core i3-9100 (150€ snogard)
• 1x Corsair RMx Series 2021 RM550x 550W (100€ Amazon)
• 2x Kingston Server Premier DIMM 16GB ECC (dual rank)
• 1x Fractal Design Define R5
• 5-6x 8-14TB WD RED Plus im RAID-Z2 (?)
• 2x 1TB NVME Enterprise im RAID1

Anforderungen

• SAMBA Freigabe auf ZFS auf PVE Host
  • Vorbild: nasras.de
  • 20-30TB sollten reichen inkl. der 80% Grenze bei ZFS
  • Funktion in erster Linie: Datengrab, kein Produktivlaufwerk mit schnellen Datenbankzugriffen etc
  • auto-snapshots
• LXC / VM
  • pihole
  • jellyfin mit Zugriff auf SMB share
  • homematic
  • iobroker
  • Windows Testumgebung
  • Debian Testumgebung
  • (opnsense)
  • (nextcloud mit Zugriff auf SMB share)
• Backup, vor allem der Daten auf dem SMB share auf oder vom Backup Server (bei Proxmox der PBS)

Fragen

• es ist vll nicht sonderlich intelligent in einem unraid Forum zu fragen, welche Lösung besser ist aber evtl kann jemand, der vor der selben Überlegung stand wie ich sagen wieso er sich für unraid oder für proxmox entschieden hat (im Hinblick auf SMB share + VMs + Container + Backuplösung + Prio auf Integrität, Verfügbarkeit).
• ich habe gelesen, dass bei raidz-2 hinsichtlich Performanz immer eine gerade Anzahl der Platten empfohlen wird, ist das richtig?
• ich habe hier im Forum gelesen, dass es einmal Sammelbestellungen zu dem o.g. Mainboard gab, ich will Neuware kaufen, nichts Gebrauchtes, gibt es günstigere Quellen als meine recherchierten Preise (s.o.)
• sonstige Tipps für mein Vorhaben?

 

Vielen Dank!

Edited January 8, 2023 by philvomgrill
M.2 Problem

[mgutt]

31 minutes ago, philvomgrill said:

Da die ausgewählte CPU "nur" 64GB RAM unterstützt

 

Die CPU und das Board sollten auch 128GB unterstützen.

 

31 minutes ago, philvomgrill said:

1x Intel Core i3-9100 (150€ snogard)

Kauf dir einen i3-8100, 8300, 8350K, 9100, 9300 oder 9350K gebraucht. Irgendeiner davon wird bestimmt für 50 bis 70 € zu bekommen sein.

 

33 minutes ago, philvomgrill said:

5-6x 8-14TB WD RED Plus im RAID-Z2 (?)

Es macht keinen Sinn Geld in teure und sparsame Hardware zu stecken, wenn du eh ständig laufende Platten hast.

 

Also was willst du, Strom sparen oder ZFS? Beides geht nicht.

 

Was geht, aber mehr Skills braucht:

Jede HDD als einzelnen Pool erstellen und mit einem SnapRAID Docker ein SnapRAID über alle Pools hinweg erstellen. Hier muss man aber ein klares Konzept zwischen Hot und Cold Data haben, damit man nicht ständig die Parität aufbauen lassen muss. Damit kann man die ungenutzten Platten schlafen lassen und hat die Datenkonsistenz von ZFS. Das wird übrigens mein nächstes Projekt 😁

 

34 minutes ago, philvomgrill said:

gibt es günstigere Quellen als meine recherchierten Preise

Nein

 

 

[Archonw]

Ich denke für dein Vorhaben ist Unraid die bessere Wahl.
Ich habe die gleiche Hardware und ähnliche Anforderungen gehabt und stand vor der gleichen Frage.
Unraid oder Proxmox.
Proxmox hat seine Stärken, wenn es um Virtualisierung geht. Bei Unraid steht der File Server im Vordergrund.
Was mich also schon mal mehr zu Unraid bewegt hatte. Und dabei wollte ich unbedingt Proxmox ausprobieren.
Doch das Thema stromsparen ist ja auch noch da gewesen. Und durch die Möglichkeit des Spindowns von gerade nicht benötigten Platten geht da der Punkt abermals an Unraid.
Ich vermisse auch kein ZFS, weswegen ich erstmalig mit Proxmox liebäugelte.
Durch Parität und Backup ist reichlich Sicherung vorhanden. Geswindigkeit gibt es durch den Cache.
Da ich nur wenig VM nutze, die meiste Zeit lediglich Dockeranwendungen vor sich hin dümplen ist Unraid somit in meinen Augen hierbei die richtige Wahl.

[Sancho]

On 10/30/2022 at 4:23 PM, Archonw said:

Und durch die Möglichkeit des Spindowns von gerade nicht benötigten Platten geht da der Punkt abermals an Unraid.

 

Falls man Unraid in Proxmox virtualisieren würde, würde es dann funktionieren?

[mgutt]

5 hours ago, Sancho said:

Falls man Unraid in Proxmox virtualisieren würde, würde es dann funktionieren?

Ja, wenn du einen USB Stick physisch durchschleifst.

[Sancho]

20 hours ago, mgutt said:

Ja, wenn du einen USB Stick physisch durchschleifst.

 

Also kurz zu mir, habe mit Unraid noch keinerlei Erfahrung und mit Proxmox spiele ich seit zwei Wochen herum. Habe verschiedene Sachen im WWW gelesen und dadurch nur einen gewissen theoretischen Überblick. Gelesen habe ich mittlerweile, dass es bei einem virtualisierten Unraid Probleme mit dem Spindown geben kann. Irgendwo stand auch, dass man dazu den gesamten Festplatten Controller durchreichen muss damit das funktioniert. Das erscheint mir plausibel. Den USB Stick muss ich ja immer durchschleifen, richtig? Mir erschließt sich gerade noch nicht, wie das die Spindown Problematik beeinflusst?

[mgutt]

2 hours ago, Sancho said:

Mir erschließt sich gerade noch nicht, wie das die Spindown Problematik beeinflusst?

Den Stick durchschleifen ist einfach eine technische Bedingung von Unraid. unRAID will die Seriennummer des Sticks für die Lizenz haben.

[Sancho]

Ja das ist mir klar, um Unraid auf Proxmox nutzen zu können muss der Stick durchgeschleift werden. Aber die Frage war, ob ein auf Proxmox virtualisiertes Unraid die Festplatten in den Ruhezustand bzw. Spindown schicken kann.

[mgutt]

9 hours ago, Sancho said:

Aber die Frage war, ob ein auf Proxmox virtualisiertes Unraid die Festplatten in den Ruhezustand bzw. Spindown schicken kann.

Ja, weil du ja den kompletten Controller durchschleifst. HBA oder was willst du nehmen?

[philvomgrill]

Hi zusammen,

 

kurzer Zwischenstand, alles da und zusammengebaut - bis auf die HDDs.

 

 

Nach dem Stecken der im Dezember gelieferten 2x Micron 7450 Pro M.2 NVMEs bleibt der Bildschirm dunkel (Lüfter laufen an, verringern die Drehzahl, reboot mit beep und Lüfter laufen an, verringern jedoch nicht mehr die Drehzahl, NVMEs werden ca. 55°C warm, Tendenz steigend).

//LÖSUNG: PCIe auf M.2 Adapter Karte und die Dinger funktionieren auf dem Board!?!??!?

- Mainboard (Rev 1.1 aufgedruckt) von Amazon US kam mit Firmware F6 (im Netz ist für Rev 1.x nur F5 vom Hersteller verfügbar).

 

 

 

bereits versucht:

- Netzkabel gezogen, CMOS Batterie entfernt + Einschalter 30 Sekunden gedrückt gehalten und Kontakte der CMOS Batterie am Mainboard gebrückt

- beide Mainboard M.2 Slots abwechselt mit nur einer NVME gestartet, Bildschirm bleibt dunkel, ohne NVME startet er wieder mit folgender Meldung

 

 

- NVME im neuen Backup Server wird ohne Probleme erkannt und startet (NVME Temp ca. 40°C)

 

 

- M.2 NVMEs kamen lt. Label mit Firmware Version E2MU110, lt micron tool keine neuere Firmware verfügbar

 

- micron NVME M.2 SSD funktioniert in einem PCIe x1 auf M.2 Adapter

 

- eine Samsung 980 M.2 NVME SSD funktioniert direkt im M.2 Slot des Gigabyte Mainboards...

- PCIe x4 auf M.2 Adapter Karte gekauft und es funktioniert... Allerdings ruckelt der Proxmox Installationsassistent.. (test) !? Ich hoffe auf Kulanz, ansonsten schmerzvoller verlustreicher Verkauf

 

 

 

Kann das jemand erklären?

 

 

Vielen Dank!

 

Edited January 10, 2023 by philvomgrill

[Raphael367]

Ein M2 Steckplatz kann mit PCIe-Steckplätze in Konflikt geraten (müssen wahrscheinlich leer bleiben). Eventuell braucht das Board auch zusätzliche Stromversorgung (Stecker vermutlich wie für Festplatten). Siehe Handbuch

[mgutt]

On 1/8/2023 at 7:24 PM, philvomgrill said:

Micron 7450 Pro M.2 NVMEs bleibt der Bildschirm dunkel

Dann ist die NVMe nicht kompatibel. Mit einer Seagate Ironwolf NVMe bootet zb kein C246 Board. Muss irgendwie mit dem Chipsatz zusammenhängen. Nutzt man einen PCIe Adapter, dann läuft die NVMe ja über die CPU und nicht über den Chipsatz.

[autox]

On 10/30/2022 at 11:25 AM, mgutt said:

 

...

 

Es macht keinen Sinn Geld in teure und sparsame Hardware zu stecken, wenn du eh ständig laufende Platten hast.

 

Also was willst du, Strom sparen oder ZFS? Beides geht nicht.

 

Was geht, aber mehr Skills braucht:

Jede HDD als einzelnen Pool erstellen und mit einem SnapRAID Docker ein SnapRAID über alle Pools hinweg erstellen. Hier muss man aber ein klares Konzept zwischen Hot und Cold Data haben, damit man nicht ständig die Parität aufbauen lassen muss. Damit kann man die ungenutzten Platten schlafen lassen und hat die Datenkonsistenz von ZFS. Das wird übrigens mein nächstes Projekt 😁

 

 

Der Beitrag ist schon bissl älter aber hier war ich mal gerade interessiert.

Indeed, ich möchte unraid, aber vielleicht werde ich proxmox vermissen...

zfs würde ich jedenfalls gerne behalten zwecks Snapshots usw.

 

 

Wie ich das inzwischen verstanden habe, sind die ZFS platten "clean" zu halten und man muss eine möglichkeit finden die services davon abzuhalten die hdds aufzuwecken.
Wenn nichts an den Daten geändert wird kann man die platten doch auch schlafen legen.

 

In Proxmox gibts einen services der das verhindert: (Beitrag 27 ist der Workaround)

https://forum.proxmox.com/threads/hdd-never-spin-down.53522/page-2

 

https://rudd-o.com/linux-and-free-software/tip-letting-your-zfs-pool-sleep

 

@mgutt:
Magst du nochmal ausführen was ZFS und sleep hier so schwierig macht aus deiner Sicht?

 

[DataCollector]

1 hour ago, autox said:

zfs würde ich jedenfalls gerne behalten zwecks Snapshots usw.

 

Dann mußt Du deamit leben, daß zfs ggf sogar selbstständig dei Festplatten aufweckt (passiert bei mir, obwohl keine externen Zugriffe stattfinden).

zfs im Array ist dennoch nicht wirklich die erste Wahl.

 

1 hour ago, autox said:

Wie ich das inzwischen verstanden habe, sind die ZFS platten "clean" zu halten und man muss eine möglichkeit finden die services davon abzuhalten die hdds aufzuwecken.

 

Wenn die Festplatten im Array sind, macht es Sinn schreibzugriffe über einen vorgeschalteten Pool/Cache laufen zu lassen, damit die Festplatten möglichst lange schlafen können.

 

1 hour ago, autox said:

Wenn nichts an den Daten geändert wird kann man die platten doch auch schlafen legen.

 

Auch bei Lesezugrfiffen wachen die Festplatten auf und drehen dann ggf. solange, bis lang genug kein Zugriff mehr stattfindet und der grob einstellbare Spindown timer abgelaufen ist. Sollte zfs sich intern reorganisieren wollen weckt es aber unabhängig davon die Datenträger auf.

 

Ich habe diverse Pools und auch einen mit Festplatten, die zfs nutzen. Auch tagelang ohne Zugriff meinerseits sehe ich ab und zu, daß die Festplatten drehen und auch gelesen/geschrieben wird. Das muß mit internen zfs aktivitäten zusammen hängen.

[mgutt]

7 hours ago, autox said:

Magst du nochmal ausführen was ZFS und sleep hier so schwierig macht aus deiner Sicht?

Das hat nichts mit ZFS zu tun, sondern mit der Idee alles in einem RAID zu haben. Wenn dieses RAID nicht alles, sondern nur Cold Storage für Backups oder Medien darstellt, also selten im Zugriff ist, wird es auch schlafen. Nur wer braucht für Cold Storage Snapshots. Das wird man da einsetzen, wo ständig Daten geändert werden.

 

7 hours ago, autox said:

zfs würde ich jedenfalls gerne behalten zwecks Snapshots usw.

BTRFS kann übrigens auch Snapshots und cp --reflink was ZFS nicht kann.

 

7 hours ago, autox said:

In Proxmox gibts einen services der das verhindert

Tut er sicher nicht. Wie soll ein Service verhindern, dass Daten gelesen oder geschrieben werden. Es geht in deinen Links darum überhaupt Spindown zu haben, was sonst nicht vorgesehen ist. 

[autox]

On 1/17/2024 at 7:41 AM, mgutt said:

 

 

Tut er sicher nicht. Wie soll ein Service verhindern, dass Daten gelesen oder geschrieben werden. Es geht in deinen Links darum überhaupt Spindown zu haben, was sonst nicht vorgesehen ist. 

 

Der Service verhindert das die Platten in den Sleep gehen... genau darum gehts ja

 

Zum Thema Sleep und RAID in der "Cloud":

Ich hatte nie vor daraus eine Cloud zu machen, ich nutze es als Datengrab und will die Platten auch mal in den Sleep schicken (was ich 12 Jahre mit 7x2TB nie gemacht habe)

Die Kontroverse zwischen Sleep ist gut oder Sleep ist schlecht, dass lassen wir jetzt mal bei Seite.

Ich probier mal ein wenig rum.
Mit dem Wechsel auf unraid, wäre das Problem mit dem Proxmox Service eh gelöst, es sei denn ich mache unraid in proxmox (was mir aber unsinnig erscheint)

Nur der Samba wird noch bissl zu manipulieren sein, damit auch der aufhört ständig die platten zu wecken.

 

Egal,

vielen Dank für deine Antworten

[mgutt]

8 minutes ago, autox said:

Die Kontroverse zwischen Sleep ist gut oder Sleep ist schlecht, dass lassen wir jetzt mal bei Seite.

Die existiert auch nur außerhalb der unRAID Welt. Das Gerücht hält sich hartnäckig. Hier wirst du keinen finden, dem beim Spinup plötzlich eine Platte kaputt gegangen ist. Und ich nehme an, dass die meisten mit Spindown arbeiten.

 

Ich handhabe das mit Proxmox und Unraid so: Einfach beides nutzen 😅 Für VMs ist Proxmox einfach besser und dafür kann man sich problemlos einen Tiny PC hinstellen, der nur 5W oder so zieht, weil der braucht ja nicht massig SATA Buchsen. Und Backup kann man ja auf den unRAID Server schieben, wenn man will.

[BigChris]

On 1/22/2024 at 11:05 AM, mgutt said:

Ich handhabe das mit Proxmox und Unraid so: Einfach beides nutzen 😅 Für VMs ist Proxmox einfach besser und dafür kann man sich problemlos einen Tiny PC hinstellen, der nur 5W oder so zieht, weil der braucht ja nicht massig SATA Buchsen. Und Backup kann man ja auf den unRAID Server schieben, wenn man will.

Exakt so handhabe ich das auch.