HW Zusammenstellung für Unraid / Proxmox Server [NVME M.2 Problem - Black Screen]

[philvomgrill]

Hallo an alle!

Ich habe hier die letzten Monate viel gelesen mit dem Ziel einen neuen und vor allem effizienten All-in-one Server zusammenzustellen.

Der Server soll auch meinen stromsparenden ESXi (J5005) und mein betagtes 2-Slot Synology NAS ersetzen. Das Ganze ist schon Jahre überfaellig, da meine Daten ebenso auf vielen unterschiedlichen nicht-redundanten Rechnern / Festplatten verteilt sind, da das NAS zu wenig Speicherplatz hat. Ich bin mir noch unschlüssig, ob ich darauf evtl auch noch OPNsense unterbringe (derzeit Ubiquiti Dream Machine), indem ich eine passende Intel NIC dazu stecke. Das ist aber erst einmal nicht wichtig. Der kleine ESXi könnte dann in Zukunft als Backup Server fungieren, indem ich zwei passende Platten im RAID1 dazustecke. Alternativ könnte ich evtl mit einem Raspi4 4GB und zwei USB Platten im RAID1 eine Backup Lösung realisieren.

 

Mein Ziel war es bis jetzt eigentlich einen Proxmox Server aufzusetzten mit ZFS und Full Disk Encryption sowie VMs und LXC Container. Darauf bin ich vor allem durch die Youtube Videos von Christian Zengel (sysoptv) gekommen. In Verbindung mit einem Proxmox Backup Server würden die Daten bereits auf dem PVE verschlüsselt und zum PBS übertragen, der sich dann im Keller befinden soll. (Verschlüsselung erwünscht wg. Einbruch, Diebstahl (Keller ist in einem Mehrfam. Haus, nicht sonderlich gut geschützt), hatte hier im Forum auch mal gelesen, dass es möglich sei den Key auf einen Cloudspeicher zu legen, Entschlüsselung geschieht automatisch sofern der Key auf dem Cloudspeicher vorhanden ist, alternativ kannte ich bislang nur die Lösung per Dropbear (ssh Passwort Eingabe), die mir auch gefällt bei einem möglichen Reboot. Da die ausgewählte CPU "nur" 64GB RAM unterstützt und ich das aufgrund der HDD Kapazität auch brauchen werden bin ich mir gar nicht mehr soo sicher, ob meine angenommene Idealvorstellung wirklich das Richtige für mich ist. Zugleich habe ich Angst bekommen wie hoch die Kosten werden wenn ich einen W... Xeon auswähle, noch mehr RAM etc.... Ich habe hier sehr viel Hilfreiches in Richtung Effizienz, vor allem von @mgutt und den von ihm erstellten FAQs gefunden und aufgesaugt. Vor allem daraus resultierend folgende derzeitige Aufstellung (bis jetzt noch nichts bestellt, nicht zuletzt aufgrund der Preise/Verfügbarkeiten) und hoffe, dass ich hier noch den einen oder anderen Tip, Korrektur von Auffälligkeiten mitnehmen kann bevor ich endlich alles bestelle:

 

 

Hardware bis jetzt

• 1x GIGABYTE C246M-WU4 (270€ Amazon US inkl. Zoll etc über amazon.de)
• 1x Intel Core i3-9100 (150€ snogard)
• 1x Corsair RMx Series 2021 RM550x 550W (100€ Amazon)
• 2x Kingston Server Premier DIMM 16GB ECC (dual rank)
• 1x Fractal Design Define R5
• 5-6x 8-14TB WD RED Plus im RAID-Z2 (?)
• 2x 1TB NVME Enterprise im RAID1

Anforderungen

• SAMBA Freigabe auf ZFS auf PVE Host
  • Vorbild: nasras.de
  • 20-30TB sollten reichen inkl. der 80% Grenze bei ZFS
  • Funktion in erster Linie: Datengrab, kein Produktivlaufwerk mit schnellen Datenbankzugriffen etc
  • auto-snapshots
• LXC / VM
  • pihole
  • jellyfin mit Zugriff auf SMB share
  • homematic
  • iobroker
  • Windows Testumgebung
  • Debian Testumgebung
  • (opnsense)
  • (nextcloud mit Zugriff auf SMB share)
• Backup, vor allem der Daten auf dem SMB share auf oder vom Backup Server (bei Proxmox der PBS)

Fragen

• es ist vll nicht sonderlich intelligent in einem unraid Forum zu fragen, welche Lösung besser ist aber evtl kann jemand, der vor der selben Überlegung stand wie ich sagen wieso er sich für unraid oder für proxmox entschieden hat (im Hinblick auf SMB share + VMs + Container + Backuplösung + Prio auf Integrität, Verfügbarkeit).
• ich habe gelesen, dass bei raidz-2 hinsichtlich Performanz immer eine gerade Anzahl der Platten empfohlen wird, ist das richtig?
• ich habe hier im Forum gelesen, dass es einmal Sammelbestellungen zu dem o.g. Mainboard gab, ich will Neuware kaufen, nichts Gebrauchtes, gibt es günstigere Quellen als meine recherchierten Preise (s.o.)
• sonstige Tipps für mein Vorhaben?

 

Vielen Dank!

Edited January 8 by philvomgrill
M.2 Problem

[mgutt]

31 minutes ago, philvomgrill said:

Da die ausgewählte CPU "nur" 64GB RAM unterstützt

 

Die CPU und das Board sollten auch 128GB unterstützen.

 

31 minutes ago, philvomgrill said:

1x Intel Core i3-9100 (150€ snogard)

Kauf dir einen i3-8100, 8300, 8350K, 9100, 9300 oder 9350K gebraucht. Irgendeiner davon wird bestimmt für 50 bis 70 € zu bekommen sein.

 

33 minutes ago, philvomgrill said:

5-6x 8-14TB WD RED Plus im RAID-Z2 (?)

Es macht keinen Sinn Geld in teure und sparsame Hardware zu stecken, wenn du eh ständig laufende Platten hast.

 

Also was willst du, Strom sparen oder ZFS? Beides geht nicht.

 

Was geht, aber mehr Skills braucht:

Jede HDD als einzelnen Pool erstellen und mit einem SnapRAID Docker ein SnapRAID über alle Pools hinweg erstellen. Hier muss man aber ein klares Konzept zwischen Hot und Cold Data haben, damit man nicht ständig die Parität aufbauen lassen muss. Damit kann man die ungenutzten Platten schlafen lassen und hat die Datenkonsistenz von ZFS. Das wird übrigens mein nächstes Projekt 😁

 

34 minutes ago, philvomgrill said:

gibt es günstigere Quellen als meine recherchierten Preise

Nein

 

 

[Archonw]

Ich denke für dein Vorhaben ist Unraid die bessere Wahl.
Ich habe die gleiche Hardware und ähnliche Anforderungen gehabt und stand vor der gleichen Frage.
Unraid oder Proxmox.
Proxmox hat seine Stärken, wenn es um Virtualisierung geht. Bei Unraid steht der File Server im Vordergrund.
Was mich also schon mal mehr zu Unraid bewegt hatte. Und dabei wollte ich unbedingt Proxmox ausprobieren.
Doch das Thema stromsparen ist ja auch noch da gewesen. Und durch die Möglichkeit des Spindowns von gerade nicht benötigten Platten geht da der Punkt abermals an Unraid.
Ich vermisse auch kein ZFS, weswegen ich erstmalig mit Proxmox liebäugelte.
Durch Parität und Backup ist reichlich Sicherung vorhanden. Geswindigkeit gibt es durch den Cache.
Da ich nur wenig VM nutze, die meiste Zeit lediglich Dockeranwendungen vor sich hin dümplen ist Unraid somit in meinen Augen hierbei die richtige Wahl.

[Sancho]

On 10/30/2022 at 4:23 PM, Archonw said:

Und durch die Möglichkeit des Spindowns von gerade nicht benötigten Platten geht da der Punkt abermals an Unraid.

 

Falls man Unraid in Proxmox virtualisieren würde, würde es dann funktionieren?

[mgutt]

5 hours ago, Sancho said:

Falls man Unraid in Proxmox virtualisieren würde, würde es dann funktionieren?

Ja, wenn du einen USB Stick physisch durchschleifst.

[Sancho]

20 hours ago, mgutt said:

Ja, wenn du einen USB Stick physisch durchschleifst.

 

Also kurz zu mir, habe mit Unraid noch keinerlei Erfahrung und mit Proxmox spiele ich seit zwei Wochen herum. Habe verschiedene Sachen im WWW gelesen und dadurch nur einen gewissen theoretischen Überblick. Gelesen habe ich mittlerweile, dass es bei einem virtualisierten Unraid Probleme mit dem Spindown geben kann. Irgendwo stand auch, dass man dazu den gesamten Festplatten Controller durchreichen muss damit das funktioniert. Das erscheint mir plausibel. Den USB Stick muss ich ja immer durchschleifen, richtig? Mir erschließt sich gerade noch nicht, wie das die Spindown Problematik beeinflusst?

[mgutt]

2 hours ago, Sancho said:

Mir erschließt sich gerade noch nicht, wie das die Spindown Problematik beeinflusst?

Den Stick durchschleifen ist einfach eine technische Bedingung von Unraid. unRAID will die Seriennummer des Sticks für die Lizenz haben.

[Sancho]

Ja das ist mir klar, um Unraid auf Proxmox nutzen zu können muss der Stick durchgeschleift werden. Aber die Frage war, ob ein auf Proxmox virtualisiertes Unraid die Festplatten in den Ruhezustand bzw. Spindown schicken kann.

[mgutt]

9 hours ago, Sancho said:

Aber die Frage war, ob ein auf Proxmox virtualisiertes Unraid die Festplatten in den Ruhezustand bzw. Spindown schicken kann.

Ja, weil du ja den kompletten Controller durchschleifst. HBA oder was willst du nehmen?

[philvomgrill]

Hi zusammen,

 

kurzer Zwischenstand, alles da und zusammengebaut - bis auf die HDDs.

 

 

Nach dem Stecken der im Dezember gelieferten 2x Micron 7450 Pro M.2 NVMEs bleibt der Bildschirm dunkel (Lüfter laufen an, verringern die Drehzahl, reboot mit beep und Lüfter laufen an, verringern jedoch nicht mehr die Drehzahl, NVMEs werden ca. 55°C warm, Tendenz steigend).

//LÖSUNG: PCIe auf M.2 Adapter Karte und die Dinger funktionieren auf dem Board!?!??!?

- Mainboard (Rev 1.1 aufgedruckt) von Amazon US kam mit Firmware F6 (im Netz ist für Rev 1.x nur F5 vom Hersteller verfügbar).

 

 

 

bereits versucht:

- Netzkabel gezogen, CMOS Batterie entfernt + Einschalter 30 Sekunden gedrückt gehalten und Kontakte der CMOS Batterie am Mainboard gebrückt

- beide Mainboard M.2 Slots abwechselt mit nur einer NVME gestartet, Bildschirm bleibt dunkel, ohne NVME startet er wieder mit folgender Meldung

 

 

- NVME im neuen Backup Server wird ohne Probleme erkannt und startet (NVME Temp ca. 40°C)

 

 

- M.2 NVMEs kamen lt. Label mit Firmware Version E2MU110, lt micron tool keine neuere Firmware verfügbar

 

- micron NVME M.2 SSD funktioniert in einem PCIe x1 auf M.2 Adapter

 

- eine Samsung 980 M.2 NVME SSD funktioniert direkt im M.2 Slot des Gigabyte Mainboards...

- PCIe x4 auf M.2 Adapter Karte gekauft und es funktioniert... Allerdings ruckelt der Proxmox Installationsassistent.. (test) !? Ich hoffe auf Kulanz, ansonsten schmerzvoller verlustreicher Verkauf

 

 

 

Kann das jemand erklären?

 

 

Vielen Dank!

 

Edited January 10 by philvomgrill

[Raphael367]

Ein M2 Steckplatz kann mit PCIe-Steckplätze in Konflikt geraten (müssen wahrscheinlich leer bleiben). Eventuell braucht das Board auch zusätzliche Stromversorgung (Stecker vermutlich wie für Festplatten). Siehe Handbuch

[mgutt]

On 1/8/2023 at 7:24 PM, philvomgrill said:

Micron 7450 Pro M.2 NVMEs bleibt der Bildschirm dunkel

Dann ist die NVMe nicht kompatibel. Mit einer Seagate Ironwolf NVMe bootet zb kein C246 Board. Muss irgendwie mit dem Chipsatz zusammenhängen. Nutzt man einen PCIe Adapter, dann läuft die NVMe ja über die CPU und nicht über den Chipsatz.