Setup neuer Heimserver, wie Storage benutzen

[derWinky]

Hallo Leute,
ich möchte mir einen neuen Heimserver bauen, der im Idealfall so wie der Alte auf Unraid läuft.
Board, Gehäuse, CPU, RAM, Kühler, GPU udn PSU habe ich bereits besorgt, Storage Devices sind eigentlich das einzige was noch fehlt und da war der Plan das zu Black Friday oder so zu kaufen, da Festplattenpreise die letzen 2 Monate gut gesunken sind. Ich habe den ganzen Dezember Urlaub und möchte daher spätestens zu Blackfriday den Rest kaufen, aber auch ohne Black friday dürften die Preise bis dahin schon wieder weiter gesunken sein.
Hier mal eine Auflistung meiner bisher besorgten Komponenten:
CPU: Intel 10700k (für viel Leistung bei bedarf und GVT-g support (hat bisher aber nicht geklappt?)
GPU: Quadro P4000 (Ob die dauerhaft drin bleibt wird sich zeigen)

MoBo: Z590 Aorus Master (bin für nur 260€ ran gekommen/hat integrierten 10G NIC)
RAM: 64GB 3200Mhz (4x16GB)
Kühler: Be Quiet Dark Rock Pro 4
PSU: 850 Watt Be Quiet Straight Power 11 Platinum

Case: CoolerMaster HAF XB Evo

 

Ich möchte den Heimserver primär erstmal einfach nur als Speicher nutzen und paar kleinere Dienste, unter anderem Plex hosten, ich würde mir aber auch gerne die Option offen halten darüber unter anderem ne Gaming VM laufen zu lassen, als Ersatz für meinen PC im Wohnzimmer.
Für den Massenspeicher reichen mir "normale" HDDs. Hier hatte ich mir überlegt 4x Seagate Exos 18TB Platten zu holen und die entweder in ein reguläres Unraid Array rein mit einer als Parität oder Per RAID 5 oder RAIDZ1. Desweiteren möchte ich gerne später, wenn wieder Geld auf der Seite ist 2x 4TB SATA SSDs nachstecken.
Der reguläre Speicher von Dokumenten, Filmen und irrelevantere Games oder deren Installer oder ROM Sammlungen etc sollen auf den HDDs landen und aktiv benutzte Spiele wie das was halt im Steam, Origin und sonste was Ordner liegt auf den SSDs.
Die SSDs sollen als ein 8Tb Speicher fungieren und die Inhalte davon ein mal am Tag/Woche oder so aufs HDD Array synchronisiert werden.

Ich hätte gerne von einigen Leuten die davon mehr Ahnung haben als ich Vorschläge, wie sich das am besten umsetzen lässt.
Meine erste Idee war die 2 SATA SSDs ohne Paritätsdrive ins reguläre Unraid Array zu packen, damit ich meine 8TB SSD Speicher habe und da Unraid sowieso irgend was im Array braucht um starten zu können.
Die nächste Überlegung war dann die 4 18TB Seagate Platten in ein ZFS RAIDZ1 Array zu packen und gut is.
An sich finde ich das Storage Array von Unraid selbst schon recht geil, aber mit Paritätsplatte sind bei meinem aktuellen Heimserver die Writespeeds mit ca 20-30MB/s schon extrem langsam, und das will ich mir echt nicht antun. Allerdings sind die Exos Platten schon etwas flotter als meine teilweise 10 Jahre alten Platten im aktuellen Server. Was würdet ihr denn schätzen auf was für Read und Writespeeds ich mit den Exos Platten im regulären Unraid Array kommen würde im normalen und im turbo write Modus? Weil nochmal nen system bauen um dann wieder nur 30MB/s im Write zu haben tu ich mir nicht an, da sind mir die guten Platten zu schade dafür. Und nein. Einfach nur ne 1TB NVME SSD als Cache an die Platten im Array hängen tuts nicht. Das hat mich schon mehrmals abgefuckt dass teilweise einfach nicht auf den Cache geschrieben wurde sondern direkt aufs Array, obwohl alles korrekt festgelegt war, wenn die Cache SSD voll ist mein Transfer einfach abbricht und nicht aufs Array weiter schreibt und sonstiges. Dazu kommt noch dass ich in RAID 5 und RAIDZ1 deutlich höhere Speeds erreichen würde als es im normalen Array der Fall wäre.
Wozu würdet ihr mir hier raten? Oder gibts hier coole Ansätze an die ich garnicht gedacht habe? Ich bin hier nicht auf irgend was festgefahren und für Vorschläge offen.
Bevor das jemand schreibt, ja ich weis dass für ZFS Speicher TrueNAS sinnvoller wäre, aber ich liebe auch die anderen Features von Unraid.
Ich bin zwar nicht 100% fest auf unraid eingeschossen, aber ich würde eigentlich nur ungerne wechseln, allein schon weil ich mich mit Unraid einfach bisschen auskenne und es das meiste kann was ich möchte und sowas wie Docker und VM mit GPU Passthrough bei TrueNAS soweit ich weis net ganz so super is. Proxmox hab ich mir auch schonmal angeschaut und war komplett lost... 
Ausschliesen möchte ich diese Systeme nicht, aber Unraid is glaube ich schon das beste für mich.

Und dann noch ne kurze Frage an der Stelle. Ich hab vor 2 Tagen zum rumtesten mal auf dem zukünftigen Heimserver ein ZFS Pool mit 4 alten 1TB WD Green Platten angelegt. Writes waren da aber extrem langsam, auch nur knapp 40MB/s oder so, also auch net viel besser als das Unraid Array. Sollte der RAIDZ1 Speed bei 4 Festplatten nicht deutlich über diesem Wert liegen? Hatte eigentlich irg was um die 200-350MB/s erwartet.
Und noch eine letze Frage bezüglcih des ZFS Arrays.
Ich hab größtenteils nach dem Tutorial von Spaceinvader One das ZFS Array angelegt und abgesehen von den schlechten Speeds hats auch gut funktioniert. Was ich aber nicht verstanden habe ist wie ich die Zugriffsberechtigung darauf regeln kann.
Wenn ich den Zugriff auf mein reguläres Array einschränken möchte schalte ich doch den Share auf Privat, erstelle einen User mit Namen und Passwort und trage dann bei dem Share diesen User ein.
Wie kann man das bei dem ZPool einstellen?

Ich hoffe ich kriege hier ein paar coole Vorschläge und kann aus dem Projekt Heimserver 2.0 was cooles machen, das im Vergleich zu meinem jetzigen Heimserver stromsparender, schneller, zuverlässiger und stärker ist.

[mgutt]

On 10/28/2021 at 2:57 PM, derWinky said:

Meine erste Idee war die 2 SATA SSDs ohne Paritätsdrive ins reguläre Unraid Array zu packen, damit ich meine 8TB SSD Speicher habe und da Unraid sowieso irgend was im Array braucht um starten zu können.

Dann würden die SSDs beim Schreiben auf die Geschwindigkeit der Paritätsdisk gedrosselt (also ca 70 MB/s). Das willst du sicher nicht.

 

On 10/28/2021 at 2:57 PM, derWinky said:

GVT-g support (hat bisher aber nicht geklappt?)

Was meinst du damit? Die 10te Gen sollte das können.

 

On 10/28/2021 at 2:57 PM, derWinky said:

An sich finde ich das Storage Array von Unraid selbst schon recht geil, aber mit Paritätsplatte sind bei meinem aktuellen Heimserver die Writespeeds mit ca 20-30MB/s schon extrem langsam, und das will ich mir echt nicht antun.

Daher braucht es die saubere Trennung zwischen Hot und Cold Storage. Die SSDs müssen einfach groß genug sein, damit du quasi nie auf die HDDs zugreifen musst. Wenn du aber wirklich viele Spiele und der Bibliothek vorhalten willst (kann man die eigentlich aufs Netzwerk auslagern?!), dann wäre tatsächlich ein RAID besser.

 

Du kannst Uploads übrigens auch über viel RAM beschleunigen:

 

 

On 10/28/2021 at 2:57 PM, derWinky said:

wenn die Cache SSD voll ist mein Transfer einfach abbricht und nicht aufs Array weiter schreibt und sonstiges

Größere SSDs kaufen. Probleme muss man manchmal mit Geld lösen ^^

 

On 10/28/2021 at 2:57 PM, derWinky said:

Dazu kommt noch dass ich in RAID 5 und RAIDZ1 deutlich höhere Speeds erreichen würde als es im normalen Array der Fall wäre.
Wozu würdet ihr mir hier raten?

Vom Prinzip geht ja auch alles. Also Array, RAID und Pool. Es ginge ja sogar NVMe an VM durchschleifen. Alle Möglichkeiten stehen dir offen.

 

On 10/28/2021 at 2:57 PM, derWinky said:

zum rumtesten mal auf dem zukünftigen Heimserver ein ZFS Pool mit 4 alten 1TB WD Green Platten angelegt. Writes waren da aber extrem langsam, auch nur knapp 40MB/s oder so, also auch net viel besser als das Unraid Array. Sollte der RAIDZ1 Speed bei 4 Festplatten nicht deutlich über diesem Wert liegen?

Das ist nicht normal. Muss an den Platten gelegen haben. 

 

On 10/28/2021 at 2:57 PM, derWinky said:

Wie kann man das bei dem ZPool einstellen?

Das geht nur in dem du selbst die SMB Config bearbeitest. Also von Hand Shares dafür erstellst. Das ist nicht so schlimm wie es sich anhört. Es gibt das Config Editor Plugin und mit dem kannst du über die GUI die smb-extra.conf auf dem Stick bearbeiten und zb sowas hinzufügen:

 

[Minecraft]
	path = /mnt/user/appdata/minecraft
	comment =
	browseable = yes
	# Private
	writeable = no
	read list = 
	write list = max,moritz
	valid users =  max,moritz
	case sensitive = auto
	preserve case = yes
	short preserve case = yes

 

Bei mir ist der Share appdata nicht über das Netzwerk erreichbar, dafür aber der Unterordner Minecraft, so dass mein Sohn selbst Level hochladen kann.

 

On 10/28/2021 at 2:57 PM, derWinky said:

stromsparender

Das wäre bei einem RAID wieder so eine Sache. Also ständig laufende Platten meine ich jetzt. Deine Hardware ist dafür auch nicht optimal gewählt (Netzteil, Board und GPU). Aber wenn du eine Gaming VM haben willst, ist das Thema eh schwieriger.

[derWinky]

On 10/29/2021 at 7:06 PM, mgutt said:

Dann würden die SSDs beim Schreiben auf die Geschwindigkeit der Paritätsdisk gedrosselt (also ca 70 MB/s). Das willst du sicher nicht.

Wenn ich NUR die 2 4TB SSDs ins Array packe und keine Paritätsplatte verwende wird der Speed doch nicht gedrosselt oder?

In diesem Anwendungsfall bräuchte ich die Ausfallsicherheit bei den SSDs nicht, weil auf die eh nur Games und so drauf kommen, und der Inhalt der SSDs dann auf das ausfallsichere ZFS Array der 4 HDDs kopiert wird.

On 10/29/2021 at 7:06 PM, mgutt said:

Was meinst du damit? Die 10te Gen sollte das können.

Hab ne Windows und ne Linux VM, meine Grafikkarte funktioniert in der bisher ohne Probleme.
Ich hab da sgvtg intel plugin runter geladen. Anfang stand da dass GVT-g nicht geht, hab dann glaub nochmal was im BIOs geändert oder so und die Fehlermeldung is jetz weg.
Laut dem Plugin sollte es funktionieren.
Wenn ich aber versuche die iGPU in einer VM zu benutzen freezt das System und ich muss es neu starten, oder ich bekam Irgend ne Fehlermeldung.
Bin mir nicht mehr sicher obs genau das war und ich will jetz gerade auch nicht den Server abschiesen aber ich meine da war was vonwegen er erwartet nen PCI gerät und bekommt durch die iGPU was anderes. Irgend sowas war das glaube ich. Ich werds die Tage nochmal versuchen und dann genau schreiben was die Meldung ist.
 

 

On 10/29/2021 at 7:06 PM, mgutt said:

 

Daher braucht es die saubere Trennung zwischen Hot und Cold Storage. Die SSDs müssen einfach groß genug sein, damit du quasi nie auf die HDDs zugreifen musst. Wenn du aber wirklich viele Spiele und der Bibliothek vorhalten willst (kann man die eigentlich aufs Netzwerk auslagern?!), dann wäre tatsächlich ein RAID besser.

 

Du kannst Uploads übrigens auch über viel RAM beschleunigen:

Größere SSDs kaufen. Probleme muss man manchmal mit Geld lösen ^^

Nur das regüläre Unraid Array nutzen ist für mich keine sinnvolle Option denke ich. Klar kann ich große SSDs reinballern, aber alles was auf denen liegt ist dann ja wieder nicht gesichert, und wenn ich die Cache SSDs mit den Games vollballere ist auch nicht mehr viel Platz den Cache als Cache für Datentransfer zu nutzen.
Dass ich mit dem RAM den Upload beschleunigen kann weis ich, will cih auch für "kleinere" Sachen nutzen, unteranderen daher auch die 64GB RAM im System, aber das klappt bei ZFS auch, nur dass das gesammte array auch ohne wesentlcih flotter sein sollte.
Der RAM Cache ist aber halt nur ein kleines quality of life Ding für kleinere Sachen.

Ich übertrage selten mehr als 1GB aber weniger als mehrere hundert auf einmal auf mein Array. Wenns was kleines ist, ist es meinstens so klein dass es davon kaum profitiert weils eh schnell vorbei ist, und wenn ich mal wieder haufenweise Anime oder sonstwas in einem rutsch rüber schiebe, sind das oftmals direkt über 500GB, da hilft der RAM halt auch nicht viel.

Ja größere SSDs kaufen ist da theoretisch die Lösung, aber ich hau mein Geld in dem Fall lieber auf 2 extra 4TB SATA SSDs die ich hoffentlich um ca 300€ kriegen kann und bringe das HDD Array durch den ZFS Pool zu ner akzeptablen Geschwindigkeit, als den regulären Unraid Pool zu nutzen und da dann damit alles möglichst schnell geht würde ich NVME SSDs nutzen und mit meinem Azubis Gehalt sind 4TB NVME SSDs definitiv auser Reichweite.

 

Ich denke dass meine Aufteilung auf SSDs ohen parität im unraid pool für Games und shit die dann aufs zfs HDD Array gesynced werden alle paar tage oder so + besagtes ZFS HDD Array, dass dann schnell genug sein dürfte damit transfers von Anime Episoden nicht lange dauern. Zwar nicht so schnell wie mit nem NVME Cache, aber HDDs sind bei einzelnen größeren Datein ja deutlcih besser als bei vielen kleinen, und bei Anime Episoden a 1GB sind da denke ich schon einige hundert MB/s rauszuholen, dass sich ein Cache erübrigt.

 

On 10/29/2021 at 7:06 PM, mgutt said:

Das ist nicht normal. Muss an den Platten gelegen haben. 

Gut zu wissen, dann werde ich das die Tage mal mit anderen Platten testen.

 

On 10/29/2021 at 7:06 PM, mgutt said:

 

 

Das geht nur in dem du selbst die SMB Config bearbeitest. Also von Hand Shares dafür erstellst. Das ist nicht so schlimm wie es sich anhört. Es gibt das Config Editor Plugin und mit dem kannst du über die GUI die smb-extra.conf auf dem Stick bearbeiten und zb sowas hinzufügen:

 

[Minecraft]
	path = /mnt/user/appdata/minecraft
	comment =
	browseable = yes
	# Private
	writeable = no
	read list = 
	write list = max,moritz
	valid users =  max,moritz
	case sensitive = auto
	preserve case = yes
	short preserve case = yes

 

Bei mir ist der Share appdata nicht über das Netzwerk erreichbar, dafür aber der Unterordner Minecraft, so dass mein Sohn selbst Level hochladen kann.

Ah ok, das klingt doch ganz nice. 
benutzt das dann automatisch für die bei WriteList und valid User list eingetragenen Namen die, die User, die man in Unraid bei den usereinstellungen erstellt hat, oder hat das mit denen nix zu tun? Wäre schon nice wenn ich hier einfach nur meinen unraid user eintrage und dann läuft das vom Windows PC aus genau so wie auch das reguläre Unraid Array.

 

On 10/29/2021 at 7:06 PM, mgutt said:

Das wäre bei einem RAID wieder so eine Sache. Also ständig laufende Platten meine ich jetzt. Deine Hardware ist dafür auch nicht optimal gewählt (Netzteil, Board und GPU). Aber wenn du eine Gaming VM haben willst, ist das Thema eh schwieriger.

Gut stromsparend ist da jetzt natürlich ne auslegungssache^^
Es ist unter sämtlichen Umständen seeehr viel stromsparender als mein jetziger Heimserver, der ca 150Watt frisst.
Dass ich mit dem System nicht auf unter 40 Watt rauskomme ist mir bewusst, aber solange ich irgend wo im Bereich 50-80Watt je nach Auslastung bleibe, wo das System jetzt aktuell mit den 4 1TB statt 18Tb Platten steht finde ich das ganz in Ordnung.

Ich brauche nicht das stromsparendste 30Watt NAS wenn ich dann wieder Abstriche bei der Leistung machen muss, bei den Einsatzmöglichkeiten oder ich wenn ich drauf zugreifen möchte erstmal die Disks wieder an spinnen müssen und ich gut 10 Sekunden warten darf bis unter windows der Ordner reagiert.

Solange ich ein gutes Stück unter 100 Watt rauskomme bin ich zufrieden.
Und für den Moment ist ohnehin noch fraglich ob ich die Quadro in dem PC lasse oder erstmal zurück in den aktuellen Wohnzimmer PC packe, den die VM mit der Quadro früher oder später ersetzen soll.

 

 

Und vielen Dank noch für deine Antwort.
Du hilfst einem hier in dem Forum so sehr weiter wie nur wenige andere Leute.

Dickes Danke an der Stelle.

[mgutt]

39 minutes ago, derWinky said:

Wenn ich NUR die 2 4TB SSDs ins Array packe und keine Paritätsplatte verwende wird der Speed doch nicht gedrosselt oder?

Korrekt. Mit Parität liegt man beim Schreiben bei ca 100 bis 200 MB/s:

https://forums.unraid.net/topic/114126-ssd-performance-im-array/?tab=comments#comment-1038466

 

 

Lesen oder ohne Parität geht mit Maximum.

 

Wird echt Zeit für ZFS bei den Pools 😁