aktuell gute Hardware für einen Home-Server auf Unraid-Basis?


Recommended Posts

Mahlzeit,

nachdem ich jetzt schon einige Zeit im Netz recherchiert habe und es endlos viele dieser Threads gibt, aber ich noch zu keiner befriedigenden Antwort gefunden habe, bitte ich um eure fachliche und persönliche Meinung zu diesem Thema.

 

Es geht um folgendes. Mein in die Jahre gekommener home-Server soll in Rente geschickt werden und was zeitgemäßes, vor allem energiesparendes muss her.

Der Server beherbergt mein NAS, meinen Domain-Controller, einen Webserver und gelegentlich starte ich einen Testserver oder Game-Server darauf. Allerdings alles auf Windows-Server 2019 Basis in Hyper-V Maschinen. Also ohne ende Ressourcen verschwendet nurt für den Idle. (Danke Bill) ;)

 

Jetzt soll ein deutlich sparsameres System auf unraid-Basis mit Linux VMs übernehmen, da ich hier wesentlich weniger Leistung für das OS usw. verbrauche.

 

Meine Idee ist, der Domain-Controller läuft ständig und das NAS teile ich in 2 Raids auf. eines auf SSD-Basis und die alten HDDs im 2. Das SSD-NAS hält die ganzen Benutzerdaten der Domain, welche über GPOs gesteuert werden. Die ganzen "gelagerten" Daten, welche selten gebraucht werden (Home-Laufwerke, Filme,...) liegen auf den HDDs, welche erst bei Bedarf anspringen und ansonsten im standby ruhen.

 

Zur Hardware:

- Mainboard:

   10Gbit Ethernet hat (alternativ eine SFP+ PCI-Karte),

   8x SATA/SAS (für 2x SSD Raid 1 und 6x HDD Raid 5),

   1-2x NVMe SSD

   2 PCI Steckplätze (frei für spätere Erweiterungen).

 

- 16GB ECC DDR4 RAM

 

- Prozessor mit TDP max 35W

 

Im Forum hier habe ich einen tollen Thread gefunden, allerdings schon etwas veraltet und auch minimal unstimmig für mich. Dort wird von AMD abgeraten und dann doch ein AMD System empfohlen. witzigerweise genau das Setup, welches ich mir für meinen Server grundsätzlich überlegt habe.

 

Schick wäre natürlich IPMI oder etwas vergleichbares, da mein Server im anderen Gebäudeteil steht, allerdings ist die Energieeffizienz hier fraglich.

 

Was würdet ihr aktuell grundsätzlich empfehlen?

 

mfG

da Renegade

Link to comment
On 11/17/2022 at 2:43 PM, renegade03 said:

Im Forum hier habe ich einen tollen Thread gefunden, allerdings schon etwas veraltet und auch minimal unstimmig für mich

Der Beitrag ist nicht veraltet. Das was da steht, gilt nach wir vor. Neue sparsame Boards mit 8x SATA hat noch keiner gefunden.

 

On 11/17/2022 at 2:43 PM, renegade03 said:

Schick wäre natürlich IPMI

Schick oder muss?

 

Hier mal alles mit IPMI + 10G + 8x SATA:

https://geizhals.de/?cat=mbxeon&xf=1244_8~17258_2~317_C236~317_C246~317_C256~317_W480~317_W580~494_IPMI&sort=r&hloc=at&hloc=de&v=e

 

Ohne 10G:

https://geizhals.de/?cat=mbxeon&xf=1244_8~317_C236~317_C246~317_C256~317_W480~317_W580~494_IPMI&sort=r&hloc=at&hloc=de&v=e

 

Und W680:

https://geizhals.de/?cat=mbp4_1700&xf=2962_8~317_W680~494_IPMI&sort=r&hloc=at&hloc=de&v=e

 

Wenn kein IPMI notwendig:

https://www.amazon.de/Gigabyte-C246M-WU4-Support-2xPCIEx16-Motherboard/dp/B07PDNRSWB

 

Auf Basis von AMD könnte man das nehmen, aber das liegt wohl laut Berichten hier im Forum bei 30 bis 40W im Leerlauf:

https://geizhals.de/asrock-rack-x570d4u-2l2t-a2407866.html

 

Ist aber auch kaum noch zu finden.

 

 

Link to comment

Hi @mgutt

 

15 minutes ago, mgutt said:

Schick oder muss?

Schick. Was ich gelesen habe ist es halt mit 2-4 Watt extra zu rechnen und obwohl es eine eigene iGPU für VGA hat, brauche ich trotzdem eine in der CPU.

Dann lieber eine pikvm basteln und bei Bedarf ranhängen. So kann man sie ein bzw ausschalten.

 

15 minutes ago, mgutt said:

Auf Basis von AMD könnte man das nehmen, aber das liegt wohl laut Berichten hier im Forum bei 30 bis 40W im Leerlauf:

https://geizhals.de/asrock-rack-x570d4u-2l2t-a2407866.html

Ja das oder das x470 haben mir schon echt gefallen, aber in deinem Thread hast du ja geschrieben, dass es Probleme bei den iGPU von AMD gibt was die VMs betrifft.

Und da ich ja noch nicht weiß, welche VM eine GPU braucht, um zu laufen, sollte das schon gegeben sein.

 

 

Also bleibt eigentlich nur Intel, und am besten ein Xeon der 9. Generation, wenn ich das alles so richtig verstanden habe oder?

Und SFP+ am besten über eine PCI Karte realisieren, wenn mir nicht 2x Gbit bridged reicht?

 

Link to comment
9 minutes ago, renegade03 said:

aber in deinem Thread hast du ja geschrieben, dass es Probleme bei den iGPU von AMD gibt was die VMs betrifft.

Und da ich ja noch nicht weiß, welche VM eine GPU braucht, um zu laufen, sollte das schon gegeben sein.

Da verstehst du was falsch. Keine VM braucht eine GPU. Das ist nur eine Möglichkeit diese zu beschleunigen.

 

Eine iGPU kann sogar niemals in einer VM verwendet werden. Einzige Ausnahme ist als virtuelle iGPU sofern man eine Intel CPU bis zu 10ten Gen nutzt. Dann aber auch nur in Windows nutzbar.

 

1 hour ago, renegade03 said:

Also bleibt eigentlich nur Intel, und am besten ein Xeon der 9. Generation, wenn ich das alles so richtig verstanden habe oder?

Kommt auf den Chipsatz an. Vom Prinzip geht alles ab der 6ten Generation. Wenn man ein bisschen virtualisiert, am besten eine CPU ab 4 Kernen.

 

1 hour ago, renegade03 said:

Und SFP+ am besten über eine PCI Karte realisieren, wenn mir nicht 2x Gbit bridged reicht?

 

Oder vielleicht 2.5G? Bei vielen W480 bereits Onboard.

 

Quote

Was ist der Vorteil/Nachteil von 2 NVMe SSD zu normalen SATA SSDs als RAID 1 für das OS und die VMs?

NVMe hat 4 Lanes und damit 8x parallel Lesen und Schreiben. SATA kann nur 1x lesen oder schreiben (seriell).

Link to comment

Das OS bleibt bei Unraid im RAM.
Da bringen die NVME schon mal keine Vorteile.
Benutzt werden sie für den Cache. Also den "Zwischenspeichern" für die Daten, auf die man wirklich schnellen Zugriff haben will. Und, um darauf schneller Daten ablegen zu können, als das slebst auf SSD ginge.
Zwei aus dem Grund, dass der Cache nicht durch die Patität,.die Unraid für den eigentlichen "Dateienspeicher" nutzt geschützt werden.
Darf man auch für Dateien, die auf dem Cache liegen keinen Dateiverlust riskieren greift man dafür zum RAID.

Link to comment
2 minutes ago, mgutt said:

Da verstehst du was falsch. Keine VM braucht eine GPU. Das ist nur eine Möglichkeit diese zu beschleunigen.

 

Eine iGPU kann sogar niemals in einer VM verwendet werden. Einzige Ausnahme ist als virtuelle iGPU sofern man eine Intel CPU bis zu 10ten Gen nutzt. Dann aber auch nur in Windows nutzbar.

 

Ah OK. Ja genau bei dem Thema war ich mir ja auch nicht sicher. Erst rätst du von AMD ab und empfiehlst dann sogar genau das System, welches ich mir zusammengestellt habe.

ASROCK Rack x470. Ist halt jetzt schwer zu bekommen, aber ein tolles Board, wenn der Verbrauch passt.

Da ich meine VMs eh alle nur per Remote bediene brauche ich theoretisch ja nicht mal eine, aber das Problem des startens ist halt unter Umständen bei mancher SW gegeben.

 

5 minutes ago, mgutt said:

Oder vielleicht 2.5G? Bei vielen W480 bereits Onboard.

 

Habe jetzt allerdings auch kein Board mit dem Chip 8x SATA und 2x NVMe gefunden.

Bisher nur das Gigabyte von dir und auf AMD Seite das ASROCK Rack für AMD.

 

7 minutes ago, mgutt said:

NVMe hat 4 Lanes und damit 8x parallel Lesen und Schreiben. SATA kann nur 1x lesen oder schreiben (seriell).

Das ist mir soweit klar, aber wie sieht es mit der Ausnutzung aus und dem stromverbrauch?

Link to comment
3 minutes ago, Archonw said:

Das OS bleibt bei Unraid im RAM.
Da bringen die NVME schon mal keine Vorteile.
Benutzt werden sie für den Cache. Also den "Zwischenspeichern" für die Daten, auf die man wirklich schnellen Zugriff haben will. Und, um darauf schneller Daten ablegen zu können, als das slebst auf SSD ginge.
Zwei aus dem Grund, dass der Cache nicht durch die Patität,.die Unraid für den eigentlichen "Dateienspeicher" nutzt geschützt werden.
Darf man auch für Dateien, die auf dem Cache liegen keinen Dateiverlust riskieren greift man dafür zum RAID.

 

Also als reiner Paritätsspeicher im Raid 1 reichen mir ja auch normale SSD. Also welche Daten sind das für das System? Ich kenne unraid noch nicht im praktischen Sinne. Darum entschuldigt auch meine "laienhaften" Fragen. ;)

Link to comment
19 minutes ago, renegade03 said:

Das ist mir soweit klar, aber wie sieht es mit der Ausnutzung aus und dem stromverbrauch?

Auf dem SSD Cache liegen normalerweise kürzlich hochgeladene Dateien (Upload-Cache), Docker und VMs. Also viele parallel laufende Zugriffe. In Sachen Stromverbrauch ist eine NVMe durch ihre hohe Geschwindigkeit im Vorteil, da Prozesse schneller beendet werden können. Dadurch können alle Komponenten schneller in den Leerlauf wechseln.

Link to comment

Unraid wird von einem USB Stick aus geladen und verbleibt vollends im Ram. Da kommt also nichts von auf eine Festplatte oder der gleichen.

 

Dann gibt es das Array. Das ist der "eigentliche" Hauptdatenspeicher. Dafür sollten HDD's genommen werden. Dieser Speicher wird nicht über ein Raid abgesichert, daher kommt auch der Name "Unraid" eben kein Raid. Die Absicherung erfolgt hier auf einem anderen Weg. Dazu aber bitte mal an andere Stelle nachschauen. Kurz gesagt, Unraid verwendet dabei ein Platte aus dem Verbund und speichert dort keine für den User erkennbaren Daten ab, sondern vermerkt sich dort, Bit fuer Bit, wie die Zuaständer der anderen Platten aussehen. Hier werden also keine Dateien "einfach" gespiegelt oder der gleichen.

 

Weil es bei allem auch immer etwas gibt, was unschön ist, ist es hier das Schreibtempo. Um das auszugleichen kommt nur der Cache hinzu. Ein weitere Speicher der eben schneller ist. Dazu verwendet man eben derzeit gerne NVME. Welche der Daten daruaf nun zwischengespeichert werden entscheidet der User nun selbst. Und auch, ob es bei einem Zwischenspeichern bleibt, oder ob eben dauerhaft auf dem schnelleren Cache Daten verbleiben. Da wie oben erwähnt der Cache aber nicht über die Parität abgesichert ist nimmt man nur hier ein Raid zur Hilfe.

Link to comment
34 minutes ago, Archonw said:

Weil es bei allem auch immer etwas gibt, was unschön ist, ist es hier das Schreibtempo. Um das auszugleichen kommt nur der Cache hinzu. Ein weitere Speicher der eben schneller ist. Dazu verwendet man eben derzeit gerne NVME. Welche der Daten daruaf nun zwischengespeichert werden entscheidet der User nun selbst. Und auch, ob es bei einem Zwischenspeichern bleibt, oder ob eben dauerhaft auf dem schnelleren Cache Daten verbleiben. Da wie oben erwähnt der Cache aber nicht über die Parität abgesichert ist nimmt man nur hier ein Raid zur Hilfe.

 

Also wenn ich das recht verstehe, 2NVMe, welche als Cache Funktionieren. Mein Bisheriger Raid 5 wird quasi aufgelöst und als "unraid" geschrieben. Von meinen 4 Platten wird allerdings eine Abgezweigt, welche dann die Paritätsdaten hält?

 

Link to comment
5 minutes ago, mgutt said:

Jo, ähnlich wie bei einem RAID4, nur ohne Striping, also die Datenplatten sind einzeln formatiert.

Also auch der Datenverbrauch der Parität mit Raid 4 zu vergleichen?

 

Also kann ich die 2 NVMe in ein Raid 1, diesen dann partitionieren, einen Teil als Cache laufen lassen und im anderen dann meine VM für DC und Smarthome packen?

Aus dem Cache wird dann auf die Paritätsplatte geschrieben?

Link to comment
47 minutes ago, renegade03 said:

Also kann ich die 2 NVMe in ein Raid 1

Kannst du sicherlich machen, als wirklich notwendig würde ich es nicht betrachten.
Du kopierst ja regelmäßig deine Daten mit dem Mover ins unRAID.

Es kann also max das verloren gehen, was zwischen 2 moves geschrieben wurde und den zeitlichen Abstand definierst du selber.

Musst du dir überlegen wie kritisch du dies siehst.

Du kannst ja auch einzelne Ordner - die wirklich wichtig sind - anders einstellen.

 

Ich habe mich dafür entschieden beide NVMEs als sepreraten Cache zu betreiben.

Eine für VMS/Docker, die andere für Dateien.

 

Wirklich "sicherer" wird es auch erst mit einem weiteren - offside - Backup. Dieses ist häufig auch nicht 1:1 live angebunden.

Edited by Minion
Link to comment
6 minutes ago, Minion said:

Es kann also max das verloren gehen, was zwischen 2 moves geschreiben wurde.

Musst du dir übnerlegen wie kritisch du dies siehst.

Also derzeit läuft mein RAID mit Cache und Pufferbatterie. Kein Bock bei einem Ausfall oder sonstwas korrupte Daten zu haben.

 

8 minutes ago, Minion said:

Ich habe mich dafür entschieden beide NVMEs als sepreraten Cache zu betreiben.

Eine für VMS/Docker, die andere für Dateien

Warum das?

Link to comment
1 hour ago, renegade03 said:

lso derzeit läuft mein RAID mit Cache und Pufferbatterie. Kein Bock bei einem Ausfall oder sonstwas korrupte Daten zu haben.

Dann wäre ohne RAID 1 dein größter Feind der Ausfall einer der SSDs.
Wenn sich nicht gerade der Controller verabschiedet wird dir dies über die SMART Wert normal auch mit ausreichend Vorlauf angezeigt.

 

1 hour ago, renegade03 said:

Also derzeit läuft mein RAID mit Cache und Pufferbatterie. Kein Bock bei einem Ausfall oder sonstwas korrupte Daten zu haben.

 

Warum das?

So sind diese bei parallel Zugriffen getrennt.
Und es steht der doppleten Speicher zur Verfügung.
Je nach Nutzung des Servers kann es auch Sinn machen eine für Docker und eine für VMs zu nutzen, wenn die eigentlichen File shares nur einen Nebenrolle spielen.

 

Ich wollte nur darauf hinaus, dass der Cache nicht zwangsläufig in einem RAID1 laufen muss.

Wie man sich dann das ganze im Detail konfiguriert hängt von der Nutzung des Servers ab.

Edited by Minion
Link to comment

Auf dem Bild siehst du mal wie mein Server derzeit aufgebaut ist.

 

Array Devices:

Das sind meine HDD Festplatten auf denen die meisten meiner Daten liegen. Also all jene die ich nicht ständig oder schnell brauche, denn diese liegen auf dem

 

Pool Device:

Das ist meine NVME die den Cache bildet.

 

Boot Device:

Das ist der USB-Stick von dem das Unraid in den Ram beim Boot geladen wird.

 

Was jetzt wie auf den Festplatten oder auf dem Cache liegt bestimmt man unter anderem über die Shares.

Also die Ordner, die man Freigeben will, oder auch nicht, und in denen jetzt alle möglichen Daten liegen können.

Angefangen von Musik und Film oder Dokumenten. Aber auch die Daten der Virtuellen Maschinen und Dockern sofern man diese betreiben will.  

 

Unraid.png

Link to comment
1 hour ago, renegade03 said:

Also auch der Datenverbrauch der Parität mit Raid 4 zu vergleichen?

Naja 100% wie bei jeder Parität?

 

1 hour ago, renegade03 said:

Also kann ich die 2 NVMe in ein Raid 1, diesen dann partitionieren, einen Teil als Cache laufen lassen und im anderen dann meine VM für DC und Smarthome packen?

Aus dem Cache wird dann auf die Paritätsplatte geschrieben?

Nein. Der Cache ist ein separates Laufwerk was Unraid beim Upload einfach nur vor das Array setzt. Der Cache hält auch keine Dateien nach Popularität oder so vor. Du lädst was hoch und nach x Stunden verschiebt der Mover die Datei auf das Array (außer es ist ein Share, der ausschließlich auf dem Cache existieren soll).

 

19 minutes ago, renegade03 said:

Warum das?

Es gibt teilweise eine große Antipathie gegenüber BTRFS. Mir eingeschlossen. Manche nehmen daher einen möglichen Datenverlust zwischen zwei Backups der NVMes in Kauf. Manche teilen dann auch zwischen Cache und Docker/VM auf. Wieder andere sichern von NVMe zu NVMe. Und dann gibt es eben noch die, die klassisch auf RAID1 setzen.

Link to comment
29 minutes ago, Minion said:

was spricht gegen BTRFS?

BTRFS ist ziemlich sensibel was Servercrash und Stromausfall anbelangt. Auch gibt es immer wieder mal Setups, wo die NVMe wohl nicht schnell genug aus dem Standby hoch kommt oder was weiß ich. Auf jeden Fall gibt es mehr Ärger mit BTRFS als mit XFS.

Link to comment
9 hours ago, Minion said:

Wirklich "sicherer" wird es auch erst mit einem weiteren - offside - Backup. Dieses ist häufig auch nicht 1:1 live angebunden.

Ich habe hier ein RDX Laufwerk im Arbeits-PC, welcher in einem anderen Gebäudeteil steht und Regelmäßig backups Zieht. Jede Woche wird das Band getauscht. Also Offside sollte abgehakt sein. Muss nur schauen, wie ich das mit Veeam und den VMs hinbekomme.

 

9 hours ago, mgutt said:

Naja 100% wie bei jeder Parität?

Die Frage ist werden hierbei XOR-Prüfsummen oder volle Mirrors gespeichert als Parität?

 

Bisher habe ich halt meinen Server so aufgebaut. 2 HDD halten das OS und die VMs im Raid 1 zwecks ausfallsicherheit und 4 HDD bilden einen Raid 5 storage für alle Daten.

Da die eigenen Dateien der User auch dort gespeichert werden (über GPO) ist es halt Horror mit Abschalten der HDDs bzw auch die Zugriffszeiten besonders beim anmelden.

 

Darum will ich diese zukünftig auf NVMe halten, welche einfach schneller sind und zudem mehr Datenleistung im Ethernet, weil da haperts teilweise wenn 2-3 Leute drauf zugreifen. Allerdings ist es extrem wichtig, dass genau diese Daten Ausfallsicher gespeichert werden. Ihr wollt NICHT erleben, was abgeht, wenn ein Foto meiner Frau kaputt ist.^^

Ich will das auch nicht mehr. als damals ein ganzer Ordner "verschwunden" ist, lieber Höllenwoche bei den Seals, als nochmal das. ;)

 

 

 

Link to comment
1 hour ago, renegade03 said:

XOR-Prüfsummen

Das wenn mehr als eine Disk im Array ist. Tatsächlich ist es mit einer Disk ein klassisches RAID1. Aber das ist ja auch nichts anderes als XOR 😉

 

1 hour ago, renegade03 said:

Allerdings ist es extrem wichtig, dass genau diese Daten Ausfallsicher gespeichert werden.

Dann BTRFS RAID1 und klar, trotzdem noch Backups vom Cache machen. Schon alleine wenn man was zurückrollen möchte.

 

Ich sichere übrigens so:

- VM oder Docker stoppen

- cp --reflink=always /mnt/cache/quelle /mnt/cache/Backups/<Datum>/ziel

 

Das dauert keine Minute und belegt keinen extra Speicherplatz. Danach schiebe ich das Backup ins Array und von da geht es dann regelmäßig an einen Remoteserver.

Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.