Hardware Fragen All in One Unraid Server

[Xellirya]

Hallo,

Ich plane grade die Hardware für einen Unraid Server, der eigentlich alles hier im Haus abdecken soll via WMs pder Docker ... verschiedene Server (Smarthome, Gameserver, Mediaserver...) außerdem für alle hier im Haus eine Windows instalation auf die dann via Parsec über die Notebooks zugegeriffen werden kann, da diese schon recht alt sind. etc.

Als Prozessor liebäugel ich mit einen Ryzen Threadripper und an 2-3 Grafikkarten zum Paralellen Spielen.

Jetzt mach ich mir aber schon gedanken über den Stromverbrauch dieses Servers bei der Hardware, wenn sie aber Zeitweise garnicht benötigt wird... Gibt es da möglichkeiten via Unraid, Bios oder Mechanisch aktuell nicht benötigte Hardware abzuschalten od ganz runterzu takten?

Z.B. Brauchen die Verschiedenen VMs ja nicht die Maximale Prozessor Taktrate od manche Kerne werden garnicht benötigt..

Software Lösung wäre natürlicher besser, aber notfalls ggf irgendwie mit gerentten Netzteilen zb für die Grafikkarten?

LG

Jasmin

[mgutt]

9 hours ago, Xellirya said:

Gibt es da möglichkeiten via Unraid, Bios oder Mechanisch aktuell nicht benötigte Hardware abzuschalten od ganz runterzu takten?

Leider nein.

 

Linus hatte mal in einem Video PCIe Hotplug getestet und ist quasi verzweifelt:

 

 

 

Das Fazit daraus ist, dass sowohl die Schnittstelle als auch das Gerät Hotplug unterstützen müssen, was aber aktuell wohl nicht bei GPUs existiert.

 

Das einzige was mir noch in den Sinn käme wäre Thunderbolt. Also externe GPUs und pro VM eine Thunderbolt Karte durchschleifen. Dummerweise kann man aber nur eine TB Karte verbauen, sofern das Board das überhaupt unterstützt.

 

🤷

[Xellirya]

Danke für die Antwort. Das ist ja schade ... Und mit dem Prozessor unterschiedlich takten und wenn einige Kerne nicht benötigt werden abschalten oder runtertakten ist wohl auch nicht machbar?

[Ford Prefect]

...doch, das macht ein modernes System aber schon von selbst....wobei gerade das "nichtstun" die Intel Welt etwas besser beherrscht als die AMDs.

[ich777]

@Xellirya bitte hör dir den neuen podcast bzw. genauer gesagt den 2. podcast an da wird eigentlich von AMD abgeraten, speziell von threadripper.

[Xellirya]

 

11 hours ago, ich777 said:

bitte hör dir den neuen podcast bzw. genauer gesagt den 2. podcast an da wird eigentlich von AMD abgeraten, speziell von threadripper.

Welchen Podcast? ^^

LG

[ich777]

27 minutes ago, Xellirya said:

 

Welchen Podcast? ^^

LG

 

[Xellirya]

Ich hab nochmal bsichen hin und her überlegt...

Wäre es nicht auch möglich mit mehreren Netzteilen zu arbeiten und Hardware die nicht immer gebraucht wird wie z.B. die Gaminggrafikkarten die an die Gaming Vms gebunden sind und einige Festplatten an ein Netzteil anzuschließen und dieses bei nichtgebrauch abzuschalten? Oder würde das Unraid durcheinanderbingen?

[hawihoney]

1 hour ago, Xellirya said:

an ein Netzteil anzuschließen und dieses bei nichtgebrauch abzuschalten? Oder würde das Unraid durcheinanderbingen?

 

Mit Festplatten geht das. Nennt sich USB oder eSATA. Du würdest die Platten in Unassigned Devices sehen und könntest diese an VMs durchschleifen.

 

Sofern es sich nicht um externe Grafikkarten handelt, beziehen selbige den Hauptanteil des benötigten Stroms über den PCI Bus. Wie willst Du da etwas abschalten?

 

Das bringt nicht Unraid durcheinander, das ist einfach nur eine unrealistische Vorstellung.

 

[Xellirya]

Naja ich dachte halt wenn die kein Strom über die PSU bekommen sind sie halt quasi "nicht da" so lange.

Ich hatte mal in einem alten rechner eine 2. drin die ich mal abgeklemmt hatte vom Netzteil aber aus irgendeinen Grund eingesteckt gelassen habe. die Hat der PC dann behandelt als wäre sie nicht da. Ich dachte vileicht geht es bei Unraid ähnlich.

Ich hab halt angst, wenn da so viel Stromhungrige Hardware drin ist und der wegen der Server 24/7 läuft es selbst im Idle sehr viel Strom verbrauchen wird

[ich777]

27 minutes ago, Xellirya said:

Naja ich dachte halt wenn die kein Strom über die PSU bekommen sind sie halt quasi "nicht da" so lange.

Dir wurde die frage im anderen Tbread doch achon beantwortet das Hotplug von PCIe eigentlich nicht funktioniert und das wäre in diesem Fall nicht recht viel anderes wenn du ihr den Strom wegnimst.

 

Bedenke auch wenn du sowas vorhast ist/kann ein Hardwaredefekt sehr leich passieren da mit 2 unterschiedlichen netzteilen arbeitest und verschiedene spannungen, schon alleine wegen dem einschaltstrom anliegen können.

 

29 minutes ago, Xellirya said:

Ich hatte mal in einem alten rechner eine 2. drin die ich mal abgeklemmt hatte vom Netzteil aber aus irgendeinen Grund eingesteckt gelassen habe. die Hat der PC dann behandelt als wäre sie nicht da. Ich dachte vileicht geht es bei Unraid ähnlich.

Hast du mal versucht sie im laufenden betrieb wieder anzuschließen?

Kanm verherende Folgen haben.

 

30 minutes ago, Xellirya said:

Ich hab halt angst, wenn da so viel Stromhungrige Hardware drin ist und der wegen der Server 24/7 läuft es selbst im Idle sehr viel Strom verbrauchen wird

Ich würd mir eher um den Threadripper gedanken machen und Festplatten im Idle bzw. Spin Down sind sicher auch nicht wirklich das Stromhungrigste in dem System das du planst.

 

Hast du dir den Podcast schon angehört, also ich würd dir eher vom Threadripper abraten machdem ich den gehört habe, da wird bestimmt keiner Glücklich der eine VM benutzt.

[Xellirya]

4 minutes ago, ich777 said:

Hast du mal versucht sie im laufenden betrieb wieder anzuschließen?

Kanm verherende Folgen haben.

Nein natürlich nicht

5 minutes ago, ich777 said:

Ich würd mir eher um den Threadripper gedanken machen und Festplatten im Idle bzw. Spin Down sind sicher auch nicht wirklich das Stromhungrigste in dem System das du planst.

Ja um den Prozessor und die mehreren Grafikkarten mach ich mir da die meisten gedanken. Meine 1070 TI verbaucht unter Last 150 aber im Idle immer noch 23 watt. Und ich vermute mal das eine 3080 zb dann im idle auch noch entsprechend mehr verbraucht. Bei den Prozessor wurd emir ja schon gesagt das da nichts zu machen ist aber ich dachte ggf bei den Grafikkarten.

10 minutes ago, ich777 said:

Hast du dir den Podcast schon angehört, also ich würd dir eher vom Threadripper abraten machdem ich den gehört habe, da wird bestimmt keiner Glücklich der eine VM benutzt.

Leider noch nicht, da hab ich erst heute Abend zu Zeit aber danke für den TIpp.

 

Wenn der Server dann alles in Form von Vms / Docs hier im Haus übernehmen soll, kommt da halt auch einiges an Kernnen zusammen (Z.B. 5 Gaming Vms allein bräuchten ja schon nach jetzigen stand sicher jeweils 4/8 mit 3,5ghz. ) Jedenfalls ist meine jetzige CPu mit 3,5ghz und 4Kernen/8Threads bei manchen Spielen schon gut am kämpfen... Der Rust server wollte ohne einen Takt von 3,2 GHZ auch nicht flüssig laufen ... wir bräuchten wohl min 32 kerne mit einen Turbotakt von minimal 3,5ghz. Da ja zu den jeweils eigenen VMS für jeden ja noch diverses andere an Servern etc zukommen

[ich777]

45 minutes ago, Xellirya said:

Prozessor

Nur um den prozessor.

 

Warum sollte eine 3080 im idle mehr verbrauchen? Meine 1070Ti braucht im idle ca 10 bis 15 W unter Windows (abgesehen von der Wasserkühlung).

 

47 minutes ago, Xellirya said:

Leider noch nicht, da hab ich erst heute Abend zu Zeit aber danke für den TIpp.

Hör dir den podcast an, da es sich bei Threadripper mehrere CCX hat und das über NUMA nodes geregelt wird kann dies zu stottern in der VM führen und ich glaube wenn du jemand eine VM hinstellst die alle minuten mal 1 sekunde stottert beim spielen bzw framedrops hast ist keiner glücklich und da würde ich mir mal um den Stromverbrauch keine sorgen machen weil du den Server dann gar nicht lange genug hast um langzeittest zu machen wenn jeder nur Sauer ist warum die VMs stottern und wird wahrscheinlich wieder verkauft.

 

So gut und schön Threadripper auch ist, Virtualisierung und VMs laufen noch immer am besten auf Intel, deswegen hab ich mich auch damals zum Jahreswechsel für einen i5-10600 entschieden und bewusst gegen eine Ryzen.

 

Sieh dir doch mal die i9 Serie an.

Ob die effizienter oder nicht ist sei dahingestellt aber die VMs funktionieren auf Intel einfach (und ich bin weiß Gott kein Intel Fanboy).

[MartinG]

Bin ja nicht so oft hier in letzter Zeit, was am problemlos laufenden unraid liegt...

 

@Xellirya Ich würde mir genau überlegen ob es sinnvoll ist mehrere tausend Euro in so einen Server zu stecken.

Ich meine, 3 Leute an einem Rechner sollen Spielen können, gleichzeitig womöglich.

Dann sollte ein aktuelles System wenigstens mit einer 3060Ti ausgerüstet sein (x3)

Der Prozessor muss alle drei Grafikkarten bedienen können.

 

Im Endeffekt wird das ein Top System mit einem wenigstens i9 10900K Prozessor und 4 m.2 Sata SSDs für die Gaming Systeme (1TB, drunter würde ich nicht gehen) und den Cache, was mit einer Asus Adapter karte eventuell machbar ist. Dazu kommen noch drei Grafikkarten plus möglicherweise noch eine On Die damit Reserve da ist.

Und nebenbei noch 64G ram.

 

Über Datenfestplatten wurde ja noch gar nicht gesprochen.

 

Ich bezweifle daß ein gleichzeitiger Betrieb von 3 zockenden Parteien an einem PC überhaupt möglich ist.

Und ganz ehrlich, ich möchte nicht in Deiner Haut stecken wenn die drei mal nicht zocken können weil der Server steht.

 

Gruß

Martin

 

 

 

 

[Xellirya]

13 hours ago, ich777 said:

So gut und schön Threadripper auch ist, Virtualisierung und VMs laufen noch immer am besten auf Intel, deswegen hab ich mich auch damals zum Jahreswechsel für einen i5-10600 entschieden und bewusst gegen eine Ryzen.

 

Sieh dir doch mal die i9 Serie an.

Ob die effizienter oder nicht ist sei dahingestellt aber die VMs funktionieren auf Intel einfach (und ich bin weiß Gott kein Intel Fanboy).

Hab ich mal gemacht die 18 Kerner wären eine Alternative zu Xeon, Theoretisch für alle geplanten Vm und Docker ggf zu wenig, ich überleg schon es doch mit 2 Servern zu lösen, einen für die Sachen die viel Rechenleistung brauchen (I9 und die RTX Karten) der muss dann auch nicht immer laufen und einen der Sparsam ist und für alle anderen Sachen herhält und durch läuft. Naja mal sehen Jedenfalls vielen vielen Dank für die vielen Antworten und Hilfe!

Zu dem Podcast bin ich gestern Abend nicht mehr gekommen, hoffe heute Mittag dann

12 hours ago, MartinG said:

m Endeffekt wird das ein Top System mit einem wenigstens i9 10900K Prozessor und 4 m.2 Sata SSDs für die Gaming Systeme (1TB, drunter würde ich nicht gehen) und den Cache, was mit einer Asus Adapter karte eventuell machbar ist. Dazu kommen noch drei Grafikkarten plus möglicherweise noch eine On Die damit Reserve da ist.

Und nebenbei noch 64G ram.

 

Über Datenfestplatten wurde ja noch gar nicht gesprochen.

 

Ich bezweifle daß ein gleichzeitiger Betrieb von 3 zockenden Parteien an einem PC überhaupt möglich ist.

Und ganz ehrlich, ich möchte nicht in Deiner Haut stecken wenn die drei mal nicht zocken können weil der Server steht.

Ohha, Danke für die Infos, ich hatte jetzt gedacht, da es auf Youtube so angepriesen wurde mit einem Rechner alle Anderen zu ersetzen mit Unraid und die da auch parallel gespielt haben, dass es wohl auch "kein Problem" sei das die HArdware es hinbekommt.

 

Ok es würden Wahrscheinlich nicht alle gleichzeitig spielen, da wir auch zu verschiedenen Zeiten nur Zeit haben im allgemeinen, denke das es ehr so 2 gleichzeitig mal sind max 3 kurzeitig, aber wenn es dann mit einem Intel i9 Extreme, 3 Grakas, max Ram etc am ende nicht möglicht ist müsste ich wohl tatsächlich wieder umplanen.

[ich777]

6 minutes ago, Xellirya said:

Ohha, Danke für die Infos, ich hatte jetzt gedacht, da es auf Youtube so angepriesen wurde mit einem Rechner alle Anderen zu ersetzen mit Unraid und die da auch parallel gespielt haben, dass es wohl auch "kein Problem" sei das die HArdware es hinbekommt.

Ja aber du hast auch vor zu Streamen, und ein Hardwaredefekt betrifft dann nicht nur einen PC sondern deine 2 bzw. 3 Virtuellen PC's...

 

6 minutes ago, Xellirya said:

Theoretisch für alle geplanten Vm und Docker ggf zu wenig

Wie das? das ist doch mehr als genug für 3 VM's 6 Kerne pro VM und die takten auch richtig hoch.

Und in der VM in der nicht so viel gespielt würde würde ich die Docker Kerne zuweisen bzw. der i9-10900 hat doch 10 Kerne 10 threads da würden dir noch 2 übrig bleiben nur so rechnerisch.

 

Welches spiel braucht heutzutage wirklich mehr als 8 Kerne? ...und die meisten laufen auch bei 4 Kernen noch wunderbar, auch Rust auf einem i5-2500...

Vergiss aber nicht viele Spiele brauchen auch moderne Befehlssätze die alter Prozessoren evtl nicht unterstützen die du evtl im Einsatz hast und die Spiele laufen dann entweder gar nicht oder ruckeln, ist bei neuer Hardware dann nicht der Fall da die schon zB AVX2 unterstützen.

[mgutt]

14 hours ago, MartinG said:

Ich bezweifle daß ein gleichzeitiger Betrieb von 3 zockenden Parteien an einem PC überhaupt möglich ist.

Mit einem Core i9-10940X oder Core i9-9940X, drei GPUs, drei USB Controller und drei LAN Controllern, sollte das meiner Ansicht nach kein Ding sein. Aber was haut das an Strom raus. 200W im Leerlauf?

[Xellirya]

6 minutes ago, ich777 said:

Ja aber du hast auch vor zu Streamen, und ein Hardwaredefekt betrifft dann nicht nur einen PC sondern deine 2 bzw. 3 Virtuellen PC's...

Das würde ich wenn ich es dann mal machen (ich wollte es uns nur offen halten) eh nur machen, wenn die Anderen aus dem Haus sind Da würde ich dann in seperaten VMs die HArdware nutzen die sonst die Anderen für ihre Gaming voms haben. Damit würden dann wieder die 3 VMS pralell laufen im endefffekt.

18 minutes ago, ich777 said:

Wie das? das ist doch mehr als genug für 3 VM's 6 Kerne pro VM und die takten auch richtig hoch.

Und in der VM in der nicht so viel gespielt würde würde ich die Docker Kerne zuweisen bzw. der i9-10900 hat doch 10 Kerne 10 threads da würden dir noch 2 übrig bleiben nur so rechnerisch.

Also mal ausgegangen von der aktuellen Lage, hat hier aktuell jeder (2 Erwachsene, 3 Kinder) einen PC mit einem Intel 4 kern / 8 Threads die auf etwa 3,5ghz laufen, 16-24gb Ram. Graka mit 4-8GB. Dazu noch ein PC mit den Gameservern das ist ein 6 Kern AMD. Und die 5 Pcs von allen hier wollte ich gerne in den einen Server Packen und auch so das jeder wieder 8 Threads und min 16GB Ram hat und eine Dedizierte Graikkarte, da ich aber keine 5 Grafikkarten in einen Server bekomme wollte ich die so aufteilen das einige VMS die zugewiesen bekommen, die normal nicht gleichzeitig laufen zumindestens nicht zum Spielen. Außerdem wollte ich für mich auch eine VM zum Arbeiten haben, ein Mac OX und ein Linux... Und dann sind da noch die Gameserver die je nachdem wer grade was spielt laufen müssten bei einigen spielen wie ARK od Atlas wo die Server verclustert sind bräuchte es dann in dem Moment ein paar Server mehr, die haben allerdings nicht sooo hohe Ansprüche an den Prozessor Takt im allgeminen. Mit Ausnahme von Rust und Mindecraft. Dann  ist angedacht dass auch einige Home/Media/Cloud/Smarthome... Server dauerhaft laufen sollen, die zwar auch keine so hohen Ansprüche an die Hardware haben aber dennoch ja jeder für sich seine Threads und Ram braucht. Daher hatte ich nach einer Lösung mit möglichst vielen Kernen / Threads gesucht die aber auch hoch genug takten, das sie zum Sspielen geeignet sind. Jetzt überleg ich aber ob es Sinnvoller wäre 2 Server zu nehmen und nach Leistung aufzuteilen welche VMs / Docker auf welchen laufen.

2 hours ago, ich777 said:

Welches spiel braucht heutzutage wirklich mehr als 8 Kerne? ...und die meisten laufen auch bei 4 Kernen noch wunderbar, auch Rust auf einem i5-2500...

Vergiss aber nicht viele Spiele brauchen auch moderne Befehlssätze die alter Prozessoren evtl nicht unterstützen die du evtl im Einsatz hast und die Spiele laufen dann entweder gar nicht oder ruckeln, ist bei neuer Hardware dann nicht der Fall da die schon zB AVX2 unterstützen.

Also bisher kamen wir mit unseren schon sehr alten Prozessoren noch ganz gut lang von der Leistung. Das ist der I7 Extreme 1. Gen und ein paar modifizierte Xeons mit jeweils 4 KErnen / 8 Threds und 3,5-4GHz Takt (OC), die verbauchen aber jeder für sich ne Menge Strom (um die 130 Watt) wenn dann 4-6 davon fast den ganzen Tag laufen... und es nimmt halt viel Platz ein, ist nicht grade leise  und die Abwärme ist auch nicht wenig ^^ ( Im Winter tatsächlich ganz praktisch XD)

 

[Xellirya]

37 minutes ago, mgutt said:

Mit einem Core i9-10940X oder Core i9-9940X, drei GPUs, drei USB Controller und drei LAN Controllern, sollte das meiner Ansicht nach kein Ding sein. Aber was haut das an Strom raus. 200W im Leerlauf?

Ja die Sorge hab ich ja auch darum hatte ich mich hier ja schon durchgefragt ^^ aber ich glaube das die ganzen Einzelden Rechner die hier immer laufen vor allem auf der älteren Hardware noch schlimmer sind.

[mgutt]

1 minute ago, Xellirya said:

aber ich glaube das die ganzen Einzelden Rechner die hier immer laufen vor allem auf der älteren Hardware noch schlimmer sind.

Das gilt für die Zeit wo sie an sind, aber die GPUs im Server bekommst du nicht aus. Also ~15W pro (Nvidia) GPU hast du 24/7. Dazu kommt das Monster-Netzteil, was auf die Gesamtleistung ausgelegt werden muss und daher unten rum auch wieder 10 bis 20W für Nichts verbrauchen wird. Also ein Titanium Nezzteil sollte es auf jeden Fall werden. Leider hat Corsair seine Low Load Effizienz noch nicht in der >1000W umgesetzt. Das wäre sonst ideal.

 

Aber wie gesagt gehen nur Intel X CPUs. Du brauchst Kerne und keine Threads. Und 14 Kerne wären denke ich optimal. 4 Kerne pro VM und 2 Kerne für Unraid und Docker. Optimalerweise mit einer kleinen 4ten GPU für Unraid.

[Xellirya]

Ich hab auch schon üerbelegt, ob es nicht Sinnvoll wäre wenn ich es wie oben erähnt qauf 2 Server aufteil, auf dem schächeren Server für jeden eine Office VM zusätzlich anzulegen... Für Surfen Office und ggf etwas Youtube reicht doch sicher jeweils ne VM mit vielleicht 2 Threads mit 2 GHZ, 8 GB Ram und einer geteilten virtuellen Grafikkatze ( Z.B. die 1050Ti)? Dann wäre auf dem anderen Server immer nur die VMS aktiv mit dennen grade gespielt wird und es braucht nicht so viele Grafikkarten und Kerne mit Hoher Taktung.

[Xellirya]

3 minutes ago, mgutt said:

Aber wie gesagt gehen nur Intel X CPUs. Du brauchst Kerne und keine Threads. Und 14 Kerne wären denke ich optimal. 4 Kerne pro VM und 2 Kerne für Unraid und Docker. Optimalerweise mit einer kleinen 4ten GPU für Unraid.

Wie gesagt wir sind zu fünft.. bei jeweils 4 Kernen wären es dann schon 20 Kerne... I9 hab ich bisher mit max 18 gesehen. Aber ein Kern hat doch 2 Threads oder? So hab ich vorhin gerechnet als ich meinte 8 Threads ^^

 

4 minutes ago, mgutt said:

Das gilt für die Zeit wo sie an sind, aber die GPUs im Server bekommst du nicht aus. Also ~15W pro (Nvidia) GPU hast du 24/7. Dazu kommt das Monster-Netzteil, was auf die Gesamtleistung ausgelegt werden muss und daher unten rum auch wieder 10 bis 20W für Nichts verbrauchen wird. Also ein Titanium Nezzteil sollte es auf jeden Fall werden. Leider hat Corsair seine Low Load Effizienz noch nicht in der >1000W umgesetzt. Das wäre sonst ideal.

Darum überleg ich jetzt ja es wie oben erwähnt zu machen, mit 2 servern zu Arbeiten wo der eine 18 Kerne hat und die Grafikkarten mit den 5 vms fürs Spielen und ggf andere Sachen die noch viel Leistung brauchen aber nicht alle auf einmal laufen. und einen mit vielen Kernen mit geringerer Taktung für Office VMs für jeden und  alles andere wo dann auch nur eine DGPU drin ist.

[mgutt]

24 minutes ago, Xellirya said:

 

 

 

Ich würde vermutlich sogar auf den Xeon W-2175 oder W-2275 setzen wegen ECC RAM. Das in Kombi mit einem C422 Chipsatz, da der effizienter ist als der X299. Kommt aber drauf an was es da für Boards gibt. Gibt es da eines wo man auf Slot 1 eine Quad M.2 Bifurcation installieren kann und zusätzlich 4 GPUs?

[mgutt]

5 minutes ago, Xellirya said:

 

 

6 minutes ago, Xellirya said:

Wie gesagt wir sind zu fünft..

Dann hast du aber ein Lane Problem. Du bekommst keine 5 GPUs verbaut, außer bei AMD Epyc, aber da hat man keine Gaming Leistung.

 

[Xellirya]

3 minutes ago, mgutt said:

Ich würde vermutlich sogar auf den Xeon W-2175 oder W-2275 setzen wegen ECC RAM

Der hat ja aber auch nur 14 Kerne das würde für den Server mit den Gaming VMs nicht reichen glaube ich. da könnten dann ja Max 3 gleichzeitig Spielen. Das würde aber ggf gehen wenn ich für Office / Surven Seperate VMs nochmal mache... Ich Spiele aktuell eh recht selten und wenn wenn die Kinder aus dem Haus sind oder im Bett. Aber da wäre dann doch ein i9 günstiger und nochmal schneller? Und ich bräuche in jedenfall dann ein 2. Server für alles andere noch das dauerhaft läuft.