Hallo zusammen,

 

nachdem ich hier einige Zeit mitgelesen habe möchte ich nun auch einen eigenen Server bauen. Dafür suche ich hier nach Hardwareempfehlungen. Ich möchte damit 2 RasPis (1x Nextcloud, 1x Homeassistant) und evtl. auch meinen Omada Netzwerkcontroller (OC200) ersetzen. Außerdem habe ich noch einen HUNSN Industrial PC mit i5-8265U, auf dem pfSense läuft. Der soll nach aktuellem Stand unverändert weiterlaufen.

 

Aktuell läuft auf den Raspis:

• Nextcloud
• Homeassistant mit Addons:
  • Snapcast Server
  • Musicassistant
  • Nginx Proxy manager
  • Vaultwarden (Bitwarden)
  • Wyoming Protokoll mit OpenWakeWord, Piper und Whisper

 

Geplant sind auf dem neuen Server:

• Jellyfin / Plex
• Arrs
• paperless -ngx
• NAS
• +vermutlich weitere Anwendungen, wenn ich auf den Geschmack gekommen bin

 

 Durch den Youtube Kanal FutureProofHomes habe ich vor kurzem begonnen, mich mit einem lokalen Sprachassistenten zu beschäftigen. Aktuell läuft Text-to-speach und speach-to-text über Piper und Whisper lokal auf dem Raspi. Das funktioniert, allersings sind die Antwortzeiten für den produktiven Einsatz noch deutlich zu lang. Als Konversations-Agent benutze ich aktuell noch ChatGPT über die API, hier Ich möchte aber gerne versuchen, auf ein  lokales LLM umzusteigen. Die Sprachsteuerung ist eher noch Spielerei und hat nicht die höchste Priorität.

 

Was für eine CPU/GPU Kombo ist notwendig, um brauchbare Reaktionszeiten (5-10 Sek) mit dem Sprachassistenten zu bekommen? Wären ein i5-12400 und eine RTX3060 ausreichend? Was bedeutet eine dGPU für den Stromverbrauch? Kann man den Server trotzdem stromsparend betreiben? (Die dGPU nur bei bedarf verwenden, einfachere Aufgaben wie Transcoding über die iGPU laufen lassen). Stromverbrauch ist mir schon wichtig, falls der durch die Grafikkarte deutlich ansteigt, würde ich mir überlegen, ob ich den Sprachassistent nicht wieder von der Liste streiche.

 

An Hardware ist noch ein Fractal Define R4 mit Lüftern vorhanden. Außerdem habe ich noch eine 1TB und eine 256GB 2,5' SSD, die aktuell noch an den RasPis hängen. 2 Toshiba MG10 mit 20TB habe ich schon gekauft.

 

Benötigt werden:

• Mainboard
• CPU (+ evtl. Kühler, falls boxed nicht ausreicht)
• RAM
• 1 oder 2 Cache NVMEs
• Netzteil

 

Für Hardwareempfehlungen wäre ich sehr dankbar. Außerdem würde mich interessieren, was ihr grundsätzlich von der Idee mit dem lokalen Sprachassistenten haltet.

 

Viele Grüße

Richard

3 minutes ago, Richard255 said:

Was für eine CPU/GPU Kombo ist notwendig, um brauchbare Reaktionszeiten (5-10 Sek) mit dem Sprachassistenten zu bekommen?

die 3060 ist da wahrscheinlich schon knapp bemessen, einlesen wo das "gelebt" wird ... hier wirst du nicht viel dazu finden.

 

4 minutes ago, Richard255 said:

Was bedeutet eine dGPU für den Stromverbrauch? Kann man den Server trotzdem stromsparend betreiben? (Die dGPU nur bei bedarf verwenden, einfachere Aufgaben wie Transcoding über die iGPU laufen lassen). Stromverbrauch ist mir schon wichtig, falls der durch die Grafikkarte deutlich ansteigt, würde ich mir überlegen,

wenn du wie oben erwähnt hast "einige Zeit mitgelesen hast" ... solltest du die Antwort kennen

 

kurz, alleine der Einbau der dGPU und die entsprechende PCIe Belegung kostet bereits ein paar Watt, dazu der idle Verbrauch der dGPU bei Nichtnutzung, macht hier ca. 15 - 20 W aus, kurz, überleg es dir ob es dir das wert ist

 

5 minutes ago, Richard255 said:

Für Hardwareempfehlungen wäre ich sehr dankbar. Außerdem würde mich interessieren, was ihr grundsätzlich von der Idee mit dem lokalen Sprachassistenten haltet.

 

der oben erwähnte Rest, vielleicht einfach die n100er Threads wirklich anschauen, lässt sich bequem damit realisieren, zur lokalen Sprachsteuerung ... ich persönlich nutze Google Assistant und warte keine 5 - 10 Sekunden auf ne Antwort oder das etwas angeschaltet wird, Rollladen rauf oder runter fahren, usw usw ... wenn dein Spieltrieb da ist, mach es und teste es

Hi alturismo,

 

danke für deine Antwort,

11 minutes ago, alturismo said:

wenn du wie oben erwähnt hast "einige Zeit mitgelesen hast" ... solltest du die Antwort kennen

 

Du hast recht. Ich habe hauptsächlich die Themen zu stromsparenden Servern gelesen, da ist mir nirgendwo eine dGPU aufgefallen.

 

15 minutes ago, alturismo said:

kurz, alleine der Einbau der dGPU und die entsprechende PCIe Belegung kostet bereits ein paar Watt, dazu der idle Verbrauch der dGPU bei Nichtnutzung, macht hier ca. 15 - 20 W aus, kurz, überleg es dir ob es dir das wert ist

 

Das ist tatsächlich recht viel. Da würde es sich ja schon fast lohnen, ein separates System für das LLM aufzusetzen. Der Youtuber FutureProofHomes verwendet in einem seiner Videos ein Nvidia Jetson Nano Dev Kit, das verbraucht im Idle ~5W. Allerdings hat die RTX3060 auch wesentlich mehr TOPS.

 

20 minutes ago, alturismo said:

ich persönlich nutze Google Assistant und warte keine 5 - 10 Sekunden auf ne Antwort oder das etwas angeschaltet wird, Rollladen rauf oder runter fahren, usw usw ... wenn dein Spieltrieb da ist, mach es und teste es

 

Ich versuche, nach Möglichkeit auf Cloud-Lösungen zu verzichten. Google oder Alexa möchte ich daher nicht verwenden.

 

In Richtung N100 habe ich auch schon geschaut, bin aber wegen der lokalen Sprachsteuerung davon abgekommen. Ohne Sprachsteuerung wäre das aber eine Option. 

28 minutes ago, Richard255 said:

Der Youtuber FutureProofHomes verwendet in einem seiner Videos ein Nvidia Jetson Nano Dev Kit, das verbraucht im Idle ~5W. Allerdings hat die RTX3060 auch wesentlich mehr TOPS.

der idle Verbrauch der GPU an sich ist meist nicht das Thema ...

 

 

das Board zieht einiges mehr sowie ne dGPU verbaut ist ... da liegt der Verbrauch ... wenn es nur der dGPU idle wäre ... wär das nice

Ich habe jetzt nochmel einige Zeit überlegt und werde den Server erstmal ohne dGPU bauen. Die Option darauf möchte ich mir aber offenhalten, somit ist ein N100 Board für mich raus.

 

Ich bin mir noch nicht sicher, was das beste Setup für die Pool-Disks ist. Der aktuelle Plan sieht so aus:

• 2x 2TB (SATA?) im Raid1 als Cache für bspw. Nextcloud
• 1 x 2TB (NVME?) für Docker
• 1 x 2TB (NVME?) für VMs
• optional: 1 x 1TB  SATA als Download-Cache (SSD dafür ist vorhanden und wäre übrig)

Ist dieses Setup so sinnvoll? Oder ist die Trennung von Docker und VMs überflüssig?

 

2 x Samsung 990 Pro 2TB habe ich letzte Woche zu einem guten Preis bestellt, eine 1TB SATA-SSD ist wie gesagt noch vorhanden. Welche 2 TB SATA-SSDs sind hinsichtlich C-States empfehlenswert?

 

Mit diesem Pool-Setup und aktuell 2 HDDs für das Array (+ zukünftig ein bis zwei weiteren HDDs) braucht das Mainboard dann 2 NVMe und 7 SATA Anschlüsse. Mit einem Gigabyte B760M DS3H und einer PCI - ASM1166 Karte sollte das doch funktionieren? Oder gibt es bei den PCI - ASM1166 im Vergleich zur NVMe-Variante Probleme bezüglich Stromverbrauch?

20 minutes ago, Richard255 said:

Oder ist die Trennung von Docker und VMs überflüssig?

 

Ich sehe diese Trennung als überflüssig an (wenn man eben nicht unbedingt extrem anfordernde VM [am schlimmsten doch einige Dutzend gleichzeitig] laufen läßt). Ob sich meine Meinung auf Deinen LLM Anwendungszweck auswirkt kann ich nicht sagen, weil mich LLM nicht interessieren.

 

20 minutes ago, Richard255 said:

2 x Samsung 990 Pro 2TB habe ich letzte Woche zu einem guten Preis bestellt, eine 1TB SATA-SSD ist wie gesagt noch vorhanden. Welche 2 TB SATA-SSDs sind hinsichtlich C-States empfehlenswert?

 

Wenn der Kontroller eines Mainboards nichts falsch macht wirken sich SATA Devices eigentlich nicht auf C-States aus.

Nicht die SSD steuert den Kontroller des Mainboards, sondern der Kontroller steuert die SATA devices.

Und der Kontroller uf dem Mainboard ist per PCIe (oder eben dem Chipsatz direkt) verbunden, was die C-states beeinflusst. ein SAT ADevice selber läuft nicht an PÜIe direkt.

 

20 minutes ago, Richard255 said:

Mit diesem Pool-Setup und aktuell 2 HDDs für das Array (+ zukünftig ein bis zwei weiteren HDDs) braucht das Mainboard dann 2 NVMe und 7 SATA Anschlüsse.

 

Bei Intel S1700 wären das dann die Z Boards (wenn man B760 Mainboards mit aufgelöteten Zusatzkontroller mal aussen vor läßt).

Hier wären dann so um die 20-30W nackt/idle zu veranschlagen.

 

20 minutes ago, Richard255 said:

Mit einem Gigabyte B760M DS3H und einer PCI - ASM1166 Karte sollte das doch funktionieren?

 

Das kann man machen, ja.

Wenn Du aber die dGPU Option im X16 Slot offen halten willst, wird der ASM1166 für einen der PCIe x1 Slots geeignet sein müssen. Und dann sollte der nicht mehr als 4 SATA Festplatten (wenn diese so je um die 250MByte/s veranschlagt werden) ansprechen.

 

20 minutes ago, Richard255 said:

Oder gibt es bei den PCI - ASM1166 im Vergleich zur NVMe-Variante Probleme bezüglich Stromverbrauch?

 

Diesen Gedankengang verstehe ich bei bestem Willen nicht. Vielleicht sollte ich doch mehr LLM Zeitschriften rauchen. 🤪

Das Mainboard hat kein PCI, sondern PCIe. der ASM1166 ist Mainboardseitig immer PCIe. Diesen gibt es als normale PCIe Steckkarte und als M.2 Steckkärtchen. Das ändert aber nichts daran, daß beide per PCIe mit dem CHipsatz/Cpu kommunizieren. Aber warum sich da irgendetwas unterschiuedlich auf den Stromverbrauch auswirken soll verstehe ich nicht. Und den Zusammenhang mit Deinen angedachten NVMe SSD kann ich nun gar nicht mehr nachvollziehen.

 

1 hour ago, Richard255 said:

Ist dieses Setup so sinnvoll? Oder ist die Trennung von Docker und VMs überflüssig?

 

probier es doch einfach aus ...

 

und da dein "gedachtes" setup eh beides abdecken könnte, teste es erst ohne Trennung aus, ist nachträglich schnell erledigt ...

 

zum Punkt, Gaming VM, ggf. ja ... um Ruckler bei Shader laden zu verhindern, ansonsten eher absolut Nein.

und das auch nur wenn Dockers laufen die stark r/w machen (Beispiel live cams apps) oder oder oder ...

und du ggf. für die Gaming VM ne nvme per passthrough mitgibst, dann ist die parallele Nutzung eh obsolet.

2 hours ago, DataCollector said:

Wenn der Kontroller eines Mainboards nichts falsch macht wirken sich SATA Devices eigentlich nicht auf C-States aus.

Nicht die SSD steuert den Kontroller des Mainboards, sondern der Kontroller steuert die SATA devices.

Und der Kontroller uf dem Mainboard ist per PCIe (oder eben dem Chipsatz direkt) verbunden, was die C-states beeinflusst. ein SAT ADevice selber läuft nicht an PÜIe direkt.

 

Ah, OK, danke für die Info. Bei NVMes wird ja meistens von WD abgeraten, da die wohl Probleme mit den C-States verursachen können. Gut zu wissen, wenn das bei SATAs nicht der Fall ist.

 

2 hours ago, DataCollector said:

 

Bei Intel S1700 wären das dann die Z Boards (wenn man B760 Mainboards mit aufgelöteten Zusatzkontroller mal aussen vor läßt).

Hier wären dann so um die 20-30W nackt/idle zu veranschlagen.

 

Das kann man machen, ja.

Wenn Du aber die dGPU Option im X16 Slot offen halten willst, wird der ASM1166 für einen der PCIe x1 Slots geeignet sein müssen. Und dann sollte der nicht mehr als 4 SATA Festplatten (wenn diese so je um die 250MByte/s veranschlagt werden) ansprechen.

Was wäre denn für den Stromverbrauch besser? Z-Mainboard mit ausreichend SATAs Onboard oder B760M + Zusatzkarte? Ich habe gesehen, dass es ASM1064-Karten mit PCIe x1 gibt. Da mir 4 zusätzliche SATAs ausreichen, würde ich dann eine ASM1064 Karte verbauen.

 

2 hours ago, DataCollector said:

 

Diesen Gedankengang verstehe ich bei bestem Willen nicht. Vielleicht sollte ich doch mehr LLM Zeitschriften rauchen. 🤪

Das Mainboard hat kein PCI, sondern PCIe. der ASM1166 ist Mainboardseitig immer PCIe. Diesen gibt es als normale PCIe Steckkarte und als M.2 Steckkärtchen. Das ändert aber nichts daran, daß beide per PCIe mit dem CHipsatz/Cpu kommunizieren. Aber warum sich da irgendetwas unterschiuedlich auf den Stromverbrauch auswirken soll verstehe ich nicht. Und den Zusammenhang mit Deinen angedachten NVMe SSD kann ich nun gar nicht mehr nachvollziehen.

 

Entschuldige bitte meine Unwissenheit 🙃. Dass es keine Rolle spielt, ob der ASMxxxx an PCIe oder NVMe angeschlossen ist, war mir nicht bewusst. Ich stelle meine (blöden) Fragen lieber vor dem Hardwarekauf. Ich hoffe, dass ich dadurch ein neues Thema "Hilfe mein Stromverbrauch ist zu hoch" vermeiden kann (kein Versprechen 🤪)

 

 

 

Wenn ich die NVMEs für VM und Docker nicht trenne, wie könnte ich die 2. NVMe dann in mein Setup integrieren? Im Raid1-Pool mit einer SATA SSD erscheint mir wenig sinnvoll (funktioniert das technisch überhaupt?). Zurückschicken wäre auch noch eine Option.

 

Edit - Typo

Edited December 4, 20241 yr by Richard255

2 minutes ago, Richard255 said:

Was wäre denn für den Stromverbrauch besser? Z-Mainboard mit ausreichend SATAs Onboard oder B760M + Zusatzkarte? Ich habe gesehen, dass es ASM1064-Karten mit PCIe x1 gibt. Da mir 4 zusätzliche SATAs ausreichen, würde ich dann eine ASM1064 Karte verbauen.

 

ASM1064 sind nicht zu empfehlen, wenn es einem bei unraid um den Stromverbrauch geht, da die mit poowertop "auto tune" nicht wirklich harmonieren.

Der Frage nach ist die SATA Faq noch nicht bekannt. Deshalb hier:

https://forums.unraid.net/topic/132205-faq-grundlagen-zusatzkarte-für-sata-ports-v14-stand-22042024/

 

Den ASM1166 gibt es für PCIe x4 Steckplatz (elektrisch werden nur 2 Lanes darin benutzt), für einen M.2 PCIe Steckplatz (auch nur 2 Lanes) oder für den PCIe x1 Steckplatz (von dem es 2 solche Steckplätze auf dem genannten Gigabyte B760M ... Mainboard gibt).

 

Ob man mit einem ASM1166 (egal welcher Bauform) tiefe C-STates erreicht ist eine Frage des Zusammenspieles zwischen ASM1166 Firmware und Firmware und Design des Mainboards. Man kann dem ASM1166 auch die Silverstone Firmware einflashen. falls es ohne nicht so gut klappt, aber auch damit ist es Glückssache (geschätzt ca. 50/50 Chance) ob man damit dann tiefe C-States erreicht.

 

Und genau da liegt auch der Hund in Deiner Frage begraben: wenn man Glück hat und alles gut harmoniert kann man ein B760M Mainboard mit einem ASM1166 (egal welcher Bauform) super sparsam unterwegs sein, man kann aber auch Pech haben, daß das Gespann einen höheren Verbrauch (35 Watt) als ein Z690 Mainboard hat (20-30 Watt).

Das wirst Du wohl ausprobieren müssen, da es zu viele Variablen gibt um eine Garantie abzugeben.

 

Ich habe mich (außerhalb von unraid) dafür entschieden Z690 Mainboards für Windows zu verwenden wenn es dort um beispielsweise vielkke/8 SATA Ports onboard geht.

Unter unraid hingegen hängt es wirklich davon ab, wie lange das System idlen wird. Bei einem 24/7 Betrieb mit sehr viel Idle Zeit ist ein sparsames B760M mit ASM1166 besser, weil sparsamer. Sollte das Sysdem aber leistungstechnisch sowieso kaum idle sein, weil da die ganze Zeit eine VM, LLM oder so zu viel Last erzeugt, kann es sein, daß die beiden Lösungen B760M oder Z690 nicht viel Unterschied beim Verbrauch haben, weil die CPU/das System sowieso fast nie wirklich schläft.

Und bei einem ungünstig laufenden Gespann B760 und ASM1166 kann der Verbrauch sogar höher sein, als bei einem Z690 Mainboard.

 

2 minutes ago, Richard255 said:

Entschuldige bitte meine Unwissenheit 🙃. Dass es keine Rolle spielt, ob der ASMxxxx an PCIe oder NVMe angeschlossen ist, war mir nicht bewusst.

 

NVMe ist ein Protokoll. PCIe ist die Schnittstelle über die NVMe transportiert wird.

Die "normalen PCIe Slots" eines Mainboard sind nur mechanisch andere Steckplätze als die M.2 welche auch PCIe sind.

NVMe hat mit dem ASM1166 nichts zu tun.

 

 

2 minutes ago, Richard255 said:

Ich stelle meine (blöden) Fragen lieber vor dem Hardwarekauf.

 

Grundlegend sehe ich keine blöden Fragen. Unwissenheit ist keine Schande. Falls ich wissend erscheine: Ich bin auch nur in einigen wenigen Gebieten bewandert (Fachidiot?). In allen andern Gebieten bin ich genau so grün wie andere Leute in anderen Gebieten und teilweise sogar noch grüner. Alles gut! 😁

 

2 minutes ago, Richard255 said:

Ich hoffe, dass ich dadurch ein neues Thema "Hilfe mein Stromverbrauch ist zu hoch" vermeiden kann (kein Versprechen 🤪)

 

Das Thema kann auftauchen, weil es (wie oben dargestellt) Glückssache ist, ob die verwendete Hardware sparsam ist oder nicht und ob die darauf laufende Last überhaupt sparsam betrieben werden kann.

Ich habe beispielsweise seit kurzem ein N100M Mainboard unter unraid, welches ja eigentlich recht sparsam ist nun bei mir rund 12-13W (mit Zusatzhardware) benötigt. Das akzeptiere ich einfach mal. Nackt sollten da eher so 5-6W möglich ein, aber ich will es eben nicht nackt/idle betreiben.

 

2 minutes ago, Richard255 said:

Wenn ich die NVMEs für VM und Docker nicht trenne, wie könnte ich die 2. NVMe dann in mein Setup integrieren?

 

Gegenfrage: Wenn Du es sparsam haben willst, warum willst Du mehr (stromverbrauchende) Komponenten auf das Mainboard drauf stopfen, als erforderlich?

 

2 minutes ago, Richard255 said:

Im Raid1-Pool mit einer SATA SSD erscheint mir wenig sinnvoll (funktioniert das technisch überhaupt?). Zurückschicken wäre auch noch eine Option.

 

Verbaue sie einfach nicht.

Ich habe auch einige Komponenten als Cold Spare 'im Regal' liegen. dann habe ich Ersatz, wenn mal ein Defekt auftritt.

 

Danke für die ausführliche Antwort. Die Variante B760M + Zusatzkarte erscheint mir sinnvoller. Das rumspielen mit LLM hat wie gesagt nicht die höchste Priorität für mich. Da ich es außerdem nur als Voice Assistant in Homeassistant nutzen möchte, wird auch die tatsächliche Nutzungsdauer eher gering sein. Ich habe nicht vor, mich täglich mehrere Stunden mit meinem Smart Home zu unterhalten 😄. Daher vermute ich, dass ich schon auf einen hohen Anteil Idle kommen werde.

 

Da die ASM1166 über einen PCIe x1 Slot ja nicht vollständig genutzt werden kann, habe ich mich nochmal nach Mainboard Alternativen umgesehen. Ich habe 2 Alternativen gefunden:

• Gigabyte B760M GamingX: Hier kann die ASM1164 über den zweiten PCIe x16 Slot ohne EInschränkungen genutzt werden. Zum Board selbst gibt es hier im Forum ein sehr ausführliches Thema. Geringer Stromverbrauch lässt sich damit grudsätzlich realisieren.
• Gigabyte B760M Gaming (ohne X): Hat 3 NVMe-Slots, daher kann auch eine NVMe ASM1164 Karte verwendet werden. Zu diesem Board habe ich aber keine Erfahrungsberichte gefunden.

Ich tendiere stark zum GamingX, da es dazu wie gesagt einige Erfahrung hier im Forum gibt. Oder gibt es dazu andere Meinungen?