Servus werte Community, ich spiele gerade etwas mit Unraid bzw. den Möglichkeiten und habe mal geschaut ob ich nicht ne eigene KI Integration auf Unraid laufen lassen kann. Mein Wahl fiel da recht schnell auf Ollama, was sich auch einfach installieren lies.

Leider gibt es dazu mal wieder wenig Informationen wie man das unter Unraid macht, aber wenn man im Internet etwas querliest, findet man da schon inspiration. Großartig einstellen muss man bei der Installation von Ollama und OpenWebUI Gott sei dank nicht.

So nun möchte ich aber mal paar Fragen stellen - ich denke mal ich bin ja nicht der einzige User hier im Deutschen Teil von Unraid der sich mit Ollama beschäftigt.

Welche Modelle habt Ihr am laufen oder könnt Ihr empfehlen? Welche Hardware Konfiguration ist dabei zu empfehlen oder kann man eine Auflistung erstellen, bei welcher minimal Hardware, welches Modell die besten Ergebnisse erzielen?

Ich selbst habe ja ein "kleines Setup" (Intel® Core™ i7-6700K 32GB RAM und eine GTX1050TI) derzeit habe ich Gemma3 bei mir am laufen, was zwar funktioniert aber viele Fehler in den Antworten hat. Ich downloade gerade (totaler overkill) das llama3.1 405 Modell mit ~240GB - wahrscheinlich wird mein System daran elendig zu Grunde gehen 🫠

Ich habe ja noch einen Google Coral USB TPU am Rechner dran, den nutze ich eigentlich für Frigate - aber lässt sich der evtl. irgendwie auch mit Ollama nutzen bzw da integrieren?

Ich freue mich auf etwas konstruktiven Austausch...

Schönes Wochenende

Mal etwas Wissenswertes - was ich eben vergeblich und umständlich erstmal in Erfahrung bringen musste, weil es sich nicht in den Einstellungen sofort erschliesst.

Wie löscht man ein Modell:
- Admin-Bereich
- Einstellungen

- Ollama-API-Verbindungen verwalten

- Verwalten (der Abwärtspfeil hinter der IP Adresse)

Dort kann man Modelle löschen oder neue auch installieren

schade, dass hier noch nichts los ist. ich interessiere mich aktuell auch gerade für diesen fall...nutze ki immer mehr und möchte eine version lokal auf unraid laufen lassen. habe jedoch noch keine gpu im system, nur eine amd cpu 5800 aktuell. brauche ich zwingend eine gpu?

Ich versteige mich mal in die Aussage: die Meisten werden ein unraid NAS möglichst stromsparend einsetzen wollen.

Daß eine darauf laufende KI so 'stromsparend' funktioniert würde ich stark bezweifeln.

Und daraus würde ich annehmen, daß es zwar vereinzelte Wünsche zu einer KI unter unraid gibt, dies aber bei den Strompreisen in DE wohl aktuell weniger verfolgt wird.

Ich schätze, daß selbst solargespeiste Standorte nicht unbedingt einen großen Teil der Solarleistung über das Jahr hinweg in eine KI stopfen wollen.

Aber das ist nur meine Einschätzung dazu, warum hier wenig zum Thema KI los ist.

Zu der Frage ob man eine dGPU braucht: aufgrund der hohen Anzahl von Rechenoperatioonen, wenn die KI arbeitet (egal ob sie in der Ruhezeit vor sich hin halluziniert und versucht zu entwickeln oder dann wirklich bei Anfragen etwas vielleicht 'sinnvolles' versucht zu machen) sollte dafür schon sehr viel flotter Speicher und Rechenpower vorhanden sein. Und sehr flotten GDDR Speicher findet man im privaten Umfeld eben eher auf dGPU.

Bestimmt kann man eine KI auch auf einem normalen CPU System mit iGPU irgendwie zum Laufen bringen, aber das wird dann um einige Größenordnungen träger funktionieren.

Das ist bestimmt ähnlich wie es Leute gibt, die Doom auf Zahnbürsten oder in einem PDF irgendwie zum laufen bringen.

Edited July 23Jul 23 by DataCollector
Typos

hab bei mir ollama mal drauf gemacht ;)

läuft aber nur mit der CPU ;)

wollte mal das a-eye ausprobieren..

aber wenn ich KI will mach ich das am PC, da ist halt einfach mit GPU 'viel' schneller.

ja, vermutlich sind die rund 20 € die man für chatgpt oder claude im monat so zahlt im verhältnis zu den höheren stromkosten vertretbar. aber testen würde ich es doch mal.

@heiko: ich teste das auch mal und würde auf dich zurück kommen, also genau so nachbauen. auch erstmal cpu only.

dann mal danke fürs feedback.

Hey,

nachdem du fragtest, welche Setup's etc unter Unraid möglich sind. HIer mal meine aktuellen AI Workarounds .

Ich selbst habe in meinem Server eine 5060ti mit 16gb vram. Wenn keine GPU-Anfrage ansteht, verbraucht die Graka im sleep 6 Watt

Als LLM Host verwende ich Ollama oder aber auch Docker mit jeweils integrierter AI

• Nextcloud -> Ollama Gemma4:12b (Nvidia)

• Immich -> Foto AI Funktionen (Nvidia)

• Frigate -> Google TPU USB Modul

• Pop OS VM mit installierten Hermes Agent -> läuft immer, Hermes normaler Chat mit DeepSeek V4 flash (Gibt meiner Meinung nach nichts besseres bzgl Preis-Leistung), Vision Dinge Ollama gemma4:12b, Voice to text ein aktueller Whisper Docker welcher auch die Nvidia nutzt, Coding Ollama qwen code 2.5

Das wäre jetzt einmal alles, was mir so spontan eingefallen ist

Grüße

hat wer ein gutes tutorial für die installation? a-eye würde ich auch gern mal testen und ollama mit openwebui scheint so der klassiker zu sein....aus erfahrung heraus hab ichs jedoch nicht so mit rumspielen am produktivsystem....

Hab das iDX 6011pro mit 64 GB RAm und 96 TOPS.

Hab dort Ollama mit angepassten AI Modellen. Für:
- Blinko, Notiz App mit AI.

- changedetection mit AI Auswertung

-eigene Scripte die AI für auswertungen verwenden. zB nehme ich mit Ganymede komplette Kanäle von Twitch live auf, und auch den Chat. Werte dann alles gesagte und im Chat aus. Kurze zusamenfassung.

Außerdem eigenständige AI:
-Immich

-Frigate

-whisper

Für die Zukunft noch

-Papperless