Servus werte Community, ich spiele gerade etwas mit Unraid bzw. den Möglichkeiten und habe mal geschaut ob ich nicht ne eigene KI Integration auf Unraid laufen lassen kann. Mein Wahl fiel da recht schnell auf Ollama, was sich auch einfach installieren lies.

Leider gibt es dazu mal wieder wenig Informationen wie man das unter Unraid macht, aber wenn man im Internet etwas querliest, findet man da schon inspiration. Großartig einstellen muss man bei der Installation von Ollama und OpenWebUI Gott sei dank nicht.

So nun möchte ich aber mal paar Fragen stellen - ich denke mal ich bin ja nicht der einzige User hier im Deutschen Teil von Unraid der sich mit Ollama beschäftigt.

Welche Modelle habt Ihr am laufen oder könnt Ihr empfehlen? Welche Hardware Konfiguration ist dabei zu empfehlen oder kann man eine Auflistung erstellen, bei welcher minimal Hardware, welches Modell die besten Ergebnisse erzielen?

Ich selbst habe ja ein "kleines Setup" (Intel® Core™ i7-6700K 32GB RAM und eine GTX1050TI) derzeit habe ich Gemma3 bei mir am laufen, was zwar funktioniert aber viele Fehler in den Antworten hat. Ich downloade gerade (totaler overkill) das llama3.1 405 Modell mit ~240GB - wahrscheinlich wird mein System daran elendig zu Grunde gehen 🫠

Ich habe ja noch einen Google Coral USB TPU am Rechner dran, den nutze ich eigentlich für Frigate - aber lässt sich der evtl. irgendwie auch mit Ollama nutzen bzw da integrieren?

Ich freue mich auf etwas konstruktiven Austausch...

Schönes Wochenende

Mal etwas Wissenswertes - was ich eben vergeblich und umständlich erstmal in Erfahrung bringen musste, weil es sich nicht in den Einstellungen sofort erschliesst.

Wie löscht man ein Modell:
- Admin-Bereich
- Einstellungen

- Ollama-API-Verbindungen verwalten

- Verwalten (der Abwärtspfeil hinter der IP Adresse)

Dort kann man Modelle löschen oder neue auch installieren

schade, dass hier noch nichts los ist. ich interessiere mich aktuell auch gerade für diesen fall...nutze ki immer mehr und möchte eine version lokal auf unraid laufen lassen. habe jedoch noch keine gpu im system, nur eine amd cpu 5800 aktuell. brauche ich zwingend eine gpu?

Ich versteige mich mal in die Aussage: die Meisten werden ein unraid NAS möglichst stromsparend einsetzen wollen.

Daß eine darauf laufende KI so 'stromsparend' funktioniert würde ich stark bezweifeln.

Und daraus würde ich annehmen, daß es zwar vereinzelte Wünsche zu einer KI unter unraid gibt, dies aber bei den Strompreisen in DE wohl aktuell weniger verfolgt wird.

Ich schätze, daß selbst solargespeiste Standorte nicht unbedingt einen großen Teil der Solarleistung über das Jahr hinweg in eine KI stopfen wollen.

Aber das ist nur meine Einschätzung dazu, warum hier wenig zum Thema KI los ist.

Zu der Frage ob man eine dGPU braucht: aufgrund der hohen Anzahl von Rechenoperatioonen, wenn die KI arbeitet (egal ob sie in der Ruhezeit vor sich hin halluziniert und versucht zu entwickeln oder dann wirklich bei Anfragen etwas vielleicht 'sinnvolles' versucht zu machen) sollte dafür schon sehr viel flotter Speicher und Rechenpower vorhanden sein. Und sehr flotten GDDR Speicher findet man im privaten Umfeld eben eher auf dGPU.

Bestimmt kann man eine KI auch auf einem normalen CPU System mit iGPU irgendwie zum Laufen bringen, aber das wird dann um einige Größenordnungen träger funktionieren.

Das ist bestimmt ähnlich wie es Leute gibt, die Doom auf Zahnbürsten oder in einem PDF irgendwie zum laufen bringen.

Edited Thursday at 04:19 PM3 days by DataCollector
Typos

hab bei mir ollama mal drauf gemacht ;)

läuft aber nur mit der CPU ;)

wollte mal das a-eye ausprobieren..

aber wenn ich KI will mach ich das am PC, da ist halt einfach mit GPU 'viel' schneller.