Servus werte Community, ich spiele gerade etwas mit Unraid bzw. den Möglichkeiten und habe mal geschaut ob ich nicht ne eigene KI Integration auf Unraid laufen lassen kann. Mein Wahl fiel da recht schnell auf Ollama, was sich auch einfach installieren lies.

Leider gibt es dazu mal wieder wenig Informationen wie man das unter Unraid macht, aber wenn man im Internet etwas querliest, findet man da schon inspiration. Großartig einstellen muss man bei der Installation von Ollama und OpenWebUI Gott sei dank nicht.

So nun möchte ich aber mal paar Fragen stellen - ich denke mal ich bin ja nicht der einzige User hier im Deutschen Teil von Unraid der sich mit Ollama beschäftigt.

Welche Modelle habt Ihr am laufen oder könnt Ihr empfehlen? Welche Hardware Konfiguration ist dabei zu empfehlen oder kann man eine Auflistung erstellen, bei welcher minimal Hardware, welches Modell die besten Ergebnisse erzielen?

Ich selbst habe ja ein "kleines Setup" (Intel® Core™ i7-6700K 32GB RAM und eine GTX1050TI) derzeit habe ich Gemma3 bei mir am laufen, was zwar funktioniert aber viele Fehler in den Antworten hat. Ich downloade gerade (totaler overkill) das llama3.1 405 Modell mit ~240GB - wahrscheinlich wird mein System daran elendig zu Grunde gehen 🫠

Ich habe ja noch einen Google Coral USB TPU am Rechner dran, den nutze ich eigentlich für Frigate - aber lässt sich der evtl. irgendwie auch mit Ollama nutzen bzw da integrieren?

Ich freue mich auf etwas konstruktiven Austausch...

Schönes Wochenende

Mal etwas Wissenswertes - was ich eben vergeblich und umständlich erstmal in Erfahrung bringen musste, weil es sich nicht in den Einstellungen sofort erschliesst.

Wie löscht man ein Modell:
- Admin-Bereich
- Einstellungen

- Ollama-API-Verbindungen verwalten

- Verwalten (der Abwärtspfeil hinter der IP Adresse)

Dort kann man Modelle löschen oder neue auch installieren