Hallöle ins Forum

mit neuer HW wollen ja auch neue Herausforderungen gemeistert werden. Jetzt wollte ich mal fragen ob es schon ein "Best Practice" für den Betrieb von LLMs (Large Language Models) auf Unraid gibt. In meinem Fall in Kombination mit N8N. Läuft das am performantesten in der Dockerumgebung oder gibts es da schon andere Ansätze?

Ich habe bisher nur Erfahrungen unter LM Studio und Docker Desktop auf MacOS sammeln können und Unraid wäre jetzt die erste "unabhängige HW". Zudem hätte ich einen Arbeitsprozess den ich auf diese Weise gerne in größerem Umfang automatisieren möchte: Rechnungen soweit vorkontieren, dass ich eine Buchungsdatei einfach in ein Buchungstool importieren kann.

Viele Grüße und frohes schaffen.

moin, wirklich weiterhelfen kann ich Dir nicht. Gerade weil ich in der Apple Welt so rein gar nicht zu Hause bin,

aber schau dir ddoch mal "paperless ngx" an .... das kann vieles und mit den eventuellen Erweiterungen auch viel mehr.

Mein das nicht abwertentd, weiss aber das so der Apple User es gewohnt ist, dass ihm vielles in die Hand gelegt wird, was er/sie sich anderswo "hier Unraid" sehr mühsam erarbeiten muss ..... nicht toll, aber ist so. Am Ende lohnt sich die Arbeit .... so die Hoffnung

Also ich habe nun, Qdrant und ollama am laufen.

Was du einfach beachten musst, ist dass du ne gute GraKa braucht für ollama. Die „normalen“ LLMs wie llama3.2 laufen auf einer RTX3060 mit 12GB VRAM super gut. Wenn man z.B. das OpenSource GPT laufen lassen möchtest brauchst du viel mehr VRAM. Da über ollama nicht die ganzen 12GB VRAM genutzt werden sondern nur ca. 9-10 GB und ca. 2-3 GB vom RAM und die CPU stark läuft.

Wenn du dann noch ne Vision LLM willst also Bild-2-Text dann ist es ähnlich und du lastest den kompletten Server aus.

Was man auch beachten muss ist einfach, dass llama Modelle nicht immer an GPT oder andere ran kommen.

Aber n8n ist eh nur so gut wie die User bzw. Systemprompts. Da bin ich leider kein Profi, aber mit GPT kannst du gute Prompts schreiben lassen, wichtig ist dass die in markdown raus kommen.

Hoffe das hilft dir etwas.