Hallo zusammen,

ich habe aktuell eine GeForce RTX 4060 mit 8gb vram. Da läuft Video encoding, immich ML für Gesichtserkennung, paperless AI zur Dokumenten Erfassung, und weitere diverse Docker drauf (Prusa Slicer, Chrome) drauf.

Aber für lokale KI und Agenten reicht der VRAM nicht aus.

(Achtung: Die Agenten werden nicht in Unraid arbeiten, keine Sorge. Ich will Agenten auf einem externen Mini PC hosten, welche eine Grafikkarte vom Unraid Server nutzen sollen.)

Wenn man genügend vram haben will, ohne seine Leber, Niere, oder Milz verkaufen zu müssen,dann landet man bei Intel Arc Pro.

Lange Einleitung, kurze Frage:

Klappt das unter Unraid mit einmal nVidia und einmal Intel? Das sind zwei unterschiedliche Treiber-Pakete, Intel funktioniert wahrscheinlich nativ. In den Dockern sage ich halt aktiv, welche Grafikkarte genutzt werden soll. Ollama installiere ein zweites Mal, für jede Grafikkarte einen eigenen Docker.

Ist das wirklich so einfach, oder übersehe ich da etwas grundlegendes? 🙂

7 hours ago, BastiKA84 said:

Klappt das unter Unraid mit einmal nVidia und einmal Intel?

kurz, ja, wird ja meistens in der Kombi iGPU (intel) und dGPU (Nvidia) genutzt.

und wenn das alles nur dockers sind wo auf die zugreifen ist es auch simpel wie du es beschrieben hast.

Ob das Sinn macht was die Effizienz angeht sei mal dahin gestellt, die Intel wird das Thema encoding, immich und paperless wahrscheinlich nebenbei mitmachen können, aber das ist deine Entscheidung wieviel performance usw du wo brauchen wirst.