Hallo, habe soeben deepseek-r1:8b über die Vega 8 zum laufen bekommen.
Hier die Schritte, die ich unternommen habe:
[Container]
Quelle: ollama/ollama:rocm
Extra Parameter: --device /dev/kfd --device /dev/dri --device=/dev/dri/renderD128 --device=/dev/dri/card0 --group-add=video --ipc=host --cap-add=SYS_PTRACE --security-opt seccomp=unconfined -e SMT=0 -e OLLAMA_NUM_PARALLEL=1 -e OLLAMA_MAX_LOADED_MODELS=1 -e HSA_ENABLE_SDMA=0 -e HSA_OVERRIDE_GFX_VERSION=9.0.0
priviligierte rechte: an.
anschließend im Terminal des Dockers:
cd opt/
mkdir amdgpu
cd amdgpu/
mkdir share
cd share/
mkdir libdrm
anschließend auf dem unraid Terminal:
docker cp /usr/share/libdrm/amdgpu.ids ollama:/opt/amdgpu/share/libdrm/amdgpu.ids
Vielleicht freut sich ja jemand 🙂 Verbesserungsvorschläge willkommen