Hallo zusammen,

ist jetzt etwas spezielles, aber vielleicht kann mir von euch einer weiter helfen.

 

Ich betreibe seit mehreren Jahren Nextcloud auf meinem Unraid Server (mehrere Docker MariaDB, OnlyOffice Server, Redis, Nextcloud)

Ohne bisher größere Probleme. Nachdem ja immer mehr die KI Funktionen in den Vordergrund rücken, wollte ich nun gerne den Assistenten von Nextcloud nutzen.

 

Auf meinem Server läuft auch der Ollama Docker mit dem LLM Llama3.2. Über den Docker Openweb UI kann ich auf Ollama zugreifen und  kann mit dem LLM ohne Probleme kommunizieren. Da ich eine Nvidia Graka im System habe, funktioniert das sehr flott und ich bin mehr als zufrieden.

 

In Nextcloud kann ich nach der Installation der entsprechenden Apps das Lokale LLM einbinden (IP des Dockers Ollama plus Port) und es wird mir bei der Auswahl (im Administrationsbereich im entsprechenden Punkt) auch das LLM angeboten und ausgewählt.

 

Wenn ich jetzt im KI Assistenten einen Chat eröffne, erhalte ich leider keine Antwort. Ich bin bisher nicht dahinter gekommen warum.

Die Kommunikation besteht, das kann ich im Protokoll Fenster von Ollama nachvollziehen.

 

Auch funktioniert die Geschichte mit den Antworten über einen anderen Weg. Bin da nur zufällig darauf gekommen. Wenn ich die Nextcloud App auf meinem iPhone öffne, unter Sonstiges die KI Funktion starte und eine Fragen Prompt absetze, bekomme ich sofort eine Antwort. Die iPhone App kommuniziert ja auch nur über den Nextcloud Server. Da funktioniert die Verbindung.

 

Funktionert bei euch unter Nextcloud (Linuxserver Docker) die Kommunikation im Browser mit einem lokalen LLM und habt ihr evtl noch einen Tipp für mich?

 

Um ein Api Problem auszuschließen, habe ich mir den Docker litellm (LLM Proxy) auf Unraid erstellt. Hier funktionert litellm sozusagen als Gateway mit einer sauberen Api. Auch hier wird von Nextcloud das LLM gefunden und eingebunden, aber leider auch keine Antwort des LLM über den Assistenten im Browser.

 

Grüße Thomas 

Hi Rockikone

 

Ich glaube du verstehst mehr von dem Thema wie die meinsten hier - Bezüglich Ki einbinden in Nextcloud.

Aber ganz grundlegend würde ich mal im Log schauen ob da was zu finden ist, hast du dort bereits gschaut?

 

Was auch sein kann, funkt dir evtl. der Browser oder ein dortiges Plugin rein (Skript/Werbe Blocker), schonmal einen andern Browser getestet?

Komsch ist halt, dass es in der App funktioniert und im Web nicht..

 

Grüsse

 

Edited October 2, 20241 yr by Amane

Bin inzwischen weiter gekommen. Fehler liegt wohl in Nextcloud 30. Unter 29 funktioniert es. Hab bei Nextcloud ein Fehlerticket eröffnet!

 

Grüße