vakilando

Eröffne vielleicht auch einen Github issue für dein joex crash problem? ***> ______ _ _ ***> | _ \ | | | ***> | | | |___ ___ ___ _ __ ___| | | ***> | | | / _ \ / __/ __| '_ \ / _ \ | | ***> | |/ / (_) | (__\__ \ |_) | __/ | | ***> |___/ \___/ \___|___/ .__/ \___|_|_| ***> | | ***> |_| v0.20.0 (#4d3a25a8) ***> << JOEX >> ***> Id: joex1 ***> Base-Url: http://192.168.178.4:7878 ***> Database: jdbc:postgresql://192.168.178.6:5432/docspell ***> Fts: http://192.168.178.2:8983/solr/docspell ***> Config: /opt/docspell.conf ***> [ioapp-compute-0] [34mINFO [0;39m [36md.s.m.FlywayMigrate[0;39m - Running db migrations... [ioapp-compute-0] [34mINFO [0;39m [36md.s.m.FlywayMigrate[0;39m - Using migration locations: List(classpath:db/migration/postgresql) [ioapp-compute-0] [34mINFO [0;39m [36mo.f.c.i.l.VersionPrinter[0;39m - Flyway Community Edition 7.5.3 by Redgate [ioapp-compute-0] [34mINFO [0;39m [36mo.f.c.i.d.b.DatabaseType[0;39m - Database: jdbc:postgresql://192.168.178.6:5432/docspell (PostgreSQL 11.7) [ioapp-compute-0] [34mINFO [0;39m [36mo.f.c.i.s.JdbcTableSchemaHistory[0;39m - Repair of failed migration in Schema History table "public"."flyway_schema_history" not necessary. No failed migration detected. [ioapp-compute-0] [34mINFO [0;39m [36mo.f.c.i.c.DbRepair[0;39m - Successfully repaired schema history table "public"."flyway_schema_history" (execution time 00:00.069s). [ioapp-compute-0] [34mINFO [0;39m [36mo.f.c.i.l.VersionPrinter[0;39m - Flyway Community Edition 7.5.3 by Redgate [ioapp-compute-0] [34mINFO [0;39m [36mo.f.c.i.c.DbValidate[0;39m - Successfully validated 29 migrations (execution time 00:00.025s) [ioapp-compute-0] [34mINFO [0;39m [36mo.f.c.i.c.DbMigrate[0;39m - Current version of schema "public": 1.20.4 [ioapp-compute-0] [34mINFO [0;39m [36mo.f.c.i.c.DbMigrate[0;39m - Schema "public" is up to date. No migration necessary. [ioapp-compute-0] [34mINFO [0;39m [36md.a.n.PipelineCache[0;39m - Clearing StanfordNLP cache after Duration(900000ms) idle time [ioapp-compute-0] [34mINFO [0;39m [36md.a.n.PipelineCache[0;39m - Creating nlp pipeline cache [docspell-joex-dbconnect-0] [34mINFO [0;39m [36mc.z.h.HikariDataSource[0;39m - HikariPool-1 - Starting... [docspell-joex-dbconnect-0] [34mINFO [0;39m [36mc.z.h.HikariDataSource[0;39m - HikariPool-1 - Start completed. [ioapp-compute-5] [34mINFO [0;39m [36md.j.s.SchedulerImpl[0;39m - Starting scheduler [ioapp-compute-6] [34mINFO [0;39m [36md.j.s.PeriodicSchedulerImpl[0;39m - Starting periodic scheduler [ioapp-compute-4] [34mINFO [0;39m [36md.b.ops.ONode[0;39m - Registering node joex1 [ioapp-compute-5] [39mDEBUG[0;39m [36md.j.s.SchedulerImpl[0;39m - Try to acquire permit (1 free) [ioapp-compute-6] [39mDEBUG[0;39m [36md.j.s.PeriodicSchedulerImpl[0;39m - Going into main loop [ioapp-compute-6] [39mDEBUG[0;39m [36md.j.s.PeriodicSchedulerImpl[0;39m - Looking for next periodic task [ioapp-compute-5] [39mDEBUG[0;39m [36md.j.s.SchedulerImpl[0;39m - New permit acquired [ioapp-compute-1] [39mDEBUG[0;39m [36md.j.s.PeriodicSchedulerImpl[0;39m - Found periodic task 'Docspell house-keeping/Sun *-*-* 00:00:00' [ioapp-compute-1] [39mDEBUG[0;39m [36md.j.s.PeriodicSchedulerImpl[0;39m - Scheduling next notify for timer Sun *-*-* 00:00:00 -> Some(2021-03-07T00:00) [ioapp-compute-7] [39mDEBUG[0;39m [36md.j.s.PeriodicSchedulerImpl[0;39m - Waiting for notify [ioapp-compute-3] [39mDEBUG[0;39m [36md.j.s.SchedulerImpl[0;39m - Next job found: Some(FUJ3Yznjz.../docspell-system/make-preview/Low) [ioapp-compute-3] [39mDEBUG[0;39m [36md.j.s.SchedulerImpl[0;39m - Creating context for job FUJ3Yznjz.../docspell-system/make-preview/Low to run JobTask(Ident(make-preview),docspell.joex.scheduler.Task$$anonfun$contramap$4@291b2e71,docspell.joex.scheduler.Task$$anonfun$contramap$4@2992d164) [ioapp-compute-4] [34mINFO [0;39m [36mo.h.b.c.n.NIO1SocketServerGroup[0;39m - Service bound to address /0:0:0:0:0:0:0:0:7878 [ioapp-compute-4] [34mINFO [0;39m [36mo.h.s.b.BlazeServerBuilder[0;39m - http4s v0.21.19 on blaze v0.14.15 started at http://[::]:7878/ [ioapp-compute-3] [39mDEBUG[0;39m [36md.j.s.SchedulerImpl[0;39m - Forking job FUJ3Yznjz.../docspell-system/make-preview/Low [ioapp-compute-3] [39mDEBUG[0;39m [36md.j.s.SchedulerImpl[0;39m - Try to acquire permit (0 free) [ioapp-compute-2] [39mDEBUG[0;39m [36md.j.s.SchedulerImpl[0;39m - Starting task now [ioapp-compute-6] [34mINFO [0;39m [36md.j.s.LogSink[0;39m - >>> 2021-03-05T14:04:53.638169Z Info FUJ3Yznjz.../docspell-system/make-preview/Low: Generating preview image for attachment Ident(7eo43raYQqy-ZzRwenWHSwM-fwZ8HTQ2Dqw-LJgUkvi2mPF) java.lang.OutOfMemoryError: Java heap space at java.desktop/java.awt.image.DataBufferByte.<init>(DataBufferByte.java:76) at java.desktop/java.awt.image.Raster.createInterleavedRaster(Raster.java:266) at java.desktop/com.sun.imageio.plugins.jpeg.JPEGImageReader.readInternal(JPEGImageReader.java:1228) at java.desktop/com.sun.imageio.plugins.jpeg.JPEGImageReader.readRaster(JPEGImageReader.java:1541) at com.twelvemonkeys.imageio.plugins.jpeg.JPEGImageReader.readImageAsRasterAndReplaceColorProfile(JPEGImageReader.java:502) at com.twelvemonkeys.imageio.plugins.jpeg.JPEGImageReader.read(JPEGImageReader.java:395) at org.apache.pdfbox.filter.DCTFilter.decode(DCTFilter.java:91) at org.apache.pdfbox.cos.COSInputStream.create(COSInputStream.java:80) at org.apache.pdfbox.cos.COSStream.createInputStream(COSStream.java:179) at org.apache.pdfbox.pdmodel.common.PDStream.createInputStream(PDStream.java:241) at org.apache.pdfbox.pdmodel.graphics.image.PDImageXObject.createInputStream(PDImageXObject.java:793) at org.apache.pdfbox.pdmodel.graphics.image.SampledImageReader.from8bit(SampledImageReader.java:517) at org.apache.pdfbox.pdmodel.graphics.image.SampledImageReader.getRGBImage(SampledImageReader.java:226) at org.apache.pdfbox.pdmodel.graphics.image.PDImageXObject.getImage(PDImageXObject.java:479) at org.apache.pdfbox.pdmodel.graphics.image.PDImageXObject.getImage(PDImageXObject.java:460) at org.apache.pdfbox.rendering.PageDrawer.drawImage(PageDrawer.java:1059) at org.apache.pdfbox.contentstream.operator.graphics.DrawObject.process(DrawObject.java:67) at org.apache.pdfbox.contentstream.PDFStreamEngine.processOperator(PDFStreamEngine.java:933) at org.apache.pdfbox.contentstream.PDFStreamEngine.processStreamOperators(PDFStreamEngine.java:515) at org.apache.pdfbox.contentstream.PDFStreamEngine.processStream(PDFStreamEngine.java:489) at org.apache.pdfbox.contentstream.PDFStreamEngine.processPage(PDFStreamEngine.java:156) at org.apache.pdfbox.rendering.PageDrawer.drawPage(PageDrawer.java:275) at org.apache.pdfbox.rendering.PDFRenderer.renderImage(PDFRenderer.java:347) at org.apache.pdfbox.rendering.PDFRenderer.renderImage(PDFRenderer.java:268) at org.apache.pdfbox.rendering.PDFRenderer.renderImageWithDPI(PDFRenderer.java:240) at docspell.extract.pdfbox.PdfboxPreview$.docspell$extract$pdfbox$PdfboxPreview$$getPageImage(PdfboxPreview.scala:46) at docspell.extract.pdfbox.PdfboxPreview$$anon$1.$anonfun$previewImage$2(PdfboxPreview.scala:29) at docspell.extract.pdfbox.PdfboxPreview$$anon$1$$Lambda$1968/0x000000010099ac40.apply(Unknown Source) at cats.effect.internals.IORunLoop$.cats$effect$internals$IORunLoop$$loop(IORunLoop.scala:104) at cats.effect.internals.IORunLoop$.restartCancelable(IORunLoop.scala:51) at cats.effect.internals.IOBracket$BracketStart.run(IOBracket.scala:100) at cats.effect.internals.Trampoline.cats$effect$internals$Trampoline$$immediateLoop(Trampoline.scala:67) [blaze-acceptor-0-0] [34mINFO [0;39m [36mo.h.b.c.ServerChannel[0;39m - Closing NIO1 channel /0:0:0:0:0:0:0:0:7878 [shutdownHook1] [34mINFO [0;39m [36mo.h.b.c.n.SelectorLoop[0;39m - Shutting down SelectorLoop blaze-selector-0 [shutdownHook1] [34mINFO [0;39m [36mo.h.b.c.n.SelectorLoop[0;39m - Shutting down SelectorLoop blaze-selector-1 [shutdownHook1] [34mINFO [0;39m [36mo.h.b.c.n.SelectorLoop[0;39m - Shutting down SelectorLoop blaze-selector-2 [shutdownHook1] [34mINFO [0;39m [36mo.h.b.c.n.SelectorLoop[0;39m - Shutting down SelectorLoop blaze-selector-3 [shutdownHook1] [34mINFO [0;39m [36mo.h.b.c.n.SelectorLoop[0;39m - Shutting down SelectorLoop blaze-selector-4 [shutdownHook1] [34mINFO [0;39m [36mo.h.b.c.n.SelectorLoop[0;39m - Shutting down SelectorLoop blaze-selector-5 [shutdownHook1] [34mINFO [0;39m [36mo.h.b.c.n.SelectorLoop[0;39m - Shutting down SelectorLoop blaze-selector-6 [shutdownHook1] [34mINFO [0;39m [36mo.h.b.c.n.SelectorLoop[0;39m - Shutting down SelectorLoop blaze-selector-7 [shutdownHook1] [34mINFO [0;39m [36mo.h.b.c.n.SelectorLoop[0;39m - Shutting down SelectorLoop blaze-selector-8 [shutdownHook1] [34mINFO [0;39m [36mo.h.b.c.n.SelectorLoop[0;39m - Shutting down SelectorLoop blaze-acceptor-0-0 [shutdownHook1] [34mINFO [0;39m [36md.b.ops.ONode[0;39m - Unregister app joex1 [ioapp-compute-3] [34mINFO [0;39m [36mc.z.h.HikariDataSource[0;39m - HikariPool-1 - Shutdown initiated... [ioapp-compute-3] [34mINFO [0;39m [36mc.z.h.HikariDataSource[0;39m - HikariPool-1 - Shutdown completed. [ioapp-compute-3] [34mINFO [0;39m [36mo.h.c.PoolManager[0;39m - Shutting down connection pool: curAllocated=0 idleQueues.size=0 waitQueue.size=0 maxWaitQueueLimit=256 closed=false

bei mir schauts so aus: Hast du ein issue auf Github eröffnet bzgl. des BBox-Fehlers?

Dann verwende doch einfach das existierende Beispiel von swag unter "/swag/nginx/proxy-confs/homeassistant.subdomain.conf". Setze deine Dyndns subdomain bei "server_name deinesubdomain.*;" ein. Dann ersetze "set $upstream_app containername" durch "set $upstream_app deine.ip.adr.esse"

Standardmäßig verbleiben dort die Dokumente. Es ist wie ein "Fileserver" zu sehen. Dokumente die dort hin gelegt werden können auch umbenannt und in einer Ordnerstruktur organisiert werden. Docspell erkennt bereits hochgeladene Dokumente und wird sie - auch nach "Reorganisierung - nicht nocheinmal importieren. Siehe https://docspell.org/docs/feed/#scanners-watch-directories Es gibt jedoch auch die Möglichkeit dieses Consumedir Verzeichnis ("docs") aufzuräumen. Dokumente werden dann entweder "archiviert" oder gelöscht, je nach Einstellung. Siehe https://docspell.org/docs/tools/consumedir-cleaner/#introduction Das ist ein Fehler von Ghostscript bei der Konvertierung von Bildern...(?) Bitte ein issue auf Github eröffnen, da kann ich mir auch keinen Reim draus machen. Vorher vielleicht noch mal alle Container in der richtigen Reihenfolge (postfix > solr > joex > restserver > consumedir) mit einigen Sekunden Abstand nach erfolgtem Start (schau ins Log des Containers ob der Start erfolgreich und beendet ist) neu starten. Das ist ein Fehler bei der Erstellung des Volltextindexes. Schaut so aus als würde Solr nicht (ordentlich) laufen...? Du kannst mal auf http://deine.solr.ip.adresse/solr/#/ gehen und schauen ob du da was findest, allerdings kenne ich mich da auch nicht aus.... Hast du Solr zwischenzeitlich aktualisiert? Ich habe nämlich eine Aktualisierung mitgemacht, da hatte der Entwickler (bitnami) etwas grundlegendes geändert, da musste ich den Index neu aufbauen. Schau mal in Docspell ob deine Volltextsuche noch funktioniert.

Name ist der von dir vergebene Name Schlüssel ist der Variablen Namen Wert ist der Variablenwert Brauchst du aber nicht, denn ob über extra parameters oder so bleibt sich gleich. Geh bitte in die Prozessliste/Warteschlange und lösche die nicht erfolgreich beendeten tasks (Kreuzchen oben rechts)

Das ist schon mal gut! Mal schauen ob ich das in das Template einbaue. Das joex log sieht ansich ganz gut aus. Auf fallend ist: ...aber der Output zu einer PDF/A-2B ist erfolgreich... Wenn auch Sie fast 6 mal so groß ist wie das Original... Auch erfolgreich: die Text Extraktion und die Aktualisierung der Volltextsuche. Allerdings scheint er bei der Erstellung des Vorschaubildes stehen zu bleiben... Ist das Dokument nachher evtl. ohne Vorschaubild in der webui zu finden?

Auch das Anlegen einer Variable sollte möglich sein (Joex Container => Edit => Add another Path, Port, Variable, Label or Device => ...) Wenn das funktioniert könnte ich in mein Template auch diese neue Variable definieren. Die wäre dann aber immer da und müsste eventuell von Hand angepasst werden... (...) <Variable> <Value>-Xms256m -Xmx2500m</Value> <Name>JAVA_OPTS</Name> <Mode/> </Variable> </Environment> (...) <Config Name="JAVA_OPTS" Target="JAVA_OPTS" Default="-Xms256m -Xmx2500m" Mode="" Description="Container Variable: JAVA_OPTS" Type="Variable" Display="always" Required="false" Mask="false">-Xms256m -Xmx2500m</Config> (...)

hmm, "java.lang.OutOfMemoryError: Java heap space" ist offensichtlich das Problem..... Vielleicht waren 300 Belege zu viel? Sind die einzelnen Dateien groß? Wieviele wurden erfolgreich importiert? Kannst du die (noch nicht importierten) Belege aus dem Importverzeichnis entfernen und schauen ob joex dann nicht mehr beendet wird? Es gibt auf Github ein issue (geschlossen) dem ich aber nicht entnehmen kann wie das Problem gelöst wurde: issue 284 In der Doku steht auch was, aber auch hier kann ich nicht herauslesen wie der Wert gesetzt wird: hier unter Memory usage Du kannst probieren im Joex Container in der "advanced view" in den "extra parameters" einen Wert zu setzen. In der Doku steht "When using mode=full, a heap setting of at least -Xmx1400M is recommended" Setze in den "extra parameters" mal folgendes: -e JAVA_OPTS="-Xmx2500m" oder -e JAVA_OPTS="-Xmx2500m -Xms256m" wenn du auch ein Minimum festlegen willst. Ansonsten könntest du noch ein neues Issue in Github eröffnen.

Ich würde, wie @JoergHH es chon sagt, ebenso homeassistant als docker laufen lassen (tue ich auch), es sei denn du hast gute Gründe (welche?) dies nicht zu tun. Prinzipiell aber sollte es kein Problem sein die VM bzw die IP des homeassistant auf der VM in swag einzurichten wie es auch bei docker containern gemacht werden kann. Ich greife so auf meine VM zu auf der SOGo läuft

@mgutt wäre es evtl bei der Fehlersuche hilfreich den Cache mit nur einer nvme zu konfigurieren (kein btrfs RAID1) und dann zu schauen ob der Server einen s3 Sleep "überlebt"?

Wenn ich das richtig sehe, ist das von dir genannte Script der Consumedir Container. Wenn du das Verzeichnis "/mnt/appdata/docspell/docs" angelegt hast musst du noch einen Unterordner erstellen, der den Namen deines "Collective" trägt. Dort legst du die Dokumente ab und die werden dann automatisch importiert. was sagen die Joex Logs?

Nein, leider nicht. Es gibt aber ein issue bzw Feature Request auf Github "Nested folders & Tags" hierzu, dem könntest du dich "anschließen". Habe mich dem auch angeschlossen, da ich finde es wäre eine zusätzliche und praktische Sortier- und Suchmöglichkeit.

oh, sorry, nein du musst es auf "open" stellen! Ich habs natürlich nach erfolgreicher installation auf closed gesetzt, weil ich die user selbst anlegen bzw. einladen will.

https://docspell.org/docs/install/installing/ Punkt 4. Goto http://localhost:7880, signup and login. When signing up, you can choose the same name for collective and user. Then login with this name and the password Gehe auf die Login Seite und lege ein Konto an (sign up). Gib den Namen für das "Collective", deinen Usernamen und dein Passwort an. Anmelden musst du dich später immer in der Form "Collective/Username" und dein Passwort. Wenn du der einzige User bist und immer der einzige sein wirst, dann verwende am besten "Username/Username". Also "Collective"="Username". Dann kannst du dich später nur mit deinem Usernamen anmelden, ansonsten in der Form "Collective/Username". kleine Frage (nicht böse sein)..... kannst du Englisch? Die Doku (s.o.) ist gut und ausführlich....

Wenn möglich würde ich den Server mal mit einer Live Linux Disti oder so von einem USB Stick starten und schauen ob die NVME wirklich defekt ist bevor eine RMA des Boards in Betracht gezogen wird. Kannst ja auch die Slots mal tauschen bei diesem Test. Das hab ich mich auch schon mal gefragt.....!!! Ich hatte mal ein ähnliches Problem weil Unraid eine meiner SSDs "totgeschrieben" hat und habe es nur per Zufall (wie du) gemerkt. Google einfach mal (unraid massive writes). Seitdem habe ich kein BTRFS Cache Pool (RAID1) mehr sondern nur eine einzelne (XFS)..... Mit dem Update auf die neue (jetzt freigegebene) Unraid Version werd ich es wieder probieren mit dem BTRFS RAID1 Cache Pool. )

ups, das sieht mir nach einer kaputten nvme0n1 aus.... nvme1n1 ist natürlich auch betroffen, da die nun nicht mehr auf die nvme0n1 schreiben kann. Ich würde auf jeden Fall mal eine Sicherung des Caches machen. Dann ggf. shutdown, prüfen ob sie richtig steckt und poweron und dann gucken.

War jetzt eigentlich die Variable CONSUMEDIR_INTEGRATION auch im Template enthalten? ....das sind nämlich meine ersten Templates, die ich gemacht habe....

jup

klick auf docspell-restserver und im Kontextmenü ganz oben auf => "WebUI" Sollte es "WebUI" nicht geben, klick auf docspell-restserver, dann im Kontexmenü auf Edit und dann ganz oben rechts auf den Schalter "Basic View". In der dann erscheinenden "Advanced View" kannst du die WebUI auf http://[IP]:[PORT:7880] setzen (nichts ändern, genau so übernehmen). Auf jeden Fall solltest du im Browser über http://deine.ip.adre.sse:7880 auf Docspenn kommen.

Solr Solr wird so auf bridge nicht laufen, da vermutlich Unraid den Port 80 für sich beansprucht.... Du kannst versuchen den Port zu ändern in z.B. 81 oder du stellst um auf br0 und gibst dem Container eine andere IP. Schau mal unten bei "Show docker allocations ..." welche Ports bereits genutzt werden. Postgres Öffne bitte direkt nachdem du Postgres gestartet hast das Log, selbst wenn der Container nicht startet, sollte es ein Log (über "Edit") geben. Dann poste es hier.

Hab gerade festgestellt, dass für postgres die Daten doch direkt unter /mnt/appdata/postgres liegen und nicht innerhalb des Hauptordners! Habs oben korrigiert....

Hoffentlich hilft dir das! Ich finde Docspell richtig gut, da es sich für einen Privatanwender auf das wesentliche konzentriert (was brauch ich z.B. Workflows?!). Der Entwickler "eikek" auf Github gibt sich wirklich viel Mühe und antwortet schnell auf Anfragen. Die Dokumentation ist auch sehr gut und ausführlich: https://docspell.org/docs/ Er hat zur Zeit eine Anfrage am laufen wie man die Installation vereinfachen könnte: https://github.com/eikek/docspell/issues/675 Da werde ich vermutlich auch meinen Senf dazu abgeben 🙃

So hier sind die Screenshots der Container (gelistet in der Reihenfolge wie sie gestartet werden). Die eingetragenen Werte sind natürlich nicht meine (user, Passwörter, HeaderValue, ...) Der letzte Screenshot zeigt eine neue Variable, die noch nicht in meinem Template für das Consumedir enthalten ist. Die Variable im letzten Screenshot ist nun auch in meinem Template für das Consumedir enthalten! 1. SOLR 2. POSTGRES 3. DOCSPELL-JOEX 4. DOCSPELL-RESTSERVER 5. DOCSPELL-CONSUMEDIR Die Variable CONSUMEDIR_INTEGRATION ist nun auch im Template enthalten!

ich kann dir noch Screenshots meiner Docker mitgeben, sollte aber eigentlich aus den Templates hervorgehen was einzutragen ist ..... wenn ich es ordentlich gemacht habe.... Der von mir verwendete SOLR Container ist "bitnami/solr:latest" Der von mir verwendete POSTGRES Container ist "postgres:11.7"

Für alle, die Hilfe bei der Docspell Installation brauchen, hier der neue Thread dazu: