Hallo allerseits!

Seit ein paar Wochen habe ich mein altes NAS durch einen Unraid Server ersetzt. Mit grundlegenden Linux- und Dockerkenntnissen (die ich mir einbilde, zu haben ;-) war es auch kein großes Problem Unraid aufzusetzen, rund 30 Docker Container ans Laufen zu bekommen usw. ...

Was ich derzeit jedoch sehr vermisse, ist eine indizierende Suchmaschine für alle Shares. Ich meine nicht ein DMS wie Paperless, sondern eine lokale Suchmaschine für PDFs und Officedokumente aller Art auf dem Server. Gibt es so etwas? Apache Solr könnte ja eine Basis sein, aber das ist so komplex, dass ich mich da nicht dran traue.

Wie macht ihr das? Wie mache ich tausende PDFs und andere Dokumente durchsuchbar und über ein Web GUI auffindbar?

Besten Dank für Eure Ideen!

Thorsten

3 hours ago, Tom7320 said:

Wie macht ihr das?

gar nicht 😉

ich mounte meine Shares in den Clients und die haben Suchfunktionen in ihren Betriebssystemen dafür eingebaut.

Eine suche über mehrere Shares ist zugegebenermaßen schwieriger...

ansonsten zur Not noch global in der Konsole von unraid

Edited August 18, 2025Aug 18 by _alo_

Moin!

Achso. Naja. Gar nicht ist auch ne Lösung... 😉

Nein im Ernst: sowohl Suche im Finder/Explorer über ein Network share als auch Linux "find" sind irgendwie keine Lösung für schnelles Suchen in großen Datenbeständen. Wundert mich ja schon, dass das so ein "Nischenwunsch" zu sein scheint.

Beste Grüße

2 hours ago, Tom7320 said:

Nein im Ernst: sowohl Suche im Finder/Explorer über ein Network share als auch Linux "find" sind irgendwie keine Lösung für schnelles Suchen in großen Datenbeständen. Wundert mich ja schon, dass das so ein "Nischenwunsch" zu sein scheint

Was ich schnell finden will, habe ich geeignet sortiert und finde es.

Wenn ich etwas suche, von dem ich nicht weiß, wo es gelandet ist, suche ich eben Dateiname (soweit bekannt/vermutet) und ggf. Dateiinhalt (soweit durchsuchbar): Dabei reicht mir meist das, was mir der TotalCommander meines zugreifenden Windows Clients ermöglicht.

Wenn es um Dokumente geht (also nicht alle Shares, sondern eben nur das, was mit Dokumenten zu tun hat), gibt es Dockerlösungen.

Wenn ich einen Index über alles erstellen lassen wollte, wäre das sehr aufwändig und groß. Auch will ich meine Urlaubsbilder nicht zwischen der Stromrechnung, TV Aufnahmen, Musikdateien, oder meinen persönlichen Briefen zusammen in einer Datenbank indiziert haben (wenn andere da auch zugreifen können (gewollt oder ungewollt)).

Auch erschließt sich mir nicht (wenn es wirklich alle shares sein sollen) waruim man den Inhalt von appdata, oder isos indizieren sollte.

Kompliziert wird es auch noch, wenn man per UD weitere Datenträger einbindet und die auf einmal ggf. mit indiziert werden, aber dann später nicht mehr vorhanden sind (weil man die abgemeldet/abgestöpselt hat).

Selbst die Dateiindizierung auf meinen Windowsclients schalte ich weitestgehend ab.

Edited August 19, 2025Aug 19 by DataCollector
Typos

Ich wollte da jetzt gar keine Grundsatzdiskussion starten, wer wie seine Daten organisiert und durchsucht.

Natürlich stecken auch meine Dokumente im engeren Sinne in Paperless. Meine Papers für die Arbeit in Zotero. Die Urlaubsbilder in Immich. Die Verzeichnisse appdata, isos usw. würde ich auch nicht indizieren.

Allerdings habe ich noch tausende PDFs, die zwar halbwegs sortiert sind, wo es aber dennoch schön wäre, einen Volltextindex zu haben. Sharepoint macht das ja auch serverseitig, ist also nicht allzu exotisch, mein Wunsch.

Wenn ich mal viel Zeit habe, werde ich mich mal in Apache Solr einlesen denke ich....

1 hour ago, Tom7320 said:

Allerdings habe ich noch tausende PDFs, die zwar halbwegs sortiert sind, wo es aber dennoch schön wäre, einen Volltextindex zu haben

wenn hauptsächlich um diese PDFs geht, dann pack sie doch einfach auch in paperless 🤷‍♂️ zur Not unter einem anderen User

...vor Allem, wenn es auch tatsächlich "Volltextindex" sein soll.

Dafür ist Paperless ja gemacht.

Na dann werde ich mal versuchen einen separaten Paperless Container mit knapp 40.000 PDFs zu bewerfen.... ;-)

😵da sind aber doch die bestehenden Dokumente in Paperless auch schon doppelt (verarbeitet/original) dabei, oder?

Ja, das stimmt. 9337 PDFs stecken in bestehenden Dokumenten. Bleiben aber immer noch rund 30.000 übrig...

https://pdfgrep.org/

Das wäre erstmal ausreichend, denke ich. Was muss ich machen um das in Unraid zu installieren? 🤔

4 hours ago, Tom7320 said:

Allerdings habe ich noch tausende PDFs, die zwar halbwegs sortiert sind, wo es aber dennoch schön wäre, einen Volltextindex zu haben.

Dann schmeiss die Doch in so eine Anwendung rein. Die indiziert es Dir.

4 hours ago, Tom7320 said:

Sharepoint macht das ja auch serverseitig, ist also nicht allzu exotisch, mein Wunsch.

bei Sharepoint ist eigentlich auch ein anderer Anwendungszweck vorgesehen.

Da hat nicht ein Nutzer seine ganzen Dateien, sondern wie der Namen sagt sollte es ein Sammelpunt sein, auf den diese Person die Datzen mit andenen teilt (sharing).

Ein Index macht Sinn, wenn andere Leute eben nicht wissen, wie etwas sortiert ist aber Zugriff auf all das haben sollen.

Aber dass jemand bei unraid vielen anderen Useren einen Vollzugriff auf alle Dateien gibt ist irgendwie nicht üblich.

Ja. Verstehe. Ab einer gewissen Menge verliert nur leider auch der Sortierende (ich) den Überblick, wo er irgendwann einmal was einsortiert hat.

pdfgrep wäre schön und erstmal ausreichend.

Das alles an Paperless zu verfüttern, wäre auch ein Weg. Aber nur, wenn ich es schaffe, die bestehende Ordnerstruktur beizubehalten.

2 minutes ago, Tom7320 said:

pdfgrep wäre schön und erstmal ausreichend

klingt vielversprechend (du bräuchtest dann ein slackware-Paket das du auf den Stick unter extra speichern kannst, oder vielleicht über "un-get" installieren kannst), aber mal ehrlich:

ein grep über 30.000 Dateien (alle einzeln öffnen, suchen, schließen) dauert doch Stunden/Tage bis Du ein Ergebnis hast, oder arbeitet pdfgrep da anders?

Da wäre eine Datenbank-Indizierung wie paperless schon geeigneter, oder?

Edited August 19, 2025Aug 19 by _alo_

Ja! Auf jeden Fall! Daher fragte ich ja anfangs auch nach einer indizierenden LAN Suchmaschine.

Keine Ahnung wie Paperless skaliert, wenn man 40.000 PDFs auf einmal an es verfüttert. 🤷‍♂️

1 hour ago, Tom7320 said:

Keine Ahnung wie Paperless skaliert, wenn man 40.000 PDFs auf einmal an es verfüttert. 🤷‍♂️

ich auch nicht, ich hab bislang nach einem Jahr noch nicht mal 1000 Dokumente erreicht 🥱

Aber ja, auf jeden Fall wird da ne Zeitlang rechnen und das sicherlich einiges mehr, als nur einmalig in den Dokumenten zu greppen. (Ist aber natürlich auch abhängig den Dokumenten....)

Aber das ist dann ja quasi ne einmalige Sache, danach profitierst Du ja von der schnelleren Suche.

P.S.: darf man fragen, wie du auf 30.000 PDFs kommst? "wget *.pdf" ? 🤣

1 hour ago, _alo_ said:

P.S.: darf man fragen, wie du auf 30.000 PDFs kommst? "wget *.pdf" ? 🤣

Tja. Gute Frage. Ich war schon im Studium "Jäger und Sammler" und habe so ziemlich alles an Literatur gesucht, gesichtet und archiviert. Und was ich mal hatte, das hab ich auch behalten. Ist jetzt 30 Jahre her und es wurde irgendwie nicht weniger über die Jahre. Ich lese viel. Leider kann ich mir nur einen Bruchteil davon merken... 🙄

Ich würde alle PDFs in Paperless importieren - dafür ist es gemacht...

Der Import kann etwas dauern, denke ich aber ich habe inzwischen auch viele tausend dokumente und das finden geht noch immer flott

Wenn Du schon 9000 Dokumente in Paperless hast, warum soll es so einen grossen Unterschied machen, ob da jetzt 40000 Dokus drin sind.

Du sprichst ja nicht von 40 millionen...

moin .... hast Du denn mal irgendwelche Strukturen in Deinen pdf's ... so in der Richtung > Rechnung oder Kontakte ....oder was auch immer. dann wäre es hilfreich Paperless erstmal im ""klein-klein" anfangen zu lassen . einzelne Themen .... fachlich - sachlich - Querverweise würde ich Stück -Stück kontrolliert kontrolliert einlaufen lassen ,.... um mal zu sehen was passiert.

Es gibt da so eine Faustformel..... nach dem fünfstigen ... kann Paperless es

nie probiert ... und bei Deiner Menge ... aua weia

Naja. Es gibt eine über Jahrzehnte gewachsene Ordnerstruktur, die ich ungern aufgeben will. Sie ist nicht perfekt und es sind manche Dinge sicher auch falsch einsortiert. Dennoch würde ich sie nicht komplett über den Haufen werfen wollen. Da Paperless als DMS die Dokumente nicht da lässt, wo sie sind, zögere ich noch etwas damit, die bestehende Struktur komplett aufzugeben. Eine lokale search engine wäre daher perfekt. Hat jemand hier vielleicht schon Erfahrungen mit Apache Solr gesammelt?

1 hour ago, Tom7320 said:

Hat jemand hier vielleicht schon Erfahrungen mit Apache Solr gesammelt?

teste es doch mal aus, sogar in CA Apps drin als template, denke da fehlt noch die Einbindung des Data Ordners ... also mal einlesen und probieren (Backup hast du ja hoffentlich ;))

Werde ich machen!

On 8/23/2025 at 4:25 PM, Tom7320 said:

Es gibt eine über Jahrzehnte gewachsene Ordnerstruktur, die ich ungern aufgeben will.

Dann richte dir doch in Paperless Tags ein, die deine Ordnerstruktur wiederspiegeln und mach mit anderer Software eine Stapel-Umbenennung, die dir den Ordnerpfad in den Dateinamen schreibt.

Aus dem Dateinamen erstellst du automatisch Tags.
Dateiverarbeitung aufgrund des Dateinamen mit TAG's - paperless-ngx - Digitalisierung mit Kopf

Und dann lässt du Paperless das ganze (ggfls. in etwas simplere Pfade) "zurück speichern"
Paperless-ngx, Teil 4: Speicherpfade konfigurieren - Digital Cleaning

Damit hättest du einmal aufgeräumt und sauber durchgetaggt und wenn du in Zukunft mal ohne Paperless arbeiten willst, dann hast du immer noch deine Ordner

Edited August 27, 2025Aug 27 by cottec

Ja. So etwas Ähnliches hatte ich mir auch schon überlegt. Wahrscheinlich würde es mir genügen, die jetzigen Ordnernamen als Tags zu verwenden (also ohne Paperless Speicherpfade im zweiten Schritt). Ein entsprechendes Importtool, das das PDF in Paperless importiert und automatisch die bisherigen Ordnernamen in Tags verwandelt, müsste ich mir aber IMHO selbst basteln. Oder gibt es ein entsprechendes Importtool für Paperless schon?

24 minutes ago, Tom7320 said:

Oder gibt es ein entsprechendes Importtool für Paperless schon?

Ist alles schon in Paperless intergriert. @cottec hat oben zwei Links gepostet, die dir den Weg zeigen.

Bevor das jetzt hier in einen Paperless Kursus ausartet, möchte ich dir diesen Blog (bisher 23 Artikel) ans Herz legen. Der geht auf alle deine Fragen u.v.a.m. sehr ausführlich ein und hat nicht nur mir bestens geholfen:

Digital Cleaning

Paperless-ngx auf dem Raspberry Pi - erstaunlich gut - Te...

Bei Paperless-ngx handelt es sich um eine schlanke Dokumentenverwaltung, die sich rasch im Rahmen eines „papierlosen“ Arbeitsplatzes als ausgesprochen nützlich erweisen kann.