Foto- & Videoserver ähnlich Amazon Photo/Google Photo

[Cicatrix]

Hallo alle zusammen und ein gesundes neues Jahr.

 

Ich suche einen Docker-Container, mit dem ich ähnlich wie bei Amazon Photo Fotos sichern kann und via Browser betrachten kann. Das ganze soll auch mit Videos möglich sein. Gäbe es da etwas? Oder hat jemand eine Idee?

 

Muss nicht ständig synchronisiert werden, höchstens "einseitiges syncen" (also Backup :D).

 

Vielen Dank im Voraus.

[alturismo]

Photoprism zum Beispiel ...

 

Nextcloud macht das übrigens auch

[Smolo]

Ich bau das grad mit Photoprism auf und bin bisher ganz zufieden.

 

Was du beachten musst im Standard legt Photoprism den Cache auf den Cache das erzeugt je nach Datenmenge zwei Probleme.

 

1) Das Backup von den Apps platzt dir und wird riesig weil die Thumbnails dabei sind das kannst du durch eine Ausnahme bei den Backups leicht korrigieren

2) Die Thumbnails können wirklich riesig werden vom Platz....ich hab bei 1,5TB Fotos/Videos über 100GB Thumbs zusammenbekommen. (FullHD bei 90%). An der Stelle wird es komplizierter und ich habe jetzt alles auf eine 4TB SSD ausgelagert damit die Zugriffe schnell laufen! Das schreiben erfolgt ganz normal über die Cache/Partiy etc.

 

Edited January 4, 2022 by Smolo

[darkside40]

Wir halten unsere Familienfotos inzwischen auch mit Photoprism vor. Inzwischen hat das Programm sogar eine rudimentäre Gesichtserkennung.

Zum befüllen nehmen wir auf unseren iOS Devices das Programm Photosync. Arbeitet richtig gut mit Photoprism zusammen.

Das ganze wird dann jeden Abend mit in unser Borgmatic Backup mit eingeschlossen.

[Smolo]

35 minutes ago, darkside40 said:

Wir halten unsere Familienfotos inzwischen auch mit Photoprism vor. Inzwischen hat das Programm sogar eine rudimentäre Gesichtserkennung.

Zum befüllen nehmen wir auf unseren iOS Devices das Programm Photosync. Arbeitet richtig gut mit Photoprism zusammen.

Das ganze wird dann jeden Abend mit in unser Borgmatic Backup mit eingeschlossen.

Über was für Schnittstelle läuft das bei Photosync?

 

Das Upload Thema ist noch eines der wenigen "Probleme" wo ich noch keinen einfachen Ersatz für meine QNAP gefunden habe.

[Cicatrix]

Vielen Dank für die Tipps, werde Mal Photoprism testen.

 

@Smolo: Werden allg. die Thumbs auf den Cache gesetzt? Ergibt ja allg. Sinn, aber wäre dann ja eine knackiger Größe.

[Smolo]

47 minutes ago, Cicatrix said:

Vielen Dank für die Tipps, werde Mal Photoprism testen.

 

@Smolo: Werden allg. die Thumbs auf den Cache gesetzt? Ergibt ja allg. Sinn, aber wäre dann ja eine knackiger Größe.

Im Standard ja aber du kannst das einstellen.

 

 

Ich hab das jetzt wie folgt gemacht:

"Fotos" Share

- Cache YES 

- Inhalt von dem Share landet nur auf dieser DISC

 

Ergebnis:

- Wenn was neues rein kommt geht es erst einmal auf den schnellen Cache und ohne Parity Disc!

- Mover schiebt den Inhalt dann vom Cache auf die SSD mit Parity

- Lesen braucht keine Parity d.h. die Platte sollte immer aus sein und die Latency und der Speed von der SDD da sein

 

Wenn das alles läuft geb ich noch mal bescheid. Mein 1,2TB Upstream läuft noch 24h^^ Und der Scan wird bestimmt 2-3 Tage rennen.

 

Falls du die Thumbs auf dem Cache lassen magst in den Backup Einstellungen einfach den Exclude auf das Verzeichnis definieren.

 

Edited January 4, 2022 by Smolo

[saber1]

Ich hatte Photoprism auch bereits getestet.

Leider hat es nicht alle Fotos, die sich in den entsprechenden Verzeichnissen befinden, gefunden.

Man hat auch keine Möglichkeit, diese manuell hinzuzufügen. Zumindest habe ich keine gefunden.

Ein Nachfragen auf Github beim „Verantwortlichen“ für das Projekt hat nicht wirklich geholfen.

Möglicherweise „denkt“ Photoprism bei den fraglichen Fotos, das es sich um Dubletten handelt.

Ist aber nicht der Fall.

Für mich leider nicht praktikabel.

Photoview könnte noch einen Test wert sein.

[Smolo]

1 minute ago, saber1 said:

Ich hatte Photoprism auch bereits getestet.

Leider hat es nicht alle Fotos, die sich in den entsprechenden Verzeichnissen befinden, gefunden.

Man hat auch keine Möglichkeit, diese manuell hinzuzufügen. Zumindest habe ich keine gefunden.

Ein Nachfragen auf Github beim „Verantwortlichen“ für das Projekt hat nicht wirklich geholfen.

Möglicherweise „denkt“ Photoprism bei den fraglichen Fotos, das es sich um Dubletten handelt.

Ist aber nicht der Fall.

Für mich leider nicht praktikabel.

Photoview könnte noch einen Test wert sein.

Du kannst mittlerweile einzelne Verzeichnisse indizieren lassen.

 

Bezüglich fehlenden Bilder hab ich noch keine Erfahrung aber es gibt ein paar Optionen dafür:

[saber1]

Ja, hatte ich bereits getan. Leider hatte es zu keinem Erfolg geführt.

[darkside40]

4 hours ago, Smolo said:

Über was für Schnittstelle läuft das bei Photosync?

 

Das Upload Thema ist noch eines der wenigen "Probleme" wo ich noch keinen einfachen Ersatz für meine QNAP gefunden habe.

Photosync kann direkt mit der Photoprism API sprechen.

[Cicatrix]

Gibt es bei Photoprysm eine Möglichkeit mehrere Nutzer zu führen oder bleibt es beim admin alleine? Und funktioniert der Import von Amazon Photos? Google habe ich auf der Homepage gefunden, nur für Amazon fehlen mir die Infos. Oder müsste das dann über rclone laufen?

[mgutt]

Warum sind deine Fotos überhaupt bei Amazon. Ich denke wenn man die Plattform wechselt, dann sollte man auch komplett umstellen. Weil sonst kannst du ja gleich bei Amazon bleiben.

[Cicatrix]

Bei Amazon sind sie seit Jahren und ich würde gerne auf's NAS umziehen. Habe Amazon als Backup genutzt, als in einem Urlaub vor vielen Jahren die SD-Karte im Handy abrauchte. War nicht sooo witzig. Da ich aber auf Videos verzichten muss und gerne Bilder und Videos zentral hätte nun der Umzug. 

 

Also ja, ich möchte komplett von Amazon zu meinem NAS umstellen. 

[Smolo]

@mgutt

 

Kurze Frage an den Experten. Ich habe gerade den Indexscan im Photoprism gestartet und bin extrem verwundert warum er jetzt auf der SSD bzw. Parity schreibt und liesst? Für den Zugriff auf die Disk 4 braucht es doch eigentlich kein Parity?

 

 

Die Foto-Daten ebenso wie die Cache-Daten des Photoprism Container liegen auf dem Fotos Share. Das Share hat die Option Cache Yes gesetzt.

 

Wenn der Index läuft oder irgendwas passiert sollte doch erstmal rein gar nichts auf die SSD bzw. die Parity geschrieben werden und erst wenn der Mover anzieht oder?

 

Edited January 5, 2022 by Smolo

[mgutt]

27 minutes ago, Smolo said:

Wenn der Index läuft oder irgendwas passiert sollte doch erstmal rein gar nichts auf die SSD bzw. die Parity geschrieben werden und erst wenn der Mover anzieht oder?

Wenn Dateien überschrieben werden, dann werden die leider nicht neu auf der SSD erstellt, sondern direkt auf dem Array überschrieben.

 

[Smolo]

4 hours ago, mgutt said:

Wenn Dateien überschrieben werden, dann werden die leider nicht neu auf der SSD erstellt, sondern direkt auf dem Array überschrieben.

 

Oh shit die Info kannte ich nicht 😞 In dem Cache Verzeichnis von Photoprism liegt auch die sqlite DB. D.h. ich muss das definitiv auf ne extra Datenbank auslagern.
Ich hoffe mal mit den anderen Files passt das zumindest weil die ganzen JSON und YML Files sollten selbst bei der nachträglichen Indizierung nicht verändert werden.

 

Womit verwaltest du deine Bilder, du hast doch auch die SSDs extra für die im Einsatz?

 

Nachtrag:

Zusatzfrage am Rande wenn man jetzt ne 500MB Datei ändert wie wirkt sich das dann auf die Geschwindigkeit aus? Bei einem User sind die 70MB schreibend ja nicht so wild aber wenn da mehrere bestehende Dateien bearbeiten geht die Performance ja wirklich flott in den Keller?

Edited January 5, 2022 by Smolo

[mgutt]

1 hour ago, Smolo said:

Womit verwaltest du deine Bilder, du hast doch auch die SSDs extra für die im Einsatz?

Ehrlich gesagt habe ich noch keine Lösung, die Amazon Prime Photo und FolderSync ersetzt. FolderSync sichert auf das NAS, das NAS auf Amazon und bei der Amazon App ist der Sync deaktiviert, so dass nur die App verwendet wird. Vorrangig wegen der Funktion "Fotos von heute der letzten Jahre". Ich kenne dazu keine Alternative.

 

Eine webbasierte Lösung wäre evtl auch ok, aber nicht ohne Benachrichtigung und die besagte Funktion. Erst dann wäre Photoprism für mich interessant.

 

1 hour ago, Smolo said:

wenn man jetzt ne 500MB Datei ändert

Man sollte keine App einsetzen, die bei einer Änderung die komplette Datei überschreibt. Bei Datenbanken wäre das eh nicht der Fall. Bei Backups kommt es auf die App an. Rsync kann ja zb nur Änderungen einer Datei transferieren.

 

Aber ja. Wenn die App nichts taugt und die komplette Datei überschreibt und das sogar mehrfach passiert, dann geht es schnell in den Keller.

[saber1]

Wie gesagt: Werft auch mal einen Blick auf Photoview.

Gibt es ebenfalls als Docker für unRaid.

Github: https://github.com/photoview/photoview

[Smolo]

Ich hab jetzt mal alle Cache Daten gelöscht und lass das jetzt mal mit einer MariaDB durchlaufen und schaue wie Photoprism mit >200.000 Files und 1,5TB klar kommt.

Wenn das nicht wuppt muss ich wohl weiter auf die Suche gehen und schaue mir mal Photoview an. Bei dem Speed des Index wird sich das aber ne ganze Zeit hinziehen.

[hawihoney]

21 hours ago, mgutt said:

Fotos von heute der letzten Jahre

 

Plex kann das auch.

 

[jj1987]

22 hours ago, mgutt said:

das NAS auf Amazon

Das geht noch? Hatte es so verstanden, dass man nur noch über den Browser bei Amazon hochladen kann und nciht mehr automatisiert per Schnittstelle?! Hast du da mal einen Link zu einer Anleitung zur Hand? Oder gibt es gar eine App für Unraid?

[Smolo]

On 1/6/2022 at 10:06 AM, Smolo said:

Ich hab jetzt mal alle Cache Daten gelöscht und lass das jetzt mal mit einer MariaDB durchlaufen und schaue wie Photoprism mit >200.000 Files und 1,5TB klar kommt.

Wenn das nicht wuppt muss ich wohl weiter auf die Suche gehen und schaue mir mal Photoview an. Bei dem Speed des Index wird sich das aber ne ganze Zeit hinziehen.

Index rennt immer noch nach 1 1/2 Tagen und steht jetzt bei ca. 150.000 von 200.000 Dateien. Dazu mal zwei Fragen an unseren Profisupporter 🙂

@mgutt

1) Liegt die schlechte Performance jetzt an der App? Alle Kerne werden beanspruch aber die CPU läuft bei 30-40%...Platten langweiligen sich auch?

2) Heute Morgen ist der Mover angesprungen und lief jetzt 14h. Ich hab grad mal das Cache Verzeichnis von Photoprism gescannt und da liegen jetzt bereits 1.5Mio kleine Files. Aber auch hier stellt sich mir die Frage warum ist die Performance so langsam wenn nur 500kb/s bis 2-3Mb/s geschoben werden?

 

[mgutt]

13 minutes ago, Smolo said:

Liegt die schlechte Performance jetzt an der App? Alle Kerne werden beanspruch aber die CPU läuft bei 30-40%...Platten langweiligen sich auch?

Nutzt du Disk/Pool Pfade in den Containern oder /mnt/user? Letzteres ist ein Performance-Killer bei Datenbanken.

 

14 minutes ago, Smolo said:

Aber auch hier stellt sich mir die Frage warum ist die Performance so langsam wenn nur 500kb/s bis 2-3Mb/s geschoben werden?

Der Mover macht mehrere Checks um ganz sicher zu gehen, dass die Datei gerade nicht verwendet wird. Dadurch ist der Mover langsamer, als wenn du zB manuell verschieben würdest.

[Smolo]

2 minutes ago, mgutt said:

Nutzt du Disk/Pool Pfade in den Containern oder /mnt/user? Letzteres ist ein Performance-Killer bei Datenbanken.

 

Der Mover macht mehrere Checks um ganz sicher zu gehen, dass die Datei gerade nicht verwendet wird. Dadurch ist der Mover langsamer, als wenn du zB manuell verschieben würdest.

Nein nutze nur die User Pfade. Aber selbst wenn der Mover langsamer schiebt sollte das doch bei den mini Files rasend schnell gehen oder hat Unraid hier sogar ein "IO" Bottleneck auf Dateien?

 

 

Mal unabhängig vom Mover sehe ich es immer häufiger bei PCs das Kopieren (kleine Files), Berechnen, etc. dauert ewig lang obwohl Ressourcen satt zur Verfügung stehen. Normalerweise müsste eine Maschine ja auf 100% gehen und bei dem Speed alles rasend schnell verarbeiten...12 Kerne, 64GB RAM, PCIE4 NVME und ne SSD und der schreibt KB/s^^ Irgendwo muss doch da ein Flaschenhals sein?