Kota Posted March 14, 2022 Share Posted March 14, 2022 Hallo Liebe Unraid Community, ich bin seit einiger Zeit, stiller Mitleser und begeisterter Nutzer von Unraid. Meine aktuelle Aufgabe/Wunsch besteht darin, meine lokalen Dateien/Ordner in Gdrive zu sichern. Abgespielt sollen die überwiegenden Mediafiles weiterhin von lokal. eingerichtet hab ich das mithilfe dieser Anleitung: Auch wenn ich denke es ist etwas "zuviel" für meinen Bedarf scheitere ich wohl an den Scripten. Aktuell hab ich in der rclone Config: https://pastebin.com/DhpEg4vR (es sind 2 crypt shares zum testen, benötigt wird nur eines) Situation ist folgendes: kopiere ich zb in Krusader in /mnt/user/mount_rclone/gdrive/ wird alles innerhalb von paar Sekunden (jeh nach Dateigröße gleich kopiert) kopiere ich den selben Inhalt in /mnt/user/mount_rclone/gdrive_crypt/ passiert nichts. log vom mount_script log: https://pastebin.com/VTbSqa2a log vom upload script log: https://pastebin.com/1ENBSpW5 Ich bin für jeden Hinweis dankbar, verzweifel schon daran Ich war mir jetzt nicht sicher ob der ganze Diagnose file notwendig ist, reiche ich bei Bedarf nach. Quote Link to comment
speedycxd Posted March 14, 2022 Share Posted March 14, 2022 Hallo, wo führst Du das Mount Script aus? Quote Link to comment
Kota Posted March 14, 2022 Author Share Posted March 14, 2022 2 minutes ago, speedycxd said: Hallo, wo führst Du das Mount Script aus? beide im User Scripts. mount script alle 10minuten, upload script geplant 1x in der stunde. Quote Link to comment
speedycxd Posted March 14, 2022 Share Posted March 14, 2022 Ok, das Crypt Drive wird also auch normal angezeigt? Nur das kopieren funktioniert nicht? Wie schauen die Scripts aus, kannst du die mal posten? Quote Link to comment
Kota Posted March 14, 2022 Author Share Posted March 14, 2022 2 minutes ago, speedycxd said: Ok, das Crypt Drive wird also auch normal angezeigt? Nur das kopieren funktioniert nicht? Wie schauen die Scripts aus, kannst du die mal posten? Genau siehe screen von krusader: mount script: https://pastebin.com/qAEJuKgx upload script: https://pastebin.com/K4Ujv1wn da habe ich die Minimum Age auf 0m geändert. (vorallem für testzwecke) nur das kopieren in das gdrive_crypt mount funktioniert nicht. in gdrive funktioniert es problemlos, auch ohne laufen des upload scripts. Quote Link to comment
speedycxd Posted March 14, 2022 Share Posted March 14, 2022 Ok, bei mir ist der Script etwas simpler aufgebaut. Als Beispiel: #!/bin/bash mkdir -p /mnt/disks/Data rclone mount Data: /mnt/disks/Data --allow-other --cache-db-purge --buffer-size 32M --use-mmap --dir-cache-time 72h --drive-chunk-size 16M --timeout 1h --vfs-cache-mode minimal --vfs-read-chunk-size 128M --vfs-read-chunk-size-limit 1G & Funktioniert bei bei mir Problemlos unter user scripts plugin. Ich verwende für meine rclone config das rclone tool aus dem Nerdpack. Quote Link to comment
Kota Posted March 14, 2022 Author Share Posted March 14, 2022 Danke für den Vorschlag, Habs soeben probiert und das verzeichnis wird erstellt, jedoch wars das leider. Muss ich nicht irgendwo angeben, welche Remotename ich dem mount zuweise? im Nerdpack finde ich kein rclone tool Quote Link to comment
speedycxd Posted March 15, 2022 Share Posted March 15, 2022 20 hours ago, Kota said: Ich habe dieses hier https://forums.unraid.net/topic/51633-plugin-rclone/ Ja der Remotename muss angegeben werden. Bei mir wäre das Data wie im Beispiel gezeigt. Danke für den Vorschlag, Habs soeben probiert und das verzeichnis wird erstellt, jedoch wars das leider. Muss ich nicht irgendwo angeben, welche Remotename ich dem mount zuweise? im Nerdpack finde ich kein rclone tool Quote Link to comment
Kota Posted March 15, 2022 Author Share Posted March 15, 2022 bei dieser Methode klappt der upload überhaupt nicht. das rclone plugin hab ich auch von dem link von dir. ich hab das so eingegeben. #!/bin/bash mkdir -p /mnt/user/gdrive rclone mount gdrive_crypt: /mnt/user/gdrive --allow-other --cache-db-purge --buffer-size 32M --use-mmap --dir-cache-time 72h --drive-chunk-size 16M --timeout 1h --vfs-cache-mode minimal --vfs-read-chunk-size 128M --vfs-read-chunk-size-limit 1G & die rclone config dazu sieht so aus: [gdrive] type = drive client_id = XXXXXXX client_secret = XXXXXX scope = drive token = XXXXXX team_drive = XXXXX root_folder_id = [gdrive_crypt] type = crypt remote = gdrive:crypt password = XXXXX password2 = XXXXX filename_encryption = standard directory_name_encryption = true Quote Link to comment
speedycxd Posted March 16, 2022 Share Posted March 16, 2022 (edited) Bitte einmal so eintragen. mkdir -p /mnt/user/gdrive_crypt rclone mount gdrive_crypt: /mnt/user/gdrive_crypt --allow-other --cache-db-purge --buffer-size 32M --use-mmap --dir-cache-time 72h --drive-chunk-size 16M --timeout 1h --vfs-cache-mode minimal --vfs-read-chunk-size 128M --vfs-read-chunk-size-limit 1G & Das normale Gdrive brauchst du ja auch nicht. Soweit sieht das aber auch alles gut aus. Ich habe da noch nie Probleme gehabt. Edited March 16, 2022 by speedycxd Quote Link to comment
Solution Kota Posted March 16, 2022 Author Solution Share Posted March 16, 2022 Danke @speedycxd für deine Hilfe. Ich habs mittlerweile auch auf einem reinen Win10 PC probiert dort lief alles problemlos mit der selben rclone.config. letzten Endes lag das Problem am Krusader, oder eher an der falschen Bedienung/Annahme, da die Ordner nicht synchronisiert wurden und deshalb sah ich nie Veränderungen in den Ordnern. Jetzt mit privilegierten Rechten funktioniert das ganze. Muss noch schauen wie sinnvoll es ist Krusader so laufen zu lassen, wollte das eher vermeiden. Quote Link to comment
speedycxd Posted March 17, 2022 Share Posted March 17, 2022 (edited) 13 hours ago, Kota said: Danke @speedycxd für deine Hilfe. Ich habs mittlerweile auch auf einem reinen Win10 PC probiert dort lief alles problemlos mit der selben rclone.config. letzten Endes lag das Problem am Krusader, oder eher an der falschen Bedienung/Annahme, da die Ordner nicht synchronisiert wurden und deshalb sah ich nie Veränderungen in den Ordnern. Jetzt mit privilegierten Rechten funktioniert das ganze. Muss noch schauen wie sinnvoll es ist Krusader so laufen zu lassen, wollte das eher vermeiden. Das wäre meine nächste vermutung gewesen mit krusader. Ja da muss man nach dem mounten einmal neu starten. Ich mache das mit Krusader und auch über Terminal bzw. dort mit Tmux dann damit die Session nicht unterbrochen wird. So kann man dann auch per Server Side Copy kopieren. Also auch von Cloud zu Cloud ohne seine eigene Bandbreite zu nutzen. Schaut dann so aus als Beispiel Quote rclone copy teknokrat:/backup_crypt:/Media/ --drive-server-side-across-configs --max-transfer 730G --bwlimit 8.5M -P -v Vorher aber noch in der config dieses eintragen Quote server_side_across_configs = true Statt Copy kann man auch sync nehmen sonst. Edited March 17, 2022 by speedycxd Quote Link to comment
Kota Posted March 17, 2022 Author Share Posted March 17, 2022 Danke für die Anregungen, Muss gestehen so recht verstehe ich das noch nicht. Wenn ich etwas in das gemountete Verzeichnis kopiere, belegt das kopierte dennoch Platz im Array auf einer Platte. Dies macht es schwer zu überprüfen ob die Daten auch wirklich alle in gdrive sind. Quote Link to comment
speedycxd Posted March 18, 2022 Share Posted March 18, 2022 20 hours ago, Kota said: Danke für die Anregungen, Muss gestehen so recht verstehe ich das noch nicht. Wenn ich etwas in das gemountete Verzeichnis kopiere, belegt das kopierte dennoch Platz im Array auf einer Platte. Dies macht es schwer zu überprüfen ob die Daten auch wirklich alle in gdrive sind. Kopieren oder verschieben? Kopieren bleiben die Daten natürlich auf dem System (HDD) Mit verschieben sind die natürlich weg von der (HDD) Verstehe aber nicht so ganz. Wenn du es in das Crypt kopierst, dann kannst du es ja auch sehen zb. mit Krusader. Quote Link to comment
Kota Posted March 18, 2022 Author Share Posted March 18, 2022 Das lag wohl an dem Script, verwende jetzt deine Vorlage und da wird instant hochgeladen. Vorher war es so: ich kopiert datei vom Array in das gemountete gdrive und tatsächlich wurden die datei auf eine anderen Ort im Array kopiert und nur tlw hochgeladen. Hast du noch Ideen wie ich es bewerkstellige, dass meine Daten im gdrive aktuell zu den Daten lokal gehalten werden? Sprich kommt ein Foto in x ordner hinzu, dass auch nur die neue Datei kopiert wird. Quote Link to comment
mgutt Posted March 19, 2022 Share Posted March 19, 2022 On 3/14/2022 at 8:37 PM, speedycxd said: Ok, bei mir ist der Script etwas simpler aufgebaut. 1.) Das Mount Kommando darf innerhalb eines Scripts nicht auf " &" enden, denn sonst erfährt man nichts zu Fehlern. Das einzelne Ampersand sorgt dafür, dass nicht auf das Ergebnis des Kommandos gewartet wird, sondern das Script direkt weiter ausgeführt wird (und da nichts mehr folgt, endet). 2.) Es gilt zu prüfen (nachdem das Ampersand entfernt wurde), ob das Script wiederholt ausgeführt werden kann. Wenn ja, dann habt ihr schlussendlich überlappende mounts, was langfristig zu Problemen führt. Daher bitte mal prüfen und auch mal "mountpoint /mnt/disks/Data" ausführen ob das als klassischer Linux Mount erkannt wird. On 3/15/2022 at 9:42 PM, Kota said: /mnt/user/gdrive Dieser Pfad darf nicht gemountet werden. Alles unter /user und /disk gehört Unraid. Externe Ziele gehören unter /mnt/remotes Grund dafür ist, dass unRAID seine eigenen Mounts beim Neustart löst und wenn da welche doppelt vorhanden sind (/mnt/user/gdrive ist ein Mount auf einen Datenträger und nach Google Drive), wird immer nur einer gelöst und der Server hängt. Auch braucht man ein Script für den Unmount, wenn man das Array stoppt. Quote Link to comment
speedycxd Posted March 19, 2022 Share Posted March 19, 2022 1 hour ago, mgutt said: 1.) Das Mount Kommando darf innerhalb eines Scripts nicht auf " &" enden, denn sonst erfährt man nichts zu Fehlern. Das einzelne Ampersand sorgt dafür, dass nicht auf das Ergebnis des Kommandos gewartet wird, sondern das Script direkt weiter ausgeführt wird (und da nichts mehr folgt, endet). 2.) Es gilt zu prüfen (nachdem das Ampersand entfernt wurde), ob das Script wiederholt ausgeführt werden kann. Wenn ja, dann habt ihr schlussendlich überlappende mounts, was langfristig zu Problemen führt. Daher bitte mal prüfen und auch mal "mountpoint /mnt/disks/Data" ausführen ob das als klassischer Linux Mount erkannt wird. Dieser Pfad darf nicht gemountet werden. Alles unter /user und /disk gehört Unraid. Externe Ziele gehören unter /mnt/remotes Grund dafür ist, dass unRAID seine eigenen Mounts beim Neustart löst und wenn da welche doppelt vorhanden sind (/mnt/user/gdrive ist ein Mount auf einen Datenträger und nach Google Drive), wird immer nur einer gelöst und der Server hängt. Auch braucht man ein Script für den Unmount, wenn man das Array stoppt. Vielen dank für deine Tipps hier. Ich werde es nochmal etwas ändern dann. Einen Unmount habe ich auch im script angelegt. Quote Link to comment
Kota Posted March 20, 2022 Author Share Posted March 20, 2022 Danke @mgutt für deinen Input, hab das Skript angepasst. ein Unmount skript sollte dann nur fusermount -uz /path/to/remote haben verstehe ich das richtig? aktuell schau ich mir Luckybackup an um meine daten zu sichern. Dein script @mgutt liest sich total fein Danke für deine Vielen Arbeit hier. werde ich mir in Ruhe anschauen, bevorzuge aktuell eine Klick klick lösung ^^ zwecks der Einfachheit. Quote Link to comment
mgutt Posted March 20, 2022 Share Posted March 20, 2022 4 minutes ago, Kota said: ein Unmount skript sollte dann nur fusermount -uz /path/to/remote haben verstehe ich das richtig? Einfach mal in der Kommandozeile testen. Ich nutze meistens "umount -l" als Kommando. 1 Quote Link to comment
Kota Posted March 20, 2022 Author Share Posted March 20, 2022 38 minutes ago, mgutt said: Einfach mal in der Kommandozeile testen. Ich nutze meistens "umount -l" als Kommando. In der Kommandozeile funktioniert fusermount -uz problemlos. Quote Link to comment
speedycxd Posted March 20, 2022 Share Posted March 20, 2022 4 hours ago, Kota said: In der Kommandozeile funktioniert fusermount -uz problemlos. So nutze ich das auch. Quote Link to comment
Kota Posted March 22, 2022 Author Share Posted March 22, 2022 Hab die Mounts etc geändert läuft aktuell problemlos 😃 Backup erprobe ich mittels Skripts, experimentiere da noch mit den passenden rclone Paramatern. Nochmals danke für die Hilfe und Anregungen 😃 1 Quote Link to comment
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.