monarc

Die Datei bzw. die Dateien habe ich nach dem ersten Full Backup gelöscht. Die Meldung kommt quasi jetzt bei jedem neuen Start des Backupskriptes. Während des Backupvorgangs habe ich keine Dateien gelöscht.

Backup ist mit einem Testordner sauber durchgelaufen. 👍 Auch inkrementell klappt super. 🥳 Allerdings wenn ich auf meinem Unraid Share jetzt eine Datei lösche, und das Backup erneut starte, bekomme ich bei jedem weiteren Backup die folgende Meldungen angezeigt. file has vanished: "/volume1/unraid_mnt/Marc/.fuse_hidden002be5e5000017d2" rsync warning: some files vanished before they could be transferred (code 24) at main.c(1355) [sender=3.0.9] Create backup of /volume1/unraid_mnt/Marc Backup path has been set to /volume1/Backups/Test Create incremental backup 20210510_112704 by using last backup 20210510_112245 sending incremental file list file has vanished: "/volume1/unraid_mnt/Marc/.fuse_hidden002be5e5000017d2" Number of files: 5532 Number of files transferred: 1 Total file size: 23760558910 bytes Total transferred file size: 227526 bytes Literal data: 0 bytes Matched data: 0 bytes File list size: 135559 File list generation time: 0.005 seconds File list transfer time: 0.000 seconds Total bytes sent: 136120 Total bytes received: 563 sent 136120 bytes received 563 bytes 24851.45 bytes/sec total size is 23760558910 speedup is 173836.97 rsync warning: some files vanished before they could be transferred (code 24) at main.c(1355) [sender=3.0.9] Make backup visible Das aber auch mal Daten im Bestand gelöscht werden ist ja nicht ganz untypisch, deswegen verwundert mich die Meldung ein wenig?!

Wusste nicht, dass man manuell zwischen den Formaten auswählen kann. Habe es jetzt auf Unix (LF) umgestellt. Skript lässt sich starten. Mal schauen wie es weiterläuft.

ich arbeite eigentlich nur mit Notepad++. Habe das Skript jetzt nochmal frisch kopiert in Notepad++ eingefügt, Source und Backup Path angepasst und ich bekomme beim ausführen von der Shell erneut die gleichen Fehler. Weiß du du @mgutt zufällig wo ich jemanden finden kann, der dein Skript auf einem Synology NAS betreibt? Dann könnte man sich direkt austauschen....

Inkrementelles Backup auf das Synology NAS funktioniert jetzt. Die Unix Extensions lassen sich doch in der GUI einschalten. hier mal die Rückmeldung vom Synology Support dazu. Ich habe es gerade mit SMB3 laufen und die ersten Shares sind beim Backup schon erfolgreich abgeschlossen und bis jetzt gab es auch noch keine Fehler in den Logs. Über Hilfe bezüglich Skript auf dem Synology NAS auszuführen würde ich mich trotzdem noch freuen. Unraid Shares konnte ich mittels SMB erfolgreich einbinden, allerdings scheint das Skript direkt in der ersten Zeile des auszuführenden Teils Probleme zu haben.

Hi all, I hope someone can help me with my problem. I just replaced my 1TB external HDD with an 4TB one for my backups. First I have formatted it with XFS and mounting was no problem, but I wanted to have this disk being encrypted so I formatted the disk again, now with XFS_encrypted aka LUKS. I chose a password and also put it in the UAD settings. But for some reason mounting this encrypted partition is not possible. May 7 09:55:36 Unraid unassigned.devices: Format disk '/dev/sda' with 'xfs-encrypted' filesystem: meta-data=/dev/mapper/format_sda isize=512 agcount=4, agsize=244187635 blks = sectsz=4096 attr=2, projid32bit=1 = crc=1 finobt=1, sparse=1, rmapbt=0 = reflink=1 data = bsize=4096 blocks=976750537, imaxpct=5 = sunit=0 swidth=0 blks naming =version 2 bsize=4096 ascii-ci=0, ftype=1 log =internal log bsize=4096 blocks=476928, version=2 = sectsz=4096 sunit=1 blks, lazy-count=1 realtime =none extsz=4096 blocks=0, rtextents=0 May 7 09:55:39 Unraid unassigned.devices: Reloading disk '/dev/sda' partition table. May 7 09:55:39 Unraid kernel: sda: sda1 May 7 09:55:39 Unraid unassigned.devices: Reload partition table result: /dev/sda: re-reading partition table May 7 09:55:39 Unraid unassigned.devices: Adding disk '/dev/mapper/Intenso_External_USB_3.0'... May 7 09:55:41 Unraid unassigned.devices: Mount drive command: /sbin/mount -o rw,noatime,nodiratime '/dev/mapper/Intenso_External_USB_3.0' '/mnt/disks/Intenso_External_USB_3.0' May 7 09:55:41 Unraid kernel: /dev/mapper/Intenso_External_USB_3.0: Can't open blockdev May 7 09:55:41 Unraid unassigned.devices: Mount of '/dev/mapper/Intenso_External_USB_3.0' failed: 'mount: /mnt/disks/Intenso_External_USB_3.0: special device /dev/mapper/Intenso_External_USB_3.0 does not exist. ' May 7 09:55:41 Unraid unassigned.devices: Partition 'Intenso External_USB_3.0' cannot be mounted. May 7 09:55:41 Unraid unassigned.devices: Running device script: 'Intenso_External_USB_3.0.sh' with action 'ERROR_MOUNT'. May 7 10:14:12 Unraid unassigned.devices: Adding disk '/dev/mapper/Intenso_External_USB_3.0'... May 7 10:14:14 Unraid unassigned.devices: Mount drive command: /sbin/mount -o rw,noatime,nodiratime '/dev/mapper/Intenso_External_USB_3.0' '/mnt/disks/Intenso_External_USB_3.0' May 7 10:14:14 Unraid kernel: /dev/mapper/Intenso_External_USB_3.0: Can't open blockdev May 7 10:14:14 Unraid unassigned.devices: Mount of '/dev/mapper/Intenso_External_USB_3.0' failed: 'mount: /mnt/disks/Intenso_External_USB_3.0: special device /dev/mapper/Intenso_External_USB_3.0 does not exist. ' May 7 10:14:14 Unraid unassigned.devices: Partition 'Intenso External_USB_3.0' cannot be mounted. May 7 10:14:14 Unraid unassigned.devices: Running device script: 'Intenso_External_USB_3.0.sh' with action 'ERROR_MOUNT'. Formatting it back to simple XFS mounting is just working fine again. Any idea what is causing this issue? Any help would be much appreciated. Thanks in advance.

Vorbereitungen sind schonmal getroffen, dass Skript scheint aber nicht zu funktionieren.... NAS:/volume1/unraid_mnt$ bash backup_unraid.sh backup_unraid.sh: line 55: $'\r': command not found backup_unraid.sh: line 59: syntax error near unexpected token `$'do\r'' 'ackup_unraid.sh: line 59: `for source_path in "${source_paths[@]}"; do

Hört sich Interessant an, hast du da auch irgendwo schon mal eine Anleitung zu geschrieben?

@mgutt das mit den Unix Extensions ist ein guter Punkt, scheint bei Synology deaktiviert zu sein. Ich versuche das mal zu klären ob man das bedenkenlos aktivieren kann. Über die GUI geht es schonmal nicht.... 😒

Mal ganz generell gefragt, sollten Hardlinks (und somit das Skript) bei verschlüsselten Zielmedien funktionieren oder sind hier Probleme zu erwarten?

Moin, irgendwie läuft es noch nicht so ganz rund. Mein Synology läuft gut voll, beudetet folgends, dass keine Hardlinks erstellt werden sondern bei jedem Backup die vollen Daten transferiert und geschrieben werden? root@Unraid:/mnt/remotes/NAS_Backups/Shares/Familie# du -d1 -h 6.4G ./20210503_065830 15M ./logs 6.4G ./20210430_182857 6.4G ./20210430_145322 20G . Wobei in den Logs das folgende steht. reate backup of /mnt/user/Familie Backup path has been set to /mnt/remotes/NAS_Backups/Shares/Familie Create incremental backup 20210503_065830 by using last backup 20210430_182857 sending incremental file list Familie/Neues Textdokument.txt Familie/test.txt Familie/Weltkarte_Kinder_Blue-Grey/ Familie/Weltkarte_Kinder_Blue-Grey/110x80.png Familie/Weltkarte_Kinder_Blue-Grey/110x80.xcf Familie/Weltkarte_Kinder_Blue-Grey/World Map BlueGrey 100x150.jpg Familie/Weltkarte_Kinder_Blue-Grey/World Map BlueGrey 150x200.jpg Familie/Weltkarte_Kinder_Blue-Grey/World Map BlueGrey 36x48.jpg Familie/Weltkarte_Kinder_Blue-Grey/World Map BlueGrey 70x100.jpg Familie/Weltkarte_Kinder_Blue-Grey/World Map BlueGrey A0.jpg Familie/Weltkarte_Kinder_Blue-Grey/WorldMapBlueGrey-LargeSizes.pdf Number of files: 1,429 (reg: 1,324, dir: 105) Number of created files: 0 Number of deleted files: 0 Number of regular files transferred: 0 Total file size: 6,812,995,976 bytes Total transferred file size: 0 bytes Literal data: 0 bytes Matched data: 0 bytes File list size: 0 File list generation time: 0.001 seconds File list transfer time: 0.000 seconds Total bytes sent: 38,905 Total bytes received: 167 sent 38,905 bytes received 167 bytes 427.02 bytes/sec total size is 6,812,995,976 speedup is 174,370.29 Make backup visible Clean up old backups Preserve daily backup: 20210503_065830 Preserve daily backup: 20210430_182857 Keep multiple backups per day: 20210430_145322 Auf meiner externen HDD sieht es denk ich ganz gut aus. So, würde ich zumindest erwarten. root@Unraid:/mnt/disks/Intenso_External_USB_3.0/backup_unraid_shares/Shares/Familie# du -d1 -h 15M ./logs 6.4G ./20210430_000509 112K ./20210501_000507 112K ./20210503_010513 6.4G . Im Synology werkelt ein Raid Verbund aus 2 Festplatten welche ext4 formatiert sind. Der freigegebene Ordner ist auf dem Synology verschlüsselt. Eingebunden in Unraid ist das ganze mittels SMB mount unter UAD.

How can I access the Web UI from a docker I am passing through the OpenVPN AIO Client docker? I have already added the additional port mapping, but the Web UI is still not accessible. What else needs to be added?

Perfekt, dann ist ja alles super und das Testen kann beginnen. Mal schauen welche Fragen sich dann noch auftun. Vielen Dank für die schnellen Rückmeldungen.

Hmm, dann hab ich irgendwo wohl was falsch verstanden, dachte man MUSS btrfs verwenden wegen der Hardlinks und lediglich NTFS wäre unter Umständen eine Option. Bedeutet also mit XFS auf dem Zieldatenträger kann man das Skript auch im vollen Umfang nutzen?

Okay, spricht denn irgendetwas gegen die Nutzung von btrfs? Hast du zufällig mal geschaut wie schnell der Kopier- bzw. Backupvorgang von statten geht, also die tatsächliche Geschwindigkeit, wird diese eher durch das Netzwerk und die Speichermedien bestimmt oder spielt die Mackupmethode hier tatsächlich eine Rolle? Ich mein es wird ja nichts komprimiert oder ähnliches. Hab aber trotzdem mal irgendwo gelesen, das rsync relativ langsam sein soll!?

Geht auch der andere Weg ohne Probleme, also SMB Share unter UAD einrichten und diesen dann als Backup Ziel definieren? Das Filesystem vom Backup Ziel muss dann nur btrfs formatiert sein, damit das mit den Hardlinks und somit den inkrementellen Backups funktioniert, korrekt?

Sweet... danke @CorneliousJD Meine postgresql konfig war also korrekt. Es hat nur die kleine Anpassung in der Docker Konfig gefehlt.

Hi, I am really looking forward to use the docker, but unfortunately I am unable to setup the posgresql database correctly. django.db.utils.OperationalError: FATAL: database "/data/recipes.db" does not exist Can some pls share the commands for postgresql to properly setup the recipes db. Many thanks in advance.

No one? Something easy I've missed?

Danke für die schnellen Rückmeldungen. Das Skript kenne ich schon, hat mich aber auf den ersten Blick immer ein bisschen abgeschreckt. Muss ich quasi nur den Settings Part auf meine Gegebenheiten anpassen? # ######### Settings ################## source_paths=( "/mnt/user/Music" "/mnt/user/Photos" ) backup_path="/mnt/user/Backup" days=14 # preserve backups of the last X days months=12 # preserve backups of the first day of the last X month years=3 # preserve backups of the first january of the last X years fails=3 # preserve the recent X failed backups notification=0 skip_errors=(0 24) # https://linux.die.net/man/1/rsync#:~:text=Exit%20Values skip_suberrors=('hostdown', 'wrongsource') # hostdown = "Host is down (112)", wrongsource = "No such file or directory (2)" permission_error_treshold=20 # ##################################### Muss bei skip_errors und skip_suberrors noch was eingestellt werden? Wie mache ich das denn in Richtung Synology NAS? Btrfs ist zwingend notwendig für die Hardlinks, korrekt?

Hallo zusammen, ich bin aktuell auf der Suche nach einer geeigneten Backupmöglichkeit. Mein Ziel ist es jede Nacht ein Backup meiner (wichtigen) Shares auf eine externe Festplatte (UAD) zuschreiben, zusätzlichen landen hier auch noch die Backups von Appdata, USB Stick etc. Am Ende der Woche soll dann ein Backup auf ein Synology NAS geschrieben. Alle Backups sollen inkrementell erfolgen und nicht komprimiert werden. Im Problemfall soll es möglich sein, die Daten einfach am Backuport lesen zu können oder problemlos mittels kopieren wiederhergestellt werden können. Hat hier jemand eine Idee, einen Vorschlag!? Vielen Dank im Voraus. Gruß, Marc

HI all, looks like the appdata mapping is missing for the chevereto docker container, can someone please share the correct mapping, actually what is the correct Host Path which needs to be mapped to e.g. /mnt/user/appdata/chevereto. Many thanks in advance for your help.

Both. Deconz via VNC and Phoscon via WebGUI

@Darren Cook You have to add --hostname hostname under Extra Parameters in the PiHole Docker config

Hi everyone, Trying to backup my Unraid Shares to a Synology NAS with Duplicati. Synology is mounted via Unassigned devices with NFS. Backup job is nothing fancy just around 800GB of data encrypted in 50MB blocks and everything else default settings. Backup job is running fine but I always get the following warning at the end. "2021-02-26 09:31:01 +01 - [Warning-Duplicati.Library.Main.Operation.FilelistProcessor-MissingRemoteHash]: remote file duplicati-b6ee2e638e03448d7b58103e0aa972613.dblock.zip.aes is listed as Verified with size 0 but should be 52418413, please verify the sha256 hash \"klbMHsDiDi6MtRgEH2PJRdSASOb8xs8xBLFN5DXXWqw=\" I have found a lot of stuff regarding this in various forums but nothing helped so far. Did someone else encountered this kind of warning and found a (easy) solution to this? Additional can someone tell me how to run list-broken-files (duplicati commandline) in the Duplicati docker container? Looking forward to any reply. Many thanks in advance and have a great day. BR Marc