Backuplösung


Recommended Posts

Du könntest das Script auch in der Syno ausführen und die Dateien über SMB read-only von Unraid abholen. Das finde ich eh sicherer, denn wenn Unraid gehackt wird, könnte der Angreifer auch das Backup platt machen.

Link to comment

Nein, aber laut ein paar Syno Nutzern soll mein Script auch da gehen. Dann eben über den Aufgabenplaner und mit Pfaden der Syno. Den Unraid SMB Share kannst du ja meine ich über den Finder einbinden. Probier doch durch und sag bescheid wo es hängt.

  • Like 1
Link to comment

Vorbereitungen sind schonmal getroffen, dass Skript scheint aber nicht zu funktionieren....

 

NAS:/volume1/unraid_mnt$ bash backup_unraid.sh
backup_unraid.sh: line 55: $'\r': command not found
backup_unraid.sh: line 59: syntax error near unexpected token `$'do\r''
'ackup_unraid.sh: line 59: `for source_path in "${source_paths[@]}"; do

 

Link to comment
Quote

Da hilft nur testen. Und bitte Feedback geben, damit es andere auch erfahren.

 

Inkrementelles Backup auf das Synology NAS funktioniert jetzt. Die Unix Extensions lassen sich doch in der GUI einschalten. 

 

hier mal die Rückmeldung vom Synology Support dazu.

 

Quote

Um die "unix Extension für SMB 2 & 3 zu aktivieren", gehen Sie zu:
-- Hauptmenü > Systemsteuerung > Dateidienste > in SMB/AFP/NFS register, cliken Sie auf > Erweiterte Einstellungen, standardmäßige Unix-Berechtigung anwenden,

dann Übernehmen.

Bitte beachten:
Wenn Sie die standardmäßige Unix-Berechtigung in den SMB-Einstellungen aktivieren, können die mit dem NAS verbundenen Clients die Unix-Berechtigung anstelle der Windows-Zugriffskontrollliste (ACL) verwenden. Dies wird im Allgemeinen nicht empfohlen.
Beachten Sie auch, dass SMB2 hat keine Unix-Erweiterung. Die Erweiterung in SMB3 ist noch experimentell und ich rate Ihnen nicht, sie auf einem produktiven System zu verwenden.
Damit bleibt Ihnen nur noch die Möglichkeit, SMB1 zu verwenden.

 

Ich habe es gerade mit SMB3 laufen und die ersten Shares sind beim Backup schon erfolgreich abgeschlossen und bis jetzt gab es auch noch keine Fehler in den Logs.

 

Über Hilfe bezüglich Skript auf dem Synology NAS auszuführen würde ich mich trotzdem noch freuen. Unraid Shares konnte ich mittels SMB erfolgreich einbinden, allerdings scheint das Skript direkt in der ersten Zeile des auszuführenden Teils Probleme zu haben.

  • Thanks 1
Link to comment

Da steht "\r". Für mich sieht das so aus als hättest du Copy & Paste ein Script erstellt und dabei die Zeilenumbrüche verändert. Nimm bitte einen Editor der Unix Zeilenumbrüche beherrscht. zB PSPad oder Notepad++.

Link to comment
Posted (edited)

ich arbeite eigentlich nur mit Notepad++. Habe das Skript jetzt nochmal frisch kopiert in Notepad++ eingefügt, Source und Backup Path angepasst und ich bekomme beim ausführen von der Shell erneut die gleichen Fehler. 

 

Weiß du du @mgutt zufällig wo ich jemanden finden kann, der dein Skript auf einem Synology NAS betreibt? Dann könnte man sich direkt austauschen....

Edited by monarc
Link to comment

Hast du in Notepad++ auch im Unix Format abgespeichert? Man kann auch im Windows Format abspeichern, was dann die Zeilenumbrüche verändert. Es ist visuell nicht erkennbar welches Format gerade aktiv ist. Das ergibt sich meist nur durch die Statusleiste oder das Menü (kenne jetzt NP++ nicht).

Link to comment

Backup ist mit einem Testordner sauber durchgelaufen. 👍 Auch inkrementell klappt super. 🥳 Allerdings wenn ich auf meinem Unraid Share jetzt eine Datei lösche, und das Backup erneut starte, bekomme ich bei jedem weiteren Backup die folgende Meldungen angezeigt.

 

file has vanished: "/volume1/unraid_mnt/Marc/.fuse_hidden002be5e5000017d2"

 

rsync warning: some files vanished before they could be transferred (code 24) at main.c(1355) [sender=3.0.9]

 

Create backup of /volume1/unraid_mnt/Marc
Backup path has been set to /volume1/Backups/Test
Create incremental backup 20210510_112704 by using last backup 20210510_112245
sending incremental file list
file has vanished: "/volume1/unraid_mnt/Marc/.fuse_hidden002be5e5000017d2"

Number of files: 5532
Number of files transferred: 1
Total file size: 23760558910 bytes
Total transferred file size: 227526 bytes
Literal data: 0 bytes
Matched data: 0 bytes
File list size: 135559
File list generation time: 0.005 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 136120
Total bytes received: 563

sent 136120 bytes  received 563 bytes  24851.45 bytes/sec
total size is 23760558910  speedup is 173836.97
rsync warning: some files vanished before they could be transferred (code 24) at main.c(1355) [sender=3.0.9]
Make backup visible

 

Das aber auch mal Daten im Bestand gelöscht werden ist ja nicht ganz untypisch, deswegen verwundert mich die Meldung ein wenig?!

Link to comment
2 hours ago, monarc said:

Das aber auch mal Daten im Bestand gelöscht werden ist ja nicht ganz untypisch, deswegen verwundert mich die Meldung ein wenig?

Die Datei verschwand nachdem rsync die Dateiliste erfasst hat. Diesen Fehler kann man also ignorieren. Die Meldung kommt nicht, wenn die Datei vor dem Start von rsync gelöscht wurde. Nur währenddessen.

Link to comment

Die Datei bzw. die Dateien habe ich nach dem ersten Full Backup gelöscht. Die Meldung kommt quasi jetzt bei jedem neuen Start des Backupskriptes. Während des Backupvorgangs habe ich keine Dateien gelöscht.

Link to comment
6 hours ago, monarc said:

Während des Backupvorgangs habe ich keine Dateien gelöscht.

Genau das sagt aber die Fehlermeldung. Ich mache ja alle paar Stunden Backups von meinen PCs und da verschwinden ja ständig Dateien. Solche Fehlermeldungen habe ich da nie (bzw nur wenn es genau während dem Backup gelöscht wurde).

 

6 hours ago, monarc said:

Die Meldung kommt quasi jetzt bei jedem neuen Start des Backupskriptes

Ist der Dateiname immer der selbe? Vielleicht fehlt rsync irgendwie das Recht die Datei zu übertragen. Wobei die Fehlermeldung dann falsch wäre. Normal wirft rsync dann eine andere Meldung aus.

 

Link to comment
  • 2 months later...

@monarc Wie läuft aktuell dein Backup und wie hast du es jetzt eingerichtet? Läuft das Backup-Script bei dir auf dem Synology NAS, mit nur "lesen" Rechte auf dem unRaid Server oder läuft bei dir das Script auf deinem unRaid Server? Konntest du den Fehler wegen der gelöschten Datei lösen?

 

Würde mich über deine Rückmeldung freuen, da ich ebenfalls auf mein Synology NAS per rsync backupen will.

 

On 4/28/2021 at 10:11 AM, monarc said:

Hast du zufällig mal geschaut wie schnell der Kopier- bzw. Backupvorgang von statten geht, also die tatsächliche Geschwindigkeit

 

Kannst du auch noch Infos zur Geschwindigkeit geben? :)

Edited by Pixelpaule
Link to comment

Hi Pixelpaule,

 

bei mir läuft das Script auf meinem Synology NAS. Hab ehrlich gesagt jetzt aber auch schon länger nicht geschaut wie der Status ist. Mache ich die Tage mal und geben Rückmeldung. Auch bei dem Fehler mit der gelöschten Datei bin ich mir gerade nicht sicher. Das initiale Backup hat schon relativ lange gedauert, aber da es bei mir nicht so viele bzw. große Änderungen gibt gehen die inkrementellen Backups jetzt immer sehr zügig. Genaue Angaben zur Geschwindigkeit kann ich allerdings nicht machen.

 

Habe aktuell viel um die Ohren, daher kann es ein paar Tage dauern bis ich mich mit weiteren bzw. detaillierteren Infos wieder melde.

Link to comment

@monarc Vielen Dank für deine Rückmeldung. Bei mir läuft das Script jetzt auch direkt auf dem NAS. Zwar aktuell erst Testweise für einen Ordner, aber dies werde ich jetzt ausbauen. Die Synology DS hat nur "lesen" Rechte auf meinem unRaid Server wie es @mgutt ja schon empfohlen hat.

 

Geschwindigkeit bin ich mir aktuell auch nicht sicher... Gestern hat die Netzwerkauslastung um die 40mb/s im Monitoring des NAS angezeigt, was mir etwas wenig vorkommt bei einem 1 Gbit LAN?! Allerdings weiß ich nicht ob es auch die Festplatte sein kann? Verbaut ist eine Seagate IronWolf ST2000VN004.

 

Die Geschwindigkeit steht in den Logfiles die das Backupscript anlegt.

Link to comment

Ich habe noch ein kleines Problem mit dem Script, wenn ich es auf meinem Synology NAS ausführe... 

 

Wie man sehen kann, wird jetzt für jeden eingebundenen Share, ein eigener Backupordner mit Datum angelegt. In dem Ordner befindet sich dann das rsync Backup von dem jeweiligen unRaid Share.

 

1870402372_Bildschirmfoto2021-08-05um20_40_16.png.d573ec2b4b7011683a8b522fdffa4a6f.png

 

source_paths=(
    "/volume1/unRaid_Source/Datenstube"
    "/volume1/unRaid_Source/Cloud"
)
backup_path="/volume1/unRaid_Backup"

 

Edited by Pixelpaule
Link to comment
4 hours ago, Pixelpaule said:

Wie man sehen kann, wird jetzt für jeden eingebundenen Share, ein eigener Backupordner mit Datum angelegt. In dem Ordner befindet sich dann das rsync Backup von dem jeweiligen unRaid Share.

Genauso sollte es sein.

Link to comment
8 hours ago, mgutt said:

Genauso sollte es sein.

@mgutt Das verwundert mich jetzt aber ein wenig... Sollte es nicht so sein das erst der Ordner mit "Share Name" angelegt wird, und innerhalb dessen dann die Backup-Ordner mit Datum? So habe ich es zumindest verstanden...

 448377705_Screenshot2021-08-06091101.png.fcc3fa1ec792b857808998c4b069a733.png

Edited by Pixelpaule
Link to comment

Also bei meinem Backup von Unraid auf externe HDD ist es auch genau so....

 

mnt/disks/Daily_Backup/Shares/Share Name/Datum

 

Ich meine aber, dass es auf meinem Synology auch anders war... ich schau gleich mal nach

Link to comment
Quote

"/mnt" will be removed from the path and "/mnt/user" is replaced against "/Shares" for better readability

Ich glaube das hängt bestimmt damit zusammen das die Pfade anders sind... Denn das Script ändert ja z. .B den Pfad von /mnt/user -> /Shares... Die Pfade sind auf der Synology aber natürlich anders...

Link to comment

Muss meine Aussage von eben revidieren bei mir sieht es so aus...

 

externe HDD /Skript läuft unter UNraid: mnt/disks/Daily_Backup/Shares/Share Name/Datum/Share Name

Synology  / Skript läuft unter Synology: [...]/Shares/Share Name/Datum/Share Name

 

Also quasi auf beiden Systemen identisch. Nur wieso der Share Name doppelt verwendet wird ist mir nicht ganz klar und eigentlich nicht notwendig, oder?!

Link to comment

Ja vom Prinzip ist er überflüssig. Ich weiß aber noch nicht, ob ich später die Logs dahin packe. Also unter den Datumsordner. Auch die Frage ob es nicht vielleicht bequemer bei der Wiederherstellung ist, wenn der Unterordner so heißt wie der Quellordner?!

  • Like 1
Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.