November 4, 20241 yr Hallo zusammen, ich würde gerne eure Erfahrungen zu Übertragungsraten bei Backups hören. Ich habe Tests mit LuckyBackup, Duplicati und Duplicacy gemacht, sowohl über Gigabit-Netzwerk als auch per USB 3.0 (über Unassigned Devices). Bei Duplicati habe ich alle Einstellungen auf Standard gelassen – ohne Verschlüsselung und vermutlich auch ohne Kompression (außer sie müsste explizit deaktiviert werden). Dennoch erreiche ich auf die USB-Platte nur eine Übertragungsrate von etwa +/- 10 MB/s, was mir extrem langsam vorkommt. Die Daten sind gemischt, aber unabhängig davon, ob große oder kleine Dateien, bleibt die Übertragungsrate gleich niedrig. Könnte ich hier etwas falsch eingestellt haben, etwas übersehen, oder könnte das an der Duplicati-Docker-Umgebung liegen? An der Hardware sollte es eigentlich nicht liegen, da sie leistungsstark ist. Die verwendete Festplatte ist eine Seagate X20 mit 18 TB. @mgutt mit welcher Rate schreibst du im Schnitt mit deiner Rsync Lösung? Für Tipps und Ratschläge wäre ich sehr dankbar!
November 4, 20241 yr Community Expert Solution Bei mir genau das gleiche Verhalten. Maximal 20Mbit/s werden erreicht. Seit Wechsel auf das rsync-Script von mgutt läuft es schnell.
November 4, 20241 yr Author was 4 minutes ago, k3vbert said: Bei mir genau das gleiche Verhalten. Maximal 20Mbit/s werden erreicht. Seit Wechsel auf das rsync-Script von mgutt läuft es schnell. was bedeutet schnell, ca.?
November 4, 20241 yr Community Expert Schwierig zu sagen, da die Logs vom Initial-Backup nicht mehr da sind. Lief auf jeden Fall deutlich schneller durch als das Initial-Backup bei Duplicati. Edit: Habe nochmal in einem Log in /tmp/user.scripts/tmpScripts/Backup/log.txt geschaut: sent 8.67G bytes received 1.61K bytes 266.62M bytes/sec total size is 50.60G speedup is 5.84 Edited November 4, 20241 yr by k3vbert
November 4, 20241 yr 1 hour ago, SuperMeatBoy666 said: Für Tipps und Ratschläge wäre ich sehr dankbar! du vergleichst auch "Äpfel mit Birnen" ... rsync kopiert von a nach b 1:1 und hält ggf. history vor, sprich, gleicht erstmal ab, dann stumpf copy ... dupli... erstellen chunks der vorhandenen Daten und speichern die in einer eigenen Struktur ... vor allem in vielen kleinen Stücken ... da hast du nie den Vorteil bei großen (Medien, Isos, ...) Dateien ... sprich, kann man nicht wirklich so vergleichen, bei Unmengen an kleinen Dateien wird sich das nicht viel geben weil auch da rsync nicht schneller ist als die Hardware, bei großen Dateien wird rsync wahrscheinlich immer schneller sein ...
November 4, 20241 yr Author die Chunks sollten denke ich gerade bei Cloud basierten Speicherungen einen Vorteil verschaffen. Aber bei der von mir erreichten Datenübertragungsrate direkt oder im gleichen Netz, ist ja inakzeptabel, kann ja nicht sein 10MB/s bei nicht mal viertel Auslastung der HW. auch wenn ich vermutlich rsync testen werden, würde mich interessieren warum das so extrem langsam ist bei duplicati. Sprich, für größere Dateien bzw. Medien rsync und wenn man es inkrementell möchte das Script von Mgutt dazu (richtig?). Danke für euer Feedback
November 4, 20241 yr 17 minutes ago, SuperMeatBoy666 said: Sprich, für größere Dateien bzw. Medien rsync und wenn man es inkrementell möchte das Script von Mgutt dazu (richtig?). Falsch, lesen ... das script ist auch nur rsync, es baut dir halt den passenden Befehl nach den gegeben Parametern einfach zusammen ... Gleiches wäre übrigens auch luckybackup, mehr oder weniger ... eine GUI für rsync 18 minutes ago, SuperMeatBoy666 said: würde mich interessieren warum das so extrem langsam ist bei duplicati. dazu am Besten dort nachfragen
November 5, 20241 yr Author eine Frage hab ich noch diesbezüglich, die Daten liegen auf dem Array und werden auf die USB Platte gepackt. Scheinbar schreibt Unraid es erst auf die Pool NVMe und dann auf die USB Platte, ich frage mich aber warum, das müsste doch direkt von den Array HDDs auf die USB Platte schreiben, oder?
November 5, 20241 yr 43 minutes ago, SuperMeatBoy666 said: Scheinbar schreibt Unraid es erst auf die Pool NVMe und dann auf die USB Platte, ich frage mich aber warum, das müsste doch direkt von den Array HDDs auf die USB Platte schreiben, oder? sofern du rsync meinst ... ja. oder führe mal aus 1/ was du jetzt genau machst 2/ wie du darauf kommst
November 5, 20241 yr Author 1 hour ago, alturismo said: sofern du rsync meinst ... ja. oder führe mal aus 1/ was du jetzt genau machst 2/ wie du darauf kommst ne ich meinte noch bei Duplicati, lasse es noch zu ende sichern. 1/ Duplicati sichert alle Daten (alles außer Systemrelevante) per UUD auf die USB Platte. 2/ da die NVMe permanente schreib u. lese Zugriffe hat, seitdem ich Duplicati laufen habe. > wie könnte ich prüfen, ob dem tatsächlich so ist, das erst vom array auf die pool geschoben wird und dann erst auf die Backup Platte? nur so... In Duplicati wird eine permanente Rate von ca.10MB/s angezeigt, wenn ich in Unraid bei der UUD schaue, wird immer wieder mit ca 200-250MB/s geschrieben? Edited November 5, 20241 yr by SuperMeatBoy666
November 5, 20241 yr 2 hours ago, SuperMeatBoy666 said: ich meinte noch bei Duplicati, lasse es noch zu ende sichern. Du hast gelesen was ich oben beschrieben habe ? Ich würde mal davon ausgehen dass hier die chunks erstellt und gepuffert werden ... Dazu am besten im passenden Thread in English anfragen oder noch besser, bei Dupli.... direkt 😉
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.