mgutt

Ja ich denke das wird es lösen. Ich habe nämlich gerade festgestellt, dass "exec &>$(tty)" gar nicht funktioniert.

Hmm... doof. Teste bitte mal die neue Version: https://forums.unraid.net/topic/97958-rsync-incremental-backup/ Diesmal liegen die Log-Files in einem anderen Verzeichnis. Wenn es dann immer noch Probleme gibt, kann ich das zumindest schon mal ausschließen. Bitte beachte, dass es keinen "retry" mehr beim Umbenennen gibt. Es kommt diesmal sofort zu einem Fehler (da der Timeout ja eh nicht hilft).

Version 0.4 released # - timeout for backup renaming removed (as it did not solve the renaming problem) # - changed log file location to solve renaming problem # - skip permission errors if permission_error_treshold is under 20% (default) # - optional: skip "host is down" error # - optional: skip "wrong source path" error Hopefully moving the logs out of the backup directory into a separate "logs" directory will solve the renaming problem. In addition some soft errors can be skipped: skip permission errors The backup is valid if 20% or less of the files are not copied because of permission errors. Can be changed through the permission_error_treshold setting. skip "Host is down (112)" error The backup is invalid, but does not return an error, if rsync returns this message. This happens if the source direcory is an SMB server which is mounted, but offline. skip "No such file or directory (2)" error The backup is invalid, but does not return an error, if rsync returns this message. This happens if the source direcory is an SMB server which is offline (or if the source path is simply wrong).

@hawihoney @cgram23 @AndreasNe I think I found the problem with the renaming. Because I forward the terminal output to a log file which is in the same subdirectory as the backup directory, it is not possible to rename the backup directory, because the log file is still open for writing. I solved this in version 0.5.

Bitte such in meinem Script nach der Zeile mit "mv ". Vor dieser Zeile fügst du diese Zeile ein: exec &>$(tty) Ich denke das behebt den Bug. In der nächsten Version werde ich die Logs in ein anderes Verzeichnis schreiben. Das ist nämlich denke ich das Problem. Alternativ zu meinem Script nutzen manche den Duplicacy Container.

@JorgeB Can you help here? The user has btrfs errors on the ssd cache pool and replacing the SSDs was only a temporary solution. Now the btrfs errors are back again. Diagnostics attached above.

Und sofort wenn das Script fertig ist, kannst du aber mv manuell ausführen?

Dafür wäre ein Pentium Gold zu schwach. Lieber einen i3. Der hat vier volle Kerne. Full ATX Boards sind in der Regel nicht sonderlich sparsam. Große Netzteile auch nicht. Deine aktuellen Komponenten werden also nicht auf Stromsparen ausgelegt sein, aber sie sind kostenlos. Da muss man abwägen oder einfach nachmessen. Also Unraid Testlizenz und "powertop --auto-tune" ausführen und schauen wo es hingeht. Nein. Aber es kann passieren. Auch mal hier nachlesen: https://forums.unraid.net/topic/99393-häufig-gestellte-fragen/?tab=comments#comment-947943 Die Entscheidung kann dir niemand abnehmen.

Nein, das ist kein Rendering, sondern du zerlegst die Videodatei einfach auf Höhe eines Keyframes. Daher geht das auch so schnell. Ich nutze dazu avidemux in Kombination mit MKVToolnix, weil avidemux nicht alle Daten bei Blu-Ray Rips erhält. Dh ich checke mit avidemux den genauen Timestamp und trage den minus 0.1 Sekunden bei MKVToolnix ein (sonst überspringt der den Keyframe).

Sag das nicht zu laut. Gibt einige, die das haben wollen ^^

Nope. This script is written in Bash/Shell = Linux. I add in my Windows Clients a new user names "Unraid" and by right-clicking on a folder I share this folder to this user read-only. Now I mount my Windows Client through Unassigned Disks and use my script to backup this Windows Client

Vorab: Es ist eher ungewöhnlich, dass jemand mit einem eigenen NAS überhaupt noch eine Drittanbieter-Cloud nutzt, aber kann natürlich jeder machen wie er will. Dann zu Cloudbeat. Das unterstützt wohl WebDAV. Ersetzt du also One Drive gegen Nextcloud, kannst du deine Musik über WebDAV streamen. Du machst also deine eigene Cloud. Ich für meinen Teil habe die Musik im Share Music, der permanent auf der SSD liegt und nutze unterwegs Plexamp für die Wiedergabe. Bei mir hat übrigens niemand Schreibrechte in diesem Share. Würde nämlich einer meiner Kinder versehentlich ein Album löschen, würde das niemand mitbekommen, außer jemand schaut zufällig in den SMB Papierkorb. Das selbe gilt für die Foto und Filmsammlung. Neue Musik, Fotos und Filme können alle in einem Unterordner ihres Namens-Share hinzufügen, die ich automatisch mit einem Unterordner in dem jeweiligen Share per Script synchronisiere. Also /mnt/user/marc/music wird synchron gehalten mit /mnt/user/music/marc. So wird diese neue Musik indexiert, aber final in die richtigen Ordner schiebe ich die nur von Hand. Die Vorstellung, dass jeder in der Familie überall Lösch/Schreibrechte besitzt, finde ich gruselig. ^^ Wenn du eine 1TB vdisk.img auf dem Array erstellst, wo deine Musikdateien drin sind, dann sind diese Dateien nicht als Share nutzbar. Das ist dir schon klar? So eine Imagedatei ist ja nichts anderes als eine riesen ISO oder ZIP Datei. Daher sehe ich das mit dem mklink als einzige Lösung an. Oder man versucht wirklich eine Disk im Array in BTRFS zu formatieren und in Windows den BTRFS Treiber zu installieren. Dann hätte man eine Disk aus dem Array als physische Disk in der VM und alle Daten von dieser Disk könnte man auch als Share(s) nutzen. Der mklink hätte aber den Vorteil, dass er die Rechte von SMB berücksichtigt. Eine durchgeschliffene Disk kennt ja keine Userrechte.

Es kommt einfach darauf an welche Datenmengen du ständig mit hoher Geschwindigkeit lesen und schreiben möchtest. In Unraid kannst du mehrere Pools = RAIDs haben, die entweder aus SSDs oder aus HDDs bestehen. Oder du kannst ein Array haben. Und optional kann man dem Array einen Pool als Cache "vorschalten" um die Langsamkeit des Array zu vermeiden. Beispiel 1 Sagen wir mal du entscheidest dich für ein Array aus 5 schnellen HDDs und einem 1TB Cache Pool aus zwei M.2, du hast zwei VMs, die auf dem Cache liegen und 400GB belegen und du hast eine 10G Netzwerkverbindung. Dann hättest du die folgenden Geschwindigkeiten: - Uploads auf den Server bis 600GB mit 1 GB/s - Uploads über 600GB mit 80 MB/s - Downloads von Dateien, die im Cache liegen mit 1 GB/s - Downloads von Dateien, die auf dem Array liegen mit 200 MB/s Optional: Für dich spielt der Stromverbrauch keine Rolle und du aktivierst daher den Reconstruct Write ("Turbo Write"), so dass alle Platten des Array beim Upload auf den Server parallel laufen: Uploads über 600GB mit 200MB/s. Optional 2: Du verzichtest im Array auf eine Parity: Uploads über 600GB mit 200MB/s Beispiel 2: Du willst nicht auf eine Parity verzichten und 200MB/s reichen dir nicht. Also ordnest du dem Array einen leeren USB-Stick zu (damit du Unraid überhaupt nutze kannst) und erstellst einen BTRFS RAID5 Pool aus 5 HDDs. Dann hättest du die folgenden Geschwindigkeiten: - Uploads auf den Server mit 4x 200 MB/s = 1 GB/s - Downloads vom Server mit 4x 200 MB/s = 1 GB/s Gemischte Lese-Schreib-Operationen werden natürlich langsamer erfolgen. Ein HDD Pool kann übrigens nicht mit einem SSD Cache beschleunigt werden. Ist aber eh Blödsinn. Besser wäre viel RAM. Beispiel 3 Du machst alles auf einmal. VMs packst du auf einen SSD Pool. Dateien, die du nur selten bearbeiten musst, wie zb Backups packst du auf ein HDD Array. Und Dateien, mit denen du ständig hantierst, packst du auf einen HDD BTRFS RAID5 Pool. Beispiel 4 Geld spielt keine Rolle? Dann holst du dir Enterprise SSDs und packst die in ein reines SSD Array. Pools nutzt du gar nicht. Bei SATA SSDs läge die Schreibleistung nun durchgehend bei 500 MB/s. Bei M.2 bei 1 GB/s.

Erhöhe mal bitte in meinem Script den Wert "sleep 1" auf "sleep 60" und führe dann bitte erneut ein Backup durch. Sag mir dann bitte ob er es irgendwann schafft das Backup umzubenennen und wenn ja nach wie vielen Versuchen.

Yes, you need to execute it "in background" or it will be killed by closing the window.

Ich denke die meisten binden keine virtuelle Platte ein, sondern greifen auf das Unraid Array über die SMB Shares zu. Kann man die nicht auch in One Drive sichern? https://superuser.com/questions/1158338/mklink-symbolic-link-with-nas-onedrive Oder man übergibt eine komplette Platte über den /dev/disk/by-id Pfad, wobei das mit einer XFS Platte aus dem Array natürlich nicht geht. Dann müsste man im Array BTRFs nutzen und in Windows den BTRFS Treiber installieren. Ob das dann mit One Drive geht? Keine Ahnung ^^ Die populärste Methode ist denke ich eine NFTS formatierte Unassigned Disk durchzuschleifen. Jedenfalls ist ein 1TB vdisk.img eher ungewöhnlich, da man die nur innerhalb der VM nutzen und sichern kann. Gehen tut es natürlich. Auf dem Cache kannst du keine entsprechend großes vdisk.img erstellen lassen. Dafür ist der zu klein. Nur bei 3 Usern mit jeweils 1TB ist ja selbst deine aktuelle HDD zu klein (2.19TB frei)?!

Then the script itself was killed. If only resync is killed, the final cleanup of the script still occurs. This is not a normal behaviour. Server restart or execution in a terminal which was closed can be excluded?

Das ist ein Plugin. Kannst du über Apps installieren. Ist dann nutzbar über Tools (Werkzeuge).

And why? Logs?

Sieht man ganz gut über den Config File Editor, wo die ganzen Dateien liegen. Ist aber alles auf dem Stick, den man ja eh komplett sichert. Beides unwichtig. Das libvirt.img wird aus der ISO gebildet und das docker.img on the fly. Da sind keine wichtigen Daten drin. USB Stick und alle Shares, wobei "system" optional ist. Beim Sichern sollte man außerdem Docker und VM deaktivieren, damit nicht Daten aus dem RAM verloren gehen. Wenn du aber nur den Stick wechselst, brauchst du die Shares nicht sichern. Die bleiben da wo sie sind. Du kannst genauso gut mit einem Test-Stick das System hochfahren.

Müsste man am besten nach Prozessname summieren. Der erste Wert ist die RAM Nutzung in Bytes. Kann ich gerade nicht. Eventuell die Tage.

I missed to say that. You need to check through the Unraid disk overview which disk is writing and start a movie from that disk.

Bei Port Multipliern kann man sich da nicht sicher sein, weil SATA wie eine Einbahnstraße funktioniert, wo immer nur ein Auto durchfahren darf. Also obwohl insgesamt 550 MB/s für die 5 Ports zur Verfügung stehen, fällt die Transferrate auf ~35MB/s, obwohl es rein rechnerisch ja eigentlich 110MB/s sein sollten. Also ein Verlust von 70%. Wenn jetzt also pro HDD ein Overhead von 14% entstehen sollte, sollte es bei 3 HDDs 110 MB/s sein. Das hätte ich auf die Art gerne von dir erfahren ;)

Also das Gehäuse wird im Wohnraum stehen? Denk dran, dass viele Netzteile Semi-Passiv sind. Die bleiben auch aus, wenn nur wenige Platten laufen. Muss jetzt also nicht direkt passiv sein. Bei NoName Marken würde ich da keinen drauf geben. TBW ist bei Unraid eh kaum ein Thema. Der Cache ist nicht so schreiblastig wie bei anderen NAS OS. Wichtig ist nur MLC/TLC und DRAM. OK, du willst auf die Kacke hauen ^^ Ich vermute der 1270 würde dir für die paar VMs reichen. Hier noch mal die Liste: https://en.wikipedia.org/wiki/Comet_Lake_(microprocessor)#Workstation_processors Nimm 2x 32GB. Mehr Potential um weiter aufzurüsten. Mehr RAM, mehr Fun. Und was spricht gegen einen 4750G? Wenn er denn mal für 300 € verfügbar sein sollte, zumindest von Preis/Leistung vor dem Xeon: https://www.cpubenchmark.net/compare/AMD-Ryzen-7-PRO-4750G-vs-Intel-Xeon-W-1290P-vs-Intel-Xeon-W-1270/3789vs3831vs3812 Erfordert wegen ECC aber ein passendes Board. Wobei gerade die Verfügbarkeit zu einem günstigen Preis der Haken ist. Es gab auch noch kein entsprechend gutes Angebot: https://www.mydealz.de/search?q=4750g Wobei das beim 1270 auch so eine Sache ist. Ich kann den aktuell auch nur im Großhandel mit Lieferzeit bestellen.

Der 6700 hat doch eine iGPU?! Du musst also manuell Hand anlegen? Also eine grafische Ausgabe von avidemux? Welchen Vorteil hätte da die VM statt zb avidemux auf dem PC auszuführen, während das Video auf dem NAS verbleibt (10G Netzwerk)? Das Case ist schon sexy, aber auch mega teuer. Einschübe finde ich ziemlich überbewertet. Zb könnte man auch ein Nanoxia Deep Silence ins Regal legen (auf Gummifüßen) und es von oben bedienen. Um den Zugang zu vereinfachen, könnte man einen Auszug ins Fach bauen. Kommt aber auf die örtlichen Bedingungen an. Siehe auch hier: https://forums.unraid.net/topic/101154-meine-19-spar-serverkonfiguration/