mgutt

You could try a different method to mount the target. The best option would be to enable the rsync daemon. But it would be nice if you could test to raise "rename_timeout" to for example "1000". Maybe we find a proper timeout for your setup.

powertop can't show you the power usage of devices (as far as I know). The best method to check the energy consumption is to stop the array so dockers / vms are stopped as well and spindown each HDD with this command: mdcmd spindown 0 mdcmd spindown 1 mdcmd spindown 2 mdcmd spindown 3 mdcmd spindown 4 ... And if you want to know how much the DVB-T card consumes, you need to restart the server without it (and disabled array auto start). Thats how I measured my 10G card. Regarding the LSI card it would be a little bit more complicate. I would connect one HDD to it and then restart the server with the HDD connected to an onboard port, so you get the difference. Do you use all PCIe slots? That could be the reason why powertop has not a huge impact as your SATA and TV cards are permanently in use.

1.) Er nullt die Platten bzw erstellt die Parität. Das dauert genauso lange wie bei einem RAID. 2.) Ja, wenn dir der Server abraucht, kannst du auf die Art jederzeit auf deine Daten zugreifen. Das gilt aber nicht für verschlüsselte Platten. Um eine XFS Platte in Windows einzusehen, braucht es extra Software wie Linux File Systems von Paragon. Alternativ kann man aber auch einfach die Platte mit dem PC verbinden und den PC mit einem Trial oder dem bestehenden Unraid USB Stick booten. 3.) Ja das geht. 4.) Die Parität wird live während dem Schreiben der Dateien aktualisiert. Deswegen ist das Hochladen direkt auf die HDDs ziemlich langsam (50 bis 70 MB/s). Man kann das mit einem SSD Cache oder viel RAM umgehen. Ich habe zB 64GB RAM verbaut und nutze 50% als Schreibcache. Ich kann auf die Art bis zu 25GB mit 1175 MB/s auf die HDDs kopieren (10G Netzwerk). Ich nutze aber auch einen SSD Cache. Alleine um Strom zu sparen (SSD immer an, HDDs quasi immer aus).

I found a small bug. If the 15th day, which should be deleted, contains multiple backups, it will delete only one on each script execution while the rest is kept by the "Keep multiple backups per day" condition: Preserve daily backup: 20201106_011906 Preserve daily backup: 20201105_232908 Preserve daily backup: 20201103_044001 Preserve daily backup: 20201102_044001 Preserve monthly backup: 20201101_044004 Preserve daily backup: 20201031_044001 Preserve daily backup: 20201030_044001 Preserve daily backup: 20201029_044001 Preserve daily backup: 20201028_044001 Preserve daily backup: 20201027_044001 Preserve daily backup: 20201026_044001 Preserve daily backup: 20201025_044005 Preserve daily backup: 20201024_044001 Preserve daily backup: 20201023_044002 Preserve daily backup: 20201022_044001 Delete 20201018_183054 Keep multiple backups per day: 20201018_182807 Keep multiple backups per day: 20201018_181402 Keep multiple backups per day: 20201018_181234 Keep multiple backups per day: 20201018_181134 Keep multiple backups per day: 20201018_151209 Keep multiple backups per day: 20201018_044006 Preserve monthly backup: 20201001_044014 Preserve monthly backup: 20200901_044011 Instead it should delete all of them.

Und dein PC hat auch nur eine 1G Buchse? Das macht halt gar keinen Sinn, wenn du mit dem NAS Tester auf dem QNAP ~300MB/s messen kannst, aber nur 1G, also 940 Mbit/s bzw 117,5 MB/s möglich sind. Oder hat dein PC Multigigabit und das NAS ist mit mehreren LAN-Buchsen verbunden? Dann könnte SMB Multichannel aktiv sein. Das erhöht dann die Bandbreite entsprechend der Anzahl der LAN Ports. Aber eigentlich ist das auf einem QNAP NAS nicht standardmäßig aktiv. Wenn dein PC allerdings nur 1G hat, dann macht die Messung wirklich keinen Sinn. Dann stimmt irgendetwas nicht. Vielleicht testet du dann lieber mal mit mehreren Wiederholungen und/oder größeren Dateien. Ich sehe den "Genesys Logic, Inc. 4-port hub" nicht mehr?! Den hatten wir auf der ersten Seite noch gesehen. Ich denke dann ist es einer von denen: Bus 001 Device 003:ID 2109:2811 VIA Labs, Inc. Hub Bus 002 Device 009:ID 1a40:0101 Terminus Technology Inc. Hub Am besten steckst du es mal ab und schaust was dann in der Liste fehlt. Wenn ich diesen Beitrag richtig verstehe, dann sind nur die Geräte mit USB 3.0 verbunden, die nach einem "Linux Foundation 3.0 root hub" aufgelistet werden. Du hast einen solchen Hub, aber danach folgen keine Geräte. Hast du evtl noch USB 3.0 Ports frei? Vielleicht onboard? Nutze dieses Kommando um es genau zu ermitteln: sudo lsusb -v | grep -E ': ID |idVendor|idProduct|bcdUSB' Such nach dem USB Namen von deinem 4-Bay Gehäuse und in der Zeile "bcdUSB" steht dann die aktive USB Version. EDIT: Du sagtest, dass du ein Asus P6T Deluxe verwendest. Dieses Board hat doch gar keine USB 3.0 Anschlüsse?!

As it works for me while collecting files from an external SMB share and backing up local paths, it should not related to my script I think. I can only guess. I would say if you are sure that no other processes on the destination server are accessing the freshly generated backup, it could be something related to the Linux write cache. Maybe its not possible to rename the folder because its not fully written to the HDD. If this is the case a timeout should help. So I released v0.3 # - rsync returns summary # - typo in notification corrected # - skip some rsync errors (defaults are "0" = skip on success and "24" = skip if some files vanish from the source while transfer) # - add timeout for backup renaming https://forums.unraid.net/topic/97958-rsync-incremental-backup/?tab=comments#comment-910188 This version tries every second to rename the backup and fails after rename_timeout which has a default setting of 100. Please return feedback if this solves your issue and if it works, how many tries / seconds were needed (are visible through the logs).

1.) Do your HDDs reach sleep states? I mean 10 HDDs will consume ~70W alone when spinning 24/7. 2.) The X570 Chipset is not as efficient as the B550 chipset. This german website measured a difference of 10 Watts (!) while testing the new Ryzen 5000: https://www.computerbase.de/2020-11/amd-ryzen-5000-test/6/ So if you want a power efficient setup, use a B550 board. 3.) Ryzen 4000 and Ryzen 5000 are much more efficient than all predecessors. 4.) As you need transcoding, you could save even more energy if you choose an Intel setup as you wouldn't need the Quadro P620 at all. A UHD630 iGPU is more powerful: https://forums.unraid.net/topic/97593-intel-i3-8100-with-uhd630-the-plex-transcoding-beast/ We are all waiting for Mensa 3D support of Plex. And until now, nobody tested these Mensa 3D drivers for Unraid, which would allow Ryzen iGPU transcoding by Emby or Jellyfin: https://forums.unraid.net/topic/79701-ryzen-gpu-drivers-for-apus-2200g2400g/?tab=comments#comment-907762 If you still want to use AMD I would suggest to buy an 4350G, 4650G or 4750G and combine it with your Quadro card as long this isn't clear. By that you would be flexible in the future. I have a good feeling that Plex will integrate Mensa 3D support next year as AMD is the new "hot" thing out there 5.) If you want an efficient build, do not use RAID cards. Each card adds up to 10W additional power consumption. A simple SATA card without RAID functionality should consume much less energy. Onboard SATA ports would be the best for sure. I suggest most people to use a C246 motherboard as they include 8 or 10 SATA ports. Sadly I have no experience with B550 boards with as many ports. As far as I know is the ASRock B550 Taichi the only board with 8 ports and it does not really look power efficient. 6.) If you consider Intel, do not buy the 10th gen. It is less efficient as all predecessors. 7.) I suggest to use a Seasonic Titanium power supply. These are the most efficient power supplies for low loads. But this is only valid if you consider sleep states for your HDDs. If they should spin 24/7 you could stay with a Platinum power supply. 8.) Do you know how much power is consumed by the Mellanox card? Could be huge as well. What about 2.5G? Too slow? Many recent B550 boards have it onboard. 9.) Only to show the potential: The Asus Rog Strix B550-I Gaming with a Ryzen 3 Pro 4350G consumes 6W: https://www.hardwareluxx.de/community/threads/die-sparsamsten-systeme-30w-idle.1007101/page-64#post-27807563

Nothing wrong with that. The script should work with all paths (and not only "shares"). This would cause a huge problem if a user backups different paths with the same last subdir name. Example: /mnt/user/Moritz/Notizen /mnt/user/Max/Notizen Both would target "/backup/Notizen". I know its "ugly" having super long paths, but how could we solve this? Maybe an optional setting like "force last subdir name"? The permission problem is not related to rsync. It's only related to the "mv" command. The "mv" renames (or "moves") the backup folder from the hidden ".20201105" to "20201105" if the backup was successful: mv "${backup_path}/.${new_backup}" "${backup_path}/${new_backup}" It's a really basic linux command so I wonder why it does not work for you. How did you mount "/mnt/hawi/192.168.178.101_disk17/Backup" and what could be the reason why read & write is allowed, but not renaming? Please manually repeat the command through the WebTerminal: mv '/mnt/hawi/192.168.178.101_disk17/Backup/disk17/Notizen/.20201105_130528' '/mnt/hawi/192.168.178.101_disk17/Backup/disk17/Notizen/20201105_130528' If it works now, then something in this path locked the directory or a file inside of it. Maybe an index service on the external location or similar?

Dein Ernst? Und warum schreibst du dann das: "Ich habe das am Wochenende selbst so probiert und kam da leider zu keinem Ergebnis." Du stiftest Verwirrung ^^

@chris75 https://forums.unraid.net/topic/98626-netzwerk/

Du öffnest die WebGUI, gehst auf Einstellungen und dort siehst du AFP (Apple Netzwerkdienst) und SMB (Windows Netzwerkdienst). Diese musst du aktivieren, damit deine freigegebenen Ordner im Netzwerk sichtbar werden. Bei den Ordnern selbst musst du dann noch die Rechte der jeweiligen Nutzer vergeben, die du hoffentlich hinzugefügt hast

In dem Video legt er die Domain fest auf die weitergeleitet werden soll, wenn du zB die IP aufrufst oder wenn du die Domain mit "http“, also unverschlüsselt aufrufst. Das alles hast du aber nicht getan. Daher wird auch nichts weitergeleitet. Und wenn dein Ping auf die Domain dank PiHole nun die lokale und nicht die öffentliche IP zurückgibt, dann funktioniert alles wie es sein soll. Im Browser wird immer nur die Domain angezeigt und das ist auch richtig so. Oder gab es nach Änderung der IP durch PiHole einen Fehler? Wenn ja, welchen?

I tried the "--stats" option: https://serverfault.com/a/678308/44086 The result of the "failing" job ... DESKTOP-I0HHMD9_Downloads/FileBot_4.9.0_x64.msi DESKTOP-I0HHMD9_Downloads/FileBot_4.9.1_x64.msi DESKTOP-I0HHMD9_Downloads/FileZilla_Pro_3.49.2_win64-setup.exe DESKTOP-I0HHMD9_Downloads/FileZilla_Pro_3.50.0_win64-setup.exe rsync: send_files failed to open "/mnt/disks/DESKTOP-I0HHMD9_Downloads/FileZilla_Pro_3.51.0_win64-setup.exe": Permission denied (13) DESKTOP-I0HHMD9_Downloads/FilmeMKVsortbyAudioLastFile.txt DESKTOP-I0HHMD9_Downloads/Firefox Installer.exe DESKTOP-I0HHMD9_Downloads/Firefox Setup 82.0.2.exe ... Number of files: 24,371 (reg: 22,745, dir: 1,626) Number of created files: 24,371 (reg: 22,745, dir: 1,626) Number of deleted files: 0 Number of regular files transferred: 22,745 Total file size: 29,887,743,868 bytes Total transferred file size: 29,887,743,868 bytes Literal data: 29,875,526,492 bytes Matched data: 0 bytes File list size: 589,788 File list generation time: 0.001 seconds File list transfer time: 0.000 seconds Total bytes sent: 29,884,270,967 Total bytes received: 442,439 sent 29,884,270,967 bytes received 442,439 bytes 30,386,083.79 bytes/sec total size is 29,887,743,868 speedup is 1.00 rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1189) [sender=3.1.3] Script Finished Nov 04, 2020 17:01.49 As it returned "22,745 of 22,745" transferred files altough one is missing, I opened an rsync bug report. So we can't rely on the "stats" summary to solve this issue. I need to think about this further.

Bei Unraid kannst du entweder Ordner freigeben (User Share) oder Disks (Disk Share). Der Standard sind Ordner, also "User Shares". In den Optionen kann man aber auch direkt die Disks freigeben: Diese tauchen dann auch auf dem "Shares" Tab auf bzw sind dann über das Netzwerk erreichbar. Diese Methode wird nicht empfohlen, weil es zu Datenverlust kommen kann, wenn Nutzer ihre Dateien von einem User Share auf einen Disk Share verschieben (oder andersherum) und diese Disk Teil des User Shares ist. Daher ist das standardmäßig deaktiviert und ich würde es auch niemandem im Alltag empfehlen. Allerdings spricht nichts gegen eine temporäre Aktivierung um die Disks zu benchmarken, da dies viel schneller geht als mit einem User Share. Du musst dazu wissen, dass Dateien, die auf einen "User Share" übertragen werden, immer durch einen zusätzlichen Unraid Prozess laufen, der sich "SHFS" nennt. Dieser Prozess sorgt dafür, dass die Dateien auf der richtigen Disk landen. Andersherum sorgt der Prozess dafür, dass beim Herunterladen die Dateien von der richtigen Disk kommen bzw beim Zugriff über das Netzwerk siehst du ja alle Dateien in einem Ordner, auch wenn sie in Wirklichkeit auf mehreren Disks verteilt sind. Das alles ermöglicht dieser Prozess. Du kannst dir sicher vorstellen, dass das Rechenleistung kostet und diese fällt eben bei einem Disk-Share weg, da du direkt auf die Disk zugreifst. Was sollst du nun tun. Aktiviere die Disk Shares und binde \\tower\disk1 als ein neues Netzlaufwerk auf deinem Client ein. Dieses testest du nun mit NAS Tester. Du solltest nun feststellen, dass der Schreibtest bei ~70MB/s liegt und der Lesetest bei ~100MB/s. Das kannst du dann auch noch mal mit deiner Cache Disk wiederholen. Der Pfad sollte dann sowas wie \\tower\\Cache_space sein. Wie der Disk-Pfad von einem SSD Pool heißt, weiß ich ehrlich gesagt gar nicht. Du solltest den Namen aber unter "Shares" (und dann zu Disk Shares runterscrollen) sehen bzw nach der Aktivierung der Disk-Shares werden sie auch alle in deiner Netzwerkumgebung auftauchen. Wenn das der Fall ist, also die Performance deutlich besser ausfällt, dann steht fest, dass deine Server-CPU zu schwach ist um 1G auszulasten. Da lässt sich dann auch nicht mehr optimieren. Sollte die Performance dagegen gleich sein, dann stimmt irgendwas nicht mit der Verbindung. Also entweder im Netzwerk oder innerhalb des Servers. Und wie viel ist davon frei? 20% des freien RAMs wird standardmäßig bei Uploads als Schreibcache genutzt. Da du 1GB große Testdateien hochgeladen hast, würden also >5GB ausreichen um dir jedes Benchmark zu verfälschen, da du nie live auf die Disks schreibst. Ich habe zB bewusst 50% eingestellt, damit ich bei ~50GB freiem RAM immer um die ~25GB mit voller Geschwindigkeit hochladen kann. Also selbst auf eine HDD könnte ich mit ~1175 MB/s hochladen (10G), was deutlich mehr ist als die HDD selbst kann. Das kann nicht sein, weil 117,5 MB/s sind das Maximum von 1G. Du hast aber 321 bzw 288 MB/s gemessen. hdparm Auch wenn ich das nicht meinte, so sind die Ergebnisse trotzdem interessant. Ich vermute mal sdf, sdc, sdd und sdj von denen du mit 28 bis 32 MB/s gelesen hast, sind die Platten in deinem 4-Bay Gehäuse. Dann würde ich mal sagen, dass du keine USB 3.0 Verbindung hast, sondern nur 2.0. Denn du hast ja mit hdparm nur auf jeweils eine Festplatte zugegriffen und das nur lesend und ohne RAID-Overhead. Und 35 MB/s ist das Maximum von USB 2.0, was du nie überschritten hast. Hast du wirklich einen USB 3.0 Port verwendet und ist es ein USB 3.0 Kabel?

Ein paar Gedanken: 1.) USB und eSATA nutzen serielle Protokolle. 4 HDDs darüber parallel laufen zu lassen und dann auch noch in einem ZFS RAID. Mehr Overhead und parallele Transfers gehen kaum. Fazit: das kann nicht gehen. 2.) Wie ist dein Pool nun verbunden? Mindestens eine Platte war ja per USB angebunden. Noch andere? Wie ist die Performance der Ports? Liegt dahinter vielleicht nur ein USB Hub Controller (geteilte Bandbreite)? 3.) Dein SSD Pool und Cache sind grausam lahm. Alle per SATA angebunden? Wie hast du gezielt auf die Cache SSD geschrieben, ein Share mit "Cache only"? Teste mal Disk Share, falls noch nicht geschehen. Ich tippe auf eine zu schwache CPU. 4.) Hat das System nur 4GB RAM oder so? Weil gerade bei Benchmarks läuft normalerweise alles in den RAM, weshalb es eigentlich schwer ist die Performance der Laufwerke mit gerade mal 1GB zu testen, aber bei dir geht offensichtlich alles direkt auf die Laufwerke. 5.) Dein QNAP hat 10G? Für ein RAID5 mit 8 Platten sind 300 MB/s auch sehr schwach. Oder ist das SMB Multichannel über drei 1G Ports oder so?

Yes, works exactly as you described

Korrekt, aber du sagtest ja was von einem "redirect"?!

Du rufst die Domain auf und dann wirst du auf 192.168.10.10 weitergeleitet um dann wieder zurückgeleitet zu werden oder was meinst du mit "Rückmeldung"?! Was für eine IP kommt denn, wenn du im Windows Terminal einen Ping auf die Domain absetzt: ping nextcloud.meinedomain.de Ist die .10 die Haupt-IP vom Unraid Server?

I don't know why, but downloading one of my scripts log files killed the complete server (WebGUI dead, Samba service dead, no server HDMI output). At the moment the parity check is running. After it has been finished I will: delete the log of the script restart the script, so a fresh log file is generated stop the array copy the log file through terminal to my SSD download the log file download the log zip file through CA User Scripts and see if the error happens again If I should check something else before the last step, post it At the moment I suspect the CPU undervolting, although it worked for a long time now.

PiHole kann nichts "weiterleiten". PiHole bekommt nur Anfragen wie "welche IP hat example.com?" und antwortet darauf entsprechend. Wenn einer weiterleitet, dann ist es entweder Nextcloud, was ich für unwahrscheinlich halte oder SWAG, da der als Reverse Proxy das durchaus kann. Kann man bei SWAG für eine Domain mehrere IPs eintragen? 1.) Wie man das sonst lösen könnte: Auf dem Smartphone die URL von Nextcloud um einen Port ergänzen, der nicht auf 80 oder 443 zielt und auf dem man den Nextcloud-Container lauschen lässt. Also sagen wir, wir lassen den Container auf Port 4430 lauschen und der leitet das intern an 443. Wir richten eine DDNS für den Unraid-Server ein (ohne irgendein Plugin) und die WebGUI von Nextcloud (und die Adresse für die App) ist dann erreichbar unter https://tower.example.org:4430/ und auch so hätte man sich SWAG gespart. Das hat dann natürlich den Nachteil, dass man immer den Port mit angeben muss. Ist also nicht so clean wie mit einem Reverse Proxy. 2.) Warum gibt man dem Nextcloud Container eigentlich keine andere feste IP? https://blog.harveydelaney.com/assigning-static-ip-addresses-for-your-docker-containers-on-unraid/ Ist Nextcloud die einzige Anwendung, die von außen über https (Port 443) erreichbar sein soll, dann muss man die Port Freigabe im Router doch nur auf diese IP weiterleiten. Lokal über PiHole löst man die DDNS Domain dann ebenfalls auf diese IP auf. Das müsste doch dann auch ohne SWAG gehen. 3.) Die einfachste Lösung wäre aber den SWAG Entwickler darum zu bitten diese Weiterleitung zu unterlassen. Wobei ich immer noch nicht verstehe was da weitergeleitet wird @sonic6 Wenn die domain https://tower.example.org/ ist, wohin leitet der dann weiter?! Sorry für die ganzen Ideen. Ich glaube ich muss das auch mal testen ^^

Ich habe keine Syno mehr. Bisher brauchte ich das noch nicht. Ich würde sagen, dass das mit PiHole möglich sein sollte: https://blog.harveydelaney.com/setting-up-pihole-on-your-unraid-server/ Du musst ja die Adblocking Funktionalität nicht nutzen, sondern eben nur das Anlegen einer eigenen Regel. Hier erklärt jemand wie es per Kommandozeile geht, aber da wird ja sicher auch über die GUI gehen: https://discourse.pi-hole.net/t/redirect-dyndns-conditionally-no-nat-loopback-owncloud/2846/2 Edit: Ok, im April war es für die Beta geplant, keine Ahnung ob das mittlerweile implementiert ist: https://discourse.pi-hole.net/t/static-dns-ip-correlation-gui-under-tools/3195/17 Probieren geht über studieren Entweder du hinterlegst dann den PiHole DNS im Smartphone oder direkt im Router.

How should we handle soft errors? At the moment my script marks the complete backup as "failed". I had these three permission problems although it transfered ~200k files: rsync: readdir("/mnt/disks/DESKTOP-1234_Documents/Eigene Bilder"): Permission denied (13) rsync: readdir("/mnt/disks/DESKTOP-1234_Documents/Eigene Musik"): Permission denied (13) rsync: readdir("/mnt/disks/DESKTOP-1234_Documents/Eigene Videos"): Permission denied (13) I checked my Client and those paths are hidden and I'm not able to open them, too: I have multiple paths which where marked as "not successful" because of similar problems: Sadly rsync does not return a error/success statistic. Only "code 23" without the amount of files: sent 28,943,321,517 bytes received 2,773,155 bytes 32,688,983.25 bytes/sec total size is 28,927,317,322 speedup is 1.00 rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1189) [sender=3.1.3] Preserve failed backup: .20201103_231558 And rsync even does not return a proper error code, as "23" means "partial transfer" and not only "permission error": https://unix.stackexchange.com/a/491461/101920 "23" is even returned if the complete source path is wrong.

Requirements Unassigend Devices CA User Scripts rsync Incremental Backup Windows Setup Add a new user like "unraid" through Computer Management > Local Users and Groups, use a strong password, disable password change Right click on a folder like "Documents" and click on "Advanced Share" to enable sharing this folder, delete "Everyone", add "unraid" with "read-only" permissions (this enables sharing the "Documents" folder) Now click on "Share" and again add the user "unraid" with the "read-only" permission (this enables sharing all content and subfolders, ask Microsoft why you need both steps ) Repeat this step for each folder you need to backup Unraid Setup Add Windows SMB Share through Unassigned Devices, skip "Domain" Repeat this step for each shared folder Disable "Share" and enable "Auto-Mount". "Mount" all Shares rsync Setup Add the rsync script through CA User Scripts and set the paths accordingly Set schedule like "Hourly" Example: Notes As long the backup path is not a writable share, this is safe against ransomware as our server has only read permissions on the client and the client has no permission on the server at all. It seems to be easier, but do not share your full user path (C:\Users\USERNAME) as this path contains the hidden "AppData" directory which contains a massive amount of temporary files and thousands of useless files. If you want to backup a specific app, then add a share to its folder like "C:\Users\USERNAME\AppData\Roaming\Thunderbird\Profiles".

At the moment you can't map it to something else. But note: Preloading does not reserve RAM. It stays free. But with a small amount of RAM the preloaded data will be overwritten by other processes really fast, so the use of preloading will be really low on your setup.

Version 0.2 released: use full path for source and destination backup multiple paths in one script unraid notification on success is now optional