ullibelgie

Ich bedanke mich bei Euch beiden... Inzwischen habe ich den Daten Ordner auf den BTFRS Mirror cache übernommen und die Backup scripts entsprechend angepasst...

Vielen Dank für die Antworten bisher... das zeigt schonmal 2 Ansätze @Archonw Ich nehme an, Du nutzt als Cache dann wohl xfs als Filesystem ? Denn ich hatte irgendwo gelesen, dass Marc's (mgutt) script nicht für ZFS gedacht ist. Bei ZFS wäre ja dann snapshot und replication mit einem Scipt wie spaceinvader das nutzt sinnvoller. Wenn ich das umsetzen würde ist muss ich auch die Ziel-Datenträger auf ZFS laufen lassen... Ich wollte ZFS aber erstmal ausklammern, bis die Unraid Vers 7 stabil läuft und vor allem auch offiziell released ist. Die Zwischenlösung ist dann wohl: Den Nextcloud Data share, der sich bisher auf dem Array befindet rüberkopieren auf den Cache - Docker mapping entsprechend anpassen und dann die Backupstrategie so anpassen, dass der gesamte CacheDrive jede Nacht auf das Array gesichert wird.

Guten Abend, Ich habe inzwischen einige Erfahrungen gemacht mit einer urspünglich nur als Test gedachten Nextcloud Installation mittels Docker auf meinem Unraid Server. Es geht hier jetzt nicht um den Docker, sondern um ein möglichst effizientes System zum Speichern der Nutzerdaten. In meine damals aufgesetzten Testinstallation (die auch heute noch so existiert) hatte ich den Folder der Nutzerdaten ausserhalb des appdata Folders auf dem Array installiert. Ich dachte mir damals, ja wenn jemand 1GB Video hochlädt, dann wird der (damals knapp bemessene) Cache sehr schnell voll sein und es können beim Family-server ja möglicherweise auch viele Daten anfallen. Ausserdem wollte ich den Appdata Folder der Nextcloud nicht so "grenzenlos aufblähen", da mir nicht klar war, wie ich schnell und effizient Backups der Nutzerdaten und der Appdata der Nextcloud machen sollte... Inzwischen ist mir aber auch klar, dass es die Nextcloud sehr verlangsamt, wenn beim hochladen der Daten die Files direkt auf das Array geschrieben werden müssen, weil der Data folder eben auf dem Array ist und nicht auf dem Cache, wo die appdata von dem Nextcloud Docker sich befindet. Ich habe nur ein kleines Array von einer Platte und einer Parity ausserdem 2x NVME als BTRFS mirror Das uploaden sollte dann doch auf die NVMEs passieren, aber es sollte dann eben übertragen werden zur Sicherung auf das Array (parity). Wie realisiere ich das am besten auf einfache Weise ? Wie habt Ihr es gelöst um einerseits die NVMEs als schnellen Schreibcache in der Nextcloud zu nutzen und andererseits das Array als Massenspeicher ? Würde mir die Nextcloud app "external Storage" bei der realisierung helfen? Danke für Hinweise, wie ich mich weiter schlau machen kann... Hintergrund: In unserem lokalen Hobbyclub gibt es einige besondere Projekte, wo die Mitglieder viel miteinander kommunizieren mûssen um die Projekte zu realisieren. Es geht dann um ca 10-15 Personen, die mit verschiedensten Dokumenten und auch Meetings nach und nach zum Ziel kommen müssen. Ich dachte mir meine Nextcloud als Plattform im Hobbyclub anzubieten - online meetings sparen viel Zeit mit abendlichen Meetings irgendwo und man kann schnell in Kontakt mit anderen kommen. Sind 10-15 Leute die intensiv zusammenarbeiten für meine einfache Installation auf Dockerbasis zu hoch gegriffen. Natürlich muss ich ein vernünftiges Speicherkonzept finden, einerseits Schnelligkeit andererseits Sicherheit im Array (externe Backups selbstverständlich) Fûr Tips und Hinweise bin ich dankbar.

Jorge, thank you for info. Then I probably wait for Unraid 7 coming out, as I feel, that Unraid is more and more developed for zfs use nowadays. I feel, when Unraid 7 (stable) will be released and I upgrade to vers 7, it is perhaps a good time to rebuild the array and reformat the pool into ZFS.

I guess, that btrfs offers snapshots and incremental replication to another volume ONLY IF the other volume is btrfs also ?! But note, that my array is on xfs and external backup also xfs... What can I do without reformatting my drives in Array and external backup drives ? Thanks

Hi Jorge, How do I do this with btrfs? Can you point me to a link, where this is explained to do with Unraid ? Thank you

My Unraid Array is only one XFS-HDD and one Parity disk - so a small installation for a casual home user. I have additionally a mirror of two btrfs NVMEs which I use for appdata/Dockers and also for the domain folder, which keeps the vdisks of VMs While I find it easy to use the Unraid Plugin AppData backup for the Dockers' updata, how can I easily backup the very large vdisk files from VMs ? Spaceinvader one shows how to make snapshots and replications based on the ZFS file system, but I am using btrfs and XFS... so what are the possibilities in that case ? At the moment I find no other answer than just take regular copies of the vdisk files itself - which is hundreds of Gb and at least very time consuming. It cannot be automated and therefore in practice it is often forgotten, I fear.... Also when copying all the vdisk files, the server is very busy and it takes a long time - VMservice needs to be stopped ..... hopefully not forgotten.... etc, etc.... So I am searching for a better way to make regular backups from my btrfs domain folder with the VMs To only for that issue change the whole server to a complete ZFS server, I am not ready to do that...... I am not an IT expert, which is what ZFS asks for, I think.... Thanks for some advice. Ulli

I am running Unraid 6.12.10 (latest stable) I have the Linuxserver docker 'digikam' installed from the Unraid Apps for some time. Now I wanted for the first time to use the Digikam Panorama creator under tools in Digikam - this functionality is based on the hugin panorama photo stitcher. Unfortunately the binaries for the photo stitcher is are not included in the Docker, so digikam doesn't have this functionality with the Linuxserver docker. What can be done to include the missing binaries ? May be in the next docker release ? Or: Can the functionality be manually added when the linuxserver digikam docker is already installed in Unraid ? In that case, can some linuxserver expert please explain step by step to a simple user (not programmer), what needs to be done ? Many thanks for your work and support for the Unraid community.

Many thanks for info about AVG-2851... so I can use the docker again ....

@iXNyNe the latest build of Digikam of Linuxserver.io is also infected with XZ utils version 5.6.1 How can we inform Linuxserver.io community ? If there is someone who knows how to reach them to drop a note the development team would be appreciated... In the meantime I better keep this docker blocked on my server

Ich nutze Digikam im Docker von Unraid...

Very nice Docker application ! I am a musician myself and I like to listen to classical music - here in Europe many public stations offer excellent recording quality and delivery on their high-bandwidth streams. So it is really worthwhile to record concerts, even it is compressed audio format. I find it useful to collect the files independent of the docker - here is my workflow: - first the docker make the recordings into the capture share on the unraid array - then I download the files into my audio workstation and cut the tracks and tag each track with the information of the playlist of the radio station. So I end up with a lot of individual audio files, with track numbers and description/ tagged information on my audio workstation - I then copy all the individual tracks back to a specific folder on the Unraid share "audio recording". The folder name within "audio recording" should explain which original rradio job it was... - then I import the file collection of the folder into my media player JRiver - I now have the possibility to seach for each individual track of all records ever made with rradio instantly. Also I can make individual playlists etc... so all the things a good mediaplayer is used for.... - Jriver is running on an individual client computer - Unraid is used as a NAS for the media player client only I think it is not really necessary to include Mediaplayer functions into the Docker. Any specialized mediaplayer will do such functions much better anyway. But the mediaplay may not run 24/7, so it is excellent to use the server to collect the music and make the recordings ! Many thanks for this docker!

Ich have DDR4 Memory - das DDR5 board gab es noch gar nicht, als ich das MB gekauft habe...

Ich überlege momentan, ob ich nicht in näherer Zukunft die Cache Pools auf einem ZFS-formatierten Filesystem laufen lassen soll. Die Mögllichkeiten von ZFS könnten backup routinen von den SSDs/NVMEs gerade auch bei VMs vereinfachen. Zumindest ist das hier in Uberlegung.... Ich würde dann Snapshots nehmen und wie Spaceinvader das in seinen ZFS-Videos zeigt, eine Harddisk im Array als ZFS formatieren als Ziel für Snapshots/Replikation von den ZFS Datasets von den SSDs So weit so gut - kann man machen... Aber bisher mache ich Backups vom Array (XFS Filesystem) und allen wichtigen Shares zur Zufriedenheit mit dem Script von @mgutt. Meine Frage: Könnte ich das Backup script (wohl momentan Vers 1.7) weiterhin verwenden um Backups vom Array zu nehmen auch wenn eine der Array Disks ZFS formatiert ist und ich natürlich mit dem Backup-Script auch die ZFS Datasets auf externe Datenträger, evlt sogar via SSH auf einen Externen Server übertragen will. Bisher sind das nur USB3 Platten, die ich turnusgemäss wechsele und extern bewahre, aber vielleicht ist es sogar bessen einen externen Server zu haben.... Was sind die Konsequenzen, wenn ZFS datensets Teil des Backups sein sollen ? - Permissions, etc... - funktioniert die Hardlinks dann noch auf dem Ziel medium - mit XFS funktionierte immer alles - habe schon mehrmals was zurücksetzen müssen... - Offenbar werden die Docker nicht wieder neu gestartet, aber sehr wohl gestoppt vor dem Backup ? - Gibt es sonst noch irgendwelche Konsequenzen sollte ich dem Script ZFS formatierte Daten anbieten ? Danke für Info von dem Stand der Dinge. Unraid evaluiert immer mehr Richtung guter Unterstützung von ZFS - daher denke ich, dass es eine gute Idee ist sich mal genauer mit dem Thema auseinander zu setzen und nach Möglichkeiten des Vorteilhaften Einsatzes der neueren Technologie zu suchen... Meine heutigen Cache drives sind NVME BTRFS Raid 1 ....

Früher nutzte man dafür das Tool "Unbalance". @mgutt hat ja in den Anleitungen dazu auch mal was geschrieben: https://forums.unraid.net/topic/117176-dateien-von-überfüllten-disks-shares-umverteilen/ Ich wollte heute einen Teil meiner Backups mit Daten von dem @mgutt Backupscript verschieben auf eine andere Disk. Da es ja inzwischen ein File-Manager Plugin in den neueren Unraid versionen gibt, habe ich eben damit gearbeitet... VORSICHT! Die im Backupscript generierten Hardlinks werden NICHT als Hardlinks auf der Zieldisk abgelegt, sondern immer wieder neu geschrieben. Bei 1 File von 100Mb und 5 Hardlinks desselben files ergaben es auf der Zieldisk eben 600Mb und nicht 100,01MB. getestet im Terminal: du -d1 -h /mnt/user/irgendeinshare | sort -k2 Weiss jemand, wie man den Unraid File-Manager dazu bringen kann, die Hardlinks vom Script auch als Hardlinks zu erhalten beim Moven der files ? Wie war das damals mit dem Unbalance Plug-in ? Wurden dort Hardlinks übernommen ? Könnte man einen kompletten Share auch mit dem Unraid-Mover von einer Disk auf eine andere Disk verschieben, mit Erhalt der Hardlinks ? Wenn man also einen Share ursprünglich auf alle Disks verteilt eingestellt hatte einfach umstellen auf Disk 1 und dann den Mover laufen lassen.... Geht das und werden die Hardlinks dann übernommen ? Was ist die empfohlene Vorgehensweise ? Danke an die Experts...

sorry - ich war hier längere Zeit nicht aktiv wegen anderen Verpflichtungen - daher kann ich momentan nix dazu sagen - ist ja auch schon eine ganze Weile her. Ich hoffe also, dass es inzwischen eine Lösung gibt...

Hallo - ich kann Dir Deine Frage leider nicht beantworten. Ich kann nur sagen, daß ich bisher davon abgesehen habe, ZFS zu benutzen. Denn mir ist nicht klar, welche praktischen Vorteile ZFS haben sollte für meinen Servevrgebrauch gegenüber dem btrfs Filesystem und rsync als Backup-script. Ich nutze das Script von @mgutt um auch mein Cache drive, (bestehend aus 2x NVMEs als btrfs Raid1) zu sichern. Alle anderen Shares im Array werden auch vom gleichen rsync script gesichert... das reicht ja gegen Datenverlust. Und wenn die originalen Files in neuen Versionen erstellt werden sind es eben auch neue Datenfiles, die von rsync neu erstellt werden - die alten sind dann damit auf dem Server als Backup ja nicht weg oder überschrieben. Bisher hat mir noch niemand wirklich erklären können, warum ich ZFS nutzen soll, ausser, dass es einen Haufen Arbeit kostet alles umzustellen. Muss aber auch sagen, dass ich bisher mit meinem btrfs-pool noch keine Ausfälle hatte.. toi toi toi Vielleicht ist das anders, wenn man nicht nur einen Pool, sondern mehrere betreibt bestehend aus zig HDDs/SSD's... aber hier ist es nur eine kleiner Home Server und kein Datencenter...

Zwischendurch eine Anmerkung: Ich nutze das Script um backups auf eine USB3 externe Harddisk zu machen. Diese USB-Platte ist mit dem unassigned devices plug-in gemounted. Der verbrauchte Speicherplatz durch das Backup wird aber falsch im UD-plug-in angegeben, da offenbar das plugin durch die Hardlinks nicht richtig zählt. z.b wird im backup log angezeigt, das nur 88Mb an Daten durch rsync transferiert sind. Trotzdem zeigt mir das unassigned devices plug in für die Backup HDD einen Anstieg des verbrauchten Speicherplatzes um ca. 10GB - das ist falsch! Der Befehl du -d1 -h /mnt/disks/HDD-name-hier | sort -k2 schafft Deutlichkeit über den tatsächlich verbrauchten Speicherplatz... Wollte das nur noch mal loswerden...

Werden auch Hardlinks bei der Errechnung des verbrauchten Speicherplatzes auf einer HDD mit dem Tool "qdirstat" richtig interpretiert ? Das Unraid Dynamix File Manager Plug-in scheint die Grösse des verbrauchten Speicherplatz offenbar nicht richtig anzugeben...

Danke für die Beispiele... Bin froh, dass das Problem erstmal gelöst ist. Fazit: Beim herunterladen von Filmen bei der Mediathek muss man auf jedenfall darauf achten, dass die Filenamen von Sonderzeichen "bereinigt" sind.

Sorry - ich sehe erst jetzt, dass offensichtlich die Quotes " im video file-name die Probleme verursachen ! Da ich aber im Dynamix File Manager wegen der Fehlermeldung bei der Rename funktion die Quotes " nicht rausnehmen kann, habe ich einfach im Unraid Terminal folgendes eingegeben im entsprechenden Unraid Share Pfad: sudo rm *Nur den Beginn des Filenamens bis zu den Quotes*.mp4 Hierdurch wurde alles im Unraid Share gelöscht, was eben diesen Text im Filenamen hatte.... So war ich die Probleme der " Zeichen los und rm hat auch ohne Probleme diese File gelöscht. Als Linux Anfänger habe ich höllisch Respekt vor dem Terminal und vor allem mit dem Befehl rm dort rumzufuchteln.... Aber zum Glück hat es geklappt... sorry für die Störung hier...😇

Ich habe ein merkwürdiges Problem, dass ich einen bestimmten Film vom Unraid Array nicht löschen kann. Der Hintergrund: Zuweilen downloade ich Videos von der ARD Mediathek auf einen bestimmten Unraid Share im Array, um diese später ansehen zu können. Nachdem ich das gespeicherte Video gesehen habe, lösche ich diese meist wieder, da es keine Spielfilme sind, sondern meist nur aktuelle Themen betrifft. Um das betreffende Video zu löschen; gehe ich in den Dynamix File Manager und nutze die delete Funktion... Funktioniert seit Monaten ohne Probleme... Jetzt habe ich aber zum ersten Mal das Problem dass das Video einfach nicht gelöscht werden kann - der Filemanager schmeisst auch keine Fehlermeldung raus - es passiert einfach nix. Ein refresh des Unraid webterminals zeigt auch, dass das Video nach wie vor sich auf dem Array befindet. Ich kann es auch mit meinem Player ohne Probleme ansehen - das File scheint nicht korrupt zu sein. Ich habe dann man versucht mit der Plug-in Funktion "rename" den Namen des Video zu ändern - jetzt bekomme ich sehr wohl eine Fehlermeldung vom file manager Plug-in: Da scheint also irgendwas nicht zu stimmen... Alle anderen files im gleichen Unraid Share funktionieren aber einwandfrei - nur dieses Video macht eben das Problem, dass ich es nicht mehr löschen oder umbenennen kann Ich habe dann mal im Unraid Terminal im entsprechenden Verzeichnis das ausgeführt: Was soll ich denn jetzt noch machen, um das file zu deleten ? Was könnte hier passiert sein, dass ich dieses Problem habe - solche Probleme möchte ich in der Zukunft gerne vermeiden! Ursprünglich hat der Docker Mediathekview dieses File in den Unraid share geschrieben, wie viele andere Videos vorher auch - hatte damit nie ein Problem. Das video ist ja auch nicht korrupt, denn ich kann den Content ja anstandslos auf meinem Fernseher betrachten... Danke für Ratschläge.

Hallo, ja ich habe es sehr ausgiebig getestet. Allerdings nur genau in der Testumgebung wofür ich es brauchte: CPU ist Intel core I5-13600k Testumgebung die ein bash script ausführt auf basis einer Ubuntu 22.04 VM Beschreibung des scripts: Es werden ca 60 audioaufnahmen gemacht von 2 min gemacht und als wave file im RAM gespeichert. Nach 2min wird abgebrochen und eine neue Aufnahmesession gemacht von 2min... so geht das 24/7 immer weiter. Die WAVE file aufnahmen belasten is CPU überhaupt nicht. Die Belastung kommt daher, das die ersten 2min aufnahme die verschiedenen 60 wave files jeweils unabhangig voneinander mit einem sehr aufwendigen Algorithmus analysiert werden müssen bis "die Lôsung" bekannt ist. Danach wird die Lösung weggeschieben/gespeichert, die bereits analysierten 60 wave files gelôscht aus dem RAM und sobald die nâchsten 2min Audioaufnahme von allen 60 Wave files zur Verfügung stehen beginnt der aufwendige Algorithmus zur Analyse neu. Das analyseprogramm ist ein C-Programm, es wird vom Bashscript aufgerufen und belastet die CPU cores die im Pinning zugeteilt werden immer zu 100% Die frage ist jetzt: - man kann viele CPU cores zuteilen ist mit der Analyse dann schnell fertig und kann dann die Verbleibende Zeit bis die nächsten 2min zur Verfügung steht im Idle warten. Allerdings ist während der Analyse Zeit mit vielen CPUs auf 100% der Stromverbrauch hoch - das Entgegengesetzte ist es, wenn ich nur 2 E-cores laufen lasse, diese aber praktisch durchgängig unter Volllast laufen müssen, da die Analyse alleer 60 WAVE files fast 2min dauert... Messung der Leistungsaufnahme des gesamten Computers: Idle: 12w Es hat sich herrausgestellt, dass 3 E-cores optimal waren für die beste Effizienz. Sowieso nur OHNE Turbo also mit max 3.5GHz Taktrate und nicht etwa 5GHz oder höher - ein grosser Unterschied. Mit nur 3 E-cores war bei Vollast der Leistungsaufnahmee gerade ma bei 38w und nach 1min ging die CPU wieder fast in den Idle zustand : also 1min 38w und 1min 15w (mehr war nicht erforderlich um die 60 wavefiles gleichzeitig aus einem audiostream (unkomprimiert) aufzunehmen - also ein audiorecording mit konstanter Bitrate von 60 streams und speicherung in RAM disk. Man muss schon genau angeben was die CPU macht, wenn man belastungstests macht und dabei den Stromverbrauch messen will, um Aussagen zur Effizienz machen zu können. Unterm Strich muss ich sagen, dass die Effizienz eigentlich umwerfend gut ist! Früher hatte ich für die halbe Arbeit ( nur ca 30 audio streams/recordings) 2 PCs laufen mit Intel Core I5-4570 - und hier war es manchmal so, das die Gesamt CPU leistung nicht ausreichend war um das Analyseprogramm nach 2min abzuschliessen. Es ist klar, dass die verwendete CPU Reserven hat ohne Ende. Wenn alle CPUs MIT Turbo verwendet werden, ist die gesamte Analyse in 10sec fertig und der PC kann 1m50sek quasi ruhen, allerdings verbraucht die Maschine dann in Full-THrottle auch 250w in der CPU.... Die Vollast-Zeit ist dann so kurz, dass ich mit meinem Brennenstuhl Messgerät nur noch schwer die Spitzen Leistungsaufnahme bestimmen kann. Die Messung erfolgt dann über mehrere Stunden über den Energieverbrauch in kWh Ich hoffe, dass gibt ein paar Hinweise auf Deine Fragen. Für mich war es wichtig zu wissen, wieviel Energieaufwand für diese VM mit dem Batchfile nötig ist um die Kosten abschätzen zu können - ich bin sehr zufrieden mit den Ergebnissen.

Für alle die bisher BTRFS nutzen und das Script von @MGutt benutzen um z.B. nachts automatische Backups zu nehmen ist das aber der TOD vom ZFS-File system. Denn das bedeutet, dass automatische Backups ohne manuelle Intervention (starten der Docker) nicht mehr funktionieren. Habe keine Lust um Nachts um halb vier aufzustehen um die Docker neu zu starten... Gut, ich höre von überall, das BTRFS offenbar unzuverlässig sein soll und vor allem bei evtl. unclean shutdown gerne schonmal Datenverlust erzeugt (tatsächlich ??).... Toi toi Toi bisher ist mein BTRFS Raid 1 noch nicht ausgefallen. Gibt es überhaupt einen triftigen Grund um von BTRFS auf ZFS umzusteigen ?

Leider hatte ich noch eine Sache vergessen zu testen bei diesem doch wirklich merkwürdigem Verhalten: Ich nutzte vom Laptop direkt die URL meiner Cloud Also via Browser: https://cloud.my.domain um auf die Inlog-Seite von Nextcloud zu kommen. Nicht so ideal, vor allem mit Firefox als Browser, der gerne mal Cookies durcheinander schmeisst und dann funktioniert sogar manchmal das Backend vom Unraid Server hier im Internen LAN nicht mehr richtig.... Also habe ich den gesamten Cache und alle Cookies gelöscht.... Voila! - alles funktioniert wieder normal.... Firefox war Schuld, denke ich - denn das ist nicht das erste Mal mit solchen Mätzchen - ich hatte nur im Eifer des Gefechtes nicht daran gedacht.... Nach dem grossen Update von 6.11.5 auf 6.12.0 war ich auf der falschen Spur... Danke für die Antwort, Alturismo... aber das ist wohl nicht mehr nötig, zum Glück. Werde mir hier am Laptop jetzt auch die Nextcloud Desktop installieren, das ist doch viel eleganter und man braucht den blöden Browser nicht mehr...