Unraid als Fileserver?

[NeverDeleteSomething]

Hallo zusammen,

 

ich habe zwar das Gefühl, dass UnRaid ursprünglich als Fileserver / NAS gedacht war und VMs / Docker usw. erst später dazu gekommen sind, (und einige Features wie die Flexibilität eines Pools gefallen mir sehr gut) aber entweder übersehe ich etwas ganz großes oder es fehlen einfach Dinge die mir wichtig sind.

 

Vielleicht kann mir jemand aushelfen denn auch in der Dokumentation habe ich nichts gefunden.

 

Bisher betreibe ich einen Fileserver auf Windows Basis als VM auf UnRaid. Das war / ist quasi die quick & dirty Migration von meinem alten VMHost (Hyper-V) gewesen. Da die vielen VMs eine Menge Overhead bedeuten, ist mein Plan eigentlich so viel wie möglich Features so nativ wie möglich abzubilden.

 

Bisher schien mir UnRaid dafür super gemacht. Was vorher auf Hardware lief weil Hyper-V z.B. keine USB Sticks durchreichen kann, konnte ich ruck zuck in eine VM packen (Heimautomation mit Domoticz) und später vielleicht auch als Docker laufen lassen.

 

Was bisher als VM lief konnte ich in einen Docker Container packen (z.B. Plex).

 

und jetzt würde ich gerne den Fileserver nativ auf UnRaid laufen lassen und von den Vorteilen profitieren.

Leider kommt jetzt die genannte Ernüchterung.

Auch wenn ich bisher dachte, ich hätte keine speziellen bzw. hohen Anforderungen, so stoße ich im Moment nur auf Einschränkungen und finde keine Lösungen. Ich würde mich freuen wenn ich einfach nur zu dumm bin an den richtigen Stellen zu suchen.

 

Ich bin nicht so fit unter Linux wie unter Windows also vielleicht übersehe ich etwas. Das soll aber auf keinen Fall ein Linux bashing werden.

 

Berechtigungen:

Da scheine ich von Windows verwöhnt. UnRaid scheint hier pro Share nur zwischen "lesen", "schreiben" und "nix" zu unterscheiden.

Keine Möglichkeit um z.B. dem Ersteller der Datei / Verzeichnis auch das Recht zum löschen zu geben während die anderen User die Datei nur lesen aber nicht ändern können.

 

Keine Unterscheidung unterhalb des Shares mehr möglich. Unter Windows kein Problem inkl. Vererbung und allem zipp und zapp

 

Als ich zum differenzieren der Berechtigungen notgedrungen einfach mehr Shares als bisher angelegt habe, bin ich auf das nächste Problem gestoßen. Ich finde kein equivalent zum Windows DFS. Damit habe ich bisher mehrere Shares (auch von unterschiedlichen Servern - was ich hier aber nicht zwingend benötige) einfach in einem Namespace zusammengefasst. Also z.B. 

\\server\DFSRoot\Fotos  > \\nas\bilder

\\server\DFSRoot\Filme  > \\qnap\Videos

\\server\DFSRoot\Dokumente  > \\qnap\eigene Dateien

\\server\DFSRoot\temp  > \\fileserver\temp

Man musste also nur ein Share mounten und konnte so auf alle Shares zugreifen.

Zum einen kann ich in Unraid offensichtlich kein DFS hosten, zum anderen scheint die verwendete SAMBA Version auch nicht mit meinem bestehenden DFS als Client zurecht zu kommen (also mounten eines Windows DFS Shares). GIbt es da eine Alternative zu?

 

Snapshots

Bisher habe ich als NoBrainer Volume Shadow Copys aktiviert. Das ist nicht meine einzige Sicherung aber ungemein praktisch und schnell wenn man mal eben eine versehentlich gelöschte Datei oder einen alten Stand wiederherstellen möchte. Gibts da auch was von UnRaid?

 

Deduplication

Ebenfalls ein nettes Feature. Man muss ich keine Gedanken über doppelt abgelegte Dateien machen. Das macht das OS selbst und speichert eine Version eben auch nur einmal und fertig. Das kann man natürlich mit mehr Speicher oder der eigenen Ablageordnung abmildern aber das geht auch nur wenn man Zeit investiert und der einzige ist der Dateien auf dem Volume ablegt.

 

Kompression

Auch nichts zu gefunden und kann auch sehr nützlich sein.

 

Ich würde mich wirklich freuen wenn ich nur etwas übersehen habe denn dann wäre ich mit Unraid vorerst wunschlos glücklich.

[mgutt]

1 hour ago, NeverDeleteSomething said:

UnRaid scheint hier pro Share nur zwischen "lesen", "schreiben" und "nix" zu unterscheiden.

Dafür musst du bei den SMB Einstellung von Ja auf Ja mit Active Directory wechseln.

 

Allerdings darfst du niemals die Rechte über die Tools korrigieren, denn sonst sind sie wieder alle zurückgesetzt.

 

Ich persönlich habe mir das Active Directory abgewöhnt und arbeite lieber mit mehr Shares.

 

1 hour ago, NeverDeleteSomething said:

versehentlich gelöschte Datei oder einen alten Stand wiederherstellen möchte. Gibts da auch was von UnRaid?

 

 

 

Entweder der Duplicacy Container, mein Script oder eben die Windows Tools weiter verwenden. Man kann sie ja auch ins Netzwerk sichern oder wo siehst du da jetzt das Problem?

 

1 hour ago, NeverDeleteSomething said:

Deduplication

Das kann Windows clientübergreifend oder nur bezogen auf einen Client? Letzteres macht ja quasi jede Software, die inkrementelle Backups erstellt.

[NeverDeleteSomething]

1 hour ago, mgutt said:

Quote

 

Dafür musst du bei den SMB Einstellung von Ja auf Ja mit Active Directory wechseln.

 

Allerdings darfst du niemals die Rechte über die Tools korrigieren, denn sonst sind sie wieder alle zurückgesetzt.

 

Ich persönlich habe mir das Active Directory abgewöhnt und arbeite lieber mit mehr Shares.

 

Ein AD habe ich nicht mehr und möchte auch keines mehr aufsetzen.... aber ich verstehe das trotzdem nicht ganz. 

Meinst du wenn ich ein AD anbinden würde, könnte ich auf die Resourcen in Unraid (Shares und Filesystem) nicht nur die AD Gruppen und User berechtigen sondern auch die von Windows bekannten sehr granularen Rechte auf alle Objekte im Dateisystem vergeben? Das wäre super aber ich kann mir nicht vorstellen wie das geht.

PS: Von welchen Tools sprichst du? Welche sind erlaubt, welche nicht?

 

1 hour ago, mgutt said:

Entweder der Duplicacy Container, mein Script oder eben die Windows Tools weiter verwenden. Man kann sie ja auch ins Netzwerk sichern oder wo siehst du da jetzt das Problem?

Ein Problem sehe ich nicht. Es ist nur mit deutlichen Nachteilen verbunden weil völlig andere Ansätze zur Anwendung kommen.

Während sich mit deinen Vorschlägen meine Beispiele abdecken lassen ist der Ansatz von beiden Vorschlägen ja ein Backup. Ein Backup habe ich und bin damit auch zufrieden. Filesystem Snapshots haben aus meiner Sicht einen ganz anderen Ansatz und funktionieren auch ganz anders. Um beim Beispiel zu bleiben... bei beiden Vorschlägen müsste ich von meinen Shares mindestens ein Vollbackup und optional zusätzliche inkrementelle Backups machen um ein versehentlich gelöschtes File wieder herstellen zu können und das braucht viel Platz. Auch das Plugin mit dem "Share Papierkorb" ersetzt aus meiner Sicht keine Snapshots.

Beim Snapshot wird (je nach Änderungen zwischen den Snapshots) kaum Platz belegt und er ist auch bei 1Mio. Files+ und ~xx TB in Sekunden erstellt bzw. gelöscht.

 

Die "Rücksicherung" unter WIndows ist auch fool proof und es müssen keine Backup Medien rausgesucht werden usw. Restore von einem kleinen File ist in 10 Sekunden erledigt.

 

1 hour ago, mgutt said:

Das kann Windows clientübergreifend oder nur bezogen auf einen Client? Letzteres macht ja quasi jede Software, die inkrementelle Backups erstellt.

Das ist Volume basiert. Also 10x Linux.iso (egal wo auf dem Volume) belegt nur 1x Platz (+ nicht spürbare Metadaten).  Bei einem Fileserver mit mehreren Usern kann also jeder seine Filestruktur mit "seinen" Fotos, Filmen usw. anlegen und alles was mehrfach vorkommt belegt nur einmal Platz. Frei wird es erst, wenn die letzte Version gelöscht wird (egal von wem)

[mgutt]

1 hour ago, NeverDeleteSomething said:

Auch das Plugin mit dem "Share Papierkorb" ersetzt aus meiner Sicht keine Snapshots.

Beim Überschreiben sowieso nicht. Denn dann landet nichts im Papierkorb. Wie läuft das denn beim Windows Server beim Überschreiben? Erstellt er immer automatisch einen Snapshot von jeder Datei? Das einzige Äquivalent dazu, was ich kenne ist Nextcloud. Dort überwacht Nextcloud über die Datenbank Änderungen und speichert die Versionen:

https://docs.nextcloud.com/server/stable/user_manual/en/files/version_control.html

 

Nextcloud kennt aber (noch) keine Deduplikation. In Kombination mit ZFS soll es möglich sein. BTRFS kann es nachträglich. Dh man lässt regelmäßig eine App aufräumen wie diese:

https://github.com/lakshmipathi/dduper

 

Allerdings ist Nextcloud nicht mal ansatzweise in der Performance vergleichbar zu SMB. Daher denke ich eher keine Option.

 

Was du machen könntest, wäre den Windows Server in einer VM auf Unraid laufen zu lassen. 

[NeverDeleteSomething]

35 minutes ago, mgutt said:

Beim Überschreiben sowieso nicht. Denn dann landet nichts im Papierkorb. Wie läuft das denn beim Windows Server beim Überschreiben? Erstellt er immer automatisch einen Snapshot von jeder Datei? Das einzige Äquivalent dazu, was ich kenne ist Nextcloud. Dort überwacht Nextcloud über die Datenbank Änderungen und speichert die Versionen:

https://docs.nextcloud.com/server/stable/user_manual/en/files/version_control.html

 

Richtig beim überschreiben hilft das nicht, war ja auch nur ein Beispiel. Mit den Volume Shadow Copys funktioniert das. Jeder Snapshot hält den aktuellen Zustand fest. Ich mache i.d.R. 2 pro Tag. Wenn zwischen 2 Snapshots 10x gespeichert wird, ist nur die letzte Version im Snapshot aber damit kann ich leben. 

 

35 minutes ago, mgutt said:

Nextcloud kennt aber (noch) keine Deduplikation. In Kombination mit ZFS soll es möglich sein. BTRFS kann es nachträglich. Dh man lässt regelmäßig eine App aufräumen wie diese:

https://github.com/lakshmipathi/dduper

 

Dedup läuft bei Windows ähnlich... das klappt auch nicht instant. 

 

35 minutes ago, mgutt said:

 

Allerdings ist Nextcloud nicht mal ansatzweise in der Performance vergleichbar zu SMB. Daher denke ich eher keine Option.

Ja, das ganze Händling von Nextcloud hat mir auch nicht so gefallen aber ich habe mir das zuletzt vor Jahren angesehen. Vielleicht ist es jetzt besser aber vermutlich nicht das was ich brauche / will.

 

35 minutes ago, mgutt said:

 

Was du machen könntest, wäre den Windows Server in einer VM auf Unraid laufen zu lassen. 

Das habe ich ja im Moment. Läuft alles in einer VM, was zwar funktioniert, aber von der Performance her eben besser gehen könnte.

 

Wie dem auch sei. Ich scheine nichts grundlegendes übersehen und haben und kann wohl nur unter (erheblichem) Verlust von Komfort / Features den Fileserver auf UnRaid migrieren. Dann lasse ich es lieber weiter als VM laufen... schade.

 

Vielleicht muss ich mir mal die aktuelle Version von TrueNAS Core ansehen. Das müsste dann zwar auch als VM laufen aber von Windows würde ich schon gerne weg.

[mgutt]

1 hour ago, NeverDeleteSomething said:

Ich mache i.d.R. 2 pro Tag. Wenn zwischen 2 Snapshots 10x gespeichert wird, ist nur die letzte Version im Snapshot aber damit kann ich leben

Ok, das wollte ich wissen. Ich dachte das geht automatisch. Also du musst das anstoßen.

 

1 hour ago, NeverDeleteSomething said:

Dedup läuft bei Windows ähnlich... das klappt auch nicht instant. 

OK. Danke für die Info.

 

1 hour ago, NeverDeleteSomething said:

Vielleicht muss ich mir mal die aktuelle Version von TrueNAS Core ansehen. Das müsste dann zwar auch als VM laufen aber von Windows würde ich schon gerne weg.

 

Naja da hast du doch das selbe Problem?!

[NeverDeleteSomething]

3 minutes ago, mgutt said:

Ok, das wollte ich wissen. Ich dachte das geht automatisch. Also du musst das anstoßen.

Naja, ich mache das nicht manuell sondern zeitgesteuert... aber es kann eben nicht bei onchange getriggert werden. Dafür gibt es auch zu viele Änderungen im Filesystem die dann dauernd einen Snapshot starten würden.

 

 

3 minutes ago, mgutt said:

Naja da hast du doch das selbe Problem?!

Jain, ich wäre Windows los aber ja, es läuft noch immer in der VM.

Aber du hast ja quasi bestätigt, dass die Features die ich gerne hätte so mit UnRaid nicht wirklich möglich sind. 

 

Das hilft mir zumindest soweit, das sich nicht weiter Zeit in die Suche stecke.

Danke.

[mgutt]

1 hour ago, NeverDeleteSomething said:

Aber du hast ja quasi bestätigt, dass die Features die ich gerne hätte so mit UnRaid nicht wirklich möglich sind. 

 

Da du den Windows Server auch in Unraid als VM laufen lassen kannst, ist das unter dem Strich doch das selbe?!

 

Aber kommen wir mal zurück zu "ohne Windows". Active Directory löst das Problem mit den Rechten. Für Snapshots und Depulikation könntest du in Unraid 6.9 einen separaten BTRFS RAID Pool erstellen. Dieser unterstützt dann Snapshots und über "dduper" bekäme man die blockbasierte Deduplikation. Allerdings alles gesteuert über Skripte, die man selbst erst erstellen müsste. Geht auf jeden Fall nicht per GUI. Dann wärst du aber von Windows / einer VM weg. Unraid unterstützt mit einem Plugin auch ZFS RAID Pools. Aber auch das nur per Kommandozeile. Selbiges geht natürlich auch alles in TrueNAS.

 

Ich an deiner Stelle würde mir das aber sparen und einfach größere Platten besorgen und häufiger rsync / Duplicacy anwerfen. ^^

 

Was du da mit DFS erreichen willst, habe ich ehrlich gesagt nicht verstanden. Wenn man es komfortabel haben will, legt man einfach in Unraid die User mit dem Namen und Passwort des Windows-Clients an. Dann muss man sich auf gar keinem Share mehr anmelden. Das macht dann Windows automatisch.

 

Und wenn du mehrere Server in einem Ordner haben willst, wäre ein SSHFS (Fuse) Mount denkbar. Also /sharename/lokal und /sharename/remote lägen eben beide im selben Share. Wobei es denke ich performanter wäre, einfach beide Server als separate Shares anzubieten. Kommt aber natürlich drauf an was das Ziel des Ganzen ist.

[NeverDeleteSomething]

12 hours ago, mgutt said:

 

Da du den Windows Server auch in Unraid als VM laufen lassen kannst, ist das unter dem Strich doch das selbe?!

 

Aber kommen wir mal zurück zu "ohne Windows". Active Directory löst das Problem mit den Rechten.

Nur noch mal zur Sicherheit. Wenn ich ein AD angenbunden habe, kann ich plötzlich auf jedes Verzeichnis, Unterverzeichnis und jede Datei in einem Share eigene Berechtigungen vergeben so wie ich es von Windows kenne? Also z.B.  das anlegen und löschen von Dateien verbieten aber bestehende dürfen geändert werden?

Es geht mir nicht über Sinn oder Unsinn von diesem Beispiel

 

12 hours ago, mgutt said:

 

Ich an deiner Stelle würde mir das aber sparen und einfach größere Platten besorgen und häufiger rsync / Duplicacy anwerfen. ^^

Das ist eher Kopfsache... so viele Dubletten habe ich nicht das sich da extra eine weitere Platte einschieben muss... aber im Moment habe ich es halt aktiviert und daher die Frage.

dduper klingt gut, ist mir aber irgendwie zu heikel wenn auf der Webseite schon vom produktiven Betrieb abgetragen wird. Zumal es eben kein Must have ist und ich im Zweifel eben drauf verzichten kann. Schön zu wissen das es technisch geht.

 

12 hours ago, mgutt said:

Was du da mit DFS erreichen willst, habe ich ehrlich gesagt nicht verstanden. Wenn man es komfortabel haben will, legt man einfach in Unraid die User mit dem Namen und Passwort des Windows-Clients an. Dann muss man sich auf gar keinem Share mehr anmelden. Das macht dann Windows automatisch.

Angenommen ich lege 30 Shares an weil ich nur dort unterschiedliche Berechtigungen drauf vergeben kann und möchte die als Familienoberhaupt ALLE im Zugriff haben. Wie greifst du von Windows aus komfortabel darauf zu? Irgendwann gehen ja die Laufwerksbuchstaben aus und übersichtlich ist das auch nicht.

Hier mal eine Übersicht: https://docs.microsoft.com/de-de/windows-server/storage/dfs-namespaces/dfs-overview

 

 

12 hours ago, mgutt said:

Und wenn du mehrere Server in einem Ordner haben willst, wäre ein SSHFS (Fuse) Mount denkbar. Also /sharename/lokal und /sharename/remote lägen eben beide im selben Share. Wobei es denke ich performanter wäre, einfach beide Server als separate Shares anzubieten. Kommt aber natürlich drauf an was das Ziel des Ganzen ist.

 

Das klingt jetzt wieder interessant...

Ich schau mich mal um ob das für mich eine Option ist.

[mgutt]

2 hours ago, NeverDeleteSomething said:

Wenn ich ein AD angenbunden habe, kann ich plötzlich auf jedes Verzeichnis, Unterverzeichnis und jede Datei in einem Share eigene Berechtigungen vergeben so wie ich es von Windows kenne

https://blog.linuxserver.io/2015/07/20/how-to-active-directory-on-unraid-6/

 

2 hours ago, NeverDeleteSomething said:

Angenommen ich lege 30 Shares an weil ich nur dort unterschiedliche Berechtigungen drauf vergeben kann und möchte die als Familienoberhaupt ALLE im Zugriff haben. Wie greifst du von Windows aus komfortabel darauf zu? Irgendwann gehen ja die Laufwerksbuchstaben aus

 

Ich binde die Shares gar nicht als Laufwerke ein, sondern habe nur Verknüpfungen in meinen Bibliotheken. Zb eine Verknüpfung in "Musik" zu //Tower/music. Oder ich klicke halt auf Netzwerk und greife so auf den Server zu. Für jeden Share ein Laufwerk einzubinden, wäre mir schlicht zu aufwendig.

 

Bei Laufwerken sind auch immer alle PCs dauerhaft und mehrfach mit dem Server per SMB Session verbunden. Ich kann mir gut vorstellen, dass man damit Last für nichts produziert.

 

Wenn die Shares alle auf einem Server liegen, könntest du ja einen leeren "Admin" Share anlegen und dann per Konsole die anderen Shares darin als Softlink verlinken:

ln -s /mnt/user/Musik /mnt/user/Admin/Musik

ln -s /mnt/user/Videos /mnt/user/Admin/Videos

 

Es kann sein, dass man die Samba Config dafür geringfügig anpassen muss:

https://unix.stackexchange.com/a/137192/101920

 

In wie weit dann noch die Rechte funktionieren, müsste man einfach mal testen.

[NeverDeleteSomething]

3 minutes ago, mgutt said:

https://blog.linuxserver.io/2015/07/20/how-to-active-directory-on-unraid-6/

 

 

Ich binde die Shares gar nicht als Laufwerke ein, sondern habe nur Verknüpfungen in meinen Bibliotheken. Zb eine Verknüpfung in "Musik" zu //Tower/music. Oder ich klicke halt auf Netzwerk und greife so auf den Server zu. Für jeden Share ein Laufwerk einzubinden, wäre mir schlicht zu aufwendig.

 

Bei Laufwerken sind auch immer alle PCs dauerhaft und mehrfach mit dem Server per SMB Session verbunden. Ich kann mir gut vorstellen, dass man damit Last für nichts produziert.

 

Wenn die Shares alle auf einem Server liegen, könntest du ja einen leeren "Admin" Share anlegen und dann per Konsole die anderen Shares darin als Softlink verlinken:

ln -s /mnt/user/Musik /mnt/user/Admin/Musik

ln -s /mnt/user/Videos /mnt/user/Admin/Videos

 

Es kann sein, dass man die Samba Config dafür geringfügig anpassen muss:

https://unix.stackexchange.com/a/137192/101920

 

Wow,

 

danke. Damit habe ich jetzt massig Dinge die ich ausprobieren kann. Das wird ein bisschen dauern. Danke für alle die ausführlichen Infos.