May 5, 20233 yr Ich würde gerne einzelne Daten oder sogar den ganzen Ordner, automatisch vom Array zur Cache verschieben, wenn z.B. mehr als ein Zugriff pro Woche auf die Datei erfolgt. Kennt da jemand etwas aus Docker/Plugins oder muss man sich evtl. mit einem eigenem Skript abhelfen?
May 5, 20233 yr 10 hours ago, Amane said: Kennt da jemand etwas aus Docker/Plugins oder muss man sich evtl. mit einem eigenem Skript abhelfen? ich wüsste nichts fertiges ... sprich, script ...
May 5, 20233 yr 13 hours ago, Amane said: Kennt da jemand etwas aus Docker/Plugins oder muss man sich evtl. mit einem eigenem Skript abhelfen? Filesync? -> https://freefilesync.org/tutorials.php ... gibt es in den Community Apps. Kann wohl auch Scheduled Tasks. Ich kann aber zu den weiteren möglichen, benötigten Regeln für Deinen UseCase nix sagen.
May 6, 20233 yr Community Expert 3 hours ago, hawihoney said: Warum? Verstehen kann ich den Wunsch schon. Der ist vergleichbar mit dem vor kurzem mal diskutierten Wunsch deine Videodatei direkt von der Festplatte komplett zu lesen, damit während der 1-2 STunden Filmchen schauen eben die Festplatten sich nach kurzer Zeit wieder schlafen legen und man dennoch weiter schauen kann ohne daß die Festplatten dröhnen. Und hier sehe ich eben den Wunsch Dateien/Ordner, die eben öfters in der Woche gebraucht werden automatisch in den Cache zu legen, damit weitere Zugriffe eben nicht auf einen ca. 20 Sekunden Spinup warten müssen. Und alles interessante im Cache zu belassen ist auch keine Alternative, weil man ja nicht weiß, was vom Array in der jeweiligen Woche von Interese ist und man so das Array gleich leer und den Cache gigantisch vorhalten müsste.
May 6, 20233 yr Author 3 hours ago, hawihoney said: Warum? Der Unraid "Cache" ist ein Schreib-Cache und kein Lese-Cache. Das wird gerne übersehen. Deshalb bin ich auch froh, dass der standard Pool-Name "Cache" mit dem nächsten Unraid Release langsam verschwindet (siehe Primary/Secondary Storage sowie Mover). Wird eine Datei häufiger benötigt, dann liegen deren Pages automatisch im vom Linux Kern verwalteten RAM Cache - der ist der eigentliche Schreib-/Lese-Cache. Wurden diese Datei-Blöcke durch andere Aktivitäten dort raus gekickt, dann hilft nur ein erneutes Lesen der Datei um sie wieder im RAM zwischen zu speichern. Alternativ würde ich kritische Daten generell auf einen schnellen Pool (SSD, NVMe) verlagern. Ich fände eine sollche Funktion schon noch wichtig alleine um all seinen Speicher optimal nutzen zu können, ich besitze ein Array mit 20TB, einen deutlich schnelleren Pool mit 6TB und eine noch schnellere Cache mit 4TB. Medien abspielen auf dem Array funktioniert, aber zurückspulen erzeugt z.B. ein neues laden der Datei, somit eine Ladezeit bei Videos. Wiederkehrende Downloads hätte ich auch gerne auf dem Pool. Aber wegen Platzmangel natürlich nicht für immer. Einen Monat wäre ideal, sollang kein Zugriff erneut erfolgt.
May 6, 20233 yr Author 31 minutes ago, DataCollector said: Verstehen kann ich den Wunsch schon. Der ist vergleichbar mit dem vor kurzem mal diskutierten Wunsch deine Videodatei direkt von der Festplatte komplett zu lesen, damit während der 1-2 STunden Filmchen schauen eben die Festplatten sich nach kurzer Zeit wieder schlafen legen und man dennoch weiter schauen kann ohne daß die Festplatten dröhnen. Und hier sehe ich eben den Wunsch Dateien/Ordner, die eben öfters in der Woche gebraucht werden automatisch in den Cache zu legen, damit weitere Zugriffe eben nicht auf einen ca. 20 Sekunden Spinup warten müssen. Und alles interessante im Cache zu belassen ist auch keine Alternative, weil man ja nicht weiß, was vom Array in der jeweiligen Woche von Interese ist und man so das Array gleich leer und den Cache gigantisch vorhalten müsste. Ziemlich korrekt! Meine Daten sind bei ca. 6TB.. desswegen muss ich mir was überlegen.. Edited May 6, 20233 yr by Amane
May 6, 20233 yr 2 hours ago, Amane said: Aber wegen Platzmangel natürlich nicht für immer. Einen Monat wäre ideal, sollang kein Zugriff erneut erfolgt. zu Ersterem gibt es ja das mover tuning plugin, das nutze ich beispielsweise ... ich behalte alle neuen Medien erstmal 90 Tage im cache bevor ich die move, und auch nur wenn ein gewisser Füllgrad erreicht ist und dann nach Alter der Datei ... das Thema "nach Zugriff" ... wird wohl ein script lösen müssen wenn dass die primäre Aufgabe sein soll.
May 6, 20233 yr Author 3 minutes ago, alturismo said: zu Ersterem gibt es ja das mover tuning plugin, das nutze ich beispielsweise ... ich behalte alle neuen Medien erstmal 90 Tage im cache bevor ich die move, und auch nur wenn ein gewisser Füllgrad erreicht ist und dann nach Alter der Datei ... das Thema "nach Zugriff" ... wird wohl ein script lösen müssen wenn dass die primäre Aufgabe sein soll. Man müsste den Zugriff auf Daten loggen, dann könnte man arbeiten, ein Mover-Tunging Update wäre eigentlich nice, könnte man nett fragen ob man das irgendwie umsetzen möchte?
May 6, 20233 yr 2 minutes ago, Amane said: Man müsste den Zugriff auf Daten loggen Der unraid "Cache" ist ein write Cache. Evtl. eher dann doch etwas generisches für ZFS mit ARC und L2ARC, als zpool im unraid-Cche Pool / primary storage, wie es jetzt heisst... ARC (RAM) und L2ARC kann man ja einstellen. Was kostet ne 2TB SSD?
May 6, 20233 yr Author 10 minutes ago, Ford Prefect said: Der unraid "Cache" ist ein write Cache. Evtl. eher dann doch etwas generisches für ZFS mit ARC und L2ARC, als zpool im unraid-Cche Pool / primary storage, wie es jetzt heisst... ARC (RAM) und L2ARC kann man ja einstellen. Was kostet ne 2TB SSD? Ich kenn mich da leider nichts so aus.. 150.- was soll die Frage wegen dem Preis? Ich müsste mir ettliche SSD's für meinen pool holen und hätte dann das Array nicht mehr im Gebrauch.. oder wolltest du auf was anderes aus? Edited May 6, 20233 yr by Amane
May 6, 20233 yr Du willst einen Cache Pool haben, der auch lesenden Zugriff "puffert"/beschleunigt. das kann unraid nicht. Seit unraid 6.12RC gibt es ZFS nativ....Möglichjeit/Idee: den unraid cache auf ZFS, statt BTRFS umstellen. Damit gibt es dann schonmal Lese-Cache (ARC/RAM) über das Dateisystem...zum vergrössern, damit man statistisch gesehen genug "hits" hat, kann man natürlich mehr RAM oder Second Level SSD/NVME (L2ARC) nehmen. Das unraid Konzept Array <-> Pool bleibt dabei wie es ist...ZFS Cache hilft ohne Script/transparent....wie gut/viel?..keine Ahnung....ausprobieren / wird vom UseCase abhängen. Edit: mal lesen: https://schroederdennis.de/dateisystem/zfs-cache-arc-l2arc-log-zil-performance-guide/ Edit2: die Frage ist, wo Du diesen L2ARC einhängst....evtl. dann auch das Array auf ZFS umstellen, damit der früher greift. Wenn der Mover aufs array verschiebt, liest der die Daten...damit landet das auch im L2ARC eines zpools vom unraid-pool. Sind Array Disks auf ZFS formatiert, landen auch lesende Zugriffe von da im Lesecache...wird neu geschrieben, geht es wieder über den Write-Cache / unraid-Pool usw... Edited May 6, 20233 yr by Ford Prefect
May 6, 20233 yr 35 minutes ago, Amane said: könnte man nett fragen ob man das irgendwie umsetzen möchte? macht wenig Sinn da der Mover an sich der "cache" > array Weg ist ... und ja, für mich ist es auch ein Lesecache auch wenn wir uns jetzt mit Begrifflichkeiten beschäftigen ich lasse wie oben erwähnt bewusst meine Medien länger auf dem cache (oder wie auch immer man das jetzt nennen will ). Da braucht es kein ARC, ZFS, ... es geht ja auch um Daten welche öfters angefragt werden und dann auf ner SSD liegen sollen anstelle den Array HDD's. ich schätze mal als Beispiel, du fängst eine ältere Serie an mit X Staffeln wo auf dem Array liegt, schaust Folge S01 E01, 02, 03, ... dann werden wohl auch die nächsten geschaut, dann soll dein script, die App, ... greifen und die komplette Serie auf den "cache" (SSD) schieben dass für die nächsten Folgen (oder am nächsten Tag) nicht immer die HDD's laufen müssen ... so hatte ich es verstanden. Das mache ich aktuell auch wenn meiner Tochter (mal wieder) einfällt GOT zu schauen ... aber manuell
May 6, 20233 yr Ja, L2ARC ist da sicher auch schwierig. ... muss man evtl. aaich pro zpool machen. Mehr RAM ist einfacher und evtl. ausreichend....siehe: https://klarasystems.com/articles/openzfs-all-about-l2arc/
May 6, 20233 yr Community Expert 2 hours ago, Ford Prefect said: Was kostet ne 2TB SSD? Wenn man ein Array mit viiielen TB hat und es sehr unterschiedlich ist, welche Dateien/Ordner benötigt werden (vor allem, wenn man nicht alleine die Daten des Array nutzt, sondern mehr Personen zugreifen) kann man nicht im Voraus planen/wissen welche der vielen dutzenden oder gar hunderten TB Daten im Array in der Woche gewünscht werden. 2TB sind im Vergleich zum so einem Array dann schon eher wenig und selbst wenn man mehrere SSD bündelt sind auch 10TB SSD Pool/Cache vielleicht zu wenig um das gesamte Array da abzubilden. Wenn man alles, was je gewünscht sein könnte im Pool/Cache vorhalten will, sind festplatten im Array überflüssig und man könnte gleich das ganze System nur aus SSD aufbauen. Das ist nur eben ein finanzieller Brocken und bei so kleinen SSD (nur 2, 4 oder 8 TB SSD sind aktuell in einem guten Preis/TB Verhältnis) mit den unraidbeschränkungen auf max. 28+2 Datenträger im Array kommt man dann auch schnell an die Grenzen. Die Kapazität einer 20TB Festplatte erfordert dann schon 3 SSD und nimmt somit 3 SATA/M.2/U.2 Anschlüsse in Beschlag. Wobei es ja nicht sein müßte, daß man den gewünschten LeseCache als heute üblichen Unraid cache/Pool realisiert. Wenn es nun einmal feststeht, daß der heutige unraid cache eben nur als Schreibcache zu benutzen ist, dann wird eben hierfür keine Cachelösung gesucht, sondern eine Idee, wie man diesen Lesepuffer erreicht, wenn man keinen cache, sondern eine SSD als UD nutzt. Wie es heißt ist ja egal, die Umsetzung ist ja nur der Wunsch. Nur es fehlt eben noch die Idee, wie man den Lesezugriff abfangen und geeignet in eine Aktion zum umkopieren und Zugriff umlenken basteln kann. Zumindest stelle ich mir vor, das Anliegen von Amane so verstanden zu haben.
May 28, 20242 yr Author @DataCollector Genau.. haha - Ein altes Ticket hier, bin hier gerade beim durchstöbern darüber gefallen. Zu diser Zeit war ich noch nicht mal in der IT tätig. On 5/6/2023 at 12:25 PM, Amane said: 150.- was soll die Frage wegen dem Preis? @Ford Prefect Sorry wegen meiner forschen Antwort hier. Musste noch warm werden im Forum 🙃 Wäre eigentlich immer noch cool, obwohl Ich in Zwischenzeit ein viel performanteres System habe.. Ich würde mir das heute so vorstellen, dass ich einen fixen Prozensatz von meiner Cache Platte vergebnen wollen könnte, die Unraid einfach nutzt um die am meisten Verwendeten Dateien darauf zu schaufeln. Und erst wenn der Prozensatz der Platte voll (oder kurz davor) ist, fängt er an die ältest-modifizierte Datei wieder ins Array zu schaufeln. (Halt den Cache optimal brauchen) Mit Skript und Datenbank Einträge für die Anzahl an Dateizugriffe könnte man das mühselig hinbekommen. Wäre schon nice, ein Plugin oder Plugin-Erweiterung in diese Richtung.. Grüsse Edited May 28, 20242 yr by Amane
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.