Unraid 6.12: Der Unraid Cache ist Geschichte: Hallo Primary Storage


mgutt

Recommended Posts

  • mgutt changed the title to Unraid 6.12: Der Unraid Cache ist Geschichte: Hallo Primary Storage

Auch endlich wieder da: Ein Standardwert bei Free Space eines Shares:

image.png.db84f8d15c821955b81b768741f41eb6.png

 

Allerdings leider nicht beim Pool 😒

image.png.27aa4597651de882a7b2848200fe4c0f.png

 

Wobei ich nach wie vor nicht weiß wann welcher Wert eigentlich "gewinnt". Ich würde mir außerdem "10% oder max 100GB" wünschen. Weil bei einer 22TB Festplatte, sind 2TB Free Space ziemlich sinnfrei.

Link to comment
2 hours ago, Rainer75 said:

@mgutt

Wenn Du einen Beitrag an jemand richten willst musst Du nach der EIngabe von @Name dann auch in der aufpoppenden Liste den Namen noch einmal anklicken.

 

2 hours ago, Rainer75 said:

man kann doch auch direkt 10mb bei Minimum free Space eingeben.

Manuell: ja.

 

2 hours ago, Rainer75 said:

Zumindest hat das bei mir funktioniert beim befüllen. Oder versteh ich dich nur falsch

Es geht wohl eher darum, daß zwischenzeitlich kein Standardwert (oder sagen wir 0) vorgegeben war, weshalb man gelegentlich Beiträge lesen konnte, in denen Leute Probleme haben, weil da eine Ressource voll gelaufen ist.

Nun scheitn da wiedere ein Standardwert eingegeben zu sein (>0), so daß dieses Problem nun bei Neuinstallationen seltener sein sollte.

  • Thanks 1
Link to comment
19 hours ago, FRauANtje said:

Wie kriege ich die SSD (Dev 1) nun als Cache / Primary zum Array dazu?

Die SSD kommt nicht zum Array "dazu". Für die erstellst du einen Pool und ordnest sie dort zu. Denk aber dran, dass du mit nur einem Datenträger in einem Pool keine Ausfallsicherheit hast.

  • Like 1
Link to comment

Ok, das mit dem Pool hab ich gefunden.

 

Sofern ich das wie folgt einstelle, gehen die Daten nun erst auf die Cache-SSD und dann aufs Array (das dann seconday storage ist)??

 

Oder zerschiess ich mir die Daten auf dem Array, wenn ich das so aktiviere?

 

image.thumb.png.4236a4ca6da3595c8827b7e6a5109108.png

 

Edit: ich hab mich getraut und das so aktiviert. Läuft :)

An das Bedienkonzept der Weboberfläche muss ich mich noch gewöhnen. Unter Settings oder Tools ist garnicht alles auswählbar bzw nicht mal einsehbar.

Wenn man das mit dem Pool gemacht hat, erscheinen statt dessen neue Optionen bei "main" - allerdings ganz unten (ausserhalb des sichtbaren Bereichs), so dass man die nur findet, wenn man runterscrollt.

Ansonsten finde ich als "Neuer" das Konzept mit first und secondary aber recht einleuchtend... Ist nur vom Timing blöd, wenn man gerade dann einsteigt, wenn sich die Termina geändert haben und die ToDos / FAQs hinfällig sind :)

Edited by FRauANtje
Link to comment

Mal ein paar Gedanken bzw. Fragen zum 6.12er, ich hab mir gerade das Video von Spaceinvader One reingezogen.. 

Soweit ich das verstanden habe, würde ZFS mit raidZ ja eigentlich genau so sein wie jetzt mit der Parity Disk (nur das die "Paritydisk" über alle Laufwerke geschrieben wird). 

Meine Frage hierzu wäre:

- die Paritydisk in 6.11, wenn die mir kaputt geht.. wird diese nicht wiederhergestellt über die anderen im Array ? oder wird einfach mit den vorhandenen Daten auf DISK1-3 eine neue Parität geschrieben? Und macht das überhaupt einen Unterschied? 

 

Die Vorteile, die ich verstanden habe mit ZFS:

1. Snapshots (hier muss ich noch schauen, wie man hier das wieder zurück spielt <-- okey macht Sinn, eine Art "Backup" eingebaut oder (Wiederhestellungspunkt wie in Windows)

2. ZFS prüft selber schon die Daten und stellt sie wieder her, falls eine kaputt geht, denn beim 1ten schreiben, weiß er die Prüfsumme dazu <-- sehr cool

3. Speed? <-- bringt mir das hier was an Mehrwert? mit einem Gigabit LAN port  bzw. Unraider hat ja hier SSDs, hab ich auch mehr speed mit HDDs?

Muss ich hier eher auf die inneren Abläufe im Dateisystem schauen, z.B. wenn der Mover läuft und was vom Cache in den Pool schreibt? Oder der Scruber läuft, oder oder oder.. 

 

Ich frage gerade mit dem Hintergrund ob sich der Umstieg für mich lohnt.

Ich hätte dann Quasi, eine Cache NVME und statt dem Array mit der Parity ein Pool ZFS mit Parity 

 

Der Umstieg sollte eigentlich dann auch gehen, denn ich hab die Systemorder (appdata, domains, iso, System) auf Only:Cache. 

Müsste ich jetzt nur ein Backup meiner privaten Daten machen, die HDDs dann in den Pool einbinden und mit ZFS formatieren? 

 

 

 

Edited by eLpresidente
Link to comment
4 hours ago, eLpresidente said:

Soweit ich das verstanden habe, würde ZFS mit raidZ ja eigentlich genau so sein wie jetzt mit der Parity Disk (nur das die "Paritydisk" über alle Laufwerke geschrieben wird). 

Das eine ist das unRAID Array mit separater Parität, wo jede HDD einzeln formatiert ist, einzelne HDDs schlafen können und niemals alle Daten verloren gehen können, egal wie viele HDDs kaputt gehen und das andere ist ein RAID, wo immer alle HDDs parallel laufen und wenn mehr als X Laufwerke ausfallen sind alle Daten weg. Weder an dem einen, noch an dem anderen ist irgendwas neu. Auch nicht an Snapshots oder der Selbstheilung. Alles Dinge, die schon immer in BTRFS funktioniert haben.

 

Hast du denn ECC RAM? Weil Selbstheilung nützt nichts, wenn die Daten bereits kaputt aus dem RAM kommen.

 

4 hours ago, eLpresidente said:

Ich hätte dann Quasi, eine Cache NVME und statt dem Array mit der Parity ein Pool ZFS mit Parity

Und die NVMe hat dann noch welche Aufgabe? Ein Cache ist sie jedenfalls nicht mehr, weil es ja kein Array mehr gibt.

 

4 hours ago, eLpresidente said:

Speed? <-- bringt mir das hier was an Mehrwert?

Natürlich ist ein RAID schneller als das Array. Array = Lesen und Schreiben von der HDD wo die Datei drauf ist, RAID Pool = Lesen und Schreiben von allen HDDs parallel

 

Auch daran ist nichts neu.

 

4 hours ago, eLpresidente said:

Muss ich hier eher auf die inneren Abläufe im Dateisystem schauen, z.B. wenn der Mover läuft und was vom Cache in den Pool schreibt? Oder der Scruber läuft, oder

Du kannst nichts von einem Pool auf einen anderen Pool verschieben lassen. Der Mover wäre in so einem Szenario gar nicht aktiv. Du hast dann einfach nur Shares, die nur auf die NVMe liegen und Shares, die nur auf den HDD Pool liegen. Alle wären also ein separater Primary Storage.

 

Auch das kannst du aktuell schon so machen.

 

Aber das funktioniert nur, wenn du einen leeren USB Stick in das Array packst. Das Array ist in unRAID Pflicht.

 

4 hours ago, eLpresidente said:

Müsste ich jetzt nur ein Backup meiner privaten Daten machen, die HDDs dann in den Pool einbinden und mit ZFS formatieren? 

Korrekt.

 

Denk dran, dass du dann nicht mal eben HDDs dazu packen kannst, geschweige denn entfernen. Unterschiedlich große HDDs schon gar nicht. Jedenfalls nicht ohne auf die kleinste HDD Größe zurück zu fallen.

 

4 hours ago, eLpresidente said:

Snapshots (hier muss ich noch schauen, wie man hier das wieder zurück spielt <-- okey macht Sinn, eine Art "Backup" eingebaut oder (Wiederhestellungspunkt wie in Windows)

Und für welche Daten? Und warum machst du nicht jetzt schon Snapshots? Kann BTRFS und sogar XFS (dateibasiert). Letzteres nutze ich regelmäßig bei VMs und Containern.

  • Like 2
Link to comment

@mgutt

Danke, mal wieder Super erklärt, so das ich es auch  Verstehe :D

 

also dann hab ich Null vorteile durch das ZFS, vorallem will ich eh nicht das die Festplatten sich ständig drehen.. mein NAS steht bei mir im Wohnzimmer (Platzbedingt) und die HDDs nerven mich gewaltig. 

 

Gibt's zum XFS Snapshot ein Tutorial von dir? Hab jetzt auf die schnelle keins finden können. 

Link to comment

Ich habe das hier mal thematisiert:

 

Die ganze Magie ist also das ganz normale 

Copy Kommando von Linux, nur dass man die Reflink Option ergänzt:

 

cp -a --reflink --sparse=auto "/mnt/cache/domains/Windows 10/vdisk1.img" "/mnt/cache/domains/Windows 10/vdisk1-backup.img"

 

Die selbe Technik verwende ich zb auch in meinem Rsync Skript, damit die Container nur für ein paar Sekunden gestoppt werden müssen:

 

 

 

Wichtig ist nur, dass Ziel und Quelle auf der selben Partition liegen. Das ist ja auch bei Snapshots zwingend notwendig.

Link to comment
  • 1 month later...
On 4/28/2023 at 12:50 AM, mgutt said:

Es gibt eine interessante Neuerung in Unraid. Und zwar verabschiedet man sich von der eigentlich schon immer unlogischen Bezeichnung "Cache" und nennt den Pool, der vor das Array geschaltet wird, nun Primary Storage (Primärspeicher):

https://unraid.net/blog/6-12-0-rc4

image.png.def06729f264aafd89b43011e985f70c.png

 

Man hat diesen Fehler nun eingesehen, nachdem das Dateisystem ZFS wirklich einen Cache besitzt und 2x Cache in der Weboberfläche mit unterschiedlichen Bedeutungen, versteht einfach kein Anwender mehr.

 

Allerdings hat das auch den Nachteil, dass alle bisherigen Forumeinträge für zukünftige Unraid Nutzer verwirrend sein werden und diverse Anleitungen und FAQs umgeschrieben werden müssen 🙈

 

Als wäre das aber nicht genug, gibt es noch eine große Änderung: Exclusive Shares. Erstellt man einen Pool ohne Secondary Storage (Sekundärspeicher), dann wird dieser Pool nicht mehr mit Unraids typischem FUSE-Dateisystem eingebunden, der bekanntlich viel CPU-Leistung kosten kann, sondern man nutzt den einfachen Bind-Mount, der Datenträger ohne Overhead in das Betriebssystem einbindet:

image.png.5cf6985a6dd3e6383d314ed5abebb1ee.png

 

Das entspricht quasi dem früheren "cache only" Share, nur eben ohne den Overhead, der unnötige Last auf der CPU verursacht. Das ist also ideal für docker, appdata, vm und libvirt (Wichtig: Minimum Free Space auf 20 bis 100GB einstellen, sofern der Pool parallel noch als Primary Storage von anderen Shares verwendet wird!).

 

Und da man nun "cache only" losgeworden ist, hat man die Chance gleich genutzt und die Bezeichnungen only, prefer, yes und no alle abgeschafft. Denn bei einem Share kann man nun nur noch wählen in welche RIchtung der Mover Dateien bewegen soll:

image.png.a7e8786ffe4081bd01e372f35f6cc311.png

 

Demnach:

Cache > Array ist das frühere Yes

Array > Cache ist das frühere Prefer

 

Doch was ist mit "No" passiert? Auch die Option existiert noch. Nämlich dann wenn man als Primary Storage das Array auswählt. In dem Fall kann kein Secondary Storage ausgewählt werden. Et voila: "Cache No".

 

Jetzt muss sich Limetech nur noch trauen die Split Level zu entfernen, die nicht mal die Hartgesottenen unter uns verstehen und der Array-Zwang muss auch weg, denn manche User betreiben ihren Server "ohne Array" (leeren USB Stick, alle Shares auf Pools).

 

I cannot activate "exclusive access" for my appdata share even if the share is not on a array disk (only on cache) and no secondary storage configured. Thanks in advance for your assistance.

Link to comment
9 minutes ago, aMU5Ed said:

I cannot activate "exclusive access" for my appdata share even if the share is not on a array disk (only on cache) and no secondary storage configured. Thanks in advance for your assistance.

 

Du meinst das Status-Flag? Das ist nur eine Anzeige. Das kannst Du nicht ändern:

 

There is a new status flag, 'Exclusive access' which is set to 'Yes' when a symlink is in place; and, 'No' otherwise. Exclusive shares are also indicated on the Shares page.

 

Die Einschränkungen stehen in folgendem Kapitel. Eine Einschränkung ist die Freigabe per NFS ...

 

https://docs.unraid.net/unraid-os/release-notes/6.12.0/#exclusive-shares

 

Link to comment
29 minutes ago, hawihoney said:

 

Du meinst das Status-Flag? Das ist nur eine Anzeige. Das kannst Du nicht ändern:

 

There is a new status flag, 'Exclusive access' which is set to 'Yes' when a symlink is in place; and, 'No' otherwise. Exclusive shares are also indicated on the Shares page.

 

Die Einschränkungen stehen in folgendem Kapitel. Eine Einschränkung ist die Freigabe per NFS ...

 

https://docs.unraid.net/unraid-os/release-notes/6.12.0/#exclusive-shares

 

Danke. Hab die global settings gestellt und nun funktioniert es!

Link to comment

Hi community,

with unraid 6.11 I configured my nextcloud data mit option "prefer" and the files resided on the primary (cache) and secondary (array) storage. With unraid 6.12: When I configure it like that with the mover "array > cache", the files are moved to the cache and not copied and synced like before. Please help me out how to configure some kind of "cache-mirroring".

Thanks in advance!

Link to comment
25 minutes ago, aMU5Ed said:

Hi community,

with unraid 6.11 I configured my nextcloud data mit option "prefer" and the files resided on the primary (cache) and secondary (array) storage. With unraid 6.12: When I configure it like that with the mover "array > cache", the files are moved to the cache and not copied and synced like before. Please help me out how to configure some kind of "cache-mirroring".

Thanks in advance!

da dies grundsätzlich die gleiche Funktion ist ... sprich, es gab unter 6.11 keinen cache "mirror" und auch unter 6.12 nicht ...

 

in english may rather move to the general part of the forum, but to make it short, there was no cache mirror in 6.11 nor is it in 6.12 ... therefore you have cache pools in btrfs (always been ...) and meanwhile (6.12) also zfs to build a cache mirror with at least 2 cache disks ... which then can run as raid1 as sample.

Link to comment
11 minutes ago, alturismo said:

da dies grundsätzlich die gleiche Funktion ist ... sprich, es gab unter 6.11 keinen cache "mirror" und auch unter 6.12 nicht ...

 

in english may rather move to the general part of the forum, but to make it short, there was no cache mirror in 6.11 nor is it in 6.12 ... therefore you have cache pools in btrfs (always been ...) and meanwhile (6.12) also zfs to build a cache mirror with at least 2 cache disks ... which then can run as raid1 as sample.

Danke für die Erklärung. Seltsam, dann habe ich das wohl falsch in Erinnering. Dachte der cache wäre dann ein mirror vom array gewesen.

Link to comment
1 hour ago, aMU5Ed said:

Danke für die Erklärung. Seltsam, dann habe ich das wohl falsch in Erinnering. Dachte der cache wäre dann ein mirror vom array gewesen.

nur wenn etwas falsch gelaufen ist und dann ist "ein" Datensatz immer alt oder stört sogar ... ;)

 

entweder Backups oder zus. SSD/HDD ... und mirror aufsetzen.

 

Kann als gelöst markiert werden ?

Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.