Cache Drives manuell verschieben?


JayLong
Go to solution Solved by DataCollector,

Recommended Posts

Hallo liebe Community.

 

Bin neu im Bereich Unraid, naja hatte schon mal Kontakt vor an paar Monaten.

 

Zu meinem Problem:

Zuerst einmal Mein Sys:

AMD Ryzen 7 5800X 8-Core @ 3800 MHz

2x Toshiba Enterprise 16TB 1 für Parity (es folgen dann weitere 2 14TB Toshiba Enterprises sobald die Migration um ist)

1xSSD 1 TB (Cache)

1xM.2 2 TB (Cache)

---------------------------------------------------------------------

 

Nun zu meinem Problem.

Zuerst einmal habe ich wie ich glesen habe Appdata, domain und system auf Cache (only) gesetzt. Danach erst angefangen VMs und Docker zu installieren.

 

Habe danach ein Share DATA gemacht und dabei habe ich einen Fehler gemacht. Cache auf YES gesetzt.

Habe danach angefangen mit einer Virtuellen Win10 Maschine meine Daten ca 14TB auf den Share DATA zu migrieren, gestern Abend dann bemerkt dass ich keine Platz mehr habe (na klar die Cache Drives sin vollgelaufen) 😄 stehen beide auf 100%. Nun klar stürtz mir die VMs ab wie auch die Docker. (Habe momentan beide deaktiviert).

 

Nun zu meinem Problem:

 

Habe den Mover Job gestartet aber die Drives werden einfach nicht leer. Alle stehen bei Cache auf YES und sollten eigentlich geleert werden. Habe auch mehrmals gestarten Sync beendet und den Mover über die Main gestartet aber da tut sich nix. Kann ich eventuell die Files Manuell bei den Cache Driver rüber verschieben? Oder was für Möglichkeiten hätte ich noch? Die 3TB an Daten darf ich nicht verlieren.

 

Grüsse und danke für die hilfe

 

JAY

Link to comment
  • Solution
3 hours ago, JayLong said:

(na klar die Cache Drives sin vollgelaufen) 😄 stehen beide auf 100%. Nun klar stürtz mir die VMs ab wie auch die Docker. (Habe momentan beide deaktiviert).

 

3 hours ago, JayLong said:

Habe den Mover Job gestartet aber die Drives werden einfach nicht leer.

Der Mover arbeitet nicht, wenn die Disks randvoll sind.

 

Die Daten im cache liegen exakt in der selben ordner Struktur vor, wie sie später auf den Array sein soll. Der Mover kopiert also nur von Quelle ins Ziel udn löscht dann auf Quelle.

Ich würde da manuell mit dem mc (midnightcommander) dran gehen. Eine Seite den Cache, andere Seite die Disk, wo es drauf soll:

Beispiel:

   /mnt/cache
   /mnt/disk24

Und dann ein paar Daten (sagen wir mal so 20GB) vom Cache (in meinem Beispiel Pool namens "cache") manuell auf die Disk (in meinem Beispiel "disk24") verschieben.

Wenn auf den Cache danach wieder etwas Platz ist, den Mover anwerfen, damit er den Rest korrekt einsortiert.

Und ganz wichtig: Stelle in dem cache dann eine großzügige Grenze ein, damit er nicht wieder voll läuft.

 

Screenshot 1: Ansicht mc wenn ich bei mir vom cache auf Disk24 kopieren/verschieben wollte.

MC-2022-12-31 20_04_42-102 Tessa Main (TESSA-MAIN1064) – VNC Viewer.png

 

Screenshot 2: Im cache kann man den frei zu lassenden Bereich angeben.

cache-2022-12-31 20_05_12-102 Tessa Main (TESSA-MAIN1064) – VNC Viewer.png

Edited by DataCollector
Link to comment

Hallo DataCollector und vielen lieben dank für die ganz detaillierte Erläuterungen.

 

Ich wusste z.B. gar nicht das Midnight Commander standartmässig bein Unraid dabei ist ;-) Das hat mir jetzt schon sehr viel geholfen.

 

Mir ist da jetzt was komisches aufgefallen, ich hatte eigentlich Unraid so configuriert, dass z.B. die M.2 2TB namens "Speed" nur für domain, system und appdata configuriert wurde. Man kann ja auswählen das er nur diese Cache für only nimmt. Habe jetzt gesehen, das Daten vom DATA wo eigentlich nur auf meiner 1 TB SSD liegen sollten auch auf Speed (M.2 2 TB) liegen. Und sogar doppelt??? Gibt es einen Grund wieso? Cache (1TB SSD) und Speed (m.2 2TB) sind auf den gleichen Pool Device bzw besteht aus 2. Kann da der grund liegen? Also spielte es keine Rolle ob ich da Cache oder Speed auswähle beim Share?

 

Und noch eine Frage, habe sicher schon um die 80GB verschoben aber irgendwie tut sich da viel zu wenig bei den Cache Drives. Steht immer noch nur free 1.73 GB bei jeder der 2 platten. Muss ich da noch was laufen lassen damit es aktualisiert?

 

Sorry falls ich hier "dumme" fragen stelle aber vieles an Unraid ist sehr unlogisch ;-) 

 

Grüsse und thx

 

Jay

Link to comment
1 minute ago, JayLong said:

Mir ist da jetzt was komisches aufgefallen, ich hatte eigentlich Unraid so configuriert, dass z.B. die M.2 2TB namens "Speed" nur für domain, system und appdata configuriert wurde. Man kann ja auswählen das er nur diese Cache für only nimmt. Habe jetzt gesehen, das Daten vom DATA wo eigentlich nur auf meiner 1 TB SSD liegen sollten auch auf Speed (M.2 2 TB) liegen. Und sogar doppelt??? Gibt es einen Grund wieso? Cache (1TB SSD) und Speed (m.2 2TB) sind auf den gleichen Pool Device bzw besteht aus 2. Kann da der grund liegen? Also spielte es keine Rolle ob ich da Cache oder Speed auswähle beim Share?

Ich gebe zu, Deine Beschreibung verstehe ich nicht.

Ich habe bis jetzt Pools gebildet, die immer aus 1 oder mehreren ganzen Datenträgern bestehen.

Ich glaube Deinen beitrag aber so zu verstehen, daß Du 2 NVMe SSD hast, die im selben Pool sind, die Du aber dennoch unterschiedlich zugeordnet hast?

Das ist etwas, was ich nicht kenne und mir auch nicht bewusst ist, dass unraid das kann.

 

Du kannst einem Share (hier beispielsweise "domain") nehmen und einstellen welchen Pool es zum cachen nimmt. Aber dann nimmt er eben den ganzen Pool. Wenn der Pool aus 2 SSD besteht (beispielsweise Raid1) ist der share selbstverständlich auf beiden SSD drauf, weil Raid1 ja die Sicherung/kopie der beiden SSD zueinander bedeutet.

 

1 minute ago, JayLong said:

Und noch eine Frage, habe sicher schon um die 80GB verschoben aber irgendwie tut sich da viel zu wenig bei den Cache Drives. Steht immer noch nur free 1.73 GB bei jeder der 2 platten. Muss ich da noch was laufen lassen damit es aktualisiert?

Nein, der aktualisiert alle paar Sekunden.

Hast Du schon komplett verschiben oder ist der mc noch dabei? der mc verschiebt indem er die Dateien/Ordner erst komplett kopiert und erst, wenn die im Ziel komplett angekommen sind löscht er die von der Quelle.

Hast Du also einen 100GB Ordner gewählt zu verschieben, dann kopiert er erst die 100GB komplett und erst, wenn wirklich die ganzen 100GB im Ziel angekommen sind, macht er die 100GB auf der Quelle frei.

Dieses Vorgehen hat (mindestens) einen Vor- und einen Nachteil.

Vorteil: Sollte zwischendurch etwas schief gehen, hat man immer noch die korrekten Quelldaten auf dem Quelldatenträger. Man hat also beispielsweise bei einem Stromausfall die Chance da alles noch zu lesen.

Nachteil: Sollte etwas schief gehen hat man einerseits die ganzen Dateien eines Ordners auf der Quelle und einen Teil der Dateien schon im Ziel. Somit hat man dann die identischen Dateien an 2 Stellen und es ist dann eher Glückssache, was unraid zuerst findet. So kann es zu "Dubletten" im System kommen, die man vielleicht erst später bemerkt.

Das Plugin "Fix common problems" findet sowas aber anscheinend, so daß man nicht ganz ahnungslos ist, wenn das Plugin ab und zu durchläuft.

 

1 minute ago, JayLong said:

Sorry falls ich hier "dumme" fragen stelle aber vieles an Unraid ist sehr unlogisch ;-) 

Ich hexe nun seit rund 1,5 Jahren mit unraid herum und sehe mich immer noch sehr am Anfang. Es gibt dabei einiges zu lernen :)

Link to comment

Super danke, habe jetzt verstanden wieso er keine Speicher freigegeben hat ;-) mein Verzeichniss wahr über 500GB gross 🙂 Habe jetzt ein Verzeichniss mit Programmen gelöscht und jetzt habe ich um die 340GB frei. Nachdem ich neu gebootet habe und den Mover nochmal angehauen habe rudelt es und der Cache wird kleiner.

 

Was ich oben gemeint habe erklären glaube ich Bilder. Denke weiss aber jetzt das diese Funktion wohl nocht nicht so richtig funktioniert.

 

image.thumb.png.75e113c0c21675a5b57d12147157553c.png

 

Mein Pool besteht aus Cache und Speed

 

image.thumb.png.1733e52a7a82e248b23cf62940c35fad.png

 

Bei den Shares kann man auswählen welche Cache er nehmen soll, bei mir 1 Pool aber trotzdem kann man dort Cache oder eben Speed auswählen. Irgendwie funktioniert das aber nicht ;-) er hat mir auch Speed gefüllt obwohl in erster instanz nur app data, domain und systems als Cache Target drauf wahr. Hatte nur Krusader und eine W10 am laufen. Somit unmöglich das er mir die 2 TB bei Cache Only voll gemacht hat.

 

Aber ich denke ich bin jetzt schon sehr viel weiter als noch vor diesem Thread ;-) Vielen lieben dank @DataCollector 

 

Ich setzte diesesn Thread gleich als gelöst.

 

thx und einen guten Rutsch @DataCollector bzw an die Community.

 

Greets and so long

 

Jay

Link to comment
22 minutes ago, JayLong said:

Was ich oben gemeint habe erklären glaube ich Bilder. Denke weiss aber jetzt das diese Funktion wohl nocht nicht so richtig funktioniert.

image.thumb.png.75e113c0c21675a5b57d12147157553c.png

Mein Pool besteht aus Cache und Speed

Wie ich es kenne: Du scheinst 2 unterschiedliche Pools zu haben. einer heisst Cache und einer heisst Speed.

Nur, damit es nicht zukünftig zu vberwirrungen komst, schreibe nicht bitte so, dass man es als einen Pool verstehen könnte.

 

22 minutes ago, JayLong said:

image.thumb.png.1733e52a7a82e248b23cf62940c35fad.png

Bei den Shares kann man auswählen welche Cache er nehmen soll, bei mir 1 Pool aber trotzdem kann man dort Cache oder eben Speed auswählen.

Korrekt, so ist es auch üblich.

 

22 minutes ago, JayLong said:

Irgendwie funktioniert das aber nicht ;-) er hat mir auch Speed gefüllt obwohl in erster instanz nur app data, domain und systems als Cache Target drauf wahr.

Da muß noch von vorherigen Konfigurationen noch irgend ein Rest übrig gewesen sein.

Ich habe es auf diese Art noch nicht gemacht:

Wenn Du alle Vm und Container stoppst, dann VM-Manager und Docker abschaltest, solltest Du die Verzeichnisse (ebenfalls mit mc) dort hin verschieben können, wo Du es haben willst. Und wenn Du die Shares danna uch so eingestellt hast, sollte unraid nach dem Neustart der VM und Docker auch nicht auf die falschen Stellen schreiben.

 

22 minutes ago, JayLong said:

Aber ich denke ich bin jetzt schon sehr viel weiter als noch vor diesem Thread ;-) Vielen lieben dank @DataCollector 

Ich weiss noch nicht viel von urnaid, aber wenn ich helfen kann, gerne.

 

22 minutes ago, JayLong said:

thx und einen guten Rutsch @DataCollector bzw an die Community.

Dito.

Link to comment
5 minutes ago, DataCollector said:

Wie ich es kenne: Du scheinst 2 unterschiedliche Pools zu haben. einer heisst Cache und einer heisst Speed.

Nur, damit es nicht zukünftig zu vberwirrungen komst, schreibe nicht bitte so, dass man es als einen Pool verstehen könnte.

Wieso ich ein Pool geschrieben habe hat einen Grund.

 

Ich habe eine 1 TB SSD und eine 2 TB M.2, da wird aber komischerweise bei jeder Platte 1.5 TB angezeigt?? Darum dachte ich das es 1 Pool ist! Sonst müsste eigentlich einmal 1 TB angezeigt bekommen und einmal 2 TB

 

image.thumb.png.0ce6aeba51b52ac4b42b2b9fb8e5815f.png

 

Komisch ist da auch das Used 521 GB und Free 478 GB angezeigt wird. Würde ja maximal 2 TB sein. Habe im Internet schon gesucht sehe aber nirgens das es pro Pool bei den Caches 2TB limit geben sollte?

 

Darum hatte ich dort 1 Pool gesagt, weil ich das komisch finde. Werde es aber nachher selber mal testen  in dem ich eine SSD rausnehme.

 

thx und grüsse

 

Jay

Link to comment
10 hours ago, JayLong said:

Darum hatte ich dort 1 Pool gesagt, weil ich das komisch finde.

 

Auf dem Screenshot befinden sich zwei BTRFS formatierte Single-Device Pools jeweils mit einer eigenen Bezeichnung. Da Unraid so etwas nicht selbstständig anlegt musst Du das gewesen sein.

 

Multi-Device Pools werden anders angezeigt. Eine Bezeichnung für mehrere Devices.

 

Link to comment
11 hours ago, JayLong said:

Ich habe eine 1 TB SSD und eine 2 TB M.2, da wird aber komischerweise bei jeder Platte 1.5 TB angezeigt?? Darum dachte ich das es 1 Pool ist! Sonst müsste eigentlich einmal 1 TB angezeigt bekommen und einmal 2 TB

 

ich glaube fast du hattest anfangs einen pool (mit beiden nvme's) angelegt und diese im Nachgang "getrennt" und 2 single drive cache pools daraus gemacht, daher die "verbuggte" Anzeige.

 

Wenn du bei single drive cache's bleiben willst, würde ich dir empfehlen

- nochmal alles zu sichern was da wichtig war

- new config, cache drives neu formatieren

- als XFS und nicht als BTRFS ...

 

BTRFS macht nur Sinn wenn du mehrere als Pool laufen lassen willst, ansonsten kann ich nur sagen, lass es ... zu viele (zu oft) Fehler und dann Issues.

 

auch ich nutz 2 single drive caches, 1 x cache, appdata, system, .. 1 x VM's

 

image.thumb.png.c35bf450b21e89b96b8dbe16cd670329.png

 

Thema BTRFS ist hier (und ich meine bei einigen anderen auch) durch ;)

Link to comment
1 hour ago, DataCollector said:

Im ersten Screenshot sind 2 Pools vorhanden. Im zweiten Screenshot sind 3 Pools vorhanden.

 

Wo ich gerade genauer auf Deine Screenshots schaue: Ich fände es tatsächlich besser wenn Single-Device Pools ebenfalls den Text  "Pool of one device" erhalten würden. Dann gäbe es keine Unklarheiten mehr.

 

Link to comment
On 1/1/2023 at 12:23 PM, hawihoney said:

 

Wo ich gerade genauer auf Deine Screenshots schaue: Ich fände es tatsächlich besser wenn Single-Device Pools ebenfalls den Text  "Pool of one device" erhalten würden. Dann gäbe es keine Unklarheiten mehr.

 

Eigentlich sind es und waren es immer nur 2 Pools aber ich weiss glaube ich was ich für einen fehler drin habe. Hatte im ersten schritt wirklich 1 Pool mit diesen 2 Platten gemacht (SSD und M.2.) Im zweiten schritt habe ich einfach die platten rausgenommen und 2 Pool daraus gemacht ohne "new config" ;-)

 

Darum den BUG mit der Anzeige. Kann es aber erst morgen ausprobieren da ein Kopier Job noch hängig ist und fehlen noch ein paar TBs an daten.

 

Grüsse und danke

 

Jay

  • Haha 1
Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.