JayLong Posted December 31, 2022 Share Posted December 31, 2022 Hallo liebe Community. Bin neu im Bereich Unraid, naja hatte schon mal Kontakt vor an paar Monaten. Zu meinem Problem: Zuerst einmal Mein Sys: AMD Ryzen 7 5800X 8-Core @ 3800 MHz 2x Toshiba Enterprise 16TB 1 für Parity (es folgen dann weitere 2 14TB Toshiba Enterprises sobald die Migration um ist) 1xSSD 1 TB (Cache) 1xM.2 2 TB (Cache) --------------------------------------------------------------------- Nun zu meinem Problem. Zuerst einmal habe ich wie ich glesen habe Appdata, domain und system auf Cache (only) gesetzt. Danach erst angefangen VMs und Docker zu installieren. Habe danach ein Share DATA gemacht und dabei habe ich einen Fehler gemacht. Cache auf YES gesetzt. Habe danach angefangen mit einer Virtuellen Win10 Maschine meine Daten ca 14TB auf den Share DATA zu migrieren, gestern Abend dann bemerkt dass ich keine Platz mehr habe (na klar die Cache Drives sin vollgelaufen) 😄 stehen beide auf 100%. Nun klar stürtz mir die VMs ab wie auch die Docker. (Habe momentan beide deaktiviert). Nun zu meinem Problem: Habe den Mover Job gestartet aber die Drives werden einfach nicht leer. Alle stehen bei Cache auf YES und sollten eigentlich geleert werden. Habe auch mehrmals gestarten Sync beendet und den Mover über die Main gestartet aber da tut sich nix. Kann ich eventuell die Files Manuell bei den Cache Driver rüber verschieben? Oder was für Möglichkeiten hätte ich noch? Die 3TB an Daten darf ich nicht verlieren. Grüsse und danke für die hilfe JAY Quote Link to comment
Solution DataCollector Posted December 31, 2022 Solution Share Posted December 31, 2022 (edited) 3 hours ago, JayLong said: (na klar die Cache Drives sin vollgelaufen) 😄 stehen beide auf 100%. Nun klar stürtz mir die VMs ab wie auch die Docker. (Habe momentan beide deaktiviert). 3 hours ago, JayLong said: Habe den Mover Job gestartet aber die Drives werden einfach nicht leer. Der Mover arbeitet nicht, wenn die Disks randvoll sind. Die Daten im cache liegen exakt in der selben ordner Struktur vor, wie sie später auf den Array sein soll. Der Mover kopiert also nur von Quelle ins Ziel udn löscht dann auf Quelle. Ich würde da manuell mit dem mc (midnightcommander) dran gehen. Eine Seite den Cache, andere Seite die Disk, wo es drauf soll: Beispiel: /mnt/cache /mnt/disk24 Und dann ein paar Daten (sagen wir mal so 20GB) vom Cache (in meinem Beispiel Pool namens "cache") manuell auf die Disk (in meinem Beispiel "disk24") verschieben. Wenn auf den Cache danach wieder etwas Platz ist, den Mover anwerfen, damit er den Rest korrekt einsortiert. Und ganz wichtig: Stelle in dem cache dann eine großzügige Grenze ein, damit er nicht wieder voll läuft. Screenshot 1: Ansicht mc wenn ich bei mir vom cache auf Disk24 kopieren/verschieben wollte. Screenshot 2: Im cache kann man den frei zu lassenden Bereich angeben. Edited December 31, 2022 by DataCollector Quote Link to comment
JayLong Posted December 31, 2022 Author Share Posted December 31, 2022 Hallo DataCollector und vielen lieben dank für die ganz detaillierte Erläuterungen. Ich wusste z.B. gar nicht das Midnight Commander standartmässig bein Unraid dabei ist Das hat mir jetzt schon sehr viel geholfen. Mir ist da jetzt was komisches aufgefallen, ich hatte eigentlich Unraid so configuriert, dass z.B. die M.2 2TB namens "Speed" nur für domain, system und appdata configuriert wurde. Man kann ja auswählen das er nur diese Cache für only nimmt. Habe jetzt gesehen, das Daten vom DATA wo eigentlich nur auf meiner 1 TB SSD liegen sollten auch auf Speed (M.2 2 TB) liegen. Und sogar doppelt??? Gibt es einen Grund wieso? Cache (1TB SSD) und Speed (m.2 2TB) sind auf den gleichen Pool Device bzw besteht aus 2. Kann da der grund liegen? Also spielte es keine Rolle ob ich da Cache oder Speed auswähle beim Share? Und noch eine Frage, habe sicher schon um die 80GB verschoben aber irgendwie tut sich da viel zu wenig bei den Cache Drives. Steht immer noch nur free 1.73 GB bei jeder der 2 platten. Muss ich da noch was laufen lassen damit es aktualisiert? Sorry falls ich hier "dumme" fragen stelle aber vieles an Unraid ist sehr unlogisch Grüsse und thx Jay Quote Link to comment
DataCollector Posted December 31, 2022 Share Posted December 31, 2022 1 minute ago, JayLong said: Mir ist da jetzt was komisches aufgefallen, ich hatte eigentlich Unraid so configuriert, dass z.B. die M.2 2TB namens "Speed" nur für domain, system und appdata configuriert wurde. Man kann ja auswählen das er nur diese Cache für only nimmt. Habe jetzt gesehen, das Daten vom DATA wo eigentlich nur auf meiner 1 TB SSD liegen sollten auch auf Speed (M.2 2 TB) liegen. Und sogar doppelt??? Gibt es einen Grund wieso? Cache (1TB SSD) und Speed (m.2 2TB) sind auf den gleichen Pool Device bzw besteht aus 2. Kann da der grund liegen? Also spielte es keine Rolle ob ich da Cache oder Speed auswähle beim Share? Ich gebe zu, Deine Beschreibung verstehe ich nicht. Ich habe bis jetzt Pools gebildet, die immer aus 1 oder mehreren ganzen Datenträgern bestehen. Ich glaube Deinen beitrag aber so zu verstehen, daß Du 2 NVMe SSD hast, die im selben Pool sind, die Du aber dennoch unterschiedlich zugeordnet hast? Das ist etwas, was ich nicht kenne und mir auch nicht bewusst ist, dass unraid das kann. Du kannst einem Share (hier beispielsweise "domain") nehmen und einstellen welchen Pool es zum cachen nimmt. Aber dann nimmt er eben den ganzen Pool. Wenn der Pool aus 2 SSD besteht (beispielsweise Raid1) ist der share selbstverständlich auf beiden SSD drauf, weil Raid1 ja die Sicherung/kopie der beiden SSD zueinander bedeutet. 1 minute ago, JayLong said: Und noch eine Frage, habe sicher schon um die 80GB verschoben aber irgendwie tut sich da viel zu wenig bei den Cache Drives. Steht immer noch nur free 1.73 GB bei jeder der 2 platten. Muss ich da noch was laufen lassen damit es aktualisiert? Nein, der aktualisiert alle paar Sekunden. Hast Du schon komplett verschiben oder ist der mc noch dabei? der mc verschiebt indem er die Dateien/Ordner erst komplett kopiert und erst, wenn die im Ziel komplett angekommen sind löscht er die von der Quelle. Hast Du also einen 100GB Ordner gewählt zu verschieben, dann kopiert er erst die 100GB komplett und erst, wenn wirklich die ganzen 100GB im Ziel angekommen sind, macht er die 100GB auf der Quelle frei. Dieses Vorgehen hat (mindestens) einen Vor- und einen Nachteil. Vorteil: Sollte zwischendurch etwas schief gehen, hat man immer noch die korrekten Quelldaten auf dem Quelldatenträger. Man hat also beispielsweise bei einem Stromausfall die Chance da alles noch zu lesen. Nachteil: Sollte etwas schief gehen hat man einerseits die ganzen Dateien eines Ordners auf der Quelle und einen Teil der Dateien schon im Ziel. Somit hat man dann die identischen Dateien an 2 Stellen und es ist dann eher Glückssache, was unraid zuerst findet. So kann es zu "Dubletten" im System kommen, die man vielleicht erst später bemerkt. Das Plugin "Fix common problems" findet sowas aber anscheinend, so daß man nicht ganz ahnungslos ist, wenn das Plugin ab und zu durchläuft. 1 minute ago, JayLong said: Sorry falls ich hier "dumme" fragen stelle aber vieles an Unraid ist sehr unlogisch Ich hexe nun seit rund 1,5 Jahren mit unraid herum und sehe mich immer noch sehr am Anfang. Es gibt dabei einiges zu lernen Quote Link to comment
JayLong Posted December 31, 2022 Author Share Posted December 31, 2022 Super danke, habe jetzt verstanden wieso er keine Speicher freigegeben hat mein Verzeichniss wahr über 500GB gross 🙂 Habe jetzt ein Verzeichniss mit Programmen gelöscht und jetzt habe ich um die 340GB frei. Nachdem ich neu gebootet habe und den Mover nochmal angehauen habe rudelt es und der Cache wird kleiner. Was ich oben gemeint habe erklären glaube ich Bilder. Denke weiss aber jetzt das diese Funktion wohl nocht nicht so richtig funktioniert. Mein Pool besteht aus Cache und Speed Bei den Shares kann man auswählen welche Cache er nehmen soll, bei mir 1 Pool aber trotzdem kann man dort Cache oder eben Speed auswählen. Irgendwie funktioniert das aber nicht er hat mir auch Speed gefüllt obwohl in erster instanz nur app data, domain und systems als Cache Target drauf wahr. Hatte nur Krusader und eine W10 am laufen. Somit unmöglich das er mir die 2 TB bei Cache Only voll gemacht hat. Aber ich denke ich bin jetzt schon sehr viel weiter als noch vor diesem Thread Vielen lieben dank @DataCollector Ich setzte diesesn Thread gleich als gelöst. thx und einen guten Rutsch @DataCollector bzw an die Community. Greets and so long Jay Quote Link to comment
DataCollector Posted December 31, 2022 Share Posted December 31, 2022 22 minutes ago, JayLong said: Was ich oben gemeint habe erklären glaube ich Bilder. Denke weiss aber jetzt das diese Funktion wohl nocht nicht so richtig funktioniert. Mein Pool besteht aus Cache und Speed Wie ich es kenne: Du scheinst 2 unterschiedliche Pools zu haben. einer heisst Cache und einer heisst Speed. Nur, damit es nicht zukünftig zu vberwirrungen komst, schreibe nicht bitte so, dass man es als einen Pool verstehen könnte. 22 minutes ago, JayLong said: Bei den Shares kann man auswählen welche Cache er nehmen soll, bei mir 1 Pool aber trotzdem kann man dort Cache oder eben Speed auswählen. Korrekt, so ist es auch üblich. 22 minutes ago, JayLong said: Irgendwie funktioniert das aber nicht er hat mir auch Speed gefüllt obwohl in erster instanz nur app data, domain und systems als Cache Target drauf wahr. Da muß noch von vorherigen Konfigurationen noch irgend ein Rest übrig gewesen sein. Ich habe es auf diese Art noch nicht gemacht: Wenn Du alle Vm und Container stoppst, dann VM-Manager und Docker abschaltest, solltest Du die Verzeichnisse (ebenfalls mit mc) dort hin verschieben können, wo Du es haben willst. Und wenn Du die Shares danna uch so eingestellt hast, sollte unraid nach dem Neustart der VM und Docker auch nicht auf die falschen Stellen schreiben. 22 minutes ago, JayLong said: Aber ich denke ich bin jetzt schon sehr viel weiter als noch vor diesem Thread Vielen lieben dank @DataCollector Ich weiss noch nicht viel von urnaid, aber wenn ich helfen kann, gerne. 22 minutes ago, JayLong said: thx und einen guten Rutsch @DataCollector bzw an die Community. Dito. Quote Link to comment
JayLong Posted December 31, 2022 Author Share Posted December 31, 2022 5 minutes ago, DataCollector said: Wie ich es kenne: Du scheinst 2 unterschiedliche Pools zu haben. einer heisst Cache und einer heisst Speed. Nur, damit es nicht zukünftig zu vberwirrungen komst, schreibe nicht bitte so, dass man es als einen Pool verstehen könnte. Wieso ich ein Pool geschrieben habe hat einen Grund. Ich habe eine 1 TB SSD und eine 2 TB M.2, da wird aber komischerweise bei jeder Platte 1.5 TB angezeigt?? Darum dachte ich das es 1 Pool ist! Sonst müsste eigentlich einmal 1 TB angezeigt bekommen und einmal 2 TB Komisch ist da auch das Used 521 GB und Free 478 GB angezeigt wird. Würde ja maximal 2 TB sein. Habe im Internet schon gesucht sehe aber nirgens das es pro Pool bei den Caches 2TB limit geben sollte? Darum hatte ich dort 1 Pool gesagt, weil ich das komisch finde. Werde es aber nachher selber mal testen in dem ich eine SSD rausnehme. thx und grüsse Jay Quote Link to comment
hawihoney Posted January 1, 2023 Share Posted January 1, 2023 10 hours ago, JayLong said: Darum hatte ich dort 1 Pool gesagt, weil ich das komisch finde. Auf dem Screenshot befinden sich zwei BTRFS formatierte Single-Device Pools jeweils mit einer eigenen Bezeichnung. Da Unraid so etwas nicht selbstständig anlegt musst Du das gewesen sein. Multi-Device Pools werden anders angezeigt. Eine Bezeichnung für mehrere Devices. Quote Link to comment
DataCollector Posted January 1, 2023 Share Posted January 1, 2023 Als Ergänzung und Verdeutlichung zu der Aussage von hawihoney hier 2 Screenshots von meinen Systemen. Im ersten Screenshot sind 2 Pools vorhanden. Im zweiten Screenshot sind 3 Pools vorhanden. Grün markiert sind die Pools, welche nur ein Device enthalten. Gelb markiert sind die Pools, welche mehrere Devices enthalten. Quote Link to comment
alturismo Posted January 1, 2023 Share Posted January 1, 2023 11 hours ago, JayLong said: Ich habe eine 1 TB SSD und eine 2 TB M.2, da wird aber komischerweise bei jeder Platte 1.5 TB angezeigt?? Darum dachte ich das es 1 Pool ist! Sonst müsste eigentlich einmal 1 TB angezeigt bekommen und einmal 2 TB ich glaube fast du hattest anfangs einen pool (mit beiden nvme's) angelegt und diese im Nachgang "getrennt" und 2 single drive cache pools daraus gemacht, daher die "verbuggte" Anzeige. Wenn du bei single drive cache's bleiben willst, würde ich dir empfehlen - nochmal alles zu sichern was da wichtig war - new config, cache drives neu formatieren - als XFS und nicht als BTRFS ... BTRFS macht nur Sinn wenn du mehrere als Pool laufen lassen willst, ansonsten kann ich nur sagen, lass es ... zu viele (zu oft) Fehler und dann Issues. auch ich nutz 2 single drive caches, 1 x cache, appdata, system, .. 1 x VM's Thema BTRFS ist hier (und ich meine bei einigen anderen auch) durch Quote Link to comment
hawihoney Posted January 1, 2023 Share Posted January 1, 2023 1 hour ago, DataCollector said: Im ersten Screenshot sind 2 Pools vorhanden. Im zweiten Screenshot sind 3 Pools vorhanden. Wo ich gerade genauer auf Deine Screenshots schaue: Ich fände es tatsächlich besser wenn Single-Device Pools ebenfalls den Text "Pool of one device" erhalten würden. Dann gäbe es keine Unklarheiten mehr. Quote Link to comment
JayLong Posted January 2, 2023 Author Share Posted January 2, 2023 On 1/1/2023 at 12:23 PM, hawihoney said: Wo ich gerade genauer auf Deine Screenshots schaue: Ich fände es tatsächlich besser wenn Single-Device Pools ebenfalls den Text "Pool of one device" erhalten würden. Dann gäbe es keine Unklarheiten mehr. Eigentlich sind es und waren es immer nur 2 Pools aber ich weiss glaube ich was ich für einen fehler drin habe. Hatte im ersten schritt wirklich 1 Pool mit diesen 2 Platten gemacht (SSD und M.2.) Im zweiten schritt habe ich einfach die platten rausgenommen und 2 Pool daraus gemacht ohne "new config" Darum den BUG mit der Anzeige. Kann es aber erst morgen ausprobieren da ein Kopier Job noch hängig ist und fehlen noch ein paar TBs an daten. Grüsse und danke Jay 1 Quote Link to comment
JayLong Posted January 3, 2023 Author Share Posted January 3, 2023 So vielen Dank an @DataCollector @hawihoney sieht alles wieder gut aus 😁 Hier noch ein Print Screen THX a lot Quote Link to comment
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.