Festplattentausch Cache Disks

[Wirman]

Hi,

 

ich hatte hier schon mein Problem mit meinen Cache Disks beschrieben:

Jetzt wollte ich hier mal weiter machen. Ich schicke die erste der Evo 970 Plus zur RMA. Die zweite wird auf kurz oder lang auch kaputt gehen. Anscheinend wird ein Firmware Update die Probleme lösen.

 

Habt ihr noch andere Ideen oder Erfahrungen, welche Festplatten für den Cache gut sind?

 

Angenommen ich würde einen Tausch machen, kann ich jetzt z.B. 2x WesternDigital NVMes kaufen, mit 1TB und dann erst eine einbauen, dem CachePool hinzufügen, warten bis das Raid sich synchronisiert hat und dann die bereits vorhandene Festplatte mit der zweiten neuen Festplatte tauschen? Oder gibt es eine andere Möglichkeit, die vielleicht eher empfohlen wird?

 

Danke für eure Hilfe und vg

Wirman

 

[Ford Prefect]

...wenn Du eh beide, neuen NVMe hast, mach es in einem Rutsch. Das Array musst Du ja jedes Mal eh stoppen.
Also erstmal Docker und VM- Dienste aus, alles zurück auf das Array mittels Cache-Einstellung und Mover....dann beide NVMe tauschen und Cache wieder auf "prefer" und dem Mover arbeiten lassen....voilà.

Gesendet von meinem SM-G780G mit Tapatalk

[DataCollector]

2 hours ago, Wirman said:

Habt ihr noch andere Ideen oder Erfahrungen, welche Festplatten für den Cache gut sind?

Du meinst vermutlich SSD.  Ich habe an einer Stelle auf eien AData Legend 960 gewechselt und bisher finde ich die leistung überraschend gut.

Solltest Du aber details zu irgendwelchen C-States oder Schlafmodi genau im Auge haben, dazu kann ich nichts sagen, weil ich das da aktuell nicht betrachtet habe.

[Wirman]

Okay, dann mach ich das wohl so mit dem Array.

 

Die AData Legend 960 ist PCIe 4.0, mein Board hat nur 3.0.Da lohnt sich der Aufpreis für PCIe 4.0 nicht so.

 

Kennt jemand diese hier?

https://geizhals.de/apacer-as2280p4u-pro-1tb-ap1tbas2280p4upro-1-a2625758.html?hloc=at&hloc=de

 

[DataCollector]

3 hours ago, Wirman said:

Die AData Legend 960 ist PCIe 4.0, mein Board hat nur 3.0.Da lohnt sich der Aufpreis für PCIe 4.0 nicht so.

Mein Board hat auch nur PCIe 3.0. Aber meine Entscheidung dazu hängt nicht mit PCIe 3-.0 oder 4. zusammen, sondern daß sie auchlaut dem CT Test vor kurzem wirklich sehr Dauerschreibfest (=sehr lange hohe Schreibrate haltend) zu sein scheint.

Das ist für mich ein sehr wichtiges Kriterium. Bisher habe ich bei der SSD noch keinen relevanten Einbruch der Leistung erlebt, wenn ich sie mit ein paar TB am Stück beschrieben habe.

 

Ansonsten nutze ich Samsung 970 Evo Plus 2TB NVMe SSD, aber mit denen hast Du ja weniger gute Erfahrungen gemacht.

 

3 hours ago, Wirman said:

Kennt jemand diese hier?

https://geizhals.de/apacer-as2280p4u-pro-1tb-ap1tbas2280p4upro-1-a2625758.html?hloc=at&hloc=de

 

= Apacer AS2280P4U PRO 1TB, M.2, Kühlkörper AP1TBAS2280P4UPRO-1

 

Ich kenne und nutze sie nicht.

 

[mgutt]

19 hours ago, Wirman said:

Anscheinend wird ein Firmware Update die Probleme lösen.

Wie Vermutungen zu Fakten werden. Die Evo Plus hatte bisher noch nie einen Bug. JorgeB hat auch nur allgemein gesprochen, weil er sich vermutlich an den Fall der 980 Pro erinnert.

 

19 hours ago, Wirman said:

Habt ihr noch andere Ideen oder Erfahrungen, welche Festplatten für den Cache gut sind?

Ja, alle Samsung bis auf die Non-Pro/Non-Evo. Machen die wenigsten Problem.

[Wirman]

Okay, dann würde ich es mit der 970 Evo Plus aus der RMA nochmal versuchen und die SMART Werte regelmäßig checken.

[mgutt]

On 3/15/2023 at 2:48 AM, Wirman said:

dann würde ich es mit der 970 Evo Plus aus der RMA nochmal versuchen

Ich musste meine Aussage korrigieren:

https://forums.unraid.net/topic/136120-6103-bad-spare-value-from-cache-disks-with-unraid/#comment-1239865

 

 

User haben herausgefunden, dass von der Evo eine Revision existiert, die den Controller der Pro besitzt und damit auch den selben Firmware Bug. Keine Ahnung ob man die irgendwie an Hand der Modellnummer erkennen kann. In jedem Fall ist eine aktuelle Firmware ausreichend bzw ich kann mir nicht vorstellen, dass dir Samsung jetzt noch eine mit alter Firmware sendet.

 

[Wirman]

Danke für die Klarstellung.

 

Ich habe das jetzt so gemacht, wie ihr gesagt habt, Shares von Prefer:Cache auf Yes:Cache gestellt, den Mover gestartet und schlussendlich war dann wieder alles auf grün bei den Shares.

 

Jetzt habe ich die neue von der RMA gekommene Festplatte eingebaut und wollte jetzt beide im RAID betreiben, bis die alte mit dem selben Fehler auch kaputt geht.

 

Ich hab die Shares wieder umgestellt auf Prefer:Cache und den Mover gestartet.

 

Mehrere Dinge sind mir jetzt unklar oder es klappt etwas nicht.

1.

Warum zeigt es mir 3TB Size im Cachepool an? Erstens hab ich doch nur 1TB SSDs die ja im RAID1 laufen sollten, und ja auch nur 2 Stück. Ist die Standardkonfiguration nicht RAID1 im Cache? Ich bin mir nicht mehr sicher, die Einrichtung war schon zu lange her. Aber es zeigt ja keine Reads/Writes auf der zweiten Platte an, das spricht ja dafür, dass da nichts passiert.

 

2. Ich kann nun meine VMs nicht mehr starten, bei HomeAssistant kommt z.B. folgender Fehler:

 

Docker zeigt es gar nicht mehr an, wenn ich auf Docker klicke, kommt. "Docker Service failed to start."

 

3. Nach der Mover Aktion ist die zweite SSD von 25% Available Spare auf 0% runter. Ich wollte nun meine VMs und Docker manuell vom Cache auf einen Backup Ordner per File Manager kopieren, dann wird alles kopiert bis 100%, dann läuft die anzeige aber über 100% hinaus und dann kommt folgender Fehler:

 

Ich weiß jetzt nicht ob meine Daten geschützt sind oder nicht. Ich denke wenn ich einen Neustart mache oder das Array stoppe, nach dem Neustart könnte die kaputte Cache platte nicht mehr erkannt werden (so war es zumindest bei der ersten). Der Fehler ist denke ich am ehesten ein Schreibfehler, sprich Lesen geht noch solange die Platte jetzt noch erkannt ist.

Im FileManager steht bei Location, dass appdata, system und domains sowohl auf der cache disk, als auch auf disk2 (vom array) liegt. Müsste das nicht von disk2 wieder runter sein, nachdem ich den Mover nach einstellen der Shares auf Prefer wieder gestartet habe?

 

Danke für eure Hilfe

[Ford Prefect]

32 minutes ago, Wirman said:

Ich habe das jetzt so gemacht, wie ihr gesagt habt, Shares von Prefer:Cache auf Yes:Cache gestellt, den Mover gestartet und schlussendlich war dann wieder alles auf grün bei den Shares.

die allererste und wichtigste Aktion ist Docker. und VM-Dienste (nicht gemeint sind die Doker und  VMs selbst, sondern die (De)aktiviereung unter  den Settings) zu stoppen.

Hast Du das gemacht, bevor Du den Mover angeschmissen hast?

34 minutes ago, Wirman said:

Warum zeigt es mir 3TB Size im Cachepool an? Erstens hab ich doch nur 1TB SSDs die ja im RAID1 laufen sollten, und ja auch nur 2 Stück. Ist die Standardkonfiguration nicht RAID1 im Cache?

BTRFS kann auch unterschiedliche Grössen mischen...was steht denn als Raid-Lebvel dort, beim Cache device?

Hast Du sicher die richtugen Disks erwischt?

Bei 2x1TB im Raid1 sollte da 1TB stehen, nicht 2 oder 3TB.

 

36 minutes ago, Wirman said:

Im FileManager steht bei Location, dass appdata, system und domains sowohl auf der cache disk, als auch auf disk2 (vom array) liegt. Müsste das nicht von disk2 wieder runter sein, nachdem ich den Mover nach einstellen der Shares auf Prefer wieder gestartet habe?

Ja, ganz genau...aber siehe die erste Info...wenn Du die Dienste nicht stoppst, bis der Mover beide Richtungen abgearbeitet, kann der Mover nur dateien moven, die nicht im Zugriff durch andere Apps sind. Ich vermute das ist Dein Fehler gewesen.

 

Ich habe es neulich selbst so gemacht und kann Dir versichern, dass es so funktioniert.

39 minutes ago, Wirman said:

Ich weiß jetzt nicht ob meine Daten geschützt sind oder nicht. I

Neue Daten sind geschützt, aber die "alten" sind wild verteilt. Ausserdem - falls Du nicht konsequent /mnt/user/appdata, sondern /mnt/cache bei den Dockern selbst verwendes - könnten die Files jetzt unterschiedliche Daten-Stände aufweisen.

Hast Du zuvor ein Backup gemacht, von den relevanten Shares (vor allem appdata, domains, ...)?

 

[Wirman]

Ja, ich hab Docker und VMs in den Settings deaktiviert, dann erst den Mover gestartet.

 

Erst nachdem der Mover fertig war, ich die neue SSD eingebaut habe, die SSD dem Pool zugewiesen habe und die Shares wieder anders eingestellt habe, habe ich den Mover erneut gestartet und nachdem er wieder fertig war, dann habe ich erst wieder die VM und Docker in den Settings enabled.

 

Yes:Cache ist auch die richtige Einstellung oder? Bei No kopiert er ja nichts vom Cache aufs Array, wenn ich das richtig verstehe.

 

Wo sehe ich das RAID Level? Im Dashboard sehe ich es nicht, wenn ich die Platten anklicke und in die Setttings gehe, dann sieht es jedoch anders aus für beide Platten.

 

Dashboard:

 

Cache 1 (kaputte Platte)

Spoiler

 

Cache 2 (neue Platte):

Spoiler

 

Ich stell jetzt nochmal appdata, domains und system auf Yes:Cache und lass den Mover nochmal laufen.

Edited March 29, 2023 by Wirman

[Ford Prefect]

1 hour ago, Wirman said:

Ja, ich hab Docker und VMs in den Settings deaktiviert, dann erst den Mover gestartet.

 

Erst nachdem der Mover fertig war, ich die neue SSD eingebaut habe, die SSD dem Pool zugewiesen habe und die Shares wieder anders eingestellt habe, habe ich den Mover erneut gestartet und nachdem er wieder fertig war, dann habe ich erst wieder die VM und Docker in den Settings enabled.

 

Yes:Cache ist auch die richtige Einstellung oder? Bei No kopiert er ja nichts vom Cache aufs Array, wenn ich das richtig verstehe.

Dann hast Du eigentlich alles richtig gemacht und es sollte nicht so ein "Mix" passieren.

 

1 hour ago, Wirman said:

Wo sehe ich das RAID Level? Im Dashboard sehe ich es nicht, wenn ich die Platten anklicke und in die Setttings gehe, dann sieht es jedoch anders aus für beide Platten.

An dem ersten Device im pool ...klicke auf "cache"...da sollte das dann stehen.

 

1 hour ago, Wirman said:

Ich stell jetzt nochmal appdata, domains und system auf Yes:Cache und lass den Mover nochmal laufen.

3 hours ago, Wirman said:

Im FileManager steht bei Location, dass appdata, system und domains sowohl auf der cache disk, als auch auf disk2 (vom array) liegt.

Das solltest Du nach jedem "Move" nochmal kontrollieren...nach Einstellung der Shares auf "Cache", sollte alles auf dem Array sein, wenn der Mover durch ist...nach Einstelung auf "Prefer" sollte alles auf "Cache" sein.

[Wirman]

Nach dem Move sind immer noch diverse Ordner in appdata, domains und system in zwei locations.

Im Log bekomme ich Fehler a la:

Mar 29 15:33:32 jarvis move: error: move, 392: Input/output error (5): lstat: /mnt/cache/system/docker/installed/btrfs/subvolumes/2183f70ef0121783280a0cf06ad8037911981ec3822749e87398e1358370ec45

 

und

Mar 29 15:34:01 jarvis kernel: BTRFS error (device nvme0n1p1): bad tree block start, want 2211463168 have 0

 

Wenn ich auf Cache klicke im Dashboard, komme ich auf die Cache Settings Seite, die ich im vorigen Post als Bild im Spoiler angehängt habe.

[Ford Prefect]

6 hours ago, Wirman said:

Nach dem Move sind immer noch diverse Ordner in appdata, domains und system in zwei locations.

Im Log bekomme ich Fehler a la:

....das Dateisystem hat wohl Problem(e).

Wenn Du backups hast, fang von vorne an....die cache disks platt machen, neu formatieren/mit UD clean-en

Keine Ahnung vin hier aus, was da schief bei Dir gelaufen sein kann.

[Wirman]

Hab jetzt den Pool entfernt, die defekte Platte entfernt und den Pool neu angelegt und den Mover gestartet.

 

Ein Großteil der Daten (unter anderem 2 der VMs) sind komplett, jetzt hab ich aber das Problem, dass die zwar in den richtigen Ordnern sind, aber die Konfigurationen dazu weg sind, Unter VM und Docker im Dashboard ist alles leer.

Wo speichert Unraid denn die Konfigurationen?

 

In den Apps zeigt es die Docker nicht mehr als installiert an.

[jj1987]

38 minutes ago, Wirman said:

In den Apps zeigt es die Docker nicht mehr als installiert an.

Einfach auf "prevoiusly installed" gehen und die Docker "neu" installieren. Dann zieht er sich die alte Konfiguration.

Bei den VMs kenn ich mich nicht so aus. Meine aber man muss auch da quasi eine neue VM erstellen und dort dann die XML (werden irgendwo auf dem USB-Stick gespeichert) und das alte Image einbinden

[Wirman]

Okay, das mit den Dockern hat geklappt.

 

laut

sind die configs in system/libvirt/libvirt.img gespeichert. Dort liegt bei mir eine Datei mit 1,07GB. Es zeigt mir aber nichts unter VM an. Kann ich irgendwie die configs aus der Datei wiederherstellen?

 

Okay, wenn ich die libvirt.img auf Windows kopiere und dort versuche zu öffnen, sagt es mir, dass die Datei beschädigt sei. Gibts eine Möglichkeit auf die Dateien innerhalb der libvirt zugreifen zu können, dass ich eventuell die configs wiederherstellen kann?

 

Falls das nicht geht, was würde passieren, wenn ich die die VMs neu konfiguriere mit den .imgs und etwas an den Parametern anders einstelle?

Edited March 30, 2023 by Wirman

[saber1]

11 minutes ago, Wirman said:

sind die configs in system/libvirt/libvirt.img gespeichert. Dort liegt bei mir eine Datei mit 1,07GB. Es zeigt mir aber nichts unter VM an. Kann ich irgendwie die configs aus der Datei wiederherstellen?

 

[Wirman]

Ja mist, wenn die .img Datei beschädigt ist und ich nicht mehr drauf zugreifen kann.

 

Lessons learnt, jetzt muss ich es wohl versuchen aus den .imgs wiederherzustellen. Die wichtigste VM, die von HomeAssistant, müsste dann vermutlich auch kaputt sein.

 

edit: habs hinbekommen, die HomeAssistant VM startet und läuft soweit.

 

Generelle Frage: Das VM Backup Plugin (Beta das richtige?) kann die VMs im laufenden Betrieb backupen?

Edited March 30, 2023 by Wirman

[mgutt]

On 3/30/2023 at 12:05 PM, Wirman said:

Generelle Frage: Das VM Backup Plugin (Beta das richtige?) kann die VMs im laufenden Betrieb backupen?

Ja. Das Plugin stoppt auch optional die VMs. Das würde ich dir auch empfehlen. Und natürlich auch das libvirt.img sichern. Nur das docker.img spielt keine Rolle, was du ja schon gemerkt hast.