appdata nach Festplattentausch ungeschützt

[Pardasus]

Moin,

ich habe vor kurzen ein unRAID Server aufgebaut mit 2TB Parität Platte und zwei 2TB Datenträgern. Dazu noch eine 1TB NVMe SSD als Cache. Nun habe ich die Parität und die Datenträger Platten komplett ausgetauscht. Dies hat alles wunderbar funktioniert und das gesamte System läuft inkl. Docker und VM. Die Paritätsprüfung ist durch und alles ist grün.

 

Unter Freigaben sehe ich nun aber, dass die Freigabe appdata ungeschützt ist. Ebenso die Domains und system Freigabe. Als Speicherort ist das Array festgelegt.

 

Was muss ich tun das diese Verzeichnisse wieder geschützt sind?

 

 

Edited June 28, 2023 by Pardasus

[Ford Prefect]

34 minutes ago, Pardasus said:

Unter Freigaben sehe ich nun aber, dass die Freigabe appdata ungeschützt ist. Ebenso die Domains und system Freigabe. Als Speicherort ist das Array festgelegt.

Wahrscheinlich sind die Daten eben (teilweise) nicht auf dem Array, sondern auf dem Cache (der nur eine, damit ungeschütze Disk, hat statt zB ein Raid1).

 

Schau mal bei den Shares nach, mach für "appdate" ein "compute/berechne" und Du siehst, ob noch was auf Cache liegt.

Wenn dem so ist, was ich vermute, dann musst Du die Docker- und VM-Dienste (unter den jeweiligen Settings) deaktivieren und dann den Mover laufen lassen.

Wenn Du auf der 6.12 bist, schau vorher in den Share-Einstellungen ab "Primary = Array" ist und die Richtung, in die der Mover läuft, auch korrekt von Cache->Array steht.

[Pardasus]

Ich nutze die 6.12.0 und die Daten liegen nicht im Cache, sondern auf dem Datenträger 1.

Ich glaube aber, ich muss noch etwas dazu erzählen wie ich die 3 Platten ausgetauscht habe.

 

Ausgangspunkt:

1x 2TB Parität

2x 2TB Daten (1x Daten war defekt auf der alle Daten waren, die zweite Datenplatte war leer.)

 

Vorgehen von mir:

1. Neue 2TB Platte eingebaut und dem Array hinzugefüght.

2. Alle Daten von der Emulierten, defekten, Platte auf die neue 2TB Platte mit den unRAID Dateimanager verschoben so das die defekte leer war.

3. Die Parität und die noch heile Platte ausgebaut und dafür zwei neue Platten hinzugefügt.

4. Das System komplett neu Konfiguriert (dabei den Cache behalten).

5. Das Array ohne Parität neu erstellt und gestartet.

6. Die neue Parität Platte hinzugefügt und neu Aufbauen lassen.

7. Es ist unter "Start" alles wieder grün und sieht aus wie vorher, nur eben mit komplett neuen Platten.

 

Könnte jetzt das Manuelle Verschieben der Daten, und das anschließende neu Konfigurieren des System sein, dass unRAID die Daten nicht mehr auf dem Zettel hat obwohl sie noch da sind?

 

p.s.: ich habe den defekt einer der Platten zum Anlass genommen, alle auszutauschen.

Edited June 28, 2023 by Pardasus

[Ford Prefect]

7 minutes ago, Pardasus said:

Könnte jetzt das Manuelle Verschieben der Daten, und das anschließende neu Konfigurieren des System sein, dass unRAID die Daten nicht mehr auf dem Zettel hat obwohl sie noch da sind?

Nein, mit der Neukonfiguration des Array ist das "Problem" weg.

Wenn die Parity eingehängt und gebaut/Parity-Check durch ist, sollte das einfach nicht so sein....

 

Bitte nochmal schauen, wie die Einstellung des Share "appdata" ist, was Primary und Secondary Storage angeht...kannst Du einen Screenshot machen/zeigen?

[Ford Prefect]

13 minutes ago, Pardasus said:

4. Das System komplett neu Konfiguriert (dabei den Cache behalten).

...und, nur um sicher zu sein, mal schauen, ob unter /mnt/cache das Verzeichnis appdata existiert und ob da doch was drin ist....

[Sacred]

Gönn dir einfach noch so ne 1TB SSD (kosten ja nur noch um 40€) und mach aus deinem Cache Pool nen Verbund. 

Dann ist das zeug auch einfach Save und du kannst deine Docker & VMs drin laufen lassen. 

 

Doch jetzt der ideale Moment darüber mal nachzudenken. 

[Pardasus]

Das Verzeichnis "appdata" existiert auch im cache/appdata.

 

@Sacred, wenn ich eine zweite cache Platte einbaue, sorgt diese für eine Redundanz des caches?

 

Anbei einmal die Screenshots:

 

 

[Sacred]

3 hours ago, Pardasus said:

@Sacred, wenn ich eine zweite cache Platte einbaue, sorgt diese für eine Redundanz des caches?

 

Korrekt .. du musst aber beachten, dass du vorher deinen Cache leer machst. 

Denn der wird dabei dann einmal formatiert.

 

Danach kannst du aber alles wieder wie gewohnt drauf ablegen lassen. 

Appdata, Docker, VMs .. halt alles was davon profitiert auf ner SSD statt ner HDD zu liegen. 

Und das würde auch dafür sorgen, dass deine HDDs schlafen können, wenn du sie nicht brauchst. (sofern du das willst)

Edit: Gerade erst gesehen das du nur SSDs hast   Dann spielt dieser Punkt natürlich keine Rolle. 

 

 

Als Pool darf halt eine der beiden SSDs ausfallen .. ohne das du die Dateien verlierst. 

 

Edited June 28, 2023 by Sacred

[Pardasus]

Ich habe nun ein weiteres, wohl merkwürdiges verhalten festgestellt. Wie man auf den Screenshot sieht, sind 22GB an Daten auf dem Cache (system). Ich habe alles auf Array gestellt und den Mover gestartet. Es passiert aber nichts. Die Daten bleiben dort liegen. Auch habe ich unter Domains noch 687GB auf den Cache die auch nicht verschoben werden. In der Log-Datei kommt dazu auch keine Fehlermeldung. Man sieht das ich den Mover starte und dann passiert nichts.

 

Als ich das System neu aufgesetzt habe, habe ich eine neue Config erstellt aber den Cache beibehalten. Ich habe das Gefühl, irgendwas mag er da nicht.

 

[Ford Prefect]

1 hour ago, Pardasus said:

Es passiert aber nichts. Die Daten bleiben dort liegen.

...wie ich oben schon schrieb, zuerst die Docker und VM-Dienste unter Settings deaktivieren.

Dann erst kann der Mover die Dateien verschieben, weil sie sonst von den Diensten im Zugriff sind.

Das gleiche "Problem" hast Du auch mit domains (wo standardmässig Deine vdisks der VMs liegen).

 

4 hours ago, Pardasus said:

Das Verzeichnis "appdata" existiert auch im cache/appdata.

...sind darunter auch Ordner und Datei(en)? Nur weil da "0 B" steht, muss das ja nicht stimmen...eine klitzekleine Datei reicht für die Warnung.

[warp760]

Was soll der Cache bringen, wenn man eh nur SSD nutzt? 

[Ford Prefect]

...auch bei SSD ist das Array nur so schnell wie eine Disk...bei einerm 10G oder gar 40G/100G Link ist das nicht zu schaffen...mit nem Pool auf Basis NVME und Striping dann schon.

[Pardasus]

@Ford Prefect sorry da hatte ich dich missverstanden. Ich dachte es reicht die Docker und VMs anzuhalten. Bin noch recht neu in unRAID unterwegs

 

In der zwischen Zeit habe ich die Cache Platte auch gegen eine andere ausgetauscht und die Daten die noch drauf waren, erst mal auf eine externe HDD geschoben. Jetzt wo die neue Cache Platte drin ist, habe ich die Config wieder neu erstellt und gesagt ich möchte das Array behalten. Danach habe ich die Daten von der externen Platte wieder in die Freigabe geschoben.

Ich weis jetzt nicht ob dies normal ist, aber es kam die Meldung das die Paritäts Platte neu Formatiert werden müsste, obwohl ich sagte ich möchte das Array behalten. Ich habe dies gemacht und das System stellt gerade die Parität wieder her. Dies wird noch eine weile dauern. Mal schauen ob danach alles wieder ok ist.

 

Obwohl ich so etwas noch nie gemacht habe, läuft das System weiter Stabil und es ist nix verloren gegangen.

 

@warp760 ein NVMe Speicher ist von der Performance noch mal ein ganz anderes Level zu einer SSD. Ich nutze diese für das Windows System um zu Spielen. Alles andere kann ruhig auf den SSDs laufen.

 

Ich betreibe ein sehr umfangreiches Smart Home Setup über Homeassistant. Ich habe alles was nur geht ausgelagert in Docker Container (MariaDB, evcc, homebridge, mosquitto, zigbee2mqtt etc...). Dazu entsprechende Backups, Backups, Backups. Allein der Umzug der Systeme von Proxmox auf unRAID hat mich eine Woche Vorbereitung gekostet und der defekt der Platte war perfekt um ein Worst-Case Scenario durchzuspielen solange das System noch nicht Produktiv ist.

Wenn der Windows Rechner auf der cache Platte mal ausfallen sollte, wäre mir das egal. Aber die Haus Automationen würden mich Wochen an Arbeit kosten wieder herzustellen.

[warp760]

55 minutes ago, Pardasus said:

ein NVMe Speicher ist von der Performance noch mal ein ganz anderes Level zu einer SSD

Ich weiß. Dachte bei dir läuft alles nur auf SSD´s

 

56 minutes ago, Pardasus said:

Ich betreibe ein sehr umfangreiches Smart Home Setup über Homeassistant

Ich auch. Allerdings mit ioBroker

 

57 minutes ago, Pardasus said:

ch habe alles was nur geht ausgelagert in Docker Container

Ich auch. Im Gegensatz zu dir aber inkl. ioBroker. VM mit Windows würde ich aus Stromspargründen niemals 24/7 laufen lassen. Desshalb bin ich ja zu unraid gewechselt

 

58 minutes ago, Pardasus said:

Aber die Haus Automationen würden mich Wochen an Arbeit kosten wieder herzustellen.

Dito... Ich hab aber zwei nvme´s auf den ioBroker im Docker läuft. Somit fühle ich mich schon einigermaßen sicher. Parallel wird immer noch ein Raspi up to date gehalten, falls mir unraid im gesamten abrauchen würde.

[Pardasus]

Tja, was soll ich sagen. Jetzt passt alles wieder...

 

Was hab ich nun gemacht? Ich hatte noch vor die Cache Platte auszutauschen. Nachdem ich das gemacht habe, habe ich die Config neu gemacht und gesagt ich möchte das Array behalten. Im Anschluss hat er dann gesagt er möchte die Paritäts Platte noch mal Formatieren. Tja, danach passte alles wieder.

 

@warp760 das hast du falsch verstanden. Ich nutze HomeAssistant in einer Linux VM. Das Windows ist rein zum Zocken da . Es geht mir auch nicht nur darum Backups zu haben. Die Haus Automationen bestehen aus diversen Software Komponenten. Ich habe die Backups so eingerichtet das ich jede Komponente unabhängig voneinander zu diversen Zeitpunkten Wiederherstellen kann. Es muss ja nicht mal einen Ausfall geben, es kann auch sein das man mal was kaputt gespielt hat oder ein Update doch lieber wieder rückgängig machen möchte. In Proxmox hatte ich zuvor kein Komplettbackup, immer nur alles einzeln. Durch die Paritätsplatte in unRAID habe ich nun dies auch noch zusätzlich.

Wenn die Windows VM nicht läuft, verbraucht der Rechner um die 60 Watt. Ich weis, es ist immer noch "viel", aber ich habe eine PV Anlage und Zahle nur 29 Cent pro KWh. Das Verkrafte ich  dafür ist mein Windows in 5 Sekunden gebootet und ich brauche nur noch ein, statt zwei Rechner.

[warp760]

2 minutes ago, Pardasus said:

Ich nutze HomeAssistant in einer Linux VM

VM ist VM... Mein System brauch 18W

 

3 minutes ago, Pardasus said:

In Proxmox hatte ich zuvor kein Komplettbackup

Wenn du jetzt meinst mit Parität hättest du das, liegst du falsch. Das hat mit Backup nichts zu tun. Ich spiegle zum Beispiel alles nochmal auf einen zweiten Server und dieser dann nochmal zu Hetzner nach Finnland.

[Pardasus]

Die Paritäts Platte ist ein Backup von zwei kompletten Platten, oder wofür ist die da?

Damit hat man automatisch auch ein Backup der Daten die sich darauf befinden.

In meinen Augen ist das ein Backup, wofür wäre sie den sonst da?

 

VM ist nicht gleich VM. Sonst wurde sich der Stromverbrauch zwischen der Windows und der Linux VM nicht unterscheiden 👍😉 und Linux verbraucht weniger Ressourcen als Windows.

 

[warp760]

25 minutes ago, Pardasus said:

In meinen Augen ist das ein Backup, wofür wäre sie den sonst da?

Für Datensicherheit. Für im Besten Fall einigen Minuten. Raucht dir nach 5 Minuten die nächste Platte ab, stehst mit runtergelassenen Hosen da. Und genau da greift ein Backup.

Auch wenn dein Server gehackt wird, bist du ungeschützt.

 

Mein Backupserver hat zum Beispiel nur Leserechte auf den Hauptserver. Weil auch der Backupserver kann ja gehackt werden.

Edited June 28, 2023 by warp760

[Sacred]

Jeder muss für sich selbst einschätzen, wie wichtig die Daten sind und welche Risiken man eingehen will. 

Auch muss man irgendwo die Kirche im Dorf lassen. 

 

Sonst brauchst jetzt noch mehrere USVs, doppeltes Netzteil, Brandlöschanlage, Feuerfester Container und bla. 

 

Aber ja .. ein RAID (o. auch hier mit der Parität) ist kein Backup. 

Ich als Beispiel sichere noch Daten verschlüsselt in der Cloud .. und als M-Disc im Bankschließfach. 

 

Musst trotzdem nicht versuchen ihn deinen "Willen" aufzudrücken. @warp760

[Pardasus]

Jetzt bin ich aber neugierig. Welche Funktion hat denn der Paritätsspeicher? Ich dachte sie wäre das Backup für den Datenspeicher, sollte einer der zwei einmal ausfallen?!

Zumindest kam mir dies so vor als bei mir 1 von 2 Datenspeichern ausgefallen ist. Ich konnte dann trotz des Ausfalls der Platte noch auf deren Daten zugreifen.

[jj1987]

Jein.

Die Parität schützt vor dem Ausfall (in deinem Fall) von einer HDD. Ein RAID, und UNRAID zähle ich jetzt einfach Mal dazu, auch wenn es technisch nicht ganz richtig ist, dient der Sicherstellung der kurzfristigen Verfügbarkeit von Daten. Wenn du aber z.b. versehentlich eine Datei löscht, hilft dir auch die Parität nicht.

Ein Backup schützt Daten, idealerweise noch mit versionierung. Dann kannst du gelöschte Daten wieder herstellen, Änderungen rückgängig machen etc.

Ein wichtiger Unterschied, weshalb hier manch ein User halt auch so vehement auf Begrifflichkeiten herumreitet.

 

P.s.: idealerweise hat man ein Backup auch "offsite", also außerhalb der eigenen vier Wände für Fälle wie Diebstahl, Feuer, Wasserschäden etc. (sog. Disaster-Backup).

 

Aber das ist im Zweifelsfall mit Kosten verbunden, insofern muss jeder für sich selbst wissen, wie wichtig ihm seine Daten sind. Ich unterscheide da auch zwischen Daten. Meine Filmsammlung ist zwar auf einer externen HDD gesichert aber im selben Raum wie der Server (allerdings nicht dauerhaft angeschlossen). Wenn dann ein Feuer ausbricht habe ich andere Sorgen als irgendwelche Filme.

Fotos, Dokumente etc sicher ich rollierend auf externen HDDs die ich dann auf der Arbeit zwischenlagere und zusätzlich noch einmal in die Cloud. Das sind aber auch gerade Mal 600-700gb

Edited June 29, 2023 by jj1987

[hawihoney]

8 hours ago, Pardasus said:

Welche Funktion hat denn der Paritätsspeicher? Ich dachte sie wäre das Backup für den Datenspeicher, sollte einer der zwei einmal ausfallen?!

 

Das sind zwei unterschiedliche Mechanismen. RAID (auch das parität-gestützte Unraid Array ist ein RAID-System) bietet Redundanz und somit Verfügbarkeit. RAID hilft beim Ausfall kompletter Platten, Backup sichert einzelne Ordner und Dateien.

 

Wenn Du Dir eine Datei aus Versehen löschst, dann nutzt RAID nix. Dann brauchst Du ein Backup mit dieser Datei.

 

Wenn Dir eine Platte ausfällt, dann bist Du ohne RAID erstmal offline. Mit RAID kannst Du trotz der fehlenden Platte weiter arbeiten.

 

 

BTW, warum markierst Du eine Zusammenfassung der Hilfestellung anderer immer als Deine Solution. Nach meinem Verständnis "ehrt" man die hilfe-gewährenden mit der Solution und erhöht damit deren Reputation. Für die Freiwilligen Helfer hier - und das sind wir alle - ist das der Lohn des Aufwands und der von der Freizeit abgeknapsten Zeit um anderen unentgeltlich zu helfen. Wähle den Helfer, der Dir am ehesten zu Deinem Problem geholfen hat, und "spendiere" ihm die Solution. Wer über das selbe Problem wie Du stolpert findet dann auch seine Lösung in der Gesamtheit des jeweiligen Problem-Threads. Nur meine 0.02 Cent.

 

Edited June 29, 2023 by hawihoney

[Pardasus]

Ganz egal wie wir es bezeichnen, ob Redundanz oder Backup. Die Funktion bleibt die gleiche, es schütz das System vor einem total Ausfall wenn eine Platte ausfallen sollte.

Wie ich bereits schon geschrieben habe, nutze ich dies als zusätzliches Feature für die üblichen Backups, es sollte aber nie das Backup der Daten ersetzten.

 

@hawihoney ich bin sehr dankbar für solche Foren und bin selbst noch in einigen anderen unterwegs wo ich wieder mehr Ahnung habe und gern unerfahrene unterstütze. Das ich am ende noch mal mein Kommentar als Lösung deklariere hatte nie die Absicht den Fokus auf mich zu ziehen. Wenn du dir die Markierten Lösungen einmal ansiehst, wirst du sehen das ich immer eine Zusammenfassung dazu schreibe, damit der nächste mit den Problem über den Titel des Beitrags direkt zur Lösung kommt und nicht alles einmal durchlesen muss um es zu versehen. Es war tatsächlich nur nett gemeint um der Community zu helfen Antworten auf Probleme die ich hatte schneller zu finden.

Ich denke da mehr Praktisch als daran wem die ehre gebührt

[hawihoney]

26 minutes ago, Pardasus said:

Ganz egal wie wir es bezeichnen, ob Redundanz oder Backup. Die Funktion bleibt die gleiche, es schütz das System vor einem total Ausfall wenn eine Platte ausfallen sollte.

 

Du verstehst es einfach nicht, aber egal ...

 

28 minutes ago, Pardasus said:

Ich denke da mehr Praktisch als daran wem die ehre gebührt

 

... ich bezeichne das als mit fremden Federn schmücken - aber auch egal - gibt so ein nettes Feature hier in der Forums-Software.

 

 

[Pardasus]

43 minutes ago, hawihoney said:

 

Du verstehst es einfach nicht, aber egal ...

 

 

... ich bezeichne das als mit fremden Federn schmücken - aber auch egal - gibt so ein nettes Feature hier in der Forums-Software.

 

 

Leider ist es mir nicht möglich dir direkt eine Nachricht zu schicken darum muss ich leider hier fragen. Wo habe ich mich mit fremden Federn geschmückt? In welchen Beitrag hätte ich eine andere Antwort als Lösung Markieren sollen bzw. welche wäre richtig gewesen?

Edited June 29, 2023 by Pardasus