Frage zu ZFS

[hawihoney]

Kann man mit ZFS eine Plattenkonfiguration ähnlich des Unraid Arrays erstellen? Konkret geht es mir um das Unraid Array Feature, dass selbst beim gleichzeitigen Ausfall vieler Platten, die verbliebenen Platten, auch ohne Parity, noch zu lesen sind.

 

Vielen Dank.

 

[ich777]

1 hour ago, hawihoney said:

Kann man mit ZFS eine Plattenkonfiguration ähnlich des Unraid Arrays erstellen? Konkret geht es mir um das Unraid Array Feature, dass selbst beim gleichzeitigen Ausfall vieler Platten, die verbliebenen Platten, auch ohne Parity, noch zu lesen sind.

 

Vielen Dank.

 

Sorry vorigen Post gelöscht, hatte einen Denkfehler drin.

 

Nein, das ist nicht möglich.

[hawihoney]

Danke, genau das hatte ich befürchtet.

 

Genau dieses Feature hatte mich vor einem Dutzend Jahren auf Unraid aufmerksam gemacht und ist für mich auch heute noch das Schlüsselelement von Unraid.

 

[hawihoney]

On 11/8/2021 at 9:13 PM, ich777 said:

Nein, das ist nicht möglich.

 

Muss noch mal nachsetzen: Gibt es denn wenigstens einen ZFS Modus, bei dem nur die aktive Platte aufgeweckt bleibt während die anderen schlafen? Oder unterstützt ZFS nur Mirror bzw. Striping Modi - also immer alle Platten aktiv?

 

Warum ich nachfrage? Mir erschließt sich einfach nicht warum ZFS hier - gerade unter Unraid - so nachgefragt wird. Abgesehen von Snapshots und Selbstheilung hat ZFS IMHO gegenüber dem Unraid Array nur Nachteile. Mit der besseren Performance steigt der Stromverbrauch nicht unerheblich. Na ja und die Selbstheilung; Nach 14 Jahren Unraid Server im 24/7/365 Betrieb und ein paar hundert Festplatten ist hier noch kein Bit umgefallen ... 

 

Verzeiht mir das Nachhaken. Ich versuche zu ergründen ob ich vielleicht etwas übersehe.

 

Edited April 4, 2022 by hawihoney

[Ford Prefect]

51 minutes ago, hawihoney said:

Muss noch mal nachsetzen: Gibt es denn wenigstens einen ZFS Modus, bei dem nur die aktive Platte aufgeweckt bleibt während die anderen schlafen?

Nein, gibt es wirklich nicht.

 

51 minutes ago, hawihoney said:

Oder unterstützt ZFS nur Mirror bzw. Striping Modi - also immer alle Platten aktiv?

Ja, es gibt keinen "hybriden" Modus. Alle Disks im Pool müssen immer gleichen Status haben.

 

51 minutes ago, hawihoney said:

Warum ich nachfrage? Mir erschließt sich einfach nicht warum ZFS hier - gerade unter Unraid - so nachgefragt wird.

Weil ZFS ausgereift und wirklich  Enterprise Level ist...BTRFS ist schon loooo lange beta...

 

51 minutes ago, hawihoney said:

Abgesehen von Snapshots und Selbstheilung hat ZFS IMHO gegenüber dem Unraid Array nur Nachteile.

...man kann nicht alles haben.

Snapshots wären schon Dinge, die man in unRaid gfut gebrauchen könnte.

 

51 minutes ago, hawihoney said:

Mit der besseren Performance steigt der Stromverbrauch nicht unerheblich.

In einem klassischen Unraid Pool ist es aber auch so...

Man muss also abwägen, bzw. die eierlegende Wollmilchsau gibt es nicht. ZFS ist IMHO für den Pool, nicht fürs Array gedacht.

Nicht vergessen, auch bei BTRFS im Array ist das kein BTRFS Raid...jede Disk ist einzeln formatiert...kein wirklicher Vorteil des COW Dateisystems, egal ob ZFS oder BTRFS fürs Array.

 

51 minutes ago, hawihoney said:

Na ja und die Selbstheilung; Nach 14 Jahren Unraid Server im 24/7/365 Betrieb und ein paar hundert Festplatten ist hier noch kein Bit umgefallen ... 

...keines von dem Du weisst.

[ich777]

5 hours ago, Ford Prefect said:

Weil ZFS ausgereift und wirklich  Enterprise Level ist...

Aber bitte unterschätze auch nie den level an „liebe“ den ZFS braucht, es ist micht immer einfach alles im Einklang zu halten wenn der Server mal abstürzt bzw Scrubs nicht regelmäßig durchgeführt werden, das übersehen viele auch.

ZFS ist nicht immer Plug‘n‘Play… zumindest nicht ihne Wartung.

 

6 hours ago, hawihoney said:

Mir erschließt sich einfach nicht warum ZFS hier

Ganz einfach, wegen den Snapshots, Self healing usw…

 

Ich verwende es beispielsweise für meine Docker, appdata, VMs usw. im Morrior mode da die Festplatten nocht ganz so schnell verschlissen werden wie bei BTRFS.

 

5 hours ago, Ford Prefect said:

keines von dem Du weisst.

Genau, ein paar bits bei Mediendateien fallen nicht wirklich auf, es gibt aber auch ein Plugin mit dem Checksummen gebildet werden können vom Array und dann in Intervallen überprüft werden kann wenn ich mich nicht irre.

 

Merke: ZFS ist auch nicht immer für jeden was, im Array würd ich das auch nicht benutzen, als Cache ja okay…

[Revan335]

1 hour ago, ich777 said:

es gibt aber auch ein Plugin mit dem Checksummen gebildet werden können vom Array und dann in Intervallen überprüft werden kann wenn ich mich nicht irre.

Welches meinst du und war das nicht deprecated/eingestellt worden? Hatte in nem anderen Thread mal davon gelesen, dass dies bei einem der Fall war.

[ich777]

8 minutes ago, Revan335 said:

Welches meinst du und war das nicht deprecated/eingestellt worden? Hatte in nem anderen Thread mal davon gelesen, dass dies bei einem der Fall war.

Mach mich nicht fertig...

 

Diese hier:

[Revan335]

44 minutes ago, ich777 said:

Diese hier:

Genau das war es. Irgendwas war damit und einer hat es dann mit cmd/exe Dateien unter Win gemacht.

 

Vielleicht war es auch einfach zu spät und ich hab es falsch gelesen/verstanden.

 

Werde es mal testen, Danke!

[hawihoney]

7 hours ago, Ford Prefect said:

keines von dem Du weisst.

 

2 hours ago, ich777 said:

Genau, ein paar bits bei Mediendateien fallen nicht wirklich auf, es gibt aber auch ein Plugin mit dem Checksummen gebildet werden können vom Array und dann in Intervallen überprüft werden kann wenn ich mich nicht irre.

 

Hmm, da muss ich nachhaken: Würde ein umgefallenes Bit nicht bei einem Parity Check auffallen? Bei einem Parity Check werden doch alle Platten gelesen und deren Inhalte verglichen. Was ich allerdings nicht weiß, bringt Unraid eine Differenz zur Kenntnis oder wird die Parity still und heimlich korrigiert. Wenn dem so wäre, wäre das natürlich richtig/falsch ;_) Richtig wäre: Daten-Platten haben immer Vorrang, Falsch wäre: Stille Korrekturen.

 

 

2 hours ago, ich777 said:

ZFS ist auch nicht immer für jeden was, im Array würd ich das auch nicht benutzen, als Cache ja okay

 

Ja, das war auch mein Fazit und der Grund warum ich nachfragte. Nach allem was ich den letzten Tagen gelesen hatte, würde ich ZFS unter Unraid maximal für Pools bestehend aus 4 Platten (quasi RAID-10) einsetzen.

 

Danke Euch.

 

[ich777]

13 minutes ago, hawihoney said:

Würde ein umgefallenes Bit nicht bei einem Parity Check auffallen?

Jein, es gibt immer wieder Konstellationen bei dem sowas möglich ist und evtl. dem Parity Check nicht auffällt ist aber auch verschwindend gering.

Viel mehr ist ein Fehler im RAM oder andere Sachen wie Dateisystemfehler usw. Schuld an Fehlerhaften Dateien, hat aber jetzt nichts mit Bit Riot zu then.

Wie gesagt bei Mediendateien (Videos) fällt ein geswitchtes bit nicht wirklich auf wenn es nicht gerade den Header der Datei betrifft.

 

Grundsätzlich empfehlen hier viele im Forum einen Monatlichen Parity Check was meines erachtens ein wenig übertrieben ist (Ich bin der Meinung Quartalsmäßig, also alle 3 Monate sollte genügen).

 

13 minutes ago, hawihoney said:

Nach allem was ich den letzten Tagen gelesen hatte, würde ich ZFS unter Unraid maximal für Pools bestehend aus 4 Platten (quasi RAID-10) einsetzen.

Wie gesagt, viele unterschätzen auch den Wartungsaufwand den ZFS mit sich bringt und eine vernünftige GUI für alles was ZFS kann gibt es meines Wissens bis dato nicht.

 

Hab jetzt nur einen Mirror Pool laufen wie schon oben geschrieben sprich RAID-1 und das genügt vollkommen für mich und würde praktisch meinen BTRFS Pool ersetzen.

 

Btw Hab mir mal alles durchgesehen was mein Server da so alles kompiliert für das ZFS Plugin und es ist unglaublich wie viele Management/Health/Monitoring Binaries mitkompiliert werden...

 

 

@mgutt ich weiß du bist ja generell ein Fan von ZFS was hältst du von der ganzen Thematik? Ich persönlich seh mir im Array keine Vorteile jedoch im Cache Pool schon.

[Ford Prefect]

56 minutes ago, hawihoney said:

Hmm, da muss ich nachhaken: Würde ein umgefallenes Bit nicht bei einem Parity Check auffallen? Bei einem Parity Check werden doch alle Platten gelesen und deren Inhalte verglichen. Was ich allerdings nicht weiß, bringt Unraid eine Differenz zur Kenntnis oder wird die Parity still und heimlich korrigiert. Wenn dem so wäre, wäre das natürlich richtig/falsch ;_) Richtig wäre: Daten-Platten haben immer Vorrang, Falsch wäre: Stille Korrekturen.

Hierbei ging es ja Thematisch vor allem um Backups.

In Deinem besonderen Setup aus "gestapelten" unraid-Servern  sollte die Parity das erkennen...zumindest mit hoher Wahrscheinlichkeit.

Aber nur erkennen, also ist es dann schon zu spät, weil Du typischerweise im Parity-Check ja den Haken setzt "write Corrections to Disk" (Bitfehler können auf der Daten und/oder der/den Parity-Disk(s) passieren).

Bei dezentral gelagerten Baclups, ohne Prüfsummen...zB HDD im - nicht neutrino-gesicherten - Bankschliessfach, wird es einfach mal passieren.

[hawihoney]

43 minutes ago, Ford Prefect said:

write Corrections to Disk

 

jau, den hatte ich vergessen. Ein Grund mehr "nicht korrigierende" Parity Checks zu verwenden und nur im Falle einer Differenz das korrigieren zu lassen. Dann weiß ich aber immer noch nicht was die Differenz tatsächlich auslöste.

 

Ich denke ich werde das im Global Forum mal nachfragen - wenn nicht schon von anderen geschehen. Würde mich interessieren ob Unraid im Falle einer Differenz eine Notiz in der syslog hinterlässt.

 

[hawihoney]

46 minutes ago, Ford Prefect said:

In Deinem besonderen Setup aus "gestapelten" unraid-Servern  sollte die Parity das erkennen

 

Das hat aber nichts mit meinem Setup zu tun. Das sind eigentlich nur drei voneinander unabhängige Unraid Server - ein Barebone und zwei virtualisierte Unraid Instanzen - die, und ich muss es betonen, absolut problemlos seit Jahren laufen. Nur so als Hinweis zur Qualität von Unraid selbst und dessen Virtualisierungs-Möglichkeiten.

 

Jeder der drei Server funktioniert halt so gut oder schlecht wie das Produkt.

 

[ich777]

1 minute ago, hawihoney said:

Ich denke ich werde das im Global Forum mal nachfragen - wenn nicht schon von anderen geschehen. Würde mich interessieren ob Unraid im Falle einer Differenz eine Notiz in der syslog hinterlässt.

Du siehst zumindest bei "History" ob Fehler korrigiert wurden, welche zwar nicht aber eben ob welche waren und sie korrigiert wurden, damit weißt du aber auch nicht ob der Fehler von der Parity oder von den Platten kommt, es könnte nämlich beides möglich sein und genau das ist unter umständne das Problem, entweder hat deine Parity oder die Daten Disk einen Bit Riot.

 

Wenn der Haken drin ist das die Fehler korrigiert werden, werden die Änderungen auf die Parity Platte(n) geschrieben.

 

Eben genau dafür ist das Dynamix File Integrity Plugin da, das rechnet eine Checksumme für jede Datei aus (wirklich jede) und ist unter Umständen auch im stande diese Datei zu reparieren wenn du eine Fehlerhafte hast.

[ich777]

2 hours ago, Revan335 said:

Genau das war es. Irgendwas war damit und einer hat es dann mit cmd/exe Dateien unter Win gemacht.

Das rechnet doch nur eine Checksumme aus das Plugin...

Hatte bis jetzt noch nie Probleme.

[Ford Prefect]

13 minutes ago, hawihoney said:

Das hat aber nichts mit meinem Setup zu tun. Das sind eigentlich nur drei voneinander unabhängige Unraid Server - ein Barebone und zwei virtualisierte Unraid Instanzen

...ich hatte einfach vermutet, das Du die Backups des Einen auf dem Array des Anderen aufbewahrst und damit eben auch die Backups beim Parity-Check mal "angesprungen" werden.

[DataCollector]

4 hours ago, ich777 said:

Genau, ein paar bits bei Mediendateien fallen nicht wirklich auf,

Korrekt. Selbst in simplen Officedateien fällt es nicht wirklich auf.

Deshalb fertige ich von den mir wichtigen Dateien parallel Checksummen an.

4 hours ago, ich777 said:

es gibt aber auch ein Plugin mit dem Checksummen gebildet werden können vom Array und dann in Intervallen überprüft werden kann wenn ich mich nicht irre.

ich hatte meine Hoffnung auf   Dynamix File Integrity   gesetzt, doch seit längerer Zeit werden Fragen und Probleme im Supportbereich nicht mehr behandelt.

Ich befürchte   bonienl   hat es aufgegeben und den Umstand nicht mal mitgeteilt.

Deshalb suche ich auch eine solche Lösung. Bis dahin werde ich weiter mit meiner manuellen Erzeugung und Checkläufen auf crc32 und MD5 Basis weiter machen müssen (und da ich mich mit Linux/Scripten nicht auskenne, wohl erstmal weiter auf Windows/Batch Basis.

[DataCollector]

2 hours ago, Revan335 said:

Genau das war es. Irgendwas war damit und einer hat es dann mit cmd/exe Dateien unter Win gemacht.

Vielleicht war es auch einfach zu spät und ich hab es falsch gelesen/verstanden.

Werde es mal testen, Danke!

Nein, das hast Du richtig gelesen.

Schau einfach mal in den Support des Tools und schau Dir mal die letzten Kommentare an.

Einige Leute haben Probleme gemeldet (ich auch) und bisher anscheinend nichts gehört.

[ich777]

17 minutes ago, DataCollector said:

ich hatte meine Hoffnung auf   Dynamix File Integrity   gesetzt, doch seit längerer Zeit werden Fragen und Probleme im Supportbereich nicht mehr behandelt.

Welche Probleme, auf meinem Server funktioniert das Plugin einwandfrei.

Ich verfolge das ganze zu wenig im Support Thread, ich kann ihn gerne mal Fragen bei Gelegenheit...

 

EDIT: Das Plugin wurde doch "erst" am 21.08.2022 zum letzten mal geändert, also ist es noch nicht EOL aus meiner Sicht.

 

15 minutes ago, DataCollector said:

Einige Leute haben Probleme gemeldet (ich auch) und bisher anscheinend nichts gehört.

Was passiert genau?

[DataCollector]

2 hours ago, hawihoney said:

Hmm, da muss ich nachhaken: Würde ein umgefallenes Bit nicht bei einem Parity Check auffallen? Bei einem Parity Check werden doch alle Platten gelesen und deren Inhalte verglichen. Was ich allerdings nicht weiß, bringt Unraid eine Differenz zur Kenntnis oder wird die Parity still und heimlich korrigiert. Wenn dem so wäre, wäre das natürlich richtig/falsch ;_) Richtig wäre: Daten-Platten haben immer Vorrang, Falsch wäre: Stille Korrekturen.

Tja, wieviele Paritydiks nutzt Du?

Wenn man beispielsweite zu x Datendisk nur eine Paritydisk nutzt und urnaid unterschiedliche Informationen erkennt, kann ein Problem aufgezeigt werden, aber was nun richtig ist, kann unraid nicht wissen, solange die betreffende Festplatte nicht zusätzlich meldet, daß dort ein Defekt vorliegt.

 

Bei 2 Parityplatten kann unraid zumindest davon ausgehen, daß die Mehrheit der 3 betreffenden Platten (1 Datenplatte +2 Parityplatten) noch korrekt ist und ein Fehler nur auf einer Platte aufgetreten ist.

Man kann nur hoffen, daß sich an der entsprechenden Stelle nicht noch ein weiteres Problem eingeschlichen hat.

 

Ich weiß, daß es unwahrscheinlich ist, daß 2 Platten zeitnah an der zusammengehörenden Stelle zeitnah Probleme haben, aber auch gekippte Bits sind eien sehr geringe Wahrscheinlichkeit, aber es kommt bei steigender Anzahl der Daten die Wahrscheinlichkeit an, daß es bei einem auftritt.

 

Aktuell habe ich bei einer Festplatte in einem Raid6 (unter Windows) einen Schaden. Ich bin froh, daß der Ausfall von bis zu 2 Disks kompensiert werden kann und ich Backups habe.

 

[mgutt]

2 hours ago, ich777 said:

@mgutt ich weiß du bist ja generell ein Fan von ZFS was hältst du von der ganzen Thematik? Ich persönlich seh mir im Array keine Vorteile jedoch im Cache Pool schon.

Im Array bringt das Null. Nur zusätzliche Last. Also klar, wenn macht das nur im Pool Sinn.

 

Das Unraid Array braucht meiner Ansicht nach dateibasierte Paritäten wie bei Snapraid. Das würde massig Dinge lösen:

- Performance wäre viel besser, weil man asynchron ganze Dateien und nicht nur Blöcke schreibt

- normale Partition = SSD TRIM und Garbage Collection funktionieren

- dank Checksummen könnte Self-Healing von Dateien umgesetzt werden

- Parität muss nicht mehr das größte Laufwerk sein, sondern hängt von der Speicherplatzbelegung der Array Disks ab (dann könnte man eine Enterprise SSD mit 7.68TB als Parität mit 8TB Consumer SSDs kombinieren)

[guybrush2012]

Auch ich bin ein großer fan von ZFS. Sieht man sich die Raid5/Raid6 Problematik bei Btrfs an und wie lange es schon keine Lösung dafür gibt, könnte man anmuten das es ein Fehler ist, der nicht gefixt werden kann.

ZFS macht mit SSDs und Nvme's sowas von sinn.

Da spielt das schlafen gehen wie bei Platten keine Rolle.

Unraid müsste entweder ZFS unterstützen oder endlich mehrere Arrays fahren können.
Ich kann nicht nachvollziehen weshalb weder das eine noch das andere möglich ist.

 

Wegen dem ganzen, hab ich die letzten Tage etwas herum experimentiert und beabsichtige Unraid als VM in Proxmox umzustellen.
Was ich testen konnte klappt super und der Server wäre die Eierlegende Wollmilchsau 🙂

[ich777]

27 minutes ago, guybrush2012 said:

Unraid müsste entweder ZFS unterstützen oder endlich mehrere Arrays fahren können.

Kommt doch beides...

 

27 minutes ago, guybrush2012 said:

Ich kann nicht nachvollziehen weshalb weder das eine noch das andere möglich ist.

Wer sagt das?

[DataCollector]

1 hour ago, ich777 said:

Welche Probleme, auf meinem Server funktioniert das Plugin einwandfrei.

Verschiedenste von unterschiedlichen Schreibern..

 

Mein Problem betraf eine nicht korrekte Anzeige. Und ein Prüftool, bei dem man seiner Anzeige nicht vertrauen kann.... naja, wo soll man denn dann sehen ob etwas schief läuft?

 

 

1 hour ago, ich777 said:

Ich verfolge das ganze zu wenig im Support Thread, ich kann ihn gerne mal Fragen bei Gelegenheit...

Einfach in dem Support Bereich (aktuell 42 Pages lang) nach hinten springen und malk schauen, wie lange sich da schon keine Reaktion/Antwort auf die diversen Fragen und Probleme mehr ergeben hat.