Empfehlungen zur aktuellen Konfiguration Array/Pool HDDs/SSDs

[wassereimer]

Moin,

 

ich habe seit längerer Zeit folgende Konfiguration:

 

Im HDD Array werden Daten (wenig Veränderung/Zugriffe) und Backups gespeichert. Im SSD Mirror Pool laufen 19 Docker Container. Ich überlege den Pool aufzulösen, eine SSD ins Array einzubinden und eine SSD als Cache zu verwenden. Die Shares kann ich ja den HDDs zuordnen und die Docker Container auf der SSD laufen lassen.

 

Was habt ihr dazu für Gedanken? Kann ich erkennen, ob es zu viel Schreibaktivität auf den SSDs gibt, um das im Pool mit der HDD Parity laufen zu lassen? Habt ihr Vorschläge zur Optimierung?

 

Viele Grüße

[jj1987]

Und was erhoffst du dir davon?

Und bedenke, die SSD im Array wird beim schreiben auf 50-60mbyte/s eingebremst. Du sagst zwar wenig Schreibaktivität, aber das ist gerade mal die Hälfte dessen, was das normale Heimnetzwerk (1Gbit) schafft.

[wassereimer]

Ein guter Hinweis mit der Schreibgeschwindigkeit, danke. Das hatte ich noch nicht auf dem Plan. Aber klar, schneller als das langsamste Gerät, die Parity HDDs, geht es nicht. Wobei ich grundsätzlich denke, dass das für mich nicht relevant ist.

 

Ich weiß nicht warum, aber ich mag den Pool nicht. Und ich mag den Gedanken, dass die SSD Daten noch besser abgesichert sind. Ein Cache wäre auch ganz cool zur Beschleunigung; aber ich habe kein Platz mehr dafür. Zudem gibt die aktuelle Lizenz nur 6 Geräte her; würde also auch Geld sparen, die nicht erweitern zu müssen.

[Ford Prefect]

24 minutes ago, wassereimer said:

Ich weiß nicht warum, aber ich mag den Pool nicht. Und ich mag den Gedanken, dass die SSD Daten noch besser abgesichert sind.

Du hast im Moment 2x Parity (mehr geht im Array nicht) und 2x Daten im Array. Der Cache-Pool ist ein zfs mirror, also auch komplett redundant

Nimmst Du eine SSD ins Array hast Du 3x Daten - damit ist die Redundanz im Array geringer als vorher...mit dann nur einer SSD im Cache verlierst Du auch da Performance und Redundanz

Edit: Du kannst auch diesen Pool simultan als als Cache nutzen.

 

24 minutes ago, wassereimer said:

Zudem gibt die aktuelle Lizenz nur 6 Geräte her; würde also auch Geld sparen, die nicht erweitern zu müssen.

...einfach grössere Disks nehmen...SSDs gibt es auch in 4TB zu inzwischen annehmbaren Preisen...HDDs mit 20+TB sind auch verfügbar.

Edited December 2, 2023 by Ford Prefect

[wassereimer]

Danke für eure Meinungen dazu. Dann werde ich das so lassen, wie es ist.

 

Noch eine kurze Frage zur Parity: Bei zwei Parity-Platten mit x Daten-Platten können zwei Platten ausfallen, ohne dass man Daten verliert, richtig? Kann auch eine Parity- und eine Daten-Platte ausfallen?

[DataCollector]

26 minutes ago, wassereimer said:

Bei zwei Parity-Platten mit x Daten-Platten können zwei Platten ausfallen, ohne dass man Daten verliert, richtig?

 

ja

 

26 minutes ago, wassereimer said:

Kann auch eine Parity- und eine Daten-Platte ausfallen?

 

ja

[Ford Prefect]

1 hour ago, wassereimer said:

Noch eine kurze Frage zur Parity: Bei zwei Parity-Platten mit x Daten-Platten können zwei Platten ausfallen, ohne dass man Daten verliert, richtig? Kann auch eine Parity- und eine Daten-Platte ausfallen?

Parity schützt die Daten...Parity selbst enthält keine Daten in dem Sinne von Nutz-Daten.

Gemeint ist also immer, wie viele Daten-Platten ausfallen können, bevor man Daten verliert. Fällt eine Parity aus, sinkt nur die Redundanz/der Schutz-Level...Daten verliert man dadurch (noch) nicht. Erst wenn mehr Daten-Platten ausfallen als Parity-Platten vorhanden sind verliert man Daten.

Hinweis: aber eben nur diese "überzählige(n)" Daten-Platte(n) / deren Daten...die verbleibenden Daten-Disks sind in sich noch intakt und anders als in einem normalen Raid verliert man dann nicht alle Daten.

Edit: Hinweis 2: git nur für das Array, nicht für einen pool.

Edited December 3, 2023 by Ford Prefect

[jj1987]

55 minutes ago, Ford Prefect said:

Gemeint ist also immer, wie viele Daten-Platten ausfallen können,

Sicher? Ich hatte das bisher auch so verstanden, dass wenn bei Dual Parity eine Parity ausfällt auch nur noch maximal eine Daten Disk ausfallen "darf".

Ist bei Singe Parity ja schlussendlich auch so, fällt die Parity aus, darf keine Daten Disk gleichzeitig ausfallen.

[alturismo]

42 minutes ago, jj1987 said:

Sicher? Ich hatte das bisher auch so verstanden, dass wenn bei Dual Parity eine Parity ausfällt auch nur noch maximal eine Daten Disk ausfallen "darf".

 

ist ja auch so ... und hat @Ford Prefect auch bestätigt ... "sinkt die Redundanz" ...

 

ist 1 Parity weg, darf noch 1 Daten ausfallen ...

[hawihoney]

33 minutes ago, alturismo said:

ist 1 Parity weg, darf noch 1 Daten ausfallen

 

Hmm, das würde mein Unraid-Array Weltbild zerstören.

 

Mein Verständnis bisher:

 

Im Unraid-Array dürfen soviele Platten (egal ob Parity oder Daten) ausfallen wie Parityplatten vorhanden sind. Erst mit einer weiteren ausfallenden Platte beginnt dann der Datenverlust.

 

Sollte ich damit all die Jahre falsch gelegen haben? Am Beispiel Dual-Parity im Unraid-Array:

 

1. Fällt eine Parity aus passiert nix

2. Fallen beide Parity aus passiert nix

3. Fällt eine Daten aus passiert nix

4. Fallen zwei Daten aus passiert nix

5. Fällt eine Parity und eine Daten aus passiert nix

6. Bei jeder weiteren Konstellation beginnt Datenverlust.

 

 

[wassereimer]

 

53 minutes ago, alturismo said:

ist 1 Parity weg, darf noch 1 Daten ausfallen ...

 

3 minutes ago, hawihoney said:

5. Fällt eine Parity und eine Daten aus passiert nix

 

Ist das nicht genau der genannte Fall?  

[alturismo]

Genau ...

Gesendet von meinem SM-S911B mit Tapatalk

[hawihoney]

2 hours ago, wassereimer said:

Ist das nicht genau der genannte Fall?

 

Nee, es kann auch statt einer weiteren Daten die zweite Parity ausfallen. So jedenfalls mein Verständnis von Dual Parity und genau darum geht es ja in diesem Thread. Oben wurde sehr oft nur der Ausfall von Daten-Platten als ok genannt. Ich ziele darauf ab, dass es egal ist welche Platte ausfällt.

 

Quote

ist 1 Parity weg, darf noch 1 Daten ausfallen

 

Darum ging es mir. Das ist IMHO missverständlich. Ist eine Parity weg, darf auch noch die zweite Parity ausfallen oder eine Datenplatte..

 

Allerdings frage ich mich gerade was passiert wenn nur noch zwei Parity-Platten in einem 4-Drive Array übrig bleiben. Ich denke das müsste auch gehen - würde aber nicht Haus und Hof darauf verwetten.

 

Edited December 3, 2023 by hawihoney

[eLpresidente]

34 minutes ago, hawihoney said:

Allerdings frage ich mich gerade was passiert wenn nur noch zwei Parity-Platten in einem 4-Drive Array übrig bleiben. Ich denke das müsste auch gehen - würde aber nicht Haus und Hof darauf verwetten.

 

Ehmm okey.. wenn das tatsächlich so ist.. bringt mit ja dann eine doppeltparity bei nur 2 Datenplatten rein garnichts oder? wenns dumm läuft und beide Datenplatten kaputt gehen, dann wars das ja.. 

ich dachte bis dato auch, das halt bei 2x Parity auch 2 Platten gleichzeitig kaputt gehen können, egal welche ..

 

Wer kann das jetzt zu 100% sagen? weil wenn die 2 Datenplatten nicht ausfallen dürfen, dann brauch ich auch keine 2x Parity oder sehe ich das jetzt falsch? 

 

Dann würde ja die 2te Parity nur die erste Parity schützen und nicht die Datenplatte.. gut mann könnte folgenden Fall absichern, 

 

Parity geht kaputt, ich mach ne neue rein, bei der Wiederherstellung geht eine Datenplatte auch noch hops.. dafür würde ja parity 2 einspringen. 

Edited December 3, 2023 by eLpresidente

[hawihoney]

1 hour ago, eLpresidente said:

wenns dumm läuft und beide Datenplatten kaputt gehen, dann wars das ja.. 

 

Ich gehe eigentlich davon aus, dass es egal ist welche Platte ausfällt. Habe aber im Moment keine Quelle. Im Unraid Manual wird immer vom Ausfall von Datenplatten geredet - deshalb wahrscheinlich die Unsicherheit. P und Q werden unterschiedlich kalkuliert damit genau das abgefedert wird. Ich finde das aber nicht mehr. 

 

[alturismo]

4 hours ago, hawihoney said:

Ich gehe eigentlich davon aus, dass es egal ist welche Platte ausfällt.

so sieht es auch aus, da wie wie du auch richtig anmerkst, wenn eine Parity kaputt geht erstmal keine Daten betroffen sind ...

 

also, bei 2 x Parity setup kann entweder

 

2 x Parity ausfallen (Daten ALLE noch da, NUR der Schutz ist weg)

2 x Daten ausfallen (Daten werden emuliert von 2 x Daten HDD)

1 x Parity + 1 x Daten ausfallen (Reihenfolge egal .... Daten von 1 x HDD werden emuliert, der defekten ... DATEN HDD)

 

sprich, dein Weltbild stimmt ...

 

6 hours ago, hawihoney said:

Darum ging es mir. Das ist IMHO missverständlich. Ist eine Parity weg, darf auch noch die zweite Parity ausfallen oder eine Datenplatte..

 

ja, und mein Kommentar bezog sich darauf (wie bei Ford ...) was ist wenn bereits 1 x Parity ausgefallen ist ...

und das auf der Parity ja effektiv keine Daten liegen ... (jetzt bitte nicht über 1 + 1 setup diskutieren, das = Raid1)

 

sonst wäre 2 x Parity ja obsolet ...

[hawihoney]

4 hours ago, alturismo said:

mein Kommentar bezog sich darauf (wie bei Ford ...) was ist wenn bereits 1 x Parity ausgefallen ist

 

Quote

ist 1 Parity weg, darf noch 1 Daten ausfallen

 

Ich weiß ich bin pingelig: Du schreibst für diesen Fall, dass noch eine Daten ausfallen darf. Und ich habe ergänzt, daß statt einer Daten die zweite Parity ausfallen darf.

 

Um mehr geht es nicht.

 

[alturismo]

und ich bin jetzt raus aus der Diskussion