Neuling braucht Rat zweckt Dateisystem und Strukturierung

[udolsk]

Herzliches "Hallo" in die Runde!

Ich habe jetzt 3 Wochen Unraid getestet und ich bin total begeistert davon. Allerdings stehe ich jetzt vor der Entscheidung, wie ich meinen Server aufbauen soll. Hauptsächlich geht es mir um das Dateisystem, welches zu meinen Usecase passt.

Das Array wir aus zwei Parity und vorerst aus vier Datenplatten bestehen. Ich werde einen Share für Ligtroom anlegen, auf dem mein komplettes Bildarchiv liegen wird, inklusive der Katalogdatei (bin Hobbyfotograf). Auf einen zweiten Share wird das tägliche Backup von einer Synology abgelegt. Auf Docker, der auf einen Cache von zwei SSD's läuft, wird Pihole laufen, evtl. mal Telegraf, Influx und Grafana. Und wenn das mal alles läuft, mache ich mir mal Gedanken über Plex.

Und jetzt eben die Frage zwecks Dateisystem. Macht es in meinem Usecase überhaut Sinn mit ZFS was anzufangen, oder einfach das Array in XFS und den Cache in Btrfs aufsetzen?

Ich wäre euch um jede Meinung und Hilfe sehr Dankbar!

LG

[DataCollector]

41 minutes ago, udolsk said:

Das Array wir aus zwei Parity und vorerst aus vier Datenplatten bestehen.

Im Array nutze ich xfs(enc) auf dem Datenfestplatten. Parity hat kein Dateisystem, da werden die Sektoren direkt benutzt.

 

41 minutes ago, udolsk said:

Ich werde einen Share für Ligtroom anlegen, auf dem mein komplettes Bildarchiv liegen wird, inklusive der Katalogdatei (bin Hobbyfotograf).

Was Du auf dem Archiv ablegst ist ziemlich egal.

Beachte aber, daß das Array sehr langsam ist und man mindestens die Katalogdateien vielleicht besser auf einer SSD ablegen möchte.

 

41 minutes ago, udolsk said:

Auf einen zweiten Share wird das tägliche Backup von einer Synology abgelegt.

Wenn es von der Größe her machbar ist, wurde auch da ein SSD als Cache stark beschleunigen.

 

41 minutes ago, udolsk said:

Auf Docker, der auf einen Cache von zwei SSD's läuft, wird Pihole laufen, evtl. mal Telegraf, Influx und Grafana.

Ich verstehe den Satz nicht ganz. Ich beziehe mich mal auf unraid mit zfs  Support:

Wenn der Cache nur aus einem Datenträger/SSD besteht sind xfs oder zfs anzuraten, btrfs ist auch möglich, aber nicht jede Person ist von btrfs begeistert.

Wenn der Cache aus zwei oder meher Datenträger/SSD besteht fällt xfs flach, dann sind zfs und btrfs möglich. Ich habe vor kurzem diese Kombinationen bei mir auf zfs(enc) umgestellt.

 

41 minutes ago, udolsk said:

Und jetzt eben die Frage zwecks Dateisystem. Macht es in meinem Usecase überhaut Sinn mit ZFS was anzufangen, oder einfach das Array in XFS und den Cache in Btrfs aufsetzen?

Array xfs und wenn Du den Cache zfs (wenn cache aus mehr als 1 datenträger besteht).

Aber nichts davon befreit Dich davon (un)regelmäßig Backups der Dir wichtigen Daten anzulegen.

[udolsk]

48 minutes ago, DataCollector said:

Wenn der Cache aus zwei oder meher Datenträger/SSD besteht fällt xfs flach, dann sind zfs und btrfs möglich. Ich habe vor kurzem diese Kombinationen bei mir auf zfs(enc) umgestellt.

Ja genau so habe ich das gemeint. Mein Cache Pool wir aus zwei SSD's bestehen um da auch Redundanz zu haben.

 

49 minutes ago, DataCollector said:

Array xfs und wenn Du den Cache zfs (wenn cache aus mehr als 1 datenträger besteht).

Aber nichts davon befreit Dich davon (un)regelmäßig Backups der Dir wichtigen Daten anzulegen.

Das ist mir bewusst. Und da stellt sich mir die nächste Frage...Ich möchte natürlich ein Backup meiner wichtigen Daten sowohl auf dem Array, als auch auf dem Cache Pool erstellen und extern weg sichern. Wahrscheinlich in einen Cloud Storage. Wie mache ich das am besten, bzw. mit welchem Tool arbeitet man da am besten?

 

53 minutes ago, DataCollector said:

Im Array nutze ich xfs(enc) auf dem Datenfestplatten.

Also hat im Array ZFS als single Disk keine Vorteile gegenüber XFS?

[Ford Prefect]

12 minutes ago, udolsk said:

Also hat im Array ZFS als single Disk keine Vorteile gegenüber XFS?

Es gibt bei nur einer Disk in einem zfs-pool kein self-healing..aber Du kannst eben andere Features von zfs nutzen, we zB snapshots oder zfs-send.

[DataCollector]

28 minutes ago, udolsk said:

Ja genau so habe ich das gemeint. Mein Cache Pool wir aus zwei SSD's bestehen um da auch Redundanz zu haben.

Damit benutzt Du den Cache als Raid1. Btrfs und zfs ermöglichen das (auch wenn es bei zfs wohl nicht raid1 heisst).

Bei btrfs mit raid1 habe ich nich nicht so viel von Ausfällen gelesen, wie man es dem Raid5/6 Betrieb zuschreibt. Ich hatte einige Zeit sogar Raid5 mit 4SSD als btrfs und keien probleme, aber las eben immer wider von Leuten mit Problemen oder dass sie selber lieber kein btrfs anweden. Deshalb habe ich bei multi-Datenträger Pools auf zfs (enc) gewechselt.

Natürlich sind die zfs Erfahrungen unter unraid (so wie es aktuel in den rc nativ eingebaut ist) auch noch nicht sonderlich alt, aber ich habe Backups. Wenn wirklich etws schief geht, hält sich der Datenverlust in Grenzen.

 

28 minutes ago, udolsk said:

Das ist mir bewusst. Und da stellt sich mir die nächste Frage...Ich möchte natürlich ein Backup meiner wichtigen Daten sowohl auf dem Array, als auch auf dem Cache Pool erstellen und extern weg sichern. Wahrscheinlich in einen Cloud Storage. Wie mache ich das am besten, bzw. mit welchem Tool arbeitet man da am besten?

Ich sichere ab und zu manuell. Mir reicht das.

 

28 minutes ago, udolsk said:

Also hat im Array ZFS als single Disk keine Vorteile gegenüber XFS?

Ich sehe keine, die für mich wirklich relevant sind.

Einzig die Idee, daß unter zfs eine defekte Datei (angeblich) schneller gefunden werden kann ist nett, wenn man einem Paritycheckfehler nachjagt, aber das Thema ist noch nicht so ganz klar und es wäre schön, wenn dies auch in die paritycheckroutine mit einfließen würde. Bis dahin  brauche ich es aktuell wohl nicht.

 

[udolsk]

15 hours ago, DataCollector said:

ch sehe keine, die für mich wirklich relevant sind.

Einzig die Idee, daß unter zfs eine defekte Datei (angeblich) schneller gefunden werden kann ist nett, wenn man einem Paritycheckfehler nachjagt, aber das Thema ist noch nicht so ganz klar und es wäre schön, wenn dies auch in die paritycheckroutine mit einfließen würde. Bis dahin  brauche ich es aktuell wohl nicht.

Es wäre aber auch kein Nachteil wenn ich meine Disks im Array auf ZFS formatiere, oder? Außer natürlich dass mein RAM mehr in die Knie gehen wird. So müsste ich dann nicht mein Array platt machen und ein Backup einspielen, für den Fall dass irgendwann doch mehr Möglichkeiten mit ZFS implementiert werden.

[DataCollector]

1 hour ago, udolsk said:

Es wäre aber auch kein Nachteil wenn ich meine Disks im Array auf ZFS formatiere, oder?

Wie schon angedeutet ist zfs in dieser in unraid integrierten Form selber bisher noch in der Erprobung (deshalb auch in den RC).

Ich habe das Problem, daß sich meine zfs Pools nicht mehr (lange) schlafren legen. Alle ca. 5 Minuten wachen die wieder auf, wenn ich sie manuell in den Spindown schicke.

Mit BTRFS in den Pool hatte ich das bis dahin nicht.

Aber im Array benutze ich zfs nicht.

[udolsk]

55 minutes ago, DataCollector said:

Ich habe das Problem, daß sich meine zfs Pools nicht mehr (lange) schlafren legen. Alle ca. 5 Minuten wachen die wieder auf, wenn ich sie manuell in den Spindown schicke.

Ja das wäre natürlich echt blöd. Zumindest im Array sollten die Platten schon in den Spinn Down gehen und dort auch bleiben.

Einen ZFS Pool habe ich eigentlich nicht vor zu erstellen. 
Wie schon geschrieben…wichtig wäre mir eben ein Array in dem ich die Unabhängigkeit von verschieden großen Platten habe, ein Cache Pool der redundant durch Spiegelung ist, und die Möglichkeit meine wichtigen Daten automatisiert wegzusichern.

[Ford Prefect]

2 hours ago, udolsk said:

für den Fall dass irgendwann doch mehr Möglichkeiten mit ZFS implementiert werden.

...welche Möglichkeiten sollen das sein?

Es wird in v6.13 wohl die Trennung von Array und Pool aufgehoben. Dann könnte man (spekulativ) auch einen "normalen, echten" zfs-pool als Array (secondary storage) nehmen.

Dann müsstest Du aber trotzdem Dein Array auflösen (die bestehenden Disks formatieren), weil eine "in-place" Migration mit zfs auch nicht geht.

1 hour ago, DataCollector said:

Ich habe das Problem, daß sich meine zfs Pools nicht mehr (lange) schlafren legen. Alle ca. 5 Minuten wachen die wieder auf, wenn ich sie manuell in den Spindown schicke.

Mein ZFS-pool als unraid-pool schläft quasi ewig/normal.

[udolsk]

1 hour ago, Ford Prefect said:

Dann müsstest Du aber trotzdem Dein Array auflösen (die bestehenden Disks formatieren), weil eine "in-place" Migration mit zfs auch nicht geht.

Also ist es so zu sagen völlig wuppe wie ich starte. Auflösen und neu anlegen müsste ich auf jeden Fall. Natürlich vorausgesetzt dass ich die „theoretische“ Änderung nutzen möchte.

Mir geht es halt nur darum wie ich am besten für meinen Usecase starte, ohne danach gleich wieder alles „neu“ machen zu müssen.

[DataCollector]

4 hours ago, udolsk said:

Ja das wäre natürlich echt blöd. Zumindest im Array sollten die Platten schon in den Spinn Down gehen und dort auch bleiben.

Wie gesagt, habe ich das Problem. Ander eberichten, dass sie das Problem nicht haben.

Ich habe den Übeltäter noch nicht gefunden, obwohl ich die Apps auf ein (von mir benötigtes) Minimum reduziert habe.

Auch habe ich noch von keinem Anderen gelesen, der genau das Problem hat.

Ich bin nur so langsam ratlos.

 

Edit: nachdem ich das betreffende System von 6.12.0-rc4.1 auf nun rc6 upgedated habe scheint der zfs Festplattenpool endlich schlafend zu bleiben. (Zumindest bisher nun schon rund 20 Minuten)

Edited May 23, 2023 by DataCollector
zfs bleibt schlafend nach nun rc6 update