Beratung zu Datei-System und Disk-Verteilung erbeten

[madmin]

Nachdem mein CWWK J6413 im Jonsbo N3 build nun erstmal läuft, bräuchte ich etwas Orientierung zur Aufstellung der Festplatten.

 

Es geht um die Wahl einer sinnvoller Verteilung der Platten zwischen Array und Pools und dem passenden File System. Ich habe schon Einiges gelesen, habe aber das Gefühl, das ist ein Kaninchenbau, aus dem ich in Wochen noch nicht wieder rausgefundenb habe...

Fragen:
1) File System: Ich sehe hier gelegentlich erwähnt, dass XFS oder v.A. Btrfs systematisch Datenverluste haben (können). ZFS klang schon vor Unraid super, gerade das BitRot-Protect, und nun ist es ja auch hier verfügbar. Aber soweit ich verstehe, wäre ein Array mit Parity dann ja dann nur mit RAID umsetzbar -  und ich wollte nicht auf das RAID-Korsett gleich großer Platten angeweisen sein (Umständlich bei Upgrades, und ich habe auch etliche Platten unterschiedlicher Größe übrig - wenn auch einige davon schon 5 Jahre alt sind, aber man kann ja steuern, das kritische Daten eher auf den neuen Platten landen sollen).

 

2) Generell brauche ich aber auch nicht zwingend eine Parity für Verfügbarkeit - Dann bringt ZFS ja auch nicht so viele Vorteile? Oder bringt das auch bei einem Array ohne RAID / Parity mehr Zuverlässigkeit? Muss denn dann überhaupt ein Array existieren - oder kann ich auch nur mit Pools arbeiten? Vieles scheint ja in der GUI erst verfügbar, wenn ein Array gestartet ist.

 

3) Ich verstehe den Cache Pool so, dass man den als Primary beschreibt, und das dann auf ein Secondary wegschreiben lässt. Was wird denn im Cache wie lange zwischengespeichert? Nur die Files mit Änderungen für ein paar Sekunden/Minuten? Dann könnte ich da ja Alles drüber laufen lassen (Array, Backup-Pools, etc.). Oder ist der Cache dann quasi die einzige aktuelle Vollkopie des aktuellen Stands, der dann nur einmal am Tag weggeschrieben wird? Dann kann ich ja nur Verzeichnisse von insgesamt max. Cache-Größe darüber laufen lassen. Soweit ich verstehe, ist Parity spätestens im Cache-Pool auch eher Luxus?

 

4) Welche Lösung ist empfehlenswert (Unraid-Einsteiger mit begrenzten Linux-Kenntnissen) für

a) Sync der Arbeitsdaten vom Arbeitsrechner quasi in Echtzeit auf ein unkodiert lesbares Share (also nicht in die DB einer Nextcloud)? Oder macht man das am besten per SMB und Windows-Boardmitteln ("verfügbar machen" o.ä.)?

b) HDD zu HDD Daily Backup (rollierend inkrementell, oder noch besser ähnlich einer Time Machine mit den z.B. drei letzten Dateiversionen).

c) HDD zu Hotplug-HDD manuelles Offsite-Backup der selektiv wichtigsten Daten (rollierend inkrementell, oder bei den älteren Platten auch als voll-Backup alle paar Monate)

d) HDD zu externer Nextcloud (Ich habe eine 1 TB Hosted Nextcloud, mit der ich die nötigsten Daten täglich syncen könnte).

 

Ich habe öfter Lucky Backup als handhabungsfreundlich erwähnt gesehen.

 

 

[DataCollector]

7 hours ago, madmin said:

Es geht um die Wahl einer sinnvoller Verteilung der Platten zwischen Array und Pools und dem passenden File System.

 

Grundlegend und eigentlich nicht so falsch:

Alle Festplatten ins Array, alle SSDs in Pool(s).

Einzeldatenträger xfs (also auch die Datenfestplatten im Array).

Wenn man Datenträger zu einer größeren Kapazität bündeln will: zfs.

 

anstatt zfs kann man auf btrfs nehmen; hier ist aber des öfteren von Problemen bis zum Ausfall zu lesen. Deshalb bevorzugt zfs.

Alle Methoden schützen aber nicht ultimativ vor Datenverlust, deshalb sind externe Backups wichtig.

 

Das wars.

 

Sondernutzungen weichen davon ab, vor allem, wenn der Nutzer weiß, was er da tut.

 

7 hours ago, madmin said:

Fragen:
1) File System: Ich sehe hier gelegentlich erwähnt, dass XFS oder v.A. Btrfs systematisch Datenverluste haben (können).

 

Alles kann ausfallen, aber von vermehrten Problemen lese ich bei xfs nicht.

btrfs hingegen schon.

 

7 hours ago, madmin said:

ZFS klang schon vor Unraid super, gerade das BitRot-Protect, und nun ist es ja auch hier verfügbar.

 

Eigentlich wirkt der Schutz gegen Bitrot unter zfs nur, wenn man mehrere Datenträger geeignet kombiniert.

Das wäre das in einem (oder mehreren) Pool(s).

 

7 hours ago, madmin said:

Aber soweit ich verstehe, wäre ein Array mit Parity dann ja dann nur mit RAID umsetzbar

 

Ein Array in unraid hat kein raid. Egal ob mit oder ohne Partity. Bitrotschutz ist im Array nicht möglich. Punkt. 

Raidähnliches ist nur im Pool möglich.

 

7 hours ago, madmin said:

-  und ich wollte nicht auf das RAID-Korsett gleich großer Platten angeweisen sein (Umständlich bei Upgrades, und ich habe auch etliche Platten unterschiedlicher Größe übrig - wenn auch einige davon schon 5 Jahre alt sind, aber man kann ja steuern, das kritische Daten eher auf den neuen Platten landen sollen).

 

Es ist wohl zu spät (oder eher früh). Ich verstehe den Sinn und Inhalt dieser Aussage wirklich nicht. Was ist ein raidkorsett und warum sollen Updates Probleme bereiten?

 

7 hours ago, madmin said:

2) Generell brauche ich aber auch nicht zwingend eine Parity für Verfügbarkeit

 

Die Parität hilft gerade bei der Verfügbarkeit, weil es eben die Verfügbarkeit des Arrays erhöht.

Wenn eine Festplatte ausfällt, kann eine Parity die Verfügbarkeit noch gewährleisten.

Die Datensicherheit hingegen ist Sache von Backup(s)

 

 

7 hours ago, madmin said:

- Dann bringt ZFS ja auch nicht so viele Vorteile?

 

Da zfs im Array sowieso nur sehr begrenzten Sinn macht (vielleicht snapshots) würde ich das im Array nicht empfehlen.

zfs im Pool macht (in meinen Augen) auch nur Sinn, wenn man eben mehrere Datenträger zu einer großen Kapazität koppen will. Wenn Du das nicht willst, bleib bei auch im Pool bei xfs.

 

7 hours ago, madmin said:

Oder bringt das auch bei einem Array ohne RAID / Parity mehr Zuverlässigkeit?

 

Irgendwie scheinen Dir die unterschiede von unraid Array und unraid Pool noch nicht so ganz klar zu sein?

 

7 hours ago, madmin said:

Muss denn dann überhaupt ein Array existieren

 

Ja. Unraid läuft nicht ohne Array.

 

7 hours ago, madmin said:

- oder kann ich auch nur mit Pools arbeiten?

 

Mit was Du "arbeitest" ist Deine Sache.

Aber ein Array muß da sein, selbst wenn Du darin nur einen USB Stick einpferchst und den ansonsten vollkommen unbenutzt darin schlafen läßt.

Ich empfehle mit Nachdruck die Dokumentation von unraid (zumindest die ersten paar Kapitel) durchzulesen.

 

7 hours ago, madmin said:

Vieles scheint ja in der GUI erst verfügbar, wenn ein Array gestartet ist.

 

Korrekt.

 

7 hours ago, madmin said:

3) Ich verstehe den Cache Pool so, dass man den als Primary beschreibt, und das dann auf ein Secondary wegschreiben lässt.

 

Das kann man so machen: ja.

Das ist auch der eigentlich gedachte Hauptbetrieb, weil das Array (die Festplatten) dann bei Schreiboperationen möglichst lange stromsparend schlafen können.

 

7 hours ago, madmin said:

Was wird denn im Cache wie lange zwischengespeichert?

 

Beides ist manuell Einstellbar.

Bitte lies die Dokumentation zum Thema Shares, Storage und mover durch.

 

7 hours ago, madmin said:

Nur die Files mit Änderungen für ein paar Sekunden/Minuten?

 

Einstellbar...

 

7 hours ago, madmin said:

Dann könnte ich da ja Alles drüber laufen lassen (Array, Backup-Pools, etc.).

 

Klar, und alle Datentraeger laufen dann permenanent mit, wenn auch eigentlich nur auf einem geschrieben oder gelesen werden müßte.

Wenn Du maximale Performance und maximalen Stromverbrauch willst: dann ist das genau Deine Wahl. Aber dann frage ich mich, warum Du ein eher stromsparendes J Mainboard gewählt hast.

 

7 hours ago, madmin said:

Oder ist der Cache dann quasi die einzige aktuelle Vollkopie des aktuellen Stands,

 

Der Pool enthält genau das, was man da reingeschrieben/konfiguriert hat.

Er hat aber (abgeshen von den Momenten eines verschiebevorgangen) nie eine Kopie.

Dateien liegen immer nur im Pool oder im Array. Die an beiden Stellen gleichzeitig.

Es kann sein, daß gerade gebrauchte Dateien noch zusätzlich im Ram Cache liegen, weil der Ram noch nicht anderweitig gebraucht und deswegen freigeschaufelt wurde, aber das war es auch schon mit "Kopie".

 

7 hours ago, madmin said:

der dann nur einmal am Tag weggeschrieben wird?

 

Zeitpunkt ist einstellbar...

 

7 hours ago, madmin said:

Dann kann ich ja nur Verzeichnisse von insgesamt max. Cache-Größe darüber laufen lassen.

 

Du kannst in den Pool/SSD Cache nur Dateien kopieren, die die Größe des Pool nicht übertschreiten (und solltest zur Sicherheit einen Freibereich konfigurieren, damit der Cache eben NICHT bis ins letzte Bit voll läuft). Erwähnte ich schon, daß man bei Pools mit zfs mehrere Datenträger zu einer größeren Kapazität koppeln kann (raid ähnlich)?

Wenn die Kapazität des Pools/Cache erschöpft ist, schreibt unraid direkt auf das Array durch (was mit Parity langsamer aus ein SSD Pool ist).

Damit das möglichst nicht passiert sollte man den Pool/Cache ausreichen groß (bis sogar überdimensioniert) wählen und die Moveraktivität nicht allzu lange herauszögern.

 

7 hours ago, madmin said:

Soweit ich verstehe, ist Parity spätestens im Cache-Pool auch eher Luxus?

Eine extra Parity (wie sie im Array vorgesehen ist) ist zwar im Pool nicht möglich, dafür kann man im Pool (per fzs) in Form von einer raidählichen Gestaltung auch Paritätsinformationen haben um auch dort dem Ausfall eines beteiligten Datenträgers vorzubeugen. Wenn man das nicht will kann man auch einen EInzeldatenträger per xfs oder eine Kopplung mehrere Datenträger (vergleiche BigDisk/JBOD/RAid0) erstellen udn nutzen.

Ausfallsicherheit und Datensicherheit sind dann aber beide nicht gegeben.

 

7 hours ago, madmin said:

4) Welche Lösung ist empfehlenswert (Unraid-Einsteiger mit begrenzten Linux-Kenntnissen) für

 

Woher sollen wir aus Deinem Beitrag hier denn wissen, was Du mit Deinen Daten überhaupt machen willst, welche Kapazitäten und Datenträger Du hast, ob Du Vorlieben oder (besondere?) Anwendungen/Nutzungen hast    um daraus auch nur irgendetwas abzuleiten?

 

7 hours ago, madmin said:

a) Sync der Arbeitsdaten vom Arbeitsrechner quasi in Echtzeit auf ein unkodiert lesbares Share (also nicht in die DB einer Nextcloud)? Oder macht man das am besten per SMB und Windows-Boardmitteln ("verfügbar machen" o.ä.)?

 

Du kannst am Arbeitsrechner alles freigeben und unraid (eine Anwendung oder timergesteuertes Script) die Daten dort herunter lesen lassen,

Du kannst aber auch auf dem Arbeitsrechner eine Anwendung/Scrip nutzen um die Dateien in unraid reinzupuschen.

Was Dir beliebt.

 

Fazit: Bitte bitte bitte ... lies Dir die unraid Dokumentation durch.

Edited February 19 by DataCollector

[madmin]

@DataCollector

OK, schon einmal Danke für die ausführliche Antwort. Das hilft mir etwas, die Doku und die Foren-Beiträge besser zu verstehen. Ich habe die Doku tatsächlich gelesen, finde sie aber bei weitem nicht so selbsterklärend wie Ihr alte Hasen hier, und bringe auch Dinge mit manchen Foren-Beiträge nicht in Deckung (Daher die Fragen). Vielleicht mache ich es mir auch einfach nur zu kompliziert. Insbesondere verstehe ich den Mechanismus der Pools und die unterschiedlichen File Systems nicht im Detail. Da hat Dein Post schon einmal geholfen.

 

Ich wollte hier auch nicht Alle mit einem Riesen-Post über Vorhaben und mein Arsenal konfrontieren, aber hier:

• Familien-NAS mit Alltags-Dokumenten und mit moderat Medien-Daten (Fotos/Familienvideos, digitalisierten CDs, wenig Movies - ohne UHD o.ä.). Im Alltag werden nur wenige Daten geschrieben, vieles ist eher archiviert, und das meiste steuerbar.
• Ich brauche daher keine Hoch-Verfügbarkeit (RAID, oder Unraid Parity), sondern vor Allem Datensicherheit (Backups).
• Backups dürfen auch Risiko- und zeitlich gestaffelt sein. Offsite-Backup reicht z.B. nur alle paar Monate als Baseline-Archiv. Aktuelles aber immer mindestens immer lokal auf dem Arbeitsrechner und auf dem NAS, sowie einem Nightly-Backup im Server. Wenn da mal was ausfällt, verliere ich also maximal Daten eines Tages. Das wäre bei Familienfotos blöd, aber im Regelfall nicht schlimm.
• Es wäre auch schön, wenn es etwas Schutz gegen überschreiben gäbe (z.B. 3 alte Dateiversionen wieder herstellbar - Eine alte Version ist ja dann immer im Nightly Backup, aber manchmal merkt man das Problem ja zu spät).
• Offene Ports möchte ich nicht, deshalb habe ich eine gehostete Nextcloud (1 TB) für unterwegs-Daten (Kalender, Adressbücher, etc.) und externes Share. Da könnte man das allerwichtigste Aktuelle (so 0,5 TB) auch hinsichern. Wenn ich also vom Arbeitsrechner Synce, soll das nicht an eine weitere Nextcloud gebunden sein, sondern auf einem normal lesbaren Share.
• Ich bin eventuell paranoid, was Ransomware auf einem Fast-Inselsystem angeht, aber idealerweise sollte die Backups außerhalb der Backup-Zeit mögilchst nicht eingehängt sein.

Was ich habe:

• Unraid Basic, d.h. max. 6 Platten (inkl. Array, Pool und Hotplug-Offsite Backup HDD - zählt eine USB cradle auch rein?). Das Board kann ohne PCIe 6 SATA + 2 M.2. Aufpreis für nächste Stufe würde ich notfalls zahlen.
• Insgesamt ~3 TB Daten, Tendenz steigend.
• 2x Seagate Exos 18 (18 TB), neu (leider gleiche Quelle). Entweder als Array mit Parity (allerdings wüsste ich nicht, wofür), oder als Data + Backup. Soweit ich das jetzt verstehe, müsste aber auch eine Backup-Platte dann doch mit in das Array rein, nur dann eben nicht als Parity - Kann ich sie da für Backups ein- und wieder aushängen?
• 1x M.2 Samsung EVO 970 (1 TB) für Cache. Cache ist für mich schnellschreiben, dann moven. Doku spricht von Default tägliches moven nachts. Deine Antwort interpretiere ich so, dass dadurch die Platte energiesparend im spin-down bleiben soll. Das heißt aber, solange ich nicht > 1 TB am Tag schreibe, muss ich nicht für jedes Share einen eigenen Cache-Pool anlegen. Wofür brauche ich denn dann "bis zu 30 pools á 30 Platten" (Doku)?
• ca. 5 Jahre alt, optional / zusätzlich:
  • 2x WD Red (8 TB) - bisher eine als Datengrab in der Synology, eine per USB-Cradle als Nightly Backup. Die könnte man nutzen:
    • entweder als Backup mit Parity nutzen (wenn ich die Doku richtig verstehe, muss das dann aber in das Array, da kein Cache-Pool)
    • oder als Erweiterung für weniger wichtige Daten
    • oder eine davon als Offsite-Kopie, um die 4 TB zu ersetzen.
  • 1x WD Green (4 TB) - bisher als Offsite-Backup, für die ich die USB-Cradle dann manuell umbestücke.

Wo ich auch noch hänge: Preclear wird empfohlen, braucht aber ein Plugin, das erst nach Start des Arrays installiert werden kann, welches dann also doch nicht Pre-Cleared werden kann? Oder ist das am Ende gar nicht so wichtig?

[madmin]

20 hours ago, DataCollector said:

Grundlegend und eigentlich nicht so falsch:

Alle Festplatten ins Array, alle SSDs in Pool(s).

Einzeldatenträger xfs (also auch die Datenfestplatten im Array).

Wenn man Datenträger zu einer größeren Kapazität bündeln will: zfs.

 

anstatt zfs kann man auf btrfs nehmen; hier ist aber des öfteren von Problemen bis zum Ausfall zu lesen. Deshalb bevorzugt zfs.

OK, das ist schonmal eine super Zusammenfassung - Danke!

Mit Bündeln meinst Du Drive-übergreifende Shares? Die brauche ich vermutlich nicht bei 18 TB Main drive bei meiner Nutzung. Also Alles XFS.

20 hours ago, DataCollector said:

Ein Array in unraid hat kein raid. Egal ob mit oder ohne Partity. Bitrotschutz ist im Array nicht möglich. Punkt. 

Raidähnliches ist nur im Pool möglich.

Verstanden - Danke!

20 hours ago, DataCollector said:

Es ist wohl zu spät (oder eher früh). Ich verstehe den Sinn und Inhalt dieser Aussage wirklich nicht. Was ist ein raidkorsett und warum sollen Updates Probleme bereiten?

Gemeint war, dass Unraid gegenüber RAID ja Vorteile hat. "RAID-Korsett": Ich hatte es so verstanden, dass im RAID alle Drives gleich groß sein müssen, und bei einer Vergrößerung dann eben auch Alles ausgetauscht werden muss, was teuer ist und Einiges an Datenlogistik abverlangt. Bei Unraid schaltet man beliebige (kleinere) Platten dazu, oder vergößert eine, und dazu halt die Parity - Das klingt halt freier.

20 hours ago, DataCollector said:

Irgendwie scheinen Dir die unterschiede von unraid Array und unraid Pool noch nicht so ganz klar zu sein?

Nein. Gäbe es einen Cache-Pool, hätte ich es verstanden. Aber aufgrund der 30x30 Pool-Drives Werbung und Forenposts, in denen die Pools anders verwendet zu werden scheinen (Mag ich falsch verstanden haben), war ich verunsichert, wozu ich mehrere Pools haben kann oder möchte. Und deshalb hatte ich eine Grenze im Hirn, dass auch die Backup-Platten nicht im Array mitschwimmen, sondern einen eigenen Pool bekommen. Aber anscheinend gehören die ja doch in das Array. Irgendwie habe ich immer noch nicht ganz gerafft, wie ich Datenplatten handhabe, die für sich außerhalb des Verbunds stehen (z.B. eine Offsite-Sicherung, die ich gelegentlich per Hotplug einbinden will). Wahrscheinlich ist das für alte Hasen völlig logisch, für mich ist das eine neue Denkweise, unabhängige Platten in einem Verbund zu halten, und dann, ob Hotplug oder nicht, mit einer gemeinsamen Parity zu verrechnen.

20 hours ago, DataCollector said:

Klar, und alle Datentraeger laufen dann permenanent mit, wenn auch eigentlich nur auf einem geschrieben oder gelesen werden müßte.

Das verstehe ich noch nicht so ganz. OK, Cache ist nicht nur für Tempo, sondern auch zum Schlafenlegen der energieintensiven HDDs. Verstanden, und auch, warum Cache-Platten auch eine sinnvolle größe haben sollten und offenbar gern mit einem Raid abgesichert werden. Auch neu für mich war, dass die Daten entweder im Cache, oder auf dem Array stehen, aber wie ein gemeinsames Laufwerk angesprochen werden (Also mir als User egal sein kann, wo sie momentan geparkt sind). Das erklärt, warum die nicht so schnell wie möglich weggeschrieben werden müssen, der Cache-Pool aber auch nicht riesig groß sein muss. Danke auch für die Hirn-Neuverkabelung. Sowas Alles lese ich halt nur begrenzt aus der Doku raus.

Offen: Wieso drehen alle Platten, wenn ich Daten für alle Platten über den Cache leite? Werden die nicht nur dann hochgedreht, wenn auch Daten für die jeweilige Platte aus dem Cache geschrieben werden?

20 hours ago, DataCollector said:

Wenn man das nicht will kann man auch einen EInzeldatenträger per xfs oder eine Kopplung mehrere Datenträger (vergleiche BigDisk/JBOD/RAid0) erstellen udn nutzen.

Ausfallsicherheit und Datensicherheit sind dann aber beide nicht gegeben.

OK, wäre dann also wie ein Array ohne Parity, oder eben ein zusätzliches Raid. Prioritätenfrage. Wobei eine zusätzliche 1 TB M.2 ja nicht die Welt kostet und sich bei Cache-Verweildauern in Tagen ja schon lohnen.

20 hours ago, DataCollector said:

Du kannst am Arbeitsrechner alles freigeben und unraid (eine Anwendung oder timergesteuertes Script) die Daten dort herunter lesen lassen,

Du kannst aber auch auf dem Arbeitsrechner eine Anwendung/Scrip nutzen um die Dateien in unraid reinzupuschen.

Was Dir beliebt.

OK. Freigeben möchte ich da eher nicht, also eine Push-Anwendung recherchieren und finden (FreeFileSync hatte ich früher schonmal benutzt). Den Nextcloud-Client wollte ich wie gesagt vermeiden, ich suche eher was wie Synology Drive (also Sicherung auf ein share, nicht in eine Nextcloud-MariaDB).

 

So oder so: Danke für die Geduld. Wie gesagt, es liegt nicht am Unwillen zum Lesen der Doku, sondern an der Kombi aus deren Anschaulichkeit und meiner Vorstellungskraft.

Edited February 19 by madmin

[DataCollector]

11 hours ago, madmin said:

Ich wollte hier auch nicht Alle mit einem Riesen-Post über Vorhaben und mein Arsenal konfrontieren, aber hier:

• Ich brauche daher keine Hoch-Verfügbarkeit (RAID, oder Unraid Parity), sondern vor Allem Datensicherheit (Backups).

 

Niemand zwingt Dich einr Parity zu nutzen. Und wenn Du darauf verzichtest kann das Array sogar ungebremst schreiben. Natürlich warnen kleine orangefarbene Dreiecke in unraid, daß die Daten auf den Disks gegen Ausfall ungesichert sind, aber daran gewöhnt man sich.

Es ist nur so, daß der haupteinsatzzweck von NAS eben die gute Verfügbarkeit in einem Netzwerk für mehrere Personen/Computer/Geräte ist. Deshalb wird von vielen Nutzern/Admins eben wert auch auf weitgehend reibungslosen Betrieb in den normalen "Office Hozurs" gelegt und dafür kann man mit Parity, Raid und UPS ziemlich weit vorsorgen. Wenn Du das alles nicht brauchst und Deine Daten ab und zu in einem backup sicherst ist das sehr wohl ein legitimer Wunsch und mit unraid machbar.

 

11 hours ago, madmin said:

• Backups dürfen auch Risiko- und zeitlich gestaffelt sein. Offsite-Backup reicht z.B. nur alle paar Monate als Baseline-Archiv. Aktuelles aber immer mindestens immer lokal auf dem Arbeitsrechner und auf dem NAS, sowie einem Nightly-Backup im Server. Wenn da mal was ausfällt, verliere ich also maximal Daten eines Tages. Das wäre bei Familienfotos blöd, aber im Regelfall nicht schlimm.

 

...solange der Blitzschlag natürlich nicht gleich den lokalen PC und das NAS wegbrutzelt.

Aber ich glaube dann hat man sowieso erst einmal andere Sorgen. 🚒

 

11 hours ago, madmin said:

• Es wäre auch schön, wenn es etwas Schutz gegen überschreiben gäbe (z.B. 3 alte Dateiversionen wieder herstellbar - Eine alte Version ist ja dann immer im Nightly Backup, aber manchmal merkt man das Problem ja zu spät).

 

Hier ist eben eigentlich eine geeignet Backupstrategie anzuraten.

Aber wenn man zfs einsetzt ist auch die Möglichkeit der Snapshots dabei. Aber das ist noch nicht wirklich gut in unaid integriert.

Ich kenne mich damit kaum aus und da sollten besser andere etwas zu sagen. Vielleicht machst Du zu generellen Fragen von zfs Snapshots in unraid und wie man das am besten handelt einen extra Beitrag/Frage auf.

 

11 hours ago, madmin said:

• Ich bin eventuell paranoid, was Ransomware auf einem Fast-Inselsystem angeht, aber idealerweise sollte die Backups außerhalb der Backup-Zeit mögilchst nicht eingehängt sein.

 

In meinen Augen gehören Backups (abgesenen von der Zeit in der sie erstellt werden) sowieso nicht auf das selbe System.

Ich habe für einige Daten noch ein altes Zyxel N540 NAS, welches ich bei bedarf per IP Steckdose einschalte, dann die Sicherungen/Backup/Kopien (manuell) durchführe und im Anschluss wieder herunterfahre und dann vom Strom (per IP Steckdose) trenne.

Da kann eien Ransiomsoftware auf dem Hauotsystem alles verschlüsseln, die Daten, die ich für sichernswert halte, sind weiterhin kuschelig im Zusatznas und verändern sich dabei nicht.

Bei anderen Sachen (größere Datenmengen, dei das Zyxel sprengen würden) gleiche ich auch sporadisch meine Main- & Backup-Server miteinander ab und mein Backupsystem ist auch ansonsten stromlos.

 

11 hours ago, madmin said:

Was ich habe:

• Unraid Basic, d.h. max. 6 Platten (inkl. Array, Pool und Hotplug-Offsite Backup HDD - zählt eine USB cradle auch rein?).

 

Alle Devices, die direkt in unraid angeschlossen sind zählen mit (außer der Boot USB Stíck). Ob später eingeschaltete und per UD eingebundene USB Festplatten dann auch dazu zählen, weiß ich nicht, wäre aber blöd von Lime, wenn die das ignorieren würden. Denn dann könnte man mit einer Basic Lizenz etliche dutzend Festplatten zusätzlich betreiben und das ist nicht so ganz im Sinne der Erfinder.  

 

11 hours ago, madmin said:

• Das Board kann ohne PCIe 6 SATA + 2 M.2. Aufpreis für nächste Stufe würde ich notfalls zahlen.

 

Ich kenne das CWWK J6413 jetzt nicht, aber wenn es die 6x SATA ansteuern kann ohne sich (wie bei einigen N100 Mainboards) gegenseitig in dei Quere zu kommen, dann ist das ja okay.

 

11 hours ago, madmin said:

• Insgesamt ~3 TB Daten, Tendenz steigend.

 

Wen Du auf Parity verzichtest, wäre das eine Festplatte und eine Cache SSD.

Das ist schön schnuckelig klein machbar.

 

11 hours ago, madmin said:

• 2x Seagate Exos 18 (18 TB), neu (leider gleiche Quelle). Entweder als Array mit Parity (allerdings wüsste ich nicht, wofür), oder als Data + Backup.

 

18TB Data und 18TB externes Backup, wäre bei dem, was ich von Dir las meine Wahl.

Dazu eine NVMe SSD für Cache.

 

11 hours ago, madmin said:

• Soweit ich das jetzt verstehe, müsste aber auch eine Backup-Platte dann doch mit in das Array rein, nur dann eben nicht als Parity - Kann ich sie da für Backups ein- und wieder aushängen?

 

Nein, die Backplatte muß nicht ins Array, macht auch im Hinblick auf den Ransomwaregedanken keinen Sinn, die zugänglich zu haben. nutze dafür eine externe Lösung.

 

11 hours ago, madmin said:

• 1x M.2 Samsung EVO 970 (1 TB) für Cache. Cache ist für mich schnellschreiben, dann moven. Doku spricht von Default tägliches moven nachts. Deine Antwort interpretiere ich so, dass dadurch die Platte energiesparend im spin-down bleiben soll.

 

Der Gedanke ich, daß Festplatten drehend idle mehr Strom fresen als eine SSD, die durch ihr eigenes Managemet schnelle idle und stromsparender ist.

Auch ist der Gedanke, daß eine Festplatte langsamer ist als eine SSD und ein Array mit Parity nochmal viel langsamer schreibt dabei vorhanden.

Deshalb schaltet man eine SSD als Cache vor und die kann man dann timergesteuert per Mover ind Array verschieben lassen.

Gedacht ist es eben, daß das NAS eben tagsüber vollümfänglich den Nutzern aus Speicher zur Verfügung steht. Wenn man auf alte Daten zurückgreift muß man den spinup der Arrayfestplate abwarten, aber dann hat man die alten Daten. wenn man auf recht aktuelle Daten des Tages zugreift, dann liegen die noch im Cache und sind ruckzuck zu erreichen und zu schreiben.

Und wenn das NAS sich dann nachts langweilt, weil alle User träumen, aknn es sich damit beschäftigen die täglich ngefallenen Daten ins Array zu schieben um Platz für Neueres zu bieten.

Das ist der Defaultgedanke hinter unraid.

Ntürlich kannst Du bei einem Haushalt der Deinen 1Tb Cache kaum in eienr Woche ausreizt dei mover Intervalle auch auf Sonntag Nacht einstellen und dann arbieten alle in der Woche eben schreibend auf dem SD Cache und erst nach dem Mover lanmden die Daten in Array und der Cache ist dann wieder frei.

Und wenn Du meinst, Du hast Daten, die Du immer wieder scghnell brauchst und Du auf den Spinup der Festplatte nicht warten willst (Favoriten-Musik-Dateien) kannst Du auch Shares erstellen, die dann eben permanent auf der SSD verbleiben und nicht ins Array verschoben werden.

 

Alles sehr individuell einstellbar.

 

11 hours ago, madmin said:

• Das heißt aber, solange ich nicht > 1 TB am Tag schreibe, muss ich nicht für jedes Share einen eigenen Cache-Pool anlegen.

 

Du mußt sowieso nicht für jedes Share einen eigenen cachePool anlöegen. Du kannst individuell für jedes Share (freigegeben verzeichnis) einstellen

- ob es auf den Cache (Pool SSD) schreiben und dort verbleiben soll

- ob es auf den Cache (Pool SSD) schreiben und per Mover irgendwann (einstellbar) ins Array verschoben werden soll

- ob es auf gar nicht auf den Cache (Pool SSD) geschrieben, sondern direkt ins Array geschrieben werden soll.

- ob es direkt auf das Array geschrieben und später per Mover auf den Cache geschoben werden soll.

 

Das ist sehr flexibel konfigurierbar.

 

 

11 hours ago, madmin said:

• Wofür brauche ich denn dann "bis zu 30 pools á 30 Platten" (Doku)?

 

Brauchst Du nicht. Kannst Du aber machen.

Ich beispielsweise habe (max) 30 Festplatten im Array, mehrer Pools für verschiedene Benutzungen und nur einer davon ist der vorgeschaltet SSD-Cache für das Array.

Die anderen Pools sind bei mir sind einfach mehr Speicherplatz für andere Dateien.

Die Doku erklärt nur (annähernd), was beispielsweise möglich ist, nicht, daß man es auch machen muß.

 

11 hours ago, madmin said:

Wo ich auch noch hänge: Preclear wird empfohlen, braucht aber ein Plugin, das erst nach Start des Arrays installiert werden kann, welches dann also doch nicht Pre-Cleared werden kann? Oder ist das am Ende gar nicht so wichtig?

 

Ich nutze Preclear (Extraplugin, welches zu den UD [unassigned devices-Plugin] gehört um, vor dem Einbinden in das Array, die Festplatten einmal zu testen, bevor sie wirklich eingesetzt werden und gleichzeitig einmal zu "Nullen".

Aber das ist seit einigen Versionen von Unraid nicht mehr zwingend notwendig.

Wenn man eine Festplatte direkt ins Array zufügt, kann unraid das auch selber. Sollte sich dabei aber herausstellen, daß die Festplatte ausfällt, ist das Array 'beschädigt'. Somit gibt es mir ein gutes Gefühlt zu wissen, daß die Festplatte vorher schonmal in der Umgebung gut durchgelaufen ist. Wenn die beim Preclear schon Probleme zeigen, ist das Array dann nicht negativ betroffen.

 

[madmin]

25 minutes ago, DataCollector said:

...solange der Blitzschlag natürlich nicht gleich den lokalen PC und das NAS wegbrutzelt.

Man kann natürlich nichts vorhersehen, aber Überspannungsschutz ist im Schaltkasten (grob) und an der Dose (fein) vorhanden, und zumindest die Synology fühlt sich an einer Eaton USV per USB-Steuerung wohl. Das kann Unraid wohl laut Menü auch Und wenn wirklich die Bude raucht, dann ist wenigsens 98 % der persönlich-familiären Historie auf dem Monate alten Offsite Backup. Eventuell noch mehr aktuelles auf der externen Nextcloud.

29 minutes ago, DataCollector said:

Ich kenne mich damit kaum aus und da sollten besser andere etwas zu sagen. Vielleicht machst Du zu generellen Fragen von zfs Snapshots in unraid und wie man das am besten handelt einen extra Beitrag/Frage auf.

Mach ich - Danke!

31 minutes ago, DataCollector said:

Da kann eien Ransiomsoftware auf dem Hauotsystem alles verschlüsseln, die Daten, die ich für sichernswert halte, sind weiterhin kuschelig im Zusatznas und verändern sich dabei nicht.

Das wäre auch noch eine Idee. Eigentlich wollte ich mich ja von der Synology unabhängig machen, und ein integriertes System. Aber die Überlegung einer separaten temporären laufenden Backup-Maschine ist natürlich nicht von der Hand zu weisen.

33 minutes ago, DataCollector said:

Ich kenne das CWWK J6413 jetzt nicht, aber wenn es die 6x SATA ansteuern kann ohne sich (wie bei einigen N100 Mainboards) gegenseitig in dei Quere zu kommen, dann ist das ja okay.

Naja, das CWWK J6413 betreibt am 1. PCIe schon im Endeffekt einen internen JMB685 Port-Multiplikator. Insofern rechne ich da nicht mit besten C-States und Durchsätzen. Andererseits reden wir hier von einem niederschwelligen Familien-NAS ohne besondere Anforderungen wie Transcoding, der eine Datenplatte an einem nicht aufrüstbaren Marvell Armada 385 Dual-Core mit 512 MB RAM und USB-Nightly ablösen soll (Die Synologs 216j ist mir dann doch schon als Medienserver etwas lahm...). Maximalausbaustufe (neben M.2 Cache) wäre: 1x Data, 1x Parity, 1x Offsite Hotplug, eventuell 1...2 alte HDDs "weil's geht".

47 minutes ago, DataCollector said:

Gedacht ist es eben, daß das NAS eben tagsüber vollümfänglich den Nutzern aus Speicher zur Verfügung steht. Wenn man auf alte Daten zurückgreift muß man den spinup der Arrayfestplate abwarten, aber dann hat man die alten Daten. wenn man auf recht aktuelle Daten des Tages zugreift, dann liegen die noch im Cache und sind ruckzuck zu erreichen und zu schreiben.

Und wenn das NAS sich dann nachts langweilt, weil alle User träumen, aknn es sich damit beschäftigen die täglich ngefallenen Daten ins Array zu schieben um Platz für Neueres zu bieten.

Das ist der Defaultgedanke hinter unraid.

OK, sehr verständlich zusammengefasst. Verstanden. HDDs nicht in einen Pool; aber Daten, die häufig geschrieben oder gelesen werden, dann darüber.

[DataCollector]

2 hours ago, madmin said:

Mit Bündeln meinst Du Drive-übergreifende Shares?

 

nein, ich meine Driveübergreifende Pools.

Reales Beispiel bei mir: Ich will für flotte Dateioperationen einen schnellen Speicherbereich. Da sich gezeigt hat, daß die üblcihen SSD Größen von 1,2 und  4 TB mir nicht reichen, habe ich 4x 2TB SATA SSD per (damals btrfs, später zfs) als Raid0 zusammengeschaltet und hatte somit 4x2TB = 8TB schnelle Kapazität, die sich dann nach außen hin als ein einziger großer Datenträger ausgibt und eben flottes Arbeiten darauf ermöglicht.

Zwischenzeitlich habe ich es gegen 3x8TB SATA SSD ersetzt (Raid5 = ca. 16TB Nutzkapazität incl. Ausfallsicherheit), weil ich noch mehr Platz brauchte.

 

Die Shares selber sind einstellbar ob sie einen Pool oder ein Array oder beides (wunschgemäs einander vorgeschaltet) genutzt wird, solange darauf eben ausreichend Platz vorhanden ist.

Aber den Shares selber ist es egal ob dahinter dann eben ein Pool oder das Array oder eben beides steckt.

 

2 hours ago, madmin said:

Gemeint war, dass Unraid gegenüber RAID ja Vorteile hat.

 

Solange man sowieso nur eine Festplatte und einen SSD Pool als Cache einsetzt, ist der Vorteil, daß die Festplatte bei Nichtbenutzung (weil eben der Cache schreibend alles bis zu seiner kompletten Füllung, abfängt), stromsparend schlafen kann und erst aufwacht, wenn man etwas lesen will, was eben im Array liegt oder man den Cache schon voll gestopft hat und ein Share dann eben danach auf das Array durchschreibt, oder der Mover eben zeitgesteuert anspringt und den Cache und Array wunschgemäß liest/beschreibt.

 

2 hours ago, madmin said:

"RAID-Korsett": Ich hatte es so verstanden, dass im RAID alle Drives gleich groß sein müssen, und bei einer Vergrößerung dann eben auch Alles ausgetauscht werden muss, was teuer ist und Einiges an Datenlogistik abverlangt.

 

bei den klassischen Raid müssen die Festplatten heutzutage (seit ca. 15 Jahren) nicht mehr gleich groß sein, aber ja, man kann alle Festplatten nur mit der Kapazität der kleinsten Festplatte nutzen.

Will sagen: 18TB + 16TB + 4TB in einem Raid5 verbund ergeben nur die Nutzkapazität von 4TB+4TB = 8TB. Der Rest bleibt unbenutzt.

Es gibt zwar auch schon andere Konstellationen, daß man die verbleibenden Reste wieder in ein anderes Raid binden und somit nutzen kann, aber das ist jetzt nicht das "klassische Raid"

 

2 hours ago, madmin said:

...war ich verunsichert, wozu ich mehrere Pools haben kann oder möchte.

 

Beispiel:

Man nutzt einen Pool als vorgeschalteten Cache des Array.

Leute wir ich, die dann aber mal spontan so viel Daten per maximaler Geschwindigkeit ind en Pool/Cache schreiben/pressen, daß dieser kaum noch Luft holen kann, benötigen dann für die parallel laufenden Tätigkeiten, wie Docker oder VM, einen extra Pool (SSD), da der erste schon an der Grenze seiner Leistungsfähigkeit ist und nicht auch nich gleichzeiotig Docker/Vm rechtzeitig mit den Daten versorgen kann.

Somit habe ich eine extra SSD in einem Pool, die exklusiv nu die Daten der Docker/VM inne hat.

Somit kann ich weiterhin mit 10GBLan über Stunden Dateien in meinen Cache stopfen und die Cache SSD bis an die thermische (und speicherzellenbenutzung) Grenze treiben, an der sie zum Selbstschutzt drosselt

und die Docker und VM laufen stotterfrei und flüssig weiter, weil die sich aus einem anderen Pool/SSD bedienen.

Auch habe ich beispielsweise 2 weitere 18TB Festplatten alleine in einem Pool (per zfs als Raid0 gekoppelt), weil ich einerseits einen schnellen und so großen Speicher (36TB) im ständigen Zugriff haben will und andererseits das Array mit Parity schreibend für mich in dem Moment zu langsam ist. Darauf liegen temporäre Dateien, die ich immer wieder schnell durchforsten und bitgenau mit anderen Dateien abgleichen will.

 

Du sieht, ich habe in dem System ein Array mit max 30 festplatten (28 Daten + 2 Parity), einmal den früher erwähneten 3x8TB SSD Pool als sehr schnellen Speicher, einen SSD Pool als Cache für das Array, einen SSD Pool für Docker und VM und einen Festplatenpool bestehend aus 2x18TB für weitere temporäre Daten.

man kann also sehr viele Pools erstellen und sehr frei nutzen.

Ich benutze Pools übrigens auch, weil unter unraid ein array eben aktuell auf maximal 'nur' 30 Festplatten begrenzt ist und ich mehr Speicherplatz will.

 

2 hours ago, madmin said:

Und deshalb hatte ich eine Grenze im Hirn, dass auch die Backup-Platten nicht im Array mitschwimmen, sondern einen eigenen Pool bekommen.

 

In einen Augen ist Backup fest in uinraid eingebunden keine wirklich gute Idee. Als temporären Zwischenspeicher nutze ich es auch.

Ich habe beispielsweis eeinen Pool(Cacje, den ich ab und zu manuell auf einen anderen pool (bestzehend aus SSD) kopiere. Das geht schnell, weil beides SSD sind. Dann kann der normale Cache/Pool seien Aufgabe wieder aufnehmen, während ich von der gerade angefertigten Kopie dann die Dtaen gemütlich auf den eigentlichen Backupspeicher verschiebe.

 

2 hours ago, madmin said:

wie ich Datenplatten handhabe, die für sich außerhalb des Verbunds stehen (z.B. eine Offsite-Sicherung, die ich gelegentlich per Hotplug einbinden will).

 

Du handhabst die am besten gar nicht in dem sleben unraid, weil sie ja off site sein sollen.

Die Festplatten gehören vielelicht in ein anderes NAS (welches dann dort lokal auch wieder mit unraid laufen kann) weit enfernt.

Du kannst aber die Verbindung zwischen den NAS beispielsweise per UD dann aufbauen und die Daten abgleichen.

 

2 hours ago, madmin said:

Auch neu für mich war, dass die Daten entweder im Cache, oder auf dem Array stehen, aber wie ein gemeinsames Laufwerk angesprochen werden (Also mir als User egal sein kann, wo sie momentan geparkt sind).

 

Ja, dahinter steht das "Fuse" System (deutsch: verbunden/fusioniert) Das System frisst zwar einiges an Systemressourcen, handhabt aber die Verteiltung und Wiederfinden der Dateien, egal wo sie liegen.

 

2 hours ago, madmin said:

Offen: Wieso drehen alle Platten, wenn ich Daten für alle Platten über den Cache leite?

 

Mißverständnis! Ich habe Dich so verstanden, daß Du ohne Array arbeiten willst und alles in den Pool stecken.

Da sbedeutet, daß Alle Datenträger im pool zu einem virtuellen Datentrager verbidnen werden (Raid).

Und im Raid ist es eben so, wenn irgendetwas gelesen oder geschrieben wird, müssen alle beteiligten Datenträger des Raid drehen/laufen.

Das Array (welches Du ja nicht haben wolltest, aber wegen urnaidkonvenation vorhanden sein muß, ggf. mit einem simplenm USB Stick) schläft weiter, aber alle Deine Datenträger sind ja dann sowieso im Pool drin. Und der Pool dreht alles, was er hat hoch.

 

Im Array wird nru das aufgeweckt, was benötigt wird. Im Pool wird alle aufgeweck, was darin vorhanden ist.

 

[DataCollector]

2 minutes ago, madmin said:

Naja, das CWWK J6413 betreibt am 1. PCIe schon im Endeffekt einen internen JMB685 Port-Multiplikator.

 

JMB575 = Portmultiplikator

JMB585 = SATA Zusatzkontroller

JMB685 kenne ich nicht

 

Portmultiplikatoren bremsen die gleichzeitigen Zugriffe auf mehrere daran angeschlossene Ports gegenseitig aus. (ein JMB575 kann 5 SAT ports bedienen, aber wird mit 600MByte/s angesteuert. In der Milchmädchenrechnung wären somit pro Port gleichzeitig 120MByte/s möglich. Leider iost es weit weniger, weil Portmultiplikatoren nicht gleichzeitig auf alle Ports verteilen können sondern die reihum ansprechen und auch noch auf die Antwort warten (durch einige spätere Implementierungen wurde das noch optimiert und die Antworten können dann auch zeitversetzt nachgeliefert werden, aber zur Vereinfachung der Situation lasse ich diese Feinheiten mal weg).

Wenn also jede Festplatte 10ms Kopfpositionierungszeit und einige ms für die Drehung der Platter braucht spricht der Multiplier bei einem Paritycheck Disk 1 an und bittet um Sektor "x". Während die festplatte nun rund 15ms braucht um den Sektor x zu liefern wartet das ganze System.

Da beim Paritycheck alle Festplatten den Sektor x liefen müssen, kommt nach Disk1 also Disk2 dran und braucht dann auch wieder seine 15ms.... bis Disk 5am den JMB575 auch seinen Sektor "x" geliefert hat. Dann prüft unraid ob das alles so zusammen passt und wenn es die Parity korrigieren muß, schreibt es auf die Paritydisk den Sektor "x" neu, der aber gerade ja schon unter dem Kopf durchgeflutscht ist.....

Anstatt also alle Disks gleichzeitig um "x" bitten zu können bremst 5fach SATA Multipliing die Sache auf weit unter 1/5 der Ansteuerungsgeschwindigkeit des Multipliers ab.

Wenn man zeitlich verteilte Zugriffe nutzen will, sind Multiplier gut zu gebrauchen. Im Array mir Parity sind sie doch eher Bremsklotz.

Da Du keine Parity einsetzen willst entfallen alle Parityoperationne und da sollte ein Multiplier wenig Probleme bereiten, da Du dann die Disks ja nie gleichzeitig ansprichst.

 

Solltest Du hingegen einen SATA Zusatzkontroller (JMB585) haben, ist der sehr wohl für 5 gleichzeitge Zugriffe geeignet und wenn er mit seinen maximal PCIe 3.0 x2 am Chip(satz) angebunden ist, kann er pro Port ca. 200 MByte/ sgleichzeitig liefern. Nachteil der Energieeffizienz hattest Du ja erwähnt.

 

[madmin]

Sorry, ist ein JMB 585 Zusatzcontroller.

 

Hm... Also dann doch eventuell die Synology als Backup weiterbetreiben. Ich denke drüber nach!

 

Danke - Ich habe hier richtig viel gelernt!