Hi Zusammen,

 

bin gerade dabei mein UnRaid-NAS aufzusetzen.

Prinzipiell habe ich 1 HDD als ZFS festgelegt sowie eine gleichgroße HDD als Parity, zusätzlich noch eine NVMe als Cache in ZFS.

Vorweg gleich mal: Ich hab mich für ZFS mal entschieden da Google ausspuckt dass es das schnellere/neuere System sei, hier im Forum habe ich jetzt aber einen Beitrag gefunden wo ein User meinte dass wäre nicht der Sinn und Zweck von UnRaid?

Dann noch eine Verständnisfrage zum Array: Wenn jetzt meine HDD im Array ausfällt und ich diese Tausche dann wird mittels der Parity-HDD die Daten wiederhergestellt auf der neuen HDD im Array und alles ist wieder da? So ähnlich wie ein Raid1 nur halt ,,UnRaid"? 😉


Danke & Grüße

Edited November 3, 20232 yr by Haushaltdm

49 minutes ago, Haushaltdm said:

Dann noch eine Verständnisfrage zum Array: Wenn jetzt meine HDD im Array ausfällt und ich diese Tausche dann wird mittels der Parity-HDD die Daten wiederhergestellt auf der neuen HDD im Array und alles ist wieder da? So ähnlich wie ein Raid1 nur halt ,,UnRaid"? 😉

exakt

 

50 minutes ago, Haushaltdm said:

Vorweg gleich mal: Ich hab mich für ZFS mal entschieden da Google ausspuckt dass es das schnellere/neuere System sei, hier im Forum habe ich jetzt aber einen Beitrag gefunden wo ein User meinte dass wäre nicht der Sinn und Zweck von UnRaid?

ja, das spuckt Google aus und ja, macht ggf. Sinn wenn man kein Unraid nutzt

 

ZFS machen Sinn im Pool, können aber nicht als Pool im Array funktionieren ... und ist dafür nicht gemacht.

 

Es ist auch mehr ein DataCenter Storage FS ... meiner Meinung nach

 

also, mach das, aber bei Issues bitte zuerst das Thema zfs überdenken und dich einlesen (und nicht nur die Überschrift es ist das neuste, beste, ... )

Vor ZFS auf UNRAID sei hier ausdrücklich gewarnt!

Google kann viel spucken, aber hier spuckt es fake news.

 

ZFS benutzt RAID Arrays, UNRAID benutzt sie eben nicht (daher der Name).

Der Unterschied liegt in der Plattenverteilung:

Bei RAID Arrays müssen alle Festplatten identische Größe haben (hat eine mehr, wird dieser Teil nicht benutzt), bei UNRAID können beliebige Platten mitspielen, einzige Einschränkung: "die Paritätsplatte muss immer die Größte sein".

UNRAID ist also mittelfristig deutlich flexibler, dadurch dass "normale" Filesysteme benutzt werden, kommt man auch ausserhalb von UNRAID noch an die Daten ran im Notfall.

Selbst wenn mehr als eine Festplatte kapput gehen, kann man die restlichen Daten noch weiterverwenden.

 

ZFS ist moderner, hat einen Cache (UNRAID hat maximal einen optionalen Schreibcache) und überprüft dauernd die Datenintegrität. Dafür sind die beteiligten Festplatten immer voneinander abhängig. Geht mehr als eine kapput, droht der komplette Datenverlust.

 

Dazu kommt, dass (zumindest im Moment) die Performance von ZFS im UNRAID Array grottenschlecht ist, nur etwas für wirklich leidensfähige Leute. Als Pool Laufwerk(e) geht ZFS, sagen die meisten. Meine Erfahrungen waren aber auch grottenschlecht. Als Cache ist es völlig ungeeignet, bzw, es bringt keinerlei Vorteile gegenüber anderen Filesystemen. Dazu sind die Daten einfach zu kurzlebig auf einem Cachelaufwerk.

 

Hallo Zusammen,

Danke an alturismo für die Warnung und ein dank an MAM59 für die ausführliche Erklärung nochmal 😉
Ich hab mein Array jetzt auf xfs umgestellt und mein Pool auf btrfs, das sollte dann stabil laufen und wurde als Standard mir angeboten.

Kann ich noch Fragen was es mit dem Cache bzgl. Sicherheit auf sich hat. Einige User haben den appdata Ordner für die Dockers auf Cache-Only gestellt, und brauchen

jetzt Zusatz-Plugins um das ganze zu sichern da es nicht im Array mit drin hängt, ich hab mein appdata Ordner jetzt aber als Primär Cache und Sekundär Array gestellt mit dem Mover von Sekundär auf Primär, heißt das jetzt dass meine Daten im Array liegen und gesichert sind und in den Cache dann vorgeladen werden?

Grüße
TrashCo92

Edited November 4, 20232 yr by Haushaltdm

10 hours ago, Haushaltdm said:

Ich hab mein Array jetzt auf xfs umgestellt und mein Pool auf btrfs, das sollte dann stabil laufen und wurde als Standard mir angeboten.

Kann ich noch Fragen was es mit dem Cache bzgl. Sicherheit auf sich hat. Einige User haben den appdata Ordner für die Dockers auf Cache-Only gestellt, und brauchen

jetzt Zusatz-Plugins um das ganze zu sichern da es nicht im Array mit drin hängt, ich hab mein appdata Ordner jetzt aber als Primär Cache und Sekundär Array gestellt mit dem Mover von Sekundär auf Primär, heißt das jetzt dass meine Daten im Array liegen und gesichert sind und in den Cache dann vorgeladen werden?

 

Wieviele Datenträger hast Du im Pool?

1 Datenträger alleine: xfs

mehrer Datenträger zu einem Verbund (Raid): ZFS

 

btrfs ist gerade beim zusammenfassen von mehreren Datenträgern schon aufega´fallen, daß es spontan bei einigen leuten zu Problemen kam.

Bei mir (trotz Raid5) in der vergangenheit nicht, aber die Berichte von Leuten mit Problemen mehrten sich.

ich nutze im Pool mit Raid seitdem: zfs.

 

Zu den Systemordnern (appdata, system, etc....) diese sind (je nach Verwendung von unraid/Docker/VM) ständig im Zugriff und es wird immer wieder davn gelesen und geschrieben. Wenn Du die ins Array legst, läuft also Dein Array bei jedem Zugriff. Stromsparen geht anders.

Ja, wenn die Dateien in den Verzeichnissen im Zugriff sind, kann unraid diese so nicht sichern (ob einem da zfs snapshots im Pool helfen können, kann ich nicht sagen, aber ich glaube das ist ja genau der Sinn solcher Snapshots). Deshalb muß man den Zugriff für den Zeitpunkt eines Backups unterbinden und ja, das machen viele Leute mit Zusatzkonfigurationen/-Programmen.

 

"Vorladen" im Sinne von einer Kopie im Cache vorhalten, während die realdaten im Array sind, gibt es bei unraid nicht. Deine Dateien in den Shares liegen (wenn nichts schief gelaufen ist) immer nur an einer Stelle und sind genau da so unsicher wie sie eben sind.

Wenn Du sie noch wo anders haben willst, mußt Du sie dort hin kopieren/backuppen.

 

Das Array ist keine Sicherheitskopie der Cachedaten!

Das Array ist ein langsamer Lagerplatz für Daten, dioe man im schnellern Cache nicht mehr braucht.

 

Edited November 4, 20232 yr by DataCollector
Typo

Jo, muss ich beipflichten: Appdata, System usw. haben im Array nix zu suchen!

Du wirst den Unterschied schnell merken, wenn VMs vor sich hinkriechen oder Docker stottern.

Also: cache only! bitte.

Die zusätzlichen Docker "Appdata Backup" und "VM Backup" kosten kein Brot. Appdata Backup kopiert unterbrechungsfrei, auch ohne Snapshot. VM Backup hält die VM an (oder fährt sie komplett runter, kann man einstellen) und kann von Snapshots profitieren (unterbrechungsfrei). Man könnte also ne extra SSD nur für VMs und mit ZFS abstellen, aber mir persönlich ist es das nicht wert. Muß jeder selber wissen.

 

 UnRaid ist normalerweise auf den Einsatz von Btrfs als Dateisystem ausgelegt. ZFS ist zwar ein leistungsfähiges Dateisystem, wird aber in UnRaid nicht standardmäßig unterstützt. Wenn du dich für ZFS entschieden hast, kann dies in einigen Fällen zusätzliche Anpassungen und Kompatibilitätsprüfungen erfordern. Du solltest sicherstellen, dass ZFS mit UnRaid ordnungsgemäß funktioniert und die benötigten Plugins oder Erweiterungen installiert sind.

meine Empfehlung wäre aktuell (da btrfs hier einfach zu oft Fehler produzierte ... und nach wie vor oft Fehler aufkommen, Suche oben rechts)

 

Array > immer alles xfs

 

Pool devices (cache, ...), wenn single drive auch xfs, Backup Strategie nicht vergessen

 

Pool devices (cache, ...), wenn multi drive (Raid X) ... würde ich aktuell sogar auch eher auf zfs setzen, aber mit Vorsicht ... Backup Strategie ...

4 hours ago, sweet-whodunit1897 said:

1. UnRaid ist normalerweise auf den Einsatz von Btrfs als Dateisystem ausgelegt. 2. ZFS ist zwar ein leistungsfähiges Dateisystem, wird aber in UnRaid nicht standardmäßig unterstützt. 3. Wenn du dich für ZFS entschieden hast, kann dies in einigen Fällen zusätzliche Anpassungen und Kompatibilitätsprüfungen erfordern. 4. Du solltest sicherstellen, dass ZFS mit UnRaid ordnungsgemäß funktioniert und die benötigten Plugins oder Erweiterungen installiert sind.

 

In Deinen Ausführungen sind diverse Unschärfen/Fehler enthalten.

 

1. Das ist so nicht korrekt. Unraids FS Unterstützung kommt von ReiserFS über XFS zu BTRFS und nun ZFS. Die Unterstützung von ReiserFS läuft aus. Im Array werden einzelne Platten mit XFS, BTRFS und ZFS unterstützt. Die Erfahrungen sind unterschiedlich. Ich habe vor einigen Jahren alle Arrays von ReiserFS zu XFS migriert und werde auch so schnell nicht mehr wechseln da rock-solid. BTRFS kommt mir aus verschiedenen Gründen nicht ins Haus und ZFS werde ich für zukünftige Pools im Auge behalten. Also nein, Unraid ist nicht standardmäßig auf ein einzelnes FS ausgelegt.

 

Quote aus dem Unraid Manual. Siehe hier:

 

Quote

Unraid defaults to using the XFS filesystem for all devices, but if you define a cache pool then BTRFS will automatically be used for those devices.

 

https://docs.unraid.net/unraid-os/getting-started/quick-install-guide/#starting-the-array-and-formatting-your-devices

 

2. ZFS wird spätestens seit 6.12.x standardmäßig unterstützt. Es gibt noch einige Arbeiten in der Oberfläche um die Unterstützung rund zu machen. Diese werden für das nächste Release erwartet. Aber ZFS wird auf jeden Fall bereits jetzt standardmäßig im Array (Single Disk) und in Pools unterstützt.

 

3. Ich verstehe diese Aussage nicht. Welche Anpassungen? Welche Kompatibilitätsprüfungen?

 

4. ZFS läuft out-of-the-box spätestens seit 6.12.x unter Unraid. Weitere Tools sind nur für Randgebiete erforderlich. Man muss für die Unterstützung einer GPU keine zusätzlichen Plugins installieren - kann man aber. So ist es auch bei ZFS. Man muss keine zusätzlichen Tools installieren - kann man aber.

 

Edited November 4, 20232 yr by hawihoney

4 hours ago, sweet-whodunit1897 said:

 UnRaid ist normalerweise auf den Einsatz von Btrfs als Dateisystem ausgelegt. ZFS ist zwar ein leistungsfähiges Dateisystem, wird aber in UnRaid nicht standardmäßig unterstützt. Wenn du dich für ZFS entschieden hast, kann dies in einigen Fällen zusätzliche Anpassungen und Kompatibilitätsprüfungen erfordern. Du solltest sicherstellen, dass ZFS mit UnRaid ordnungsgemäß funktioniert und die benötigten Plugins oder Erweiterungen installiert sind.

 

unraid war auf die Benutzung von xfs und/oder btrfs ausgelegt. Wenn ich einige Warnungen richtig interpretiere war früher sogar ReiserFS möglich.

Seit Unraid 6.12 ist zfs standardmäßig mit drin und wird stufenweise weiter integriert und die noch fehlenden Restfunktionen nachgerüstet.

zfs macht aber im Array eher keinen wirklichen Sinn/Nutzen (abgesehen von Ausnahme wie Snapshots).

zfs in unraid (seit 6.12.x) braucht für die Nutzung von zfs selber keine zusätzlichen Plugins oder Erweiterungen, aber es gibt einige, die zusätzlichen nutzen bieten können (Snapshots bequemer).

 

Hallo Zusammen,

 

Also tatsächlich habe ich eine HDD im Array, eine HDD als Parity und eine NVMe als Cache. Deshalb für das Array XFS und ich habe jetzt mal den Cache auch auf XFS gestellt sowie die Docker auf Cache Only mit dem Appdata Backup Plugin.

 

Die Container starten tatsächlich jetzt deutlich schneller! 

 

Evtl. plane ich eine zweite HDD mittels einem PCIe Raid Controller von LSI mit der anderen dann in RAID1 zu konfigurieren, dann wäre wie oben erwähnt ZFS die bessere Wahl?

 

 

Grüße

TrashCo92

Edited November 4, 20232 yr by TrashCo92

12 minutes ago, TrashCo92 said:

Evtl. plane ich eine zweite HDD mittels einem PCIe Raid Controller von LSI mit der anderen dann in RAID1 zu konfigurieren, dann wäre wie oben erwähnt ZFS die bessere Wahl?

Wieder mal NEIN 🙂

Das ist dann dreifach gemoppelt.

Du brauchst kein RAID Kram, solange Du ein UNRAID Array mit Parität hast.

Bei Deinem derzeitigen Aufbau ersetzt es RAID 1, wenn Du mehr Platten dazupackst, steigt die Nettogrösse, und es entspricht in etwa RAID5.

Du darfst übrigens keinen RAID Controller verwenden, den benutzt UNRAID nicht!

Oder, Du musst den Controller umflashen in den sogenannten "IT" Modus (also einzelne Platten ohne RAID). Für LSI Controller gibt es meist entsprechende BIOSe. Aber Obacht! manch billig erscheinende OEM Variante lässt sich nicht umbauen und ist dann nur tote Hardware im Slot!

 

In keinem Falle brauchst Du ZFS

Wenn Du das wirklich haben willst, nimm Dir ein anderes OS, aber nicht Linux und UNRAID. Bei FreeBSD ist ZFS z.B. nativ und auch bootfähig vorhanden. (aber auch da benutze ich es nicht)

 

Also auf ZFS habe ich mich wirklich nicht eingeschossen, dachte nur weil es oben empfohlen wurde 😅

 

Tatsächlich möchte ich doppelt moppeln. Der RAID1 Controller dient nur als Backup, Unraid soll auch nur eine Platte sehen, das ist gewollt von mir, einmal im Monat die zweite Platte einschieben Sync ablaufen lassen und dann wieder raus und gut verstauen, sind sehr empfindlich mit unseren Daten und haben gerne 3 oder gar 4 Fach eine Sicherung von allem. 😉

Edited November 4, 20232 yr by TrashCo92

Du kannst in einem RAID1 System keine "Platte rausnehmen"

 

Du willst sie doch einfach nur spiegeln, da nimmt man sich irgendeine externe USB Platte (wenn nicht gerade WD oder SANDISK draufsteht, siehe Warnung in der CT heute), pappt sie an einen Rechner und lässt ein Skript mit rsync oder robocopy ablaufen. Das kopiert dann die Änderungen auf die externe Platte, danach kann man sie wieder abziehen und weit weg deponieren.

 

Doch bei SAS HotPlug geht das auch im laufenden Betrieb, haben da welche von Seagate der X-Serie in Ausblick.

 

Hatten leider einen immensen Datenverlust, meine Frau leidet heute noch darunter das Bilder aus Ihrer Kindheit weg sind, hatten ein Synology NAS nach einem Defekt beide Platten im Eimer und die externe SSD mit dem Backup ist eine vpn SanDisk Extreme sind von dem Problem betroffen und konnten nur einen Teil wiederherstellen...

Edited November 4, 20232 yr by TrashCo92

Du verwechselst da was, und zwar was GROSSES!

 

RAID (oder UNRAID mit Parität) hat NICHTS MIT BACKUP ZU TUN!

Beide Systeme sorgen nur dafür, dass nach Ausfall einer Platte (und dazu würde das Rausziehen einer RAID1 Platte im Betrieb mitzählen) die Daten aus dem Rest wieder errechnet werden können und auf eine neue, heile, Platte rekonstruiert werden können.

Solange ist das Array im Fehlerstatus und die Performance ist arg eingeschränkt.

 

DAS WILLST DU NICHT!!!

 

(zumal, bei RAID1 würde beim Wiedereinstecken der zweiten Platte diese als ungültig erkannt werden und alle Sektoren komplett neu beschrieben werden. Das dauert Stunden bis Tage! Du willst bei einem Backup nur die Unterschiede in endlicher Zeit übertragen)

 

Also vergess mal das Wort RAID ganz schnell und überleg Dir ein richtiges Backup Konzept.

 

 

Hi,

 

Das Prinzip von RAID und UnRaid ist mir klar dass es sich um keine Backup Lösung handelt, deshalb ja mein Gedankengang über ein echtes zusätzliches Backup.

Zwar muss ich das Thema mit UnRaid und Raid Controller widersprechen was ein Array Fault betrifft da UnRaid nur eine Platte vom Controller sieht und garnicht ers mitbekommt wenn eine gezogen wird da der Controller das managed aber ich dachte es gäbe seitens des Controllers über das BIOS dessen eine Einstellmöglichkeit über einen Abgleich nach einstecken mit entsprechenden Sync...

 

Von einer Backup Lösung mit externer USB möchte ich weg, schlechte Erfahrung jetzt damit gemacht und die USB-Controller selber sind ja auch nicht immer so zuverlässig...

 

Gibt's denn da keine professionelle Backup Lösung außerhalb von UnRaid? Wie handhabt Ihr dass so abgesehen von der USB-Platte?

Edited November 4, 20232 yr by TrashCo92

27 minutes ago, TrashCo92 said:

da UnRaid nur eine Platte vom Controller sieht

Unraid sieht da gar keine Platte. Diese Controller werden nicht unterstützt.

27 minutes ago, TrashCo92 said:

Gibt's denn da keine professionelle Backup Lösung außerhalb von UnRaid?

Klar, kommt nur auf den Geldeinsatz an.

Also ich hab hier einen zweiten Server mit gleicher Plattengröße. Allerdings unter Windows und normalerweise AUS.

Der fährt über eine WLAN Steckdose einmal am Tag hoch, kopiert mit robocopy alle Änderungen von den 90TB UNRAID Daten rüber und schaltet sich dann wieder ab.

Und zusätzlich noch ein paar TB externer USB Platte "für die wichtigen Daten wie Fotos usw."

 

Ach ja, der Backup Server steht natürlich in einem anderen Gebäude als der Hauptserver...

Edited November 4, 20232 yr by MAM59

2 hours ago, TrashCo92 said:

Evtl. plane ich eine zweite HDD mittels einem PCIe Raid Controller von LSI mit der anderen dann in RAID1 zu konfigurieren, dann wäre wie oben erwähnt ZFS die bessere Wahl?

 

Raidkontroller in unraid sind nicht wirklich zu empfehlen.

normale SATA Kontroller sind stromsparender und machen unter unraid weniger meist Probleme.

Wenn Du raid in unraid nutzen willst: Pool mit den Datenträgern erstellen und empfehlenswerterweise mit zfs zusammenfassen.

16 hours ago, MAM59 said:

Also ich hab hier einen zweiten Server mit gleicher Plattengröße.

Das ist garkeine schlechte Idee... 🤔

Hätte noch ein etwas älteres NUC, da ne 2,5" Ironwolf HDD von Seagate reinpacken und an einem anderen Standort aufstellen. Das schau ich mir mal an, danke für den Tipp! 😀

Du kommst mit EINER Platte aus? und dann auch noch 2,5"

über wie wenig Daten reden wir hier eigentlich???

 

Momentan haben wir 4TB Festplatten verbaut und haben momentan 2,5TB belegt. Haben nur Bilder und Videos sowie paar Unterlagen, mehr nicht.

21 minutes ago, TrashCo92 said:

Momentan haben wir 4TB Festplatten verbaut und haben momentan 2,5TB belegt. Haben nur Bilder und Videos sowie paar Unterlagen, mehr nicht.

Wofür dann der angedachte LSI-Raidkontroller?

unraid kann im Pool auch Raid (zfs oder wenn man es unbedingt will btrfs)

Die paar Daten verpackt man doch problemlos auf einer Festplatte (Achtung; alle SATA Festplatten 2,5" >2TB sind SMR Technik!) oder vielleicht sogar wünschenswerter (aber teuerer) SSD.

40 minutes ago, TrashCo92 said:

Momentan haben wir 4TB Festplatten verbaut und haben momentan 2,5TB belegt.

Und für solch Spielzeug machst Du so einen Wind?

Da kannst Du doch 8 externe Festplatten kaufen, für jeden Wochentag eine. Immer schön rotieren lassen.

 

Edited November 5, 20232 yr by MAM59

5 hours ago, MAM59 said:

Und für solch Spielzeug machst Du so einen Wind?

Da kannst Du doch 8 externe Festplatten kaufen, für jeden Wochentag eine. Immer schön rotieren lassen.

 

Ne noch viel mehr. Momentan haben wir ein 12HE Rack mit APU Board und Pfsense darauf sowie Ubiquiti POE switch und USV von Eaton. Server haben wir schon seit 5 Jahren einen mit AM4 Servermainboard worauf ein Ryzen 2700x mit 32GB ECC RAM läuft.

 

Da der Server eh da ist und bisher genutzt wurde für HomeAssistant sowie eigener Cloud und 2 Gameserver und Teamspeak für die Kinder hat es sich angeboten auf Unraid umzusteigen jetzt, bin von der Performance bisher begeistert alles jetzt mit Docker einfach zu lösen auch weil es für Ubiquiti den Unifi Controller als Docker gibt sowie HA mit Mosquitto, Ngynx Proxy Manager für unsere Subdomains und und und. Der Server lief vorher mit Windows 2019 R2 und alles als VMs gehabt... lief aber ist mit Unraid und Docker jetzt doch performanter.

Das ganze Datenmanagement haben wir bisher mit einem NAS gelöst gehabt da ich mir den Aufwand mangels Wissen gescheut habe aber mit Unraid eig. jetzt soweit zufrieden.

 

Unsere Daten als Spielzeug zu betiteln finde ich gewaltig unter der Gürtellinie! Die Daten sind uns heilig aus der Kindheit die ganzen Urlaube etc. an den Größen der Festplatten sollte man den Wert der darauf ist nicht verurteilen! Die Sicherheit der Daten stehen an oberster Stelle für uns egal wie wenig es trotzdem sein mögen, wenn es weg ist kann es nicht ersetzt werden...

Edited November 5, 20232 yr by TrashCo92