XFS oder BTRFS - neue 16tb array

[Encore]

Hey zusammen,

 

mal kurze frage, ist zwischenzeitlich btrfs stabil genug für daily drive im array?

habe mir 4x 16tb -toshiba mg08) zugelegt -- habe die parity jetzt erstmal ersetzt, dauert noch ca nen tag, danach tu ich mit unbalance 1 platte füllen und die leere dann mit der 16tb ersetzten, danach wieder unbalance alles auf die 16tb platte und anschließen die beiden verbleibenden ersetzen.

 

frage:

 

lohnt sich zwischenzeitlich auf btrfs zu setzen? oder weiterhin xfs.

nutze ne USV - apprupte abbrüche sollten nicht vorkommen, geht aber um die allegemeine stabilität - vorteile / nachteile usw.

die snapshot funktion wäre ja durchaus praktisch und das selfhealing bzw der report zumindest.

 

oder doch eher xfs + plugin und "safe" bleiben?

 

zfs habe ich mich nie damit beschäftigt und möchte auch nicht unraids flexibilität verlieren, daher scheidet das denke ich mal für mich aus.

 

i5 9400

32gb ram

4x toshiba 16tb mg08

 

gruß

[saber1]

Moin,

 

die meisten Meinungen (und so auch meine) wirst Du hier in folgender Form finden:

Für das Array und generell für Single Disks: XFS

Im Pool eher BTRFS, wenn Du ein RAID nutzen möchtest.

Ab 6.12 dann auch gerne ZFS statt BTRFS.

[Ford Prefect]

44 minutes ago, Encore said:

zfs habe ich mich nie damit beschäftigt und möchte auch nicht unraids flexibilität verlieren, daher scheidet das denke ich mal für mich aus.

ZFS in unraid ändert an der Philosophie dahinter nix....alles klappt, wie bisher, inkl. Disk spindown/-up im Array und Pools, ebenso wie gemischte Grössen bei Daten-Disks im Array.

Denke ZFS wie BTRFS...nur stabiler, zumindest was meine Erfahrung betrifft...und sogar stromsparender (mein Cache Pool aus 2x1TB NMVE läuft mit ZFS echte 2-3Grad kühler, bei gleicher Nutzung).

 

...selbst wenn Du andere ZFS-features wie snaps usw. nicht später einsetzt, würde ich sogar ZFS schon jetzt, mit der aktuellen 6.12RC2 empfehlen.

[Encore]

zfs fürs array selbst?

 

habe 1 cache nvme die btrfs nutzt, zfs im array würde mir doch die flexibilität von unraid berauben, oder?

 

wie würdet ihr eigentlich vorgehen, wenn man ne bestehende data disk ersetzt, ist die vorgehensweise von mir oben so gut?

 

habe server heruntergefahren und die parity rausgezogen, mit einer der neuen ersetzt und neu zugeordnet -> parity check läuft jetzt erstmal ne weile.

 

danach habe ich vor mit unbalance die daten von den bestehenden hdds (3 neben der parity) zu "bündeln", also alles was geht au feine zu schaufeln um ideal beide anderen "leer" zu bekommen -> herunterfahren und die leere/n dann mit den neuen 16tb ersetzen,

 

danach wieder mit unbalance die daten auf die neuen 16tb schaufeln und die letzte alte dann auf selben weg ersetzen.

 

möchte mir sparen dass ich 3 oder 4 mal nen parity rebuild von mehr als 24 sdt antun muss

lohnt sich preclear, wenn ich ne daten disk im array ersetze?(nicht ergänze)?

 

---

oder würdest du mit den 4 16tb eher nen zfs "cache" pool bauen, der dann als "array" dient? und glaube muss irgend nen dummy im array sein, damit man das überhaupt starten kann 

 

 

---

 

die frage ist halt, ob ich dann auf zfs gehe und mich da durch teste oooooder beim klassischen xfs dann bleibe und normales array nutze + nen nvme als cachepool (single disk -> aber keine wichtige daten drauf, appdata ist auf ner externen gesichert und die wichtigen daten vom array via nen rclone auch auf der externen) - rest sind überwiegend filme usw.^^

Edited April 13, 2023 by Encore

[Ford Prefect]

42 minutes ago, Encore said:

zfs fürs array selbst?

 

habe 1 cache nvme die btrfs nutzt, zfs im array würde mir doch die flexibilität von unraid berauben, oder?

Nein, würdest Du nicht...daher sagte ich ja..."denke für unraid ZFS wie BTRFS".

Wenn Du im Array BTRFS wählst wird auch kein BTRFS Raid draus...die einzelne Disk wird mit BTRFS formatiert...jede einzelne...mit ZFS ist/wird es genauso.

Du erhälst statt eines journaled FS ein Copy-on-write FS auf jeder Disk im Array...die Parity ist eine unraid-Parity, nicht einen BTRFS/ZFS-Parity aus einem BTRFS/ZFS-Raid-Mode, es gibt kein Striping im Array.

"Echte" ZFS-pools und datasets und Rad-Level kannst Du für unraid pools verwenden....hier musst Du ein wenig aufpassen/verstehen, da das Wort pool eben bei unraid und bei ZFS auftaucht, dass hier pool technisch unterschiedlich belegt ist.

 

42 minutes ago, Encore said:

wie würdet ihr eigentlich vorgehen, wenn man ne bestehende data disk ersetzt, ist die vorgehensweise von mir oben so gut?

 

habe server heruntergefahren und die parity rausgezogen, mit einer der neuen ersetzt und neu zugeordnet -> parity check läuft jetzt erstmal ne weile.

Wieso? Ist die neue Daten-Disk grösser als die alte Parity?

 

42 minutes ago, Encore said:

danach habe ich vor mit unbalance die daten von den bestehenden hdds (3 neben der parity) zu "bündeln", also alles was geht au feine zu schaufeln um ideal beide anderen "leer" zu bekommen -> herunterfahren und die leere/n dann mit den neuen 16tb ersetzen,

 

danach wieder mit unbalance die daten auf die neuen 16tb schaufeln und die letzte alte dann auf selben weg ersetzen.

 

möchte mir sparen dass ich 3 oder 4 mal nen parity rebuild von mehr als 24 sdt antun muss

lohnt sich preclear, wenn ich ne daten disk im array ersetze?(nicht ergänze)?

Ich würde die Parity ausbauen...die neue Daten-Disk zusätzlich einbauen und dann einfach die Daten der "alten" Daten-DIsk manuell auf die neue kopieren (kopieren, nicht verschieben, so bleibt sie als Backup übrig und kann bei Bedarf über UD nochmal eingebunden werden).

Dann die alte Daten DIsk ausbauen, die neue an ihren Platz setzen ... die Position der Daten-Disks, solange Parity nicht da ist, spielt keine Rolle....dann die Parity wieder einbauen.

So muss man nur einmal Parity neu bauen....ist sicher dann, wenn man Backups hat...sonst muss man das Risiki abwägen.

Bei jeder Disk-Config Aktion natürlich vorher Array stop/start.

 

42 minutes ago, Encore said:

lohnt sich preclear, wenn ich ne daten disk im array ersetze?(nicht ergänze)?

Eine neue Disk bekommt bei mir immer 1x Pre-Clear...eine alte schonmal 2x.

 

42 minutes ago, Encore said:

oder würdest du mit den 4 16tb eher nen zfs "cache" pool bauen, der dann als "array" dient? und glaube muss irgend nen dummy im array sein, damit man das überhaupt starten kann 

Ja,, als "Dummy" kann ein USB-Stick dienen oder eine kleine HDD/SSD (mit/ohne Parity)...bei einem Dummy musst Du halt den Cache für die/alle Shares auf den Pool umleiten.

Bei Filmen, die nur angeguckt werden, habe ich es so gemacht...der Stromverbrauch ist der gleiche, da die Disks eben 99% der Zeit schlafen....bei Nutzung aber eben alle laufen.

Im Pool gibt es keine Performance Penalty...neue Filme hinzufügen geht also schnell.

Ich habe 2x18TB +2x 20TB in einem Pool und damit meinen alten Filer abgelöst, dessen MB+NT nach 10 Jahren gestoben ist...der war 99% im Sleep

 

Wenn Du das Array öfter nutzt, zB mit Daten ausm Scanner oder Office ... ich habe 1xDaten+1xParity zu 1TB aus 2.5HDDs im Array für diesen Zweck.

Bei nur 1x Daten-Disk im Array (0x, 1x oder 2x Parity) macht unraid übrigens einen "Trick" und macht stillschweigend einen Mirror draus...auch keine Performance-Einbussen beim Write.

Edited April 13, 2023 by Ford Prefect

[Encore]

ok bn echt am übrelegen dann auf die neue r2 zu updaten und zfs dann als single filesystem  zu nutzen

 

was bringt mir das, wenn features wie automatische bitrot detection usw fehlen, da diese funktion as i know bei zfs nur in einem zfspool mögl ist? (wegen mirror usw)

 

prinzipiell habe ich dann ein "besseres" xfs + die möglichkeit, disk bezogene snapshots zu machen?

und ich krieg bitrot zumindest angezeigt u nd kann die datei gezielt mittels nem backup "reparieren"?

 

oder welche genaue vorteile bringt mir zfs -- ist das dann genauso ram hungrig wie im inet überall zu lesen ist?

ich nutze KEIN ecc (ist ja n icht ZWINGEND erforderlich)

 

und wenn ich jetzt auf die rc2 gehe und danach wieder auf stable wechsle, kann ich sobald das update offiziell da ist, wieder auf die stable wechseln, richtig?

Edited April 13, 2023 by Encore

[DataCollector]

2 hours ago, Encore said:

mal kurze frage, ist zwischenzeitlich btrfs stabil genug für daily drive im array?

Da im Array die Festplatten alle einzeln formatiert werden sehe ich da xfs als vollkommen okay an.

BTRFS hat Vorteile, wenn man mehrere Datenträger zusammenfassen will (also beispielsweise im Pool), weil das in xfs nicht geht.

Somit möchte ich BTRFS nicht im Array einsetzen, weil ich da (für mich) keinen Vorteil sehe.

 

Es gibt auch Meinungen (und ich las auch einige Berichte hier im Forum), daß BTRFS in einigen Konstellationen dann doch auch Probleme hatte.

Auch deshalb bin ich im Array weiter bei xfs und in meinen Pools mit mehreren Datenträgern von BTRFS zu zfs per aktuellem unraid RC gewechselt.

Aber zfs in diesem RC ist eben aktuell noch nicht der Weisheit und Entwicklung letzter Schluß.

Ich sehe den RC mit zfs als noch experiementell an und wenn man das testet, sind Backups für wichtige Daten zwischen "sehr zu empfehlen" und "Pflicht".

 

 

2 hours ago, Encore said:

nutze ne USV - apprupte abbrüche sollten nicht vorkommen, geht aber um die allegemeine stabilität - vorteile / nachteile usw.

die snapshot funktion wäre ja durchaus praktisch und das selfhealing bzw der report zumindest.

Wenn Du diese Features zu brauchen meinst, ist BTRFS möglich. Ob es dann bei Dir stabil läuft wird sich zeigen.

In meinen Pools lief BTRFS als Datenträgerverbund stabil, aber die doch gelegentlich zu lesenden Probleme haben mich dann dafür doch zu zfs gebracht.

 

2 hours ago, Encore said:

oder doch eher xfs + plugin und "safe" bleiben?

ich bleibe im array aktuell bei xfs.

ich nutze auch Plugins, weiß aber aktuell nicht auf welches Du anspielst.

Ich halte aber zusätzlich manuelle Checksummen und Backups der Daten vor, die mir für mich wichtig erscheinen.

 

2 hours ago, Encore said:

zfs habe ich mich nie damit beschäftigt und möchte auch nicht unraids flexibilität verlieren, daher scheidet das denke ich mal für mich aus.

Sofern unarid in einer späteren Version zfs wirklich noch besser und weitaus umfangreicher implementiert sehe ich keinen Flexibilitätsverlust.

Ich habe mich in zfs aber auch noch nicht wirklich eingelesen und teste es eben aktuell in 3 Pools einfach um eigene Erfahrungen zu machen.

[DataCollector]

1 hour ago, Ford Prefect said:

ZFS in unraid ändert an der Philosophie dahinter nix....alles klappt, wie bisher, inkl. Disk spindown/-up im Array und Pools,

Hier habe ich aktuell die Erfahrung, daß ich zwar manuell einen Pool mit zfs 2 Festplatten (je 18TB zusammengeschaltet als das, was man außerhalb zfs als Raid0 bezeichnete und nur mit manuell aufgebrachten Daten gefüllt) in den Spindown schicken kann.

Aber auch wenn sein darauf enthaltenes einziges Share stundenlang nicht angesprochen wird nach spätestens 1 Minute wieder aufwacht.

Da ich das bei meinen SSD zfs Pools auch beobachte und auch mit Fileactivity nicht erkenne, wer oder was da aufweckt, vermute ich (rein aus der bisherigen Beobachtung). daß da noch Optimierungsbedarf besteht. Ob dieser Bedarf in der zfs Implementierung oder der Konfiguration meiner unraidsysteme liegt, muß ich noch herausfinden.

[Ford Prefect]

6 minutes ago, Encore said:

was bringt mir das, wenn features wie automatische bitrot detection usw fehlen, da diese funktion as i know bei zfs nur in einem zfspool mögl ist? (wegen mirror usw)

Du hast ja bit-rod detection durch copy-on-write. Wüsste nicht, was das mit der Grösse und Raid-Level zu tun hat.

Im Array hast Du 1x Parity...eine Disk kann ausfallen. Im Pool hast Du scrub.

 

Bei unraid Pools mit ZFS hängt es von der Struktur des ZFS-Pools ab...wenn Du ein hot-spare hast, dann geht die Reperatur / replace+resilver unkomplizierter

 

11 minutes ago, Encore said:

prinzipiell habe ich dann ein "besseres" xfs + die möglichkeit, disk bezogene snapshots zu machen?

snapshots gehen noch nicht "nativ" in RC2 ... es gibt ZFS Plugins, die das können...aucb Backups mit zfs send...habe ich ber nicht getestet.

im RC2 hast du eben den gleichen "unraid Level" wie BTRFS...nur ist ZFS wirklich stabiler...auch auf Linux ausgereift....einige schöne Features sind noch nicht "zuugänglich", aber das macht ZFS jetzt nicht unausgereift.

 

15 minutes ago, Encore said:

oder welche genaue vorteile bringt mir zfs -- ist das dann genauso ram hungrig wie im inet überall zu lesen ist?

ich nutze KEIN ecc (ist ja n icht ZWINGEND erforderlich)

Nein, ist es nicht...es wird einen Teil des RAMs als ARC-Cache nutzen, den aber auch dynamisch wieder freigeben, wenn gefordert....mein alter Filer lief mit ZFS auf 8GB Ram ohne wesentliche Performance Probleme...die DIsks waren aber auch langsamer als heute

in meinem System mit 32GB belegt ZFS etwa 20-35%, laut UI...es ist stets genug RAM "übrig", etwa 40-50% (habe einige Docker und eine FreePBX VM)

Der "echte Speicherhunger" kommt - neben ARC Cache - durch ein Feature, das "de-duplication" heisst...das würde/habe ich nie genutzt.

 

20 minutes ago, Encore said:

und wenn ich jetzt auf die rc2 gehe und danach wieder auf stable wechsle, kann ich sobald das update offiziell da ist, wieder auf die stable wechseln, richtig?

Das wäre der Plan...versprechen kann das aber natürlich Niemand....Backups sind ohnehin, auch so Pflicht

 

7 minutes ago, DataCollector said:

Hier habe ich aktuell die Erfahrung, daß ich zwar manuell einen Pool mit zfs 2 Festplatten (je 18TB zusammengeschaltet als das, was man außerhalb zfs als Raid0 bezeichnete und nur mit manuell aufgebrachten Daten gefüllt) in den Spindown schicken kann.

Ich habe einen Pool aus 2x18TB Mirror gebaut...und eine Woche später nochmal 2x20TB da drin nachgerüstet....also ein Mirror aus 2x2 Devices (2 groups of 2 devices).

Ist was spindown und spinup betrifft völlig unauffällig.

[Encore]

reichen da bei mir dann die 32gb ram? 

 

hab ja 4x 16tb platten drinnen, hab gehört 1gb pro tb -- da komm ich ja nicht mit rum 😮

werde auch den weg dann gehen mit zfs und auf die rc2 updaten, die platten aus zfs formatieren und die daten zurückspielen und danach nen sync laufen lassen - hab leider kein "spare" anschluss frei  4x sata +nvme sind belegt durch die nvme sind die beiden anderen sata ports abgeschaltet :X

 

wie ist der speed von zfs im vergleich zu xfs ?

hab ich da große einbußen?

[DataCollector]

3 minutes ago, Ford Prefect said:

Du hast ja bit-rod detection durch copy-on-write.

Soweit ich es verstanden habe:

copy on write bedeutet, daß ein identischer Datenblock nicht neu geschrieben wird, sondern man nur darauf hin verweist. Erst wennd er Datenblock von einem Prozeß verändert wird, schriebt man den Datenblock wirklich neu in der gewünscht veränderten Form.

Ich verstehe nicht, wie copy on write einen durch Bitkippen/-rot veränderten Zustand des Originalblockes erkennt.

bei zfs las ich von zusätzlichen Checksum-informationen. durch diese Ebene würde ich mir spätestens beim Lesen der betreffenden Stelle eine erkenneung und ggf. korrektur versprechen. Aber ist es das, was mit copy on write gemeint ist?

 

3 minutes ago, Ford Prefect said:

Der "echte Speicherhunger" kommt - neben ARC Cache - durch ein Feature, das "de-duplication" heisst...das würde/habe ich nie genutzt.

Ich habe bei meinem aktuell (vor 2 Tagen neu aufgesetztem) Pool mit den 2 18TB Festplatten (Raid0) mal die Auswahloption eingeschaltet, daß er da 'komprimieren' soll oder wie es genau hieß. Davon hatte ich einen zfsPool mit 2x20TB (Raid0) ohne diese Option zu aktivieren.

Ich vermute mal, daß diese Option genau durch die Deduplizierung Platz sparen soll. Aber da auf dem aktuell einzig dort enthaltenen Share nur Videodateien zum Testen rumliegen, wird das sowieso eher selten identsiche Blöcke haben.

 

3 minutes ago, Ford Prefect said:

Ich habe einen Pool aus 2x18TB Mirror gebaut...und eine Woche später nochmal 2x20TB da drin nachgerüstet....also ein Mirror aus 2x2 Devices (2 groups of 2 devices).

Ist was spindown und spinup betrifft völlig unauffällig.

Danke! Ich hatte befürchtet, daß irgendwas in meinen Systemen die Pools wach hält. nur bei der (fast) selben Konstellation in BTRFS hatten sich die Pools schlafen gelegt.

Dann muß ich wohl wirklich der Reihe nach (fast) alle Plugins mal rauswerfen und schauen wann sich das mit dem Spindown wieder bessert.

 

 

[DataCollector]

2 minutes ago, Encore said:

reichen da bei mir dann die 32gb ram? 

Ich habe von zfs noch nicht wirklich die Ahnung, aber bei mir mit einem 36TB zfs Pool (2x18TB Raid0 mit nun eingeschalteter 'Komprimierung') schluckt mein 1st System bei 128GB Ram Ausstattung laut Dashboard aktuell 37% für ARC.

Das wäre also sogar etwas mehr als 1GB pro TB.

 

2 minutes ago, Encore said:

4x sata +nvme sind belegt durch die nvme sind die beiden anderen sata ports abgeschaltet :X

Welches Mainboard hast Du?

Hast Du einen freien PCIe Slot (Standard 2.0 oder höher mit x1 oder mehr Lanes) frei?

 

2 minutes ago, Encore said:

wie ist der speed von zfs im vergleich zu xfs ?

Da muß ich passen. objektive Tests habe ich nicht gemacht.

 

[Encore]

8 minutes ago, DataCollector said:

Welches Mainboard hast Du?

Hast Du einen freien PCIe Slot (Standard 2.0 oder höher mit x1 oder mehr Lanes) frei?

ASRock H370M-ITX/ac
1x pcie 3 aber da steckt die quadro p4000 drinnen

 

8 minutes ago, DataCollector said:

Ich habe von zfs noch nicht wirklich die Ahnung, aber bei mir mit einem 36TB zfs Pool (2x18TB Raid0 mit nun eingeschalteter 'Komprimierung') schluckt mein 1st System bei 128GB Ram Ausstattung laut Dashboard aktuell 37% für ARC.

Das wäre also sogar etwas mehr als 1GB pro TB.

da ich noch ne windows vm für steam headless nutze  un d damit mit meiner switch zocke (modchip) bzw mit sunshine streame, und je game auch gerne mal 10+gb ram verbraucht werden, kann da mein bottelneck wohl entstehen

 

15 minutes ago, DataCollector said:

Soweit ich es verstanden habe:

copy on write bedeutet, daß ein identischer Datenblock nicht neu geschrieben wird, sondern man nur darauf hin verweist. Erst wennd er Datenblock von einem Prozeß verändert wird, schriebt man den Datenblock wirklich neu in der gewünscht veränderten Form.

Ich verstehe nicht, wie copy on write einen durch Bitkippen/-rot veränderten Zustand des Originalblockes erkennt.

bei zfs las ich von zusätzlichen Checksum-informationen. durch diese Ebene würde ich mir spätestens beim Lesen der betreffenden Stelle eine erkenneung und ggf. korrektur versprechen. Aber ist es das, was mit copy on write gemeint ist?

ähnliches habe ich auch eben gelesen -- dass die bitrot detection wohl nur in einem zraid möglich ist, er erkennt zwar den bitrot, kann ihn aber nicht korrigieren in einer standalone zfs variante ohne zraid oder so, da wohl der notwendige backup fehlt - also der mirror zB wo er dann den defekt drüber beheben könnte ---- durchs kurze einlesen , hoffe hab das richtig verstanden

 

 

bin jetzt doch wieder hin und her gerissen  gottttttttttttttttt haha

würde vermeiden wollen, dass ich nach 1 monat feststelle - uff zfs ist für daily drive doch nicht gut (ram zB) bzw performt extrem langsam wenn ram zu voll wird und ich krieg dadurch ständig iwelche errors ..

 

habe zwar backups, aber nur von "kritischen" sachen, würde ungern 10tb + an serien / filme rips von mir und freunden verlieren haha

[Ford Prefect]

5 minutes ago, DataCollector said:

Aber ist es das, was mit copy on write gemeint ist?

kurz: ja

6 minutes ago, DataCollector said:

Ich habe bei meinem aktuell (vor 2 Tagen neu aufgesetztem) Pool mit den 2 18TB Festplatten (Raid0) mal die Auswahloption eingeschaltet, daß er da 'komprimieren' soll oder wie es genau hieß. Davon hatte ich einen zfsPool mit 2x20TB (Raid0) ohne diese Option zu aktivieren.

Ich vermute mal, daß diese Option genau durch die Deduplizierung Platz sparen soll.

Nein, komprimierung ist einfach das, was es sagt...ist wwie "zip/unzip on the fly"...ich meine der Basis-Algo ist LZ4...kann man aber einstellen.

Braucht natürlich auch RAM und CPU...aber de-duplication ist was anderes.

 

11 minutes ago, Encore said:

hab ja 4x 16tb platten drinnen, hab gehört 1gb pro tb -- da komm ich ja nicht mit rum 😮

Ich habe 2x18TB und 2x20TB und 2x1TB8Cache) mit ZFS ... im alten Filer mit 8GB hatte ich 23TB ... ich weiss nicht, woher die Leute immer diese Zahlen hören/haben...quatsch!

 

13 minutes ago, Encore said:

wie ist der speed von zfs im vergleich zu xfs ?

hab ich da große einbußen?

überhaupt NULL einbußen, solange Du eben CPU hungrige features nicht aktivierst...nicht Äpfel mit Birnen vergleichen.

Wenn Du auf ner Baby-CPU - egal ob mit/ohne AES-NI Support -  (die falsche) compression aktivierst bis Du am Irsch...logisch ;-)...diese eingebauten Features sind für Enterprise-Level...logisch, wenn man weiss, wer es erfunden hat. Auch Auto-Trim ist drin, was bei SSDs/NVMEs Sinn macht....das hat xfs oder btrfs nicht.

[Encore]

4 minutes ago, Ford Prefect said:

überhaupt NULL einbußen, solange Du eben CPU hungrige features nicht aktivierst...nicht Äpfel mit Birnen vergleichen.

Wenn Du auf ner Baby-CPU - egal ob mit/ohne AES-NI Support -  (die falsche) compression aktivierst bis Du am Irsch...logisch ;-)...diese eingebauten Features sind für Enterprise-Level...logisch, wenn man weiss, wer es erfunden hat. Auch Auto-Trim ist drin, was bei SSDs/NVMEs Sinn macht....das hat xfs oder btrfs nicht.

würde es sich dann auch lohnen meine nvme - die ich als cache nutze - als zfs zu formatieren ?(würde die docker sachen vorher runterkopieren mit rsync und später wieder draufkopieren )

 

und würdest du irgendwelche speziellen einstellungen empfehlen ? nutzt zfs standartmäßig compression oder ist das ne ram compression?

als cpu nutz ich nen i5 9400 - sofern relevant^^

 

möchte wie oben beschrieben performance - aber so wenig "struggle" wie möglich, soll quasi laufen und nahezu vergessen werden können = stabil sein

Edited April 13, 2023 by Encore

[Ford Prefect]

2 minutes ago, Encore said:

würde vermeiden wollen, dass ich nach 1 monat feststelle - uff zfs ist für daily drive doch nicht gut (ram zB) bzw performt extrem langsam wenn ram zu voll wird und ich krieg dadurch ständig iwelche errors ..

Ich wiederhole es nochmal...der RAM-Verbrauch bei ZFS passt sich dynamisch an, ist nicht statisch vorgegeben.

Mach einen test und gib ner VM doch mal 24GB von Deinen 32GB (2-4 solltest Du für unraid selbst einkalkulieren).

Da wird es keine ZFS Errors geben....ich hatte auch schon ZFS-Systeme mit 4GB RAM ohne irgendein Problem.

 

5 minutes ago, Encore said:

ähnliches habe ich auch eben gelesen -- dass die bitrot detection wohl nur in einem zraid möglich ist, er erkennt zwar den bitrot, kann ihn aber nicht korrigieren in einer standalone zfs variante ohne zraid oder so, da wohl der notwendige backup fehlt -

in einem Pool würdest Du ja ein ZFS-Raid Level bauen. Im Array hast Du nur eine Parity...ist bei BTRFS nicht anders.

ich habe aus Faulheit mein Array aber auch noch auf XFS....niemand zwingt Dich zu ZFS im Array...nimm doch das Beste aus allen Welten.

 

 

[Ford Prefect]

3 minutes ago, Encore said:

würde es sich dann auch lohnen meine nvme - die ich als cache nutze - als zfs zu formatieren ?(würde die docker sachen vorher runterkopieren mit rsync und später wieder draufkopieren )

Ja, vor allem wenn Du eben ein ZFS-Raid Level nutzen kannst.

ich würde das aber nicht mit rSync machen, sondern einfach durch den cache-level der Shares und den mover lösen.

 

4 minutes ago, Encore said:

möchte wie oben beschrieben performance - aber so wenig "struggle" wie möglich, soll quasi laufen und nahezu vergessen werden können = stabil sein

nimm einfach die Default Einstellungen...Performance kommt zuerst durch IOPS...also in einen Raid-Level investieren. 

Da reichen, wie gesagt auch 4GB RAM für das pure NAS.

...taste Dich gern weiter ran, wenn Du magst

[DataCollector]

26 minutes ago, Encore said:

ASRock H370M-ITX/ac
1x pcie 3 aber da steckt die quadro p4000 drinnen

Also das ASRock H370M-ITX/ac (90-MXB6R0-A0UAYZ).

Benutzt Du eine M.2 SATA SSD oder eine NVME SSD in dem M.2 M2_1 Slot?

 

https://www.asrock.com/MB/Intel/H370M-ITXac/#Specification
"If M2_1 is occupied by a SATA-type M.2 device, SATA3_1 will be disabled."

User Manual englisch
https://download.asrock.com/Manual/H370M-ITXac.pdf
PDF Seite 26 deutet auch an, daß nur einer der SATA Anschlüsse abgeschaltet (umgebogen) wird, wenn man in dem M.2 M:1 Slot eine SATA SSD einsetzt. bei einer M.2 NVMe SSD sollten sich also alle 6 SATA ports nutzen lassen.

 

Habe ich da etwas falsch verstanden? Du deutest an. daß 2 SATA Ports abgeschaltet wären. Das habe ich im Handbuch nicht wieder gefunden.

Du solltest entweder (wenn Du dort eine SATA M.2 SSD einsetzt) mindestens 5 SATA Ports zur verfügung haben, und wenn Du eine NVMe M.2 SSD dort einsetzt (oder den M.2 frei läßt) alle 6 SATA Ports nutzen können.

 

26 minutes ago, Encore said:

da ich noch ne windows vm für steam headless nutze  un d damit mit meiner switch zocke (modchip) bzw mit sunshine streame, und je game auch gerne mal 10+gb ram verbraucht werden, kann da mein bottelneck wohl entstehen

Wie gesagt, ich bin bei zfs zu neu um dazu wirklich etwas sagen zu könne. meien Ausaagen zu dem ARC waren nur meien aktuelle Beobachtung. ich teste noch.

[Encore]

7 minutes ago, DataCollector said:

Habe ich da etwas falsch verstanden? Du deutest an. daß 2 SATA Ports abgeschaltet wären. Das habe ich im Handbuch nicht wieder gefunden.

Du solltest entweder (wenn Du dort eine SATA M.2 SSD einsetzt) mindestens 5 SATA Ports zur verfügung haben, und wenn Du eine NVMe M.2 SSD dort einsetzt (oder den M.2 frei läßt) alle 6 SATA Ports nutzen können.

nutze 4x hdds + 1x 500gb ssd + 1x 1tb NVME (pcie x4) 

 

sind nur 5 nutzbar, sobald ich den sechsten anstecke wird er nicht erkannt. nur 5/6 

[DataCollector]

5 minutes ago, Encore said:

nutze 4x hdds + 1x 500gb ssd + 1x 1tb NVME (pcie x4) 

sind nur 5 nutzbar, sobald ich den sechsten anstecke wird er nicht erkannt. nur 5/6 

Laut Handbuch sollte das aber so nicht sein. Bist Du Sicher, daß Deine M.2 SSD wirklich NVMe ist? (Modellbezeichnung?)

Edited April 13, 2023 by DataCollector

[Encore]

12 minutes ago, DataCollector said:

Laut Handbuch sollte das aber so nicht sein. Bist Du Sicher, daß Deine M.2 SSD wirklich NVMe ist? (Modellbezeichnung?)

Samsung_SSD_980_1TB_S649NL0TC45201D - 1 TB (nvme0n1)

 

klappt definitiv nicht .

 

port ist auch nicht defekt, wenn ich ne andere rausstecke und den 6port benutze, geht er auch.

 

gehen definitiv nur 5

was auch bei nvme iwie logisch ist, da pcie sata x1 nutzt und nvme x4 

die nvme frisst mehr lanes weg als ne sata ssd im m2 slot

 

habs schon 10 mal getestet, auch mit neuem uefi geflasht -- defintiiv nur 5x mit nvme im slot

 

[saber1]

7 hours ago, Ford Prefect said:

ich weiss nicht, woher die Leute immer diese Zahlen hören/haben

Wahrscheinlich von hier:

Wiki: https://de.wikipedia.org/wiki/ZFS_(Dateisystem)#Deduplikation

TrueNAS Doc: https://www.truenas.com/docs/references/zfsdeduplication/#ram

[Ford Prefect]

ja, das ist eben de-duplication...ich denke nicht, dass das jemand mit nem single CPU-System, welches eher Strom sparen soll, einsetzt.

Im Kontext der Diskussion xfs und BTRFS/ZFS für unraid, wäre das wie Äpfel mit Birnen zu vergleichen...alles ist Obst.

 

Meine ersten Erfahrungen mit ZFS sind schon über 10 Jahre her...damals gab es nur Solaris und ZFS on Linux, noch kein OpenZFS...der ZFS-Stammtisch im HWLuxx startete im Januar 2009 und war da, zusammen mit napp-it von User gea die erste Anlaufstelle.

Und ja, es lief ohne Probleme und schnell auf meinen X8SIL mit kleinem Xeon und nur 8GB RAM, unter napp-it und dann Debian auf einem AMD Opteron mit 4GB, später 8GB RAM ls Filer. Damals waren 2TB disks so teuer wie heute ein 16TB,  ReiserFS für Linux war da eher Teil in der Diskussion und dann kam erst BTRFS, auf was noch in den Kinderschuhen war und sich nicht so weiterentwickelt hat.

Ich gehöre zu denjenigen, welche unter unraid, insbesondere nach v6.3, extreme Problem mit BTRFS hatten.

ZFS ist einfach ne andere Liga...nur weil es für viele neu in unraid ist, muss man verstehen, dass es es selbst nicht neu, sondern state-of-the-art und gehärtet, bei vielen professionellen Anwendern im EInsatz und nicht mehr wegzudenken ist.

 

Das es jetzt von unrid unterstützt wird, ist für meinen Teil ein Segen, sonst hätte ich die Sticks mit den Lizenzen wieder ins Regal gelegt und wäre auf Proxmox gewechselt.

Trotzdem übertreibe ich es nicht, mit dem "Feature - F("&§&!=?".....ich will einfach nur weg von BTRFS und mehr Sicherheit und Performance in Pools. Ich sehe es als BTRFS Ersatz.

Bisher klappt das super auf meinem C246M-WU4 und nem i8100. Snapshots und ZFS send sind schöne DInge, die es bei BTRFS nicht gab.....aber hier ware ich noch ab...wird kommen und dann schaue ich mir das an...keine Eile....schon garnicht mit ARC, ZIL, Special Caches auf nem extra vdev (https://arstechnica.com/information-technology/2020/05/zfs-101-understanding-zfs-storage-and-performance/) ...wobei das eben wieder anderes Obst ist.

 

my2cents.

 

 

 

[DataCollector]

8 hours ago, Encore said:

gehen definitiv nur 5

was auch bei nvme iwie logisch ist, da pcie sata x1 nutzt und nvme x4 

die nvme frisst mehr lanes weg als ne sata ssd im m2 slot

Dann hat ASRock da im Design etwas verpfuscht

Das Mainborad hat PCIe 3.0 x16 Slot

Da der Chipsatz diese Konfiguration (x16) nicht beherrscht hängt der PCIe Slot direkt an der CPU.

Somit hat der Chipsatz noch die Möglichheit 20 Lanes in x1, x2 oder x4 Konfiguration zu nutzen.

Also wäre es möglich PCIe 3.0 x4 für den M.2 M2_1 Slot zu benutzen und gleichzeitig alle 6 SATA Slots, einmal x1 für den M.2 WLAN und man hat dann immer noch mindestens bis zu 15 3.0 PCIe Lanes für alle andren Komponenten auf dem Board übrig.

 

Intel H370
https://ark.intel.com/content/www/de/de/ark/products/133284/intel-h370-chipset.html
Erweiterungsoptionen
    PCI-Express-Version 3,0
    PCI-Express-Konfigurationen x1, x2, x4
    Maximale Anzahl der PCI-Express-Lanes 20

 

i5 9400
https://ark.intel.com/content/www/de/de/ark/products/134898/intel-core-i59400-processor-9m-cache-up-to-4-10-ghz.html
PCI-Express-Version 3,0
PCI-Express-Konfigurationen ‡ Up to 1x16, 2x8, 1x8+2x4
Maximale Anzahl der PCI-Express-Lanes 16

 

 

8 hours ago, Encore said:

habs schon 10 mal getestet, auch mit neuem uefi geflasht -- defintiiv nur 5x mit nvme im slot

Mir ist ja auch im Laufe der Jahre schon aufgefallen, dass ASRock ab und zu sehr komische Umsetzungen erstellt und auch in den Manuals nicht wirklich gut dokumentieren. Aber das ist schon bemerkenswert.

[mgutt]

On 4/13/2023 at 11:37 PM, Encore said:

ok bn echt am übrelegen dann auf die neue r2 zu updaten und zfs dann als single filesystem  zu nutzen

 

On 4/14/2023 at 12:48 AM, Encore said:

würde es sich dann auch lohnen meine nvme - die ich als cache nutze - als zfs zu formatieren ?

Laut hier kann ZFS melden, wenn ganz bestimmte Dateien kaputt sind:

https://serverfault.com/questions/576898/clear-a-permanent-zfs-error-in-a-healthy-pool

 

Da ich davon ausgehe, dass ZFS eine Quersumme der Daten auch bei Single Disk speichert, hätte man im Gegensatz zu allen anderen Dateisystemen den Vorteil, dass man weiß was kaputt ist. Bei BTRFS bekommt man nur für den User nutzlose Blocknummern zurück.

 

Also quasi das was das File Integrity Plugin macht, hätte man bei ZFS automatisch mit dabei.

 

Das ist aber nur Spekulation von mir. Müsste man erstmal testen. Wenn es das dagegen nicht geben sollte, hat man nichts von ZFS. Nur eben den Overhead eines CoW Dateisystems (Fragmentierung, mehr Schreibaufwand durch Metadaten).