XFS oder BTRFS - neue 16tb array

[Encore]

bisher mal keine probleme, hat wunderbar geklappt, performance ist auch ok

 

ram wird auch nur ca 20% genutzt und freigabe klappt aduch wenn ich ne VM starte die bissel mehr ram schluckt

 

ziehe jetzt noch appdata auf das array und formatiere den cache auch auf zfs als single pool (da nur eine drinnen)

 

kann man im nachgang theoretisch auch noch ne zweite identische nvme einbauen und den zfs pool dann mit nem zraid1 oder so aufbauen? also mirror? oder muss ich dann zuerst den pool auflösen und neu anlegen 

 

bin wiegesagt noch nicht so firm mit zfs haha

aber das single zfs klappt bisher mal wunderbar und nach gefühlt 1 tag alte daten auf neue platten spielen und 1 tag parity aufbauen läufts.

 

 

bin jetzt noch am überlegen ob ich turbowrite mache und die platten einfach immer am laufen lasse

 

oder -- ich spindown nutze und die nch ungenutze / nicht befüllten platten - in sleep schicke.

 

theoretisch sollte mit nem spindown timer von 2-3h ja heutzutage alles ok sein, die motoren sind ja nimmer so wie früher -- denke ich zumindest mal ^^ hab noch ne alte hdd hier liegen in nem enclosure die alle 5 min in spindown geht, die platte ist schon gefühlt 8 jahre alt und läuft zumindest noch  - muss mal crystal disk werte anschauen bei der

Edited April 16, 2023 by Encore

[Ford Prefect]

46 minutes ago, Encore said:

kann man im nachgang theoretisch auch noch ne zweite identische nvme einbauen und den zfs pool dann mit nem zraid1 oder so aufbauen? also mirror? oder muss ich dann zuerst den pool auflösen und neu anlegen 

Ja, das geht....ich weiss allerdings nicht, ob es mit unraid Bordmitteln geht.

Das "zfs Zauberwort" in der Console heisst: "#zpool attach mypool /dev/sdX /dev/sdY" ... google ist Dein Freund.

Ob unraid so intelligent ist, das zu machen, wenn Du es über die (unraid-UI) Array/Pool config hinzufügst, weiss ich nicht.

Im Zweifel über Cache-Einstellungen und Mover wieder zurück aufs Array, Pool löschen, neu bauen, wieder über Cache & Mover wieder vom Array zurück-beamen.

 

Alternatv, vielleicht (Backups!!!) den unraid Pool auflösen...in der CLI das Attach auf den ZFS-Pool machen...dann den ZFS-Pool importieren ??

 

52 minutes ago, Encore said:

bin jetzt noch am überlegen ob ich turbowrite mache und die platten einfach immer am laufen lasse

 

oder -- ich spindown nutze und die nch ungenutze / nicht befüllten platten - in sleep schicke.

Das eine hat mit dem Anderen nicht wirklich was zu tun.

Turbo-Write ist fürs Array....und lässt einfach nur alle Platten starten, wenn aufs Array (und die Parity) geschrieben wird)...bei idle oder lesen, laufen nicht alle Platten an und spindown geht da natürlich weiterhin.

 

54 minutes ago, Encore said:

theoretisch sollte mit nem spindown timer von 2-3h ja heutzutage alles ok sein, die motoren sind ja nimmer so wie früher --

Ich habe 30min und das reicht auch/geht super.

[Encore]

habs mir mal gespeichert, hab leider nur 1 m2 slot und im pcie steckt bereits die quadro, denke wenn ich mal das gehäuse wechsle und von mini itx weggehe wirds relevant, nutze die nvme eigentlich nur für 1-2 vms und docker die mittels backup appdata aufs array gesichert werden, die wichtigen sachen hängen an ner unassigned disk als "backup" 

 

natürlich hab ich kein 48tb arraybackup, das wäre mir zu teuer  aber die WICHTIGSTEN daten - dokumente, wichtige bilder usw sind einmal aufm array (parity) und einmal noch auf ner externen und die GANZ GANZ wichtigen sind noch in der cloud encrypted, denke so fahre ich für meine zwecke gut

 

auf dem array ist überwiegend nur serien, filme und steam cache (damit ich nicht auf sämtlichen pcs die games die ich habe nochmal runterladen muss, da gehts über den cache im netzwerk deutlich flotter mit 2,5gbit anbindung

 

-- 

 

wegen turbowrite, also kann ich das getrost anlassen und es hilft mir beim mover zb - habs mal getestet, ohne turbowrite hab ich da nur so 60 mbit write und mit turbowrite reize ich knapp die 250mbits aus, wenn es beim lesen nicht alle daten weckt sondern nur beim schreiben aufs array lass ichs an.

 

[Ford Prefect]

1 minute ago, Encore said:

natürlich hab ich kein 48tb arraybackup, das wäre mir zu teuer

Na, da ging es mir um die Vorgehensweise die single-pool nvme zu erweitern...

 

2 minutes ago, Encore said:

wegen turbowrite, also kann ich das getrost anlassen und es hilft mir beim mover zb - habs mal getestet, ohne turbowrite hab ich da nur so 60 mbit write und mit turbowrite reize ich knapp die 250mbits aus, wenn es beim lesen nicht alle daten weckt sondern nur beim schreiben aufs array lass ichs an.

 

...ganz genau.

[Encore]

2 hours ago, Ford Prefect said:

Na, da ging es mir um die Vorgehensweise die single-pool nvme zu erweitern...

 

...ganz genau.

 

passt das so mit den einstellungen dort?

 

und würdest du bei den shares high water lassen oder eher fillup?

sinn von high water ist glaub ich, dass die daten nach und nach wenn platte voll wird gesplittet werden, so das im fall der fälle nie die daten komplett weg wären sondern immer noch nen rest bleibt auf den festplatten (im worst case parity + 1 platte würde kapput gehen)?

 

danke übrigens an alle hier für die schnelle hilfe! und den eigenen meinungen 😃 

[Ford Prefect]

12 minutes ago, Encore said:

passt das so mit den einstellungen dort?

keine Ahnung...ich hab das seinerzeit einfach immer in den standard settings aktiviert, ohne gesondertes Plugin...da ich aktuell nur 1x Daten-Disk im Array habe, brache ich das eh nicht

Aber gibt es da kein Hilfe-Icon, oben rechts?

 

21 minutes ago, Encore said:

und würdest du bei den shares high water lassen oder eher fillup?

sinn von high water ist glaub ich, dass die daten nach und nach wenn platte voll wird gesplittet werden, so das im fall der fälle nie die daten komplett weg wären sondern immer noch nen rest bleibt auf den festplatten (im worst case parity + 1 platte würde kapput gehen)?

Ich nehme immer high-water...das füllt die Disks letztlich gleichmässig.

Aber definier "komplett" bzw "nach und nach"...im Array ist jede Disks für sich formatiert...jeder Datei ("die Daten") liegt also genau immer auf einer Disk.

Bei High-Water und wenn sich Shares über mehr als eine Disk erstrecken dürfen, werden die Dateien also auf die DIsks verteilt, die im Einzelfall den meisten Platz frei hat..das gilt auch für Dateien in Unter-Ordnern., zB bei einer CD/DVD/Bluray...."gewählt" wird für jede Datei neu.

Geht eine DIsk und die Parity kaputt, fehlen also diese Dateien, die auf der Disk waren....alle anderen Disks bleiben vollkommen OK.

Wenn die "wichtigeste" Datei dabei war, dann ist es Zeit im Backup zu suchen

Solange aber Parity noch lebt, wird die Disk und die Dateien da drauf emuliert.....hoffentlich so lange, bis die Daten-Disk ersetzt ist (Parity und rebuild ist Stress für die DIsks...kann auch schief gehen, wenn eine  16TB dafür 1-3 Tage braucht )

[Encore]

kleine zwischenmeldung.

 

bisher läuft zfs auf den 3 array disks + nvme cache ganz gut, lediglich die festplatten tun alle 5 sekunden kurz "klicken" was manchmal bissel nervig ist haha, glaub das könnte aber der ARC cache sein der alle 5 sek auf festplatte schreibt, richtig?

 

 

andere frage:

 

was passiert, wenn es nen fehler gibt, checksum fehler oder sons twas, lese im internet dass zfs dann die disk wohl komplett rauswirft // oder das system selbst -- und die disk dann nicht mehr mountbar ist, trifft das im allgemeinen zu?

nicht dass ich iwan mal nen fehler einer datei habe, mir dadurch die platte flöten geht und nicht mehr mountbar ist 😮 (array disk // nvme cache - single)

 

wie siehts bei solchen szenarien aus?

[DataCollector]

11 hours ago, Encore said:

bisher läuft zfs auf den 3 array disks + nvme cache ganz gut,

Im Array bedeutet das, 3 single zfs Datenfestplatten im Array zusammengschaltet. Oder meinst Du hier doch einen Pool, bei dem DU die 3 Festplatten zu einem, einzigen Datenträger zusammengeschaltet hast?

 

11 hours ago, Encore said:

lediglich die festplatten tun alle 5 sekunden kurz "klicken" was manchmal bissel nervig ist haha,

Ich habe das Problem, daß bei mir der zfs Pool aus mehreren Festplattenn (Anzahl 2 zusammengeschaltet als das, was man Raid0 nennen würde) eben nicht einschlafen, weil irgendetwas sie immer wieder weckt.

Ich befürchte Dein Klackern wird sie auch dahingehend wach halten?

 

11 hours ago, Encore said:

andere frage:

was passiert, wenn es nen fehler gibt, checksum fehler oder sons twas, lese im internet dass zfs dann die disk wohl komplett rauswirft //

Aufdieser Frage von Dir basiert meine obrige Nachzware, wie Du das da nutzt.

Wenn Du die zfs Disks einzeln im Array hast, kann zfs sie nirgendwo rauswerfen, weil es die einzige ist.

Da kann höchstens unraid eine disk als defekt 'rauswerfen' und eine (hoffentlich) vorhandene Parity nutzen.

zfs selber würde (so hoffe ich) aber mit seinen angeblich erweiterten Checksummen zumindest erst einmal im Hintergrund versuchen den Fehler selber auszubügeln.

Aber genau den Üunkt habe ich bei zfs noch nicht so wirklich verstanden und somit weiss ich nicht, was zfs dann genau macht und falls es Korrekturen auf seiner einzelnen zfs Datenfestplatte im Array durchführt, ob es dann auch uraid das mitteilt, damit dies die Parität anpassen kann (wenn zfs schreibt).

 

11 hours ago, Encore said:

oder das system selbst -- und die disk dann nicht mehr mountbar ist, trifft das im allgemeinen zu?

Wenn Du zfs im Arry benutzt und somit jede Festplatte nur für sich einzeln zfs nutzt, dann kann sich höchstens das system/unriad selber darum kümmern, weil zfs sich seinen eigenen Ast, auf dem es sitzt nicht absägen wird.

 

11 hours ago, Encore said:

nicht dass ich iwan mal nen fehler einer datei habe, mir dadurch die platte flöten geht und nicht mehr mountbar ist 😮 (array disk // nvme cache - single)

Wenn Dir Daten wichtig sind, sind Backups davon mehr als nur ein sinnvolles Goodie.

Die Gefahr, dass bei nur einer Instanz etwas schief geht, besteht immer.