Frage zu ZFS

[ich777]

1 minute ago, DataCollector said:

Mein Problem betraf eine nicht korrekte Anzeige.

Hast du versucht die Seite mal zu aktualisieren bei dem Screenshot von dir? Web ist manchmal speziell meiner Meinung nach...

 

1 minute ago, DataCollector said:

naja, wo soll man denn dann sehen ob etwas schief läuft?

Wenn was schief läuft wird das im syslog bzw. im eigenen log vom Plugin angezeigt, bzw. kannst sogar einstellen wo was angezeigt wird.

 

Ich frag ihn mal direkt außerhalb des Forums.

[ich777]

@DataCollector ich hab jetzt alles mal gelöscht und von vorne begonnen weil es mich einfach mal interessiert hat ob es bei mir gleich aussieht wie bei dir das eine Disk auch als up to date bezeichnet wird und ich hab das Problem nicht.

 

Hast du schon mal versucht das Plugin zu entfernen, danach die übrig gebliebenen Dateien am USB Stick zu löschen die in /boot/config/plugins/dynamix.file.integrity liegen und danach neu zu installieren aus der CA App.

Ich vermute das bei dir alte Konfigurationen/CRCs dies verursachen.

 

Hier ein Screenshot von meiner "neuen" Instanz:

 

Hab auch versucht mehrmals die Seite neu zu laden usw. und das funktioniert alles auch einwandfrei.

 

 

EDIT: Task ist raus und ich warte auf eine Antwort von ihm, ich geb dann Bescheid wenn ich was weiß, aber nur weil es ein paar Monate keine Antwort gab heißt nicht das es nicht mehr supported/maintained wird.

[ich777]

1 hour ago, mgutt said:

Snapraid

Ist denn das jetzt schon stable? Bzw. gabs mit Snapraid nicht mal Probleme, hab da irgendwas im Hinterkopf.

 

Ich hab mich echt noch zu wenig mit Snapraid beschäftigt, wäre ein Plugin interessant?

[ich777]

@DataCollector Hab jetzt eine Antwort erhalten und das Plugin wird wie vermutet noch Maintained und Supported aber nur ist er in letzter Zeit vor allem wegen des File Manager Plugins, anderen Verbesserungen usw. an der Unraid GUI und Docker integration in Unraid beschäftigt.

[DataCollector]

2 hours ago, ich777 said:

Hast du versucht die Seite mal zu aktualisieren bei dem Screenshot von dir? Web ist manchmal speziell meiner Meinung nach...

Ich habe auch neu gebootet und alle checksummen entfern und versucht neu aufzubauen und so weiter. Ich habe sogar die erzeugte Textdatei (in der das Tool anscheinend den Export protokolliert) auf dem USB Stick editiert. Dennoch meinte das Tool nach Neustart und einigen Minuten auf einmal wieder, daß "Build up to date" auf den dargestellten Disks 9+10 sei

 

2 hours ago, ich777 said:

Ich frag ihn mal direkt außerhalb des Forums.

Wie man im Supportbereich lesen kann warten auch andere auf eien reaktion wegen derer Anfragen.

[DataCollector]

2 hours ago, ich777 said:

@DataCollector ich hab jetzt alles mal gelöscht und von vorne begonnen weil es mich einfach mal interessiert hat ob es bei mir gleich aussieht wie bei dir das eine Disk auch als up to date bezeichnet wird und ich hab das Problem nicht.

Du hast also geloescht, dann auf Blake umgestellt, erzeugt, dann auf MD5 zurück gestellt und neu erzeugt?

Das geht bei Dir so schnell? Scheinen eher kleinere Datenbestände auf den Platten zu sein.

Meine Disks (18TB) (ca. 96 Prozent gefüllt) brauchten pro Disk bei je 1CPU Kern/Disk rund Tag für jeden Erzeugungslauf (MD5 und auch Blake).

 

2 hours ago, ich777 said:

Hast du schon mal versucht das Plugin zu entfernen, danach die übrig gebliebenen Dateien am USB Stick zu löschen die in /boot/config/plugins/dynamix.file.integrity liegen und danach neu zu installieren aus der CA App.

Ja.

Anfangs hatte ich nur versucht zu entfernen, bis ich päter erfuhr, daß man auch auf dem Stick aufräumen muß. Da habe ich dann auch die Datei gefunden in der das Tool den Status protokolliert. Dann hatte ich neu installiert und die Datei anfangs gelöscht und als ich feststellte, daß er dennoch die Datei erstellung meint Disk 9 und später auch Disk 10 seinen up-to-date, obwohl die Checksummen vorher ja angeblich entfernt, aber noch nicht wieder neu erezeugt waren, wurde ich eben skeptisch und startet die Anfrage, die ich im Laufe der zeit mehrfach durch Edit erwietert habe, da sich immer mehr zeigte.

Als ich dann einige Zeit nicht shörte udn mein Hardwareumbau (anderes MainBoard+CPU+RAm anstand, habe ich das tool dann erst einmal restlos entfernt.

[DataCollector]

25 minutes ago, ich777 said:

@DataCollector Hab jetzt eine Antwort erhalten und das Plugin wird wie vermutet noch Maintained und Supported aber nur ist er in letzter Zeit vor allem wegen des File Manager Plugins, anderen Verbesserungen usw. an der Unraid GUI und Docker integration in Unraid beschäftigt.

Danke.

 

Dann werde ich es später vielleicht doch noch mal probieren. Aber aktuel befülle ich noch immer mein System.

Und heute wurden endlich Datendisk 24+25 geliefert. Die werden nun auch erst getestet und dann dazu gefügt.

 

Edited April 5, 2022 by DataCollector

[ich777]

40 minutes ago, DataCollector said:

Ich habe auch neu gebootet und alle checksummen entfern und versucht neu aufzubauen und so weiter. Ich habe sogar die erzeugte Textdatei (in der das Tool anscheinend den Export protokolliert) auf dem USB Stick editiert. Dennoch meinte das Tool nach Neustart und einigen Minuten auf einmal wieder, daß "Build up to date" auf den dargestellten Disks 9+10 se

Bei mir ist die erste Disk jetzt fertig und sieht so aus, wird auch richtig angezeigt:

(exportiert wird erst wenn alle Platten fertig sind aber das sollte auch funktionieren)

 

Probier sonst mal folgendes das du das Plugin entfernst, danach den ganzen Ordner dynamix.file.integrity der in /boot/config/plugins ist und danach das Plugin neu installierst.

 

30 minutes ago, DataCollector said:

Du hast also geloescht, dann auf Blake umgestellt, erzeugt, dann auf MD5 zurück gestellt und neu erzeugt?

Nein, warum sollte ich das machen? Normalerweise bleibt man bei einer CRC Methode.

Ich habe das Plugin gelöscht, den ganzen Ordner dynamix.file.integrity gelöscht, Plugin neu installiert, auf BLAKE3 umgestellt und den Build gestartet.

 

30 minutes ago, DataCollector said:

Das geht bei Dir so schnell? Scheinen eher kleinere Datenbestände auf den Platten zu sein.

Unterstütz dein Prozessor AVX bzw. AVX2? BLAKE3 ist im Vergleich zu SHA wirklich schnell benötigt aber AVX (ich meine auch schneller als MD5), meine Platten sind hier der Flaschenhals (12TB Platten übrigens). Hier kommt es eigentlich nur auf die Geschwindigkeit der Platten an und wie voll sie sind, das bestimmt eigentlich die Dauer (großteils).

 

30 minutes ago, DataCollector said:

Dann werde ich es später vielleicht doch noch mal probieren. Aber aktuel befülle ich noch immer mein System.

Dann machd as lieber gleich, ansonst hat dein Server den doppelten Aufwand.

[hawihoney]

3 hours ago, ich777 said:

Kommt doch beides

 

Bist Du Dir sicher? Oder interpretierst Du einfach nur das Ergebnis des Vote bei dem beide auf den vorderen Plätzen landeten?

 

Ich würde mich jedenfalls freuen wenn es mittelfristig Multiple Unraid Arrays geben würde. Das Handling meiner beiden Unraid VMs nervt schon ganz gut. Wäre erheblich einfacher wenn das alles im Barebone, dem Hauptserver, stattfinden würde.

 

[DataCollector]

4 minutes ago, ich777 said:

Bei mir ist die erste Disk jetzt fertig und sieht so aus, wird auch richtig angezeigt:

Amfangs (die ersten Tage/Wochen) sah es bei mir ja auch alles korrekt aus.

Erst als ich eben versuchte auf Blake umzustellen und dann wieder zurück zu MD5 ging, traten die Probleme auf, obwohl ich dem System ja vorher angab, dass er das alles clearen sollte.

Ich glaube ich beschrieb das ja alles im Support Bereich.

 

4 minutes ago, ich777 said:

Probier sonst mal folgendes das du das Plugin entfernst, danach den ganzen Ordner dynamix.file.integrity der in /boot/config/plugins ist und danach das Plugin neu installierst.

Wie ich schrieb ist das Plugin komplett enfernt. Ich nutze es aktuell nicht, weil es eben falsch anzeigte.

Danach habe ich die Hardware umgebaut. Wenn alles läuft werde ich es vielleicht wieder probieren.

Momentan würde es meine Befüllung und Neueinrichtung stören, da ich ja wegen diversen Umkonfigurationen ggf. wzischenzeitlich neu booten/rebooten muß.

(Irgendwie aergere ich mich mit VM Win10 Erstellung rum, aber das ist ein anderes Thema.)

4 minutes ago, ich777 said:

Nein, warum sollte ich das machen? Normalerweise bleibt man bei einer CRC Methode.

Ich glaube ich beschrieb es ja.

Aber bitte, nochmal, jetzt in deutsch: Ich nutze auf meinen aktuellen Windows Systemen aktuell MD5, welches ich manuell erzeuge. In dem PluginSupport (ich habe mich chronologisch vom Anfang an nach hinten damals durchgearbeitet) kam dann ja auf, daß Blake (in einer der späteren Versionen) schneller sein sollte. Also habe ich MD5 entfernt und Blake gestartet. Doch zeigte sich nach einiger Zeit bei mir, kein Geschwindigkeitsvorteil. Da ich aber beim Export von Blake die Möglichkeit verlor die Checksummen von unraid mit den unter windows erzeugten Checksummen zu vergleichen, habe ich nach einigen Disks abgebrochen, alles wieder clearen lassen und neu per MD5 erzeugt. Doch während das System sich noch mit den ersten paar Disks beschäftigte, tauchten auf einmal bei DIsk 9 und später auch 10 die build-up-to-date Haken auf.

Diese Disks hatte er aber noch gar nicht angefasst.

Daraufhin habe ich dann testweise diese Disks wieder geclerad und dennoch taiuchten die Haken spater unmotivier wieder auf.

Danach habe die die ganze Orgie mit mehrfachem Plugin entfernen, neu installieren, ab und zu zwiechsnzeitlich neu booten, und dann auch die Sache mit dem aufraeumen des USB Sticks, etc.. alles durchlaufen.

ohne daß ich spater die Disks 9 oder 10 entsprechend angestoßen hatte, erschienen bei den beiden immer wieder die Haken, obwohl ich weit vorher mehrfach diese Checksummen gecleart hatte.

Ab dem Punkt fragte ich im Support und experimentierte parallel weiter.

Tja, und als sich nach einiger Zeit kein Muster zeigte, anhand ich das Problem einkreisen konnte, habe ich aufgebenem, das Plugin deinstalliert, den Stick wieder aufgeräumt und es sein lassen. im Support kam ja auch nichts dazu und mmer mehr Beiträte im Support tauchten auf, daß auch andere (andere) Probleme haben.

Also habe ich mich den anstehenden anderen Arbeiten am System gewidmet und das Thema seitdem nicht weiter verfolgt.

 

4 minutes ago, ich777 said:

Unterstütz dein Prozessor AVX bzw. AVX2?

Vorher I3-8100. Damit hatte ich getestet, Zwischehnzeotlich habe ich Hard´ware ja umgebaut auf Xeon W1290p. Ob die das unterstützen habe ich jetzt nicht nachgeseheen.

4 minutes ago, ich777 said:

BLAKE3 ist im Vergleich zu SHA wirklich schnell

SHA habe ich erst gar nicht versucht.

Mir geht es nicht darum gegen mutwillige Manipulation absolut sicher zu sein, es reicht mir, wenn ich zufällige Datenkorruption erkennen kann.

 

4 minutes ago, ich777 said:

(ich meine auch schneller als MD5),

Das war der Punkt, weshalb ich Blake ausprobiert hatte. Aber ich habe eben keinen Geschwindigkeitsvorteil erlebt und bin (wie oben beschrieben) auskompatibilitätsgründen zu bestehenden unter Windows erzeugten MD5 Checksummen zurück zu MD5 gegangen.

 

4 minutes ago, ich777 said:

Dann machd as lieber gleich, ansonst hat dein Server den doppelten Aufwand.

Da der Server sowieso später 24/7 laufen soll ist es egal ob ich es jetzt oder später mache.

Vor allem, da ich dem Tool nach aktuellen Erfahrungen/Erlebnissen bisher nicht mehr so vertraue, wie ich es anfangs tat.

Aber wie gesagt, ich bin aktuell sowieso erst einmal dabei erstzubefüllen und das wird noch vermutlich so 1 Woche dauern. Dann erstelle ich Parity und kümmere mich um mein VM WIN10 Problem dann kann/werde ich mich vielleicht mit Dynamix FI wieder beschäftigen.

Aktuell kann ich leider nicht alles gleichzeitig machen.

[DataCollector]

10 minutes ago, hawihoney said:

Bist Du Dir sicher?

Würde mich auch interessieren.

Multi Array wäre sehr interessat, da ich jetzt ja schon auf die 30 Disk Grenze zu laufe und mir schon Gedanken mache ob unraid wirklich die richtige Wahl war, wen es dahingehend nicht weiter geht. (28 Datendisks zu je 16 oder 18TB + 2 ParityDisks)

10 minutes ago, hawihoney said:

Ich würde mich jedenfalls freuen wenn es mittelfristig Multiple Unraid Arrays geben würde.

Je früher, desto besser, denn dann können in der Zeit, bis ich es aktiv brauchen kann, die Kinderkrankheiten noch ausgebügelt werden.

[hawihoney]

1 hour ago, DataCollector said:

Multi Array wäre sehr interessat, da ich jetzt ja schon auf die 30 Disk Grenze zu laufe und mir schon Gedanken mache ob unraid wirklich die richtige Wahl war, wen es dahingehend nicht weiter geht. (28 Datendisks zu je 16 oder 18TB + 2 ParityDisks)

 

Es geht auch jetzt schon weiter und es geht auch gut weiter. Das Ganze hat nur zwei winzige nervige Nickeligkeiten zu bieten:

 

1.) Man benötigt mehrere HBAs und Lizenzen (wobei Multiple Arrays auch nicht in der Pro Lizenz enthalten sein werden - da bin ich mir sehr sicher).

 

2.) Das Hochfahren und Herunterfahren des gesamten Servers ist eine Kombination aus manuellen und automatischen Schritten. Bei Interesse kann ich das mal posten. Gut, professionelle Hardware (Backplane) muss man nicht komplett runterfahren - lediglich Array stoppen reicht. Wenn es sich dann aber um den Hauptserver handelt, sind auch die VMs betroffen.

 

Ansonsten läuft das wie eine 1. Multiple Arrays in einem Server würde das Ganze halt noch vereinfachen und ich könnte 2 HBAs rauswerfen.

 

Was dabei extrem helfen würde: Abkoppeln des Arrays vom Cache - zumindest partiell. Dann könnte man das Array stoppen um eine Array Disk zu tauschen, Container und VMs könnten gleichzeitig auf Wunsch aber weiter laufen.

 

 

Edited April 5, 2022 by hawihoney

[ich777]

2 hours ago, hawihoney said:

Bist Du Dir sicher? Oder interpretierst Du einfach nur das Ergebnis des Vote bei dem beide auf den vorderen Plätzen landeten?

Nein, ich weiß das...

 

2 hours ago, hawihoney said:

Ich würde mich jedenfalls freuen wenn es mittelfristig Multiple Unraid Arrays geben würde. Das Handling meiner beiden Unraid VMs nervt schon ganz gut. Wäre erheblich einfacher wenn das alles im Barebone, dem Hauptserver, stattfinden würde.

Glaub mir es kommt und ist auch schon in Arbeit, zuerst auf der ersten Seite beim Kernel Modul das auch angepasst gehört und auf der anderen Seite die WebGUI von Unraid...

 

2 hours ago, DataCollector said:

Je früher, desto besser, denn dann können in der Zeit, bis ich es aktiv brauchen kann, die Kinderkrankheiten noch ausgebügelt werden.

Bitte bedenkt das es immer ein wenig Zeit braucht aber es ist in Arbeit, so viel kann ich sagen.

[Ford Prefect]

1 hour ago, ich777 said:

Bitte bedenkt das es immer ein wenig Zeit braucht aber es ist in Arbeit[...]

...soon! 🤣

[DataCollector]

4 hours ago, hawihoney said:

 

Es geht auch jetzt schon weiter und es geht auch gut weiter. Das Ganze hat nur zwei winzige nervige Nickeligkeiten zu bieten:

 

1.) Man benötigt mehrere HBAs und Lizenzen (wobei Multiple Arrays auch nicht in der Pro Lizenz enthalten sein werden - da bin ich mir sehr sicher).

 

2.) Das Hochfahren und Herunterfahren des gesamten Servers ist eine Kombination aus manuellen und automatischen Schritten. Bei Interesse kann ich das mal posten. Gut, professionelle Hardware (Backplane) muss man nicht komplett runterfahren - lediglich Array stoppen reicht. Wenn es sich dann aber um den Hauptserver handelt, sind auch die VMs betroffen.

 

Deine KOnstellation mit mehren ineinander verschachtelten Systemen hattest Du mir schon einmal gezeigt, beeindruckend, aber nicht das, was ich mir von nativem MultiArray erwarte. Vor allem nicht bei einem System, welches ich zum Strim sparen nutzen will. Dann kann cih auch meien Windowssystem mit bis an die 70 Festplattenschächten in einem System weiter nutzen.

 

[ich777]

15 minutes ago, DataCollector said:

Dann kann cih auch meien Windowssystem mit bis an die 70 Festplattenschächten in einem System weiter nutzen.

Ist aber nicht wirklich das gleiche wie Unraid...

 

15 minutes ago, DataCollector said:

MultiArray erwarte

Wie gesagt ist gerade in Arbeit.

[DataCollector]

2 hours ago, ich777 said:

Ist aber nicht wirklich das gleiche wie Unraid...

Richtig. Es ist weitaus flotter, aber eben auch stromfresender.

[ich777]

5 hours ago, DataCollector said:

aber eben auch stromfresender

Eben...

(Sorry musste noch was dazu schreiben , genau das willst du doch, Strom sparen)

[ich777]

@hawihoney hier noch ein interessantes Video zu ZFS, BTRFS und Bit Rot das Gestern erst released wurde: