Partiy Prüfung richtig einstellen und Festplatten Fragen

[chilloutandi]

Servus Zusammen, bin noch recht Neu im Thema Unraid.

Im Moment tut sich bei mir ein paar Frage auf. Der Parity Check (habe noch Parity Check Tuning installiert.) wird ja nur über die Aufgabeplanung aktiviert und eingestellt. Nutzt jemand diese "Parity Check Tuning" Tool und kann dazu berichten ?

 

Jetzt lese ich immer wieder, dass wenn Daten auf das Array geschrieben werden entweder die Änderungen sofort auch auf Parity HDD geschrieben werden oder im Cache verweilen, bis sie z.b. Nachts dann auf die Parity geschoben werden. Ich sehe bei letzterem den Vorteil, das die Partiy Platte länger im Sleep bleiben kann und nicht bei jeder Änderung aufgeweckt wird.

1. Frage: Wo stelle ich das sein, dass z.B. die Übertragung zur Parity Platte erst über Nacht passieren soll ?

2. Frage: Ein Parity Check dauert ja, je nach Größe, schon einmal etwas länger. Ist es ratsam kürzer als 1x im Monat einzustellen ?

3. Kann es sein, dass Festplatten gleich Größe nicht identisch groß sind und Unraid OS das erkennt, wenn 1 zusätzliche, gleich große Platte (wie Parity) nur 1 bit größer ist ? Hatte das Problem, dass eine 2. 16TB nicht dem Array hinzugefügt werden konnte, weil die 16TB Partiy HDD nicht mehr die Größte ist.... ungünstig, wenn man nicht auf denselben HDD Typ setzen möchte....
Könnte man das umgehen, indem man die hinzuzufügende Platte einfach minimal kleiner partitioniert und dann einfach damit arbeitet ?

 

Ich freue mich über Eure Beteiligung und Hilfe 🙂

 

Danke

[DataCollector]

29 minutes ago, chilloutandi said:

Jetzt lese ich immer wieder, dass wenn Daten auf das Array geschrieben werden entweder die Änderungen sofort auch auf Parity HDD geschrieben werden oder im Cache verweilen, bis sie z.b. Nachts dann auf die Parity geschoben werden. Ich sehe bei letzterem den Vorteil, das die Partiy Platte länger im Sleep bleiben kann und nicht bei jeder Änderung aufgeweckt wird.

1. Frage: Wo stelle ich das sein, dass z.B. die Übertragung zur Parity Platte erst über Nacht passieren soll ?

2. Frage: Ein Parity Check dauert ja, je nach Größe, schon einmal etwas länger. Ist es ratsam kürzer als 1x im Monat einzustellen ?

3. Kann es sein, dass Festplatten gleich Größe nicht identisch groß sind und Unraid OS das erkennt, wenn 1 zusätzliche, gleich große Platte (wie Parity) nur 1 bit größer ist ? Hatte das Problem, dass eine 2. 16TB nicht dem Array hinzugefügt werden konnte, weil die 16TB Partiy HDD nicht mehr die Größte ist.... ungünstig, wenn man nicht auf denselben HDD Typ setzen möchte....
Könnte man das umgehen, indem man die hinzuzufügende Platte einfach minimal kleiner partitioniert und dann einfach damit arbeitet ?

Ich freue mich über Eure Beteiligung und Hilfe 🙂

 

Zum ersten Absatz oben:

Man schreibt in der Regel ja in ein Share.

Je nachdem wie man das Share eingestellt hat enthält es vielleicht einen Pool, der als Schreibcache dem Array vorgeschaltet ist.

Wenn nun Daten in das Share geschrieben werden schreibt unraid diese Daten erst einmal in den Pool/Cache.

Erst später (je nach Einstellung des Shares und des Movers) werden die Daten dann vom Pool/Cache gelesen und auf das Array geschreiben (und im Anschluß vom Pool/Cache gelöscht).

Der Paritydatenträger im Array läuft erst an, wenn eine schreibende Veränderung auf dem Array stattfindet.

Sollte man also wirklich erst in den Cache schreiben   schlafen in der Regel Datenfestplatte und Parityfestplatte im Array weiter, bis der Mover anspringt.

Somit ist (bezogen auf Schreibvorgänge) nicht nur die Parotyfestplatte länger im SpinDown, sondern auch die Datenfestplatte.

 

Frage 1: Der Mover kannst Du unter "Settings > Schedule" einstellen, so daß er dann anspringt, wenn Du es vorgibst. Dies Stelle ist beispielsweise auch zu erreichen, wenn Du im "Main" Tab ziemlich weit nach unten scrollst und dann bei dem MoverButton rechts daneben im Text den Link zu Scheduler findest uns anklickst.

 

Frage 2: Bei meiner nun ganz frisch eingebauten 22TB Parityfestplatte dauerst ein paritybuild (und auch ein Paritycheck) rund 1,5 Tage. Wenn Du nach einigen Durchläufen feststellst, daß Du bisher keine Parityfehler hast kannst Du die Zeit auch recht großzügig einstellen. Aber angefangen habe ich erst einmal mit 2 Wochen. Später habe ich dann auf 1 Monat Intervall gestellt. Leider ahbe ich bei meinen beiden Systemen immer 5, bzw 10 Parityfehler, die ich bisher noch nicht gefunden habe (Leider macht es unraid einem nicht einfach die se Parityfehler zu finden). Deswegen setze ich diese Intervalle aktuell noch nicht höher.

 

Frage 3: unraid erkennt die Größe jeder Festplatte und in einem Array mit Parity muß die Parityfestplatte (oder beide) mindestens so groß sein, wie die größte Datenfestplatte.

Es kann wirklich sein, daß vielleicht unterschiedliche Hersteller/Datenträger trotz nominal gleicher Größenangabe in wirklichkeit leichet Abweichungen haben. 4 oder auich 8TB Samsung SSD haben beispielsweise eine leicht andere Größe als 4 oder 8TB WD Festplatten.

Ich hatet mal angestrebt mit 8TB SSD Kapazität als Parity mein Array bestehend auch 8TB Seagatefestplatten zu beschleunigen. Aber die 8TB SSD waren kleiner als die 8TB Festplatten und somit klappte das nicht.

 

Solltest Du Festplatten verwenden, die zwar alle beispielsweise mit 10TB angegeben sind, aber in Wirklichkeit geringe Größendifferenzen aufweisen, mußt Du die größte(n) heraussuchen und die ist/sind dann Parity.

Aktuell verwende ich mehrere 18TB, mehrere 20TB und eine 22TB in einem Array. Die 22TB und eine 20TB sind Parity (also 2 Parityfestplatten), alle anderen Festplatten im Array sind Datenfestplatten.

 

Aber bei meinen

12TB (Seagate & WD),

18TB (Seagate & Toshiba & WD),

20TB (Seagate & Toshiba & WD) Festplatten

hat sich bisher kein solcher Größenunterschied bemerkbar gemacht (ich hatte monatelang je eine 18TB Toshiba und Seagate als Parity,

dann habe ich umgerüstet auf 2x Seagate 20TB und vor wenigen Tagen nun eine davon gegen eine 22TB Seagate ausgetauscht.).

 

Zu Deiner Frage der Paritionierung: Die Parität hat keien Formatierung im klassischen Sinne. Somit kann man auch durch kleiner Formatieren dahingehend nichts gewinnen.

 

Du freust Dich über Hilfe: Ich sehe in Deinem beitrag noch nicht, wo Du Hilfe brauchst.

Bisher erscheint mit Dein Beitrag nur als Nachfrage zur Verhaltensweise von Unraid, Array und Mover/Scheduler.

Edited October 11, 2023 by DataCollector

[hawihoney]

1 hour ago, DataCollector said:

Leider ahbe ich bei meinen beiden Systemen immer 5, bzw 10 Parityfehler, die ich bisher noch nicht gefunden habe (Leider macht es unraid einem nicht einfach die se Parityfehler zu finden).

 

Das darf aber nicht sein. Dann stimmt etwas nicht mit Deinem System. Es wird Dir nicht helfen, aber bis auf einen massiven Kabelfehler irgendwann vor 2009 und einmal 42 Fehler bei einem Durchlauf vor ein paar Jahren, hatte ich nie, ich betone nie, weitere Parity-Fehler. Krachen denn bei Dir schon mal Container oder gar das ganze System runter? Oder übertaktest Du? Ist es immer die selbe Datenplatte mit Sync-Errors?

 

Jeder Parity-Check Fehler ist nicht ohne. Das Prinzip lautet "Die Datenplatte hat aber immer Recht.". Deshalb wird bei einer Korrektur immer die Parity korrigiert. Das verhindert, dass ein Fehler in der Parity, beim Austausch von anderen Platten, weiter eskaliert. Wenn aber nun der Fehler tatsächlich auf Seiten der Datenplatte ist, dann hast Du, zumindest auf dieser speziellen Datenplatte, Müll. Dieser Fehler eskaliert nicht weiter, aber es ist und bleibt Müll.

 

Ein Parity-Check läuft hier automatisch beim Austausch von Festplatten mit, ansonsten starte ich einen manuellen Check vor einem Unraid-Upgrade oder ohne Unraid-Upgrade so alle 6-9 Monate. Dabei gibt es nie Fehler. Vielleicht liegt es daran, dass mein Server rund um die Uhr durchläuft ...

 

 

Edited October 11, 2023 by hawihoney

[DataCollector]

4 hours ago, hawihoney said:

Das darf aber nicht sein. Dann stimmt etwas nicht mit Deinem System.

 

Da es bei beiden Systemen ist (wie gesagt, das eine findet konstant immer 5 Fehler, das andere konstant immer 10 Fehler) und meien Nutzdaten bisher alle okay waren (ich arbeite mit zusätzlichen MD5 Checksummen) lebe ich nun erst einmal damit.

Die Kabel und auch Parityfestplatten wurden zwischenzeitlich schon bei zumindest einem der Systeme ausgetauscht, aber dennoch macht es unraid einem nicht einfach die Parityfehler zu finden.

Die Systeme laufen stabil. Meine Konfigurationen sind in der Signatur zu erkennen und nein, ich uebertakte nicht.

Keine Abstuerze und die Docker/VM haben ja auch mit der Parity auf dem Array gar nichts zu tun. Die betreffenden Shares liegen alle auf SSDs.

 

Dass "immer" die Parityfestplatte korrigiert wird ist nicht so, da man das ankreuzen/abwählen kann.

 

Ob es immer die selbe Festplatte ist/wäre kann man ja leider nicht sagen, weil bei Parityfehlern ja nur die Sektoren, aber nicht die Festplatte angegeben werden. ich sagte ja: unraid macht es einem nicht kleicht herauszufinden, wo das Problem angeblich liegt.

 

Da ich meine Nutzdaten aber parallel mit Checksummen gegen checke und auch Binärvergleiche mit den anderen Rechnern mache weiß ich, daß meine Nutzdaten okay sind.

 

Abgesehen von Changes (Festplattenwechsel, Unraidupdates, etc...)  laufen meine unraidsysteme auch durch.

 

Edited October 11, 2023 by DataCollector
Typos

[chillout_andi]

6 hours ago, DataCollector said:

 

Zum ersten Absatz oben:

Man schreibt in der Regel ja in ein Share.

Je nachdem wie man das Share eingestellt hat enthält es vielleicht einen Pool, der als Schreibcache dem Array vorgeschaltet ist.

Wenn nun Daten in das Share geschrieben werden schreibt unraid diese Daten erst einmal in den Pool/Cache.

Erst später (je nach Einstellung des Shares und des Movers) werden die Daten dann vom Pool/Cache gelesen und auf das Array geschreiben (und im Anschluß vom Pool/Cache gelöscht).

Der Paritydatenträger im Array läuft erst an, wenn eine schreibende Veränderung auf dem Array stattfindet.

Sollte man also wirklich erst in den Cache schreiben   schlafen in der Regel Datenfestplatte und Parityfestplatte im Array weiter, bis der Mover anspringt.

Somit ist (bezogen auf Schreibvorgänge) nicht nur die Parotyfestplatte länger im SpinDown, sondern auch die Datenfestplatte.

 

Frage 1: Der Mover kannst Du unter "Settings > Schedule" einstellen, so daß er dann anspringt, wenn Du es vorgibst. Dies Stelle ist beispielsweise auch zu erreichen, wenn Du im "Main" Tab ziemlich weit nach unten scrollst und dann bei dem MoverButton rechts daneben im Text den Link zu Scheduler findest uns anklickst.

 

Frage 2: Bei meiner nun ganz frisch eingebauten 22TB Parityfestplatte dauerst ein paritybuild (und auch ein Paritycheck) rund 1,5 Tage. Wenn Du nach einigen Durchläufen feststellst, daß Du bisher keine Parityfehler hast kannst Du die Zeit auch recht großzügig einstellen. Aber angefangen habe ich erst einmal mit 2 Wochen. Später habe ich dann auf 1 Monat Intervall gestellt. Leider ahbe ich bei meinen beiden Systemen immer 5, bzw 10 Parityfehler, die ich bisher noch nicht gefunden habe (Leider macht es unraid einem nicht einfach die se Parityfehler zu finden). Deswegen setze ich diese Intervalle aktuell noch nicht höher.

 

Frage 3: unraid erkennt die Größe jeder Festplatte und in einem Array mit Parity muß die Parityfestplatte (oder beide) mindestens so groß sein, wie die größte Datenfestplatte.

Es kann wirklich sein, daß vielleicht unterschiedliche Hersteller/Datenträger trotz nominal gleicher Größenangabe in wirklichkeit leichet Abweichungen haben. 4 oder auich 8TB Samsung SSD haben beispielsweise eine leicht andere Größe als 4 oder 8TB WD Festplatten.

Ich hatet mal angestrebt mit 8TB SSD Kapazität als Parity mein Array bestehend auch 8TB Seagatefestplatten zu beschleunigen. Aber die 8TB SSD waren kleiner als die 8TB Festplatten und somit klappte das nicht.

 

Solltest Du Festplatten verwenden, die zwar alle beispielsweise mit 10TB angegeben sind, aber in Wirklichkeit geringe Größendifferenzen aufweisen, mußt Du die größte(n) heraussuchen und die ist/sind dann Parity.

Aktuell verwende ich mehrere 18TB, mehrere 20TB und eine 22TB in einem Array. Die 22TB und eine 20TB sind Parity (also 2 Parityfestplatten), alle anderen Festplatten im Array sind Datenfestplatten.

 

Aber bei meinen

12TB (Seagate & WD),

18TB (Seagate & Toshiba & WD),

20TB (Seagate & Toshiba & WD) Festplatten

hat sich bisher kein solcher Größenunterschied bemerkbar gemacht (ich hatte monatelang je eine 18TB Toshiba und Seagate als Parity,

dann habe ich umgerüstet auf 2x Seagate 20TB und vor wenigen Tagen nun eine davon gegen eine 22TB Seagate ausgetauscht.).

 

Zu Deiner Frage der Paritionierung: Die Parität hat keien Formatierung im klassischen Sinne. Somit kann man auch durch kleiner Formatieren dahingehend nichts gewinnen.

 

Du freust Dich über Hilfe: Ich sehe in Deinem beitrag noch nicht, wo Du Hilfe brauchst.

Bisher erscheint mit Dein Beitrag nur als Nachfrage zur Verhaltensweise von Unraid, Array und Mover/Scheduler.

Okay, ich denke, ich habe es soweit verstanden. Ich habe aktuell eine etwas ungewöhnliche Konstellation.

Meine 16TB Parity Platte hängt per SATA direkt am Mainboard. 

4x4 TB sind aktuell auf einem LSI Megaraid Controller zu einem Raid5 verknüpft und wird mir deshalb als ca. 12 TB in Unraid Array angezeigt. Zudem habe ich noch eine 2 TB SSD, die ebenfalls (Controller kann kein HBA) als Raid0 über den LSI im Unraid Array steckt. Zusätzlich sind noch 3x 512GB SSD´s auch als RAID0 über den LSI im Unraid Array. 

Ja, nicht die beste Lösung, aber wollte das unbedingt einmal testen wie Unraid damit umgeht. Das zuvor meine Konfiguration unter Windows 10.

Ich kann auf jedenfall sagen, es läuft 1A in Unraid. Da es aber in meinen Augen nicht Lösung auf Dauer ist, will ich vom LSI MegaRAID weg.

Ich würde demnächst auf eine and. Mainboard und einen anderen (mit IT Firmware geflashten) SATA/SAS Controller umschwenken, da mir die 4 SATA Anschlüsse auf meinen Mini ITX Board nicht ausreichen. 

 

Aktuell tun sich wieder folgende Fragen auf:

Wenn ich jetzt das Raid5 mit 12 TB dem Array wegnehme und dafür eine kleinere (z.B. 4 TB) SSD/HDD nachschiebe, wie verhält sich dann das Array ? Oder muss der Ersatz immer mind. genauso groß wie der Verlust sein ? Dürfte ja eigentlich nicht gehen, weil sich das Array dann nicht komplett wiederherstellen liese...
 

Und wenn ich dem Array eine 16TB HDD hinzufügen könnte (wo Unraid dann hoffentlich nicht wieder meckert, dass die Paritiy nun nicht mehr die Größte sei....) und per FileManager meine ganzen Daten auf diese neue Disk (16TB) schiebe (die natürlich dann nicht mehr über den LSI angesteckt ist), dann könnte ich den LSI rausschmeißen und somit anschließend auf ein neues Mainboard + SAS/SATA Controller Karte (DELL H310 im IT Modus) wechseln.

 

Ich habe natürlich den kompletten Inhalt des Arrays schon einmal auf eine einzelne HDD extern gesichert. Theoretisch könnte ich auch einfach das ganze Array einfach Neu erstellen und danach wieder über extern befüllen. Aber was passiert dann mit den Daten, die sich aktuell im Cache des Arrays befinden ? sind die nach Neuerstellung und wieder Zuweisung des Caches einfach wieder da so wie vorher auch ?

 

Oh man, ihr müsst mich für Gaga halten 😄 Aber solche Fragen tun sich mir als "Anfänger" in Unraid aktuell auf. 

 

Ich möchte auf jedenfall später 4x4TB SSD´s dranhängen + 1x 16TB HDD im selben Array (und natürlich die 16TB Parity Platte) Also Cache sollen dann noch eine oder 2 SSD´s dienen.

 

 

 

[hawihoney]

1 hour ago, DataCollector said:

Nutzdaten okay

 

Interessant. Beide Parityplatten (PQ) werden korrigiert. Das bedeutet, dass beide eine Änderung nicht geschrieben haben. Das ist schon sehr ungewöhnlich. Sind es immer die selben Sektoren?

 

[hawihoney]

1 hour ago, DataCollector said:

Dass "immer" die Parityfestplatte korrigiert wird ist nicht so, da man das ankreuzen/abwählen kann.

 

Wie bitte? Wenn es einen Mismatch gibt wird immer die Parity-Platte korrigiert, nie die Daten-Platte. Ausnahme ist der non-correctional check. Aber um den ging es in meinen Ausführungen nicht. Das hätte man erkennen können s.u. Es ging um die Richtung der Korrektur und die damit verbundenen Auswirkungen!

 

Quote

Deshalb wird bei einer Korrektur immer die Parity korrigiert.

 

Edited October 11, 2023 by hawihoney

[alturismo]

4 hours ago, chillout_andi said:

Ich habe natürlich den kompletten Inhalt des Arrays schon einmal auf eine einzelne HDD extern gesichert. Theoretisch könnte ich auch einfach das ganze Array einfach Neu erstellen und danach wieder über extern befüllen

praktisch auch und in deiner Konstellation wahrscheinlich die bessere Wahl ...

oder einfach die neue Platte erstmal als UAD integrieren, formatieren (xfs), Daten dahin kopieren, wenn erledigt, new config, cache drive(s) übernehmen klicken, die frisch befüllte als Datendisk dem array hinzufügen, fertig ... Parity MUSS mind. die gleiche Größe haben ... sprich mit einer 16er wird es dann nicht getan sein ... wenn die 2. dann rein kommt als Parity setzen, erstellen lassen, fertig ... wenn die 4 x 4 tb dazu kommen, gleiches Spiel ... oder gleich alle auf einmal rein ... Parity wird sonst mehrfach neu erstellt außer du lässt die alle clearen, was aber mehr oder weniger genauso lange dauert ...

 

ein hw Raid ins Array zu setzen war sicherlich nicht die beste Idee (gewesen)  egal

 

4 hours ago, chillout_andi said:

Aber was passiert dann mit den Daten, die sich aktuell im Cache des Arrays befinden ? sind die nach Neuerstellung und wieder Zuweisung des Caches einfach wieder da so wie vorher auch ?

genau, der "cache" heißt cache, ist aber nichts weiter als ein separater pool mit Daten ... bleibt alles erhalten.

 

5 hours ago, chillout_andi said:

Und wenn ich dem Array eine 16TB HDD hinzufügen könnte (wo Unraid dann hoffentlich nicht wieder meckert, dass die Paritiy nun nicht mehr die Größte sei....)

genau das würde passieren, geht nicht ... fertig  siehe oben mit UAD wenn es intern gelöst werden soll

 

5 hours ago, chillout_andi said:

Ich möchte auf jedenfall später 4x4TB SSD´s dranhängen + 1x 16TB HDD im selben Array (und natürlich die 16TB Parity Platte) Also Cache sollen dann noch eine oder 2 SSD´s dienen.

 

kein Thema ...

[DataCollector]

10 hours ago, hawihoney said:

Sind es immer die selben Sektoren?

Soweit habe ich es nicht verfolgt

[DataCollector]

10 hours ago, hawihoney said:

Wie bitte? Wenn es einen Mismatch gibt wird immer die Parity-Platte korrigiert, nie die Daten-Platte.

Wie schon geschrieben, ist es abwählbar, daß die Parity beim Check verändert wird.

Siehe Screenshot.

[jj1987]

2 hours ago, DataCollector said:

Wie schon geschrieben, ist es abwählbar, daß die Parity beim Check verändert wird.

Siehe Screenshot.

Dann wird aber schlicht nichts gemacht. Deswegen hast du wahrscheinlich auch immer diese 5 bzw 10 Fehler.

Fakt ist aber wenn es zwischen Daten und Parity einen mismatch gibt UND man ihn korrigieren lässt, dann wird IMMER die Parity geändert und nicht die Datenplatte 

[DataCollector]

2 hours ago, jj1987 said:

Dann wird aber schlicht nichts gemacht. Deswegen hast du wahrscheinlich auch immer diese 5 bzw 10 Fehler.

Fakt ist aber wenn es zwischen Daten und Parity einen mismatch gibt UND man ihn korrigieren lässt, dann wird IMMER die Parity geändert und nicht die Datenplatte 

Ich habe die Paritykorrektur eingeschaltet (siehe Screenshot).

ich habe nur die Aussage relativiert "Wenn es einen Mismatch gibt wird immer die Parity-Platte korrigiert, nie die Daten-Platte."

Nein, es wird nicht immer der Paritydatenträger korrigiert. Das ist eben abwählbar.

 

Edited October 12, 2023 by DataCollector

[alturismo]

2 hours ago, DataCollector said:

Nein, es wird nicht immer der Paritydatenträger korrigiert. Das ist eben abwählbar.

 

es sollte ja jedem klar sein was gemeint war ...

 

nennen wir es doch einfach, WENN "Correction" aktiviert ist dann wird IMMER nur die Parity korrigiert und NIE der Datenträger an sich angefasst ...

 

aber @DataCollector, ich würde mir auch Gedanken machen warum du immer Parity Fails hast ... ich hab ja gelesen was du für einen Integritäts Aufwand du betreibst und bin mir sicher du weißt was du da machst, aber das sollte tatsächlich nicht passieren ... mal anders gefragt, hattest du denn jemals wirklich ein "broken file" ? oder kommen tatsächlich nur die Check Errors und eigentlich ist (sollte) alles ok sein.

 

Ich lasse Parity alle 1/2 Jahr mal laufen ... ansonsten nie (hard Crash Zeit wegen Fritz Thematik ... war immer Parity Abbruch angesagt ...) da ich ja kaum neu schreibe ... ich halte ja immer sehr lange im Cache vor ... aber hatte bisher noch nie einen Fail ...

 

Einzige was jetzt passiert war, die Platte ging in die Knie (extrem langsam geworden ...) und ich hab Sie entfernt ... rebuilde gerade Parity nach Daten Konsilidierung ,,, aber wie erwähnt, bei den 1/2 jährlichen Checks war immer alles ok ...

 

Denke das wollte die @hawihoney sagen, schau was da nicht passt weil "normal" ist das nicht ... und ja, ich bin dabei dass dir Unraid nicht wirklich sagt was da schief hängt, denke hängt (leider) am System der Parity da block based und nicht file based ... wäre nice wenn dann noch ne Info käme File xyz ist betroffen ... mach doch mal ein Feature Request ... wer weiß ...

[DataCollector]

12 hours ago, alturismo said:

aber @DataCollector, ich würde mir auch Gedanken machen warum du immer Parity Fails hast ... ich hab ja gelesen was du für einen Integritäts Aufwand du betreibst und bin mir sicher du weißt was du da machst, aber das sollte tatsächlich nicht passieren ... mal anders gefragt, hattest du denn jemals wirklich ein "broken file" ? oder kommen tatsächlich nur die Check Errors und eigentlich ist (sollte) alles ok sein.

 

a) Ich habe mir (als es mir vor ca. 1 Jahr auffiel) schon viele Gedanken gemacht, aber selbst auf meine Anfragen auch hier im Forum kamen keine hilfreichen Informationen, wie man die Error lokalisieren kann.

Die Idee von mir, anhand der Sektornummern auszulesen welche Dateien auf allen Datenfestplatten im Array an der Stelle liegen brachte nichts, weil ich nicht weiß, wie man das unter Linux realisieren kann.

Wenn Du eine Idee hast, wie man gezielt Parityfehler suchen kann, kann ich mir das ja mal nochmal anschauen, aber leider weiß ich aktuell nicht, wie ich die lokalisieren kann, da unraid da nicht mehr Infos gibt.

 

b) Wenn es ein Verkabelungsproblem wäre, wären es mehr als die konstannten 5 (bzw. auf dem anderen System 10) Parityfehler, da ich mal in dem einen Monat nur hundert GB geschrieben habe und in einem anderen Monat gleich dutzende TB.

 

c) Wie schon angedeutet: anhand meiner MD5-Checksummen und auch Binärvergleiche mit den Windows Zuspielern sind bei den Nutzdaten bisher keine veränderten Dateien aufgefallen.  (Eines meiner Windowssysteme ist momentan die aktive Datenquelle [unraid soll diese irgendwann ersetzen und wird deshalb Datentechnisch damit abgeglichen] und ein anderes Windowssystem ist das sporadisch eingeschaltete Backup.)

 

Ich vermute aktuell, daß die Parityfehler gar nicht die Nutzdaten direkt betreffen, sondern die zugehörenden Metainformationen der Dateien (Irgendein Datum oder Attribut), welches mich bei den Nutzdaten (Bild- oder Videofile oder so) gar nicht interessiert.

 

Aber da ich nur anhand der rohen Sektorangaben im Syslog das nicht selbet prüfen kann, muß ich mich eben auf meine extra Checksummen und Backups verlasssen.

Edited October 13, 2023 by DataCollector
Typos

[alturismo]

5 hours ago, DataCollector said:

Aber da ich nur anhand der rohen Sektorangaben im Syslog das nicht selbert prüfen kann, muß ich mich eben auf emine extra Checksummen und Backups verlasssen.

ich aus dem Stehgreif jetzt auch nicht und ob das überhaupt wirklich geht ...

 

Ansatz (ich hab jetzt auf die Schnelle deinen alten Thread nicht gefunden), und dann würde ich eher in den Feature Request Thread damit gehen ...

 

Find which partition the sector is in by running fdisk -lu /dev/sdb. Suppose it is "sdb2" which starts at sector 45612307.

Subtract that from 95891008 to get 50278701.

Next determine how many sectors per block: tune2fs -l /dev/sdb2 | grep Block. Suppose it is 4096.

Calculate the block / sector ratio: 512 bytes/sector / 4096 bytes/block = 0.125 blocks/sector.

Calculate the block from the sector: 50278701 * 0.125 = 6284837.625.

Use debugfs to find out which is using the block. If icheck 6284837 returns inode 12345 then run ncheck 12345.

Caveats: You may need to turn off journaling. This may not work with ext4.

 

[DataCollector]

28 minutes ago, alturismo said:

Ansatz (ich hab jetzt auf die Schnelle deinen alten Thread nicht gefunden),

 

Nur, falls es noch interessiert:

 

[chilloutandi]

kleines Update. Der Wechsel auf neues Board + CPU ging tadellos. Ebenfalls habe ich mich entschlossen das Array inkl. 1 Parity Neu aufzubauen. Jetzt habe ich akutell 4x4TB SSD´s (SATA) + 4x4TB HDD´s in einem Array.

 

Muss man, wegen dem SSD Betrieb noch irgendetwas einstellen oder anders konfigurieren, als wie wenn man HDD´s verwendet ? Stichwort TRIM oder das Abschalten der SSD´s ? Eher schlecht für SSD auf Dauer ?

 

1 Sache ist mir noch aufgefallen.

Ich kann vom Array irgendwie nicht Daten auf eine eingehängte USB HDD kopieren. Sehe zur Auswahl immer nur das Array + Cache.

Muss man hierfür eine extra App installieren ?

Genauso wenig wenn ich eine SMB Freigabe einhängt habe. Von der Freigabe aufs Array/Cache geht, aber vom Array/Cache in die SMB Freigabe geht nicht.

 

 

Edited October 20, 2023 by chilloutandi

[DataCollector]

1 hour ago, chilloutandi said:

Jetzt habe ich akutell 4x4TB SSD´s (SATA) + 4x4TB HDD´s in einem Array.

Muss man, wegen dem SSD Betrieb noch irgendetwas einstellen oder anders konfigurieren, als wie wenn man HDD´s verwendet ? Stichwort TRIM oder das Abschalten der SSD´s ? Eher schlecht für SSD auf Dauer ?

 

1 Sache ist mir noch aufgefallen.

Ich kann vom Array irgendwie nicht Daten auf eine eingehängte USB HDD kopieren. Sehe zur Auswahl immer nur das Array + Cache.

Muss man hierfür eine extra App installieren ?

Genauso wenig wenn ich eine SMB Freigabe einhängt habe. Von der Freigabe aufs Array/Cache geht, aber vom Array/Cache in die SMB Freigabe geht nicht.

 

 

 

Zu Deiner Frage SSD im Array: nein, Du mußt nichts anders einstellen, weil unraid im Array gar kein Trim macht.

Eine SSD als Datenträger im Array kann man machen. Man spart sich Aufwachzeiten. Sollte man eien Parität verwenden, welche auf einer konventionellen Festplatte liegt bremst man aber beim Schreiben die SSD massiv aus.

Leider hast Du nicht geschrieben, welches Gerät Deine Parity macht.

 

Zu Deiner eingehängten USB HDD: hast Du die Unassigned Devices App installiert?

Die ist schon recht wichtig, wenn Du eben "unassigned" Geräte anschließen willst.

Edited October 20, 2023 by DataCollector

[chilloutandi]

2 hours ago, DataCollector said:

 

Zu Deiner Frage SSD im Array: nein, Du mußt nichts anders einstellen, weil unraid im Array gar kein Trim macht.

Eine SSD als Datenträger im Array kann man machen. Man spart sich Aufwachzeiten. Sollte man eien Parität verwenden, welche auf einer konventionellen Festplatte liegt bremst man aber beim Schreiben die SSD massiv aus.

Leider hast Du nicht geschrieben, welches Gerät Deine Parity macht.

 

Zu Deiner eingehängten USB HDD: hast Du die Unassigned Devices App installiert?

Die ist schon recht wichtig, wenn Du eben "unassigned" Geräte anschließen willst.

Ja, eine HDD (16TB, weil angedacht, dass evtl. noch größere Laufwerke als 4TB hinzugefügt werden) ist die Parity. Habe schon gemerkt, dass sobald die Parity beschrieben wird, die Übertragungsrate sich so bei 90MB/s einpendelt. Nicht super, aber erstmal ok.

Als Parity eine SSD ist, soweit ich lesen konnte, wohl nicht empfohlen.

 

Ja, die beiden "Apps" sind installiert.

Einhängen geht grundsätzlich damit ja sehr einfach. Aber ich weiß gerade nicht wie ich vom Array auf die eingehängte USB Platte oder SMB Freigabe komme und dorhin kopieren/verschieben kann ?

[jj1987]

1 hour ago, chilloutandi said:

Aber ich weiß gerade nicht wie ich vom Array auf die eingehängte USB Platte oder SMB Freigabe komme und dorhin kopieren/verschieben kann ?

z.B. mit Krusader (Docker), Midnight Commander - bereits in Unraid integriert

[DataCollector]

1 hour ago, chilloutandi said:

Ja, eine HDD (16TB, weil angedacht, dass evtl. noch größere Laufwerke als 4TB hinzugefügt werden) ist die Parity. Habe schon gemerkt, dass sobald die Parity beschrieben wird, die Übertragungsrate sich so bei 90MB/s einpendelt. Nicht super, aber erstmal ok.

 

Einhängen geht grundsätzlich damit ja sehr einfach. Aber ich weiß gerade nicht wie ich vom Array auf die eingehängte USB Platte oder SMB Freigabe komme und dorhin kopieren/verschieben kann ?

Reale 90MByte/s ist überraschend flott für Parity. Im Außenbereich der 16TB ist das gut. Im Innenbereich wird das noch erheblich weniger werden.

 

Daten kopieren/verschoeben: Entweder Du nutzt die Kommandozeile/Terminal und/oder mc   oder Du kannst auch einen Docker mit Krusader verwenden oder auch die APP "Dynamix File Manager" installieren und damit Dateioperationen ausführen.

Ich nutze gerne den mc im Terminalfenster.

[chilloutandi]

34 minutes ago, jj1987 said:

z.B. mit Krusader (Docker), Midnight Commander - bereits in Unraid integriert

 

25 minutes ago, DataCollector said:

Reale 90MByte/s ist überraschend flott für Parity. Im Außenbereich der 16TB ist das gut. Im Innenbereich wird das noch erheblich weniger werden.

 

Daten kopieren/verschoeben: Entweder Du nutzt die Kommandozeile/Terminal und/oder mc   oder Du kannst auch einen Docker mit Krusader verwenden oder auch die APP "Dynamix File Manager" installieren und damit Dateioperationen ausführen.

Ich nutze gerne den mc im Terminalfenster.

Vielleicht stelle ich mich auch nur doof an, aber Dynamix File Manager ist bereits installiert. Aber sobald ich dort die Auswahl habe wohin ich etwas aus meinem Array kopieren will, komme ich nur auf das Array selbst. Einen eigenen Docker wollte ich jetzt für so eine simple Kopieraktion nicht laufen lassen. Muss doch auch so gehen ....

[DataCollector]

8 minutes ago, chilloutandi said:

 

Vielleicht stelle ich mich auch nur doof an, aber Dynamix File Manager ist bereits installiert. Aber sobald ich dort die Auswahl habe wohin ich etwas aus meinem Array kopieren will, komme ich nur auf das Array selbst. Einen eigenen Docker wollte ich jetzt für so eine simple Kopieraktion nicht laufen lassen. Muss doch auch so gehen ....

Du sagst Du hast die UD Plugins/Apps installiert.

Wenn Du die Festplatte anstöpselst erscheint sie im TAB "Main" weiter unten. Hast Du dieses neue Laufwerk dann auch gemountet?

Wenn ja, finden sich alle Laufwerke (die des Array und auch die per UD) im Verzeichnis mnt im Wurzelverzeichnis.

Screenshot1: So sieht das bei mir im 2nd Server (Shipon) aus, wenn ich mit mc anschaue (rechts habe ich Erklärungen dazu geschrieben).

Screenshot2: Die gleiche Ansicht mit dem Krusader (ich777).

Screenshor 3 und 4 die Einstellungen des Docker Krusader von ich777, wie ich sie bei mir nutze.

 

Noch eins! Beachte, daß Du immer nur zwieschen Disks oder Shares kopierst/verschiebst. Nie auf dem Array von einer DIsk in ein Share verschieben oder kopieren. Das kann Datenverlust nach sich ziehen!

[jj1987]

35 minutes ago, chilloutandi said:

Einen eigenen Docker wollte ich jetzt für so eine simple Kopieraktion nicht laufen lassen.

Brauchst du ja auch nicht zwingend, MC ist ja wie gesagt von Haus aus in UNRAID integriert. Musst nur ins Terminal gehen und starten.

Die Pfade hat @DataCollectorja gerade schon erklärt 

[chilloutandi]

Update meinerseits. Erstmal vielen Dank für die schnellen Antworten.

Ich habe es mit dem Programm "mc" übers Terminal probiert. Leider hieß es dann beim starten des Kopiervorgangs, dass keine Berechtigung auf dem Ziellaufwerk (USB Platte) vorhanden wären. Über die Unraid Oberfläche wurde eine Änderung des Eigentümers auf z.b. Nobody oder auf einen angelegten User gekonnt vom System ignoriert. Blieb weiterhin auf "root" stehen. (evtl. weil die USB Platte mit exFAT formatiert ist ?)

Schlussendlich habe ich dann doch noch eine App probiert (ich finds immer noch lächerlich, dass das in Unraid direkt (ich meine über die GUI) nicht geht mit dem Kopieren/Verschieben in Richtung USB Speicher) Übrigens konnte ich auch über die Möglichkeit des Kopierens in Unraid direkt weiterhin immer nur das Array bzw. die Ordner des Pools sehen. Selbst mit manueller Eingabe von /mnt/disks...usw. als dem direkten Pfad bekam ich meine USB Platte und deren Inhalt nicht in der GUI angezeigt.

Mehr als die USB Platte unter dem Menüpunkt "Start" --> Unassigned Devices einzuhängen kann ich nicht anklicken. Danach wird sie in der Übersicht ganz unten weiterhin mit der Überschrift "nicht zugewiesen" angezeigt. Denke aber, dass das normal ist, weil ich ja keinen neuen "Pool" erstelle ? Naja, egal.

 

DirSyncPro sieht zwar aus wie aus Win3.11 Zeiten, funktioniert aber ohne Anstanden zu machen. Keine Berechtigungsproblem etc.

Jetzt läuft halt ein extra Docker fürs synchronisieren in Richtung USB Platte. Darf man eigentlich keinem erzählen