viele Parity Fehler nach dem ersten Check (Hdds o.K)


StefanM71

Recommended Posts

Neueinsteiger bräuchte mal Hilfe....

Hab auf meinem HP Microserver Gen8 mit nem Xeon 1230 und 16 GB Speicher 4x 8TB Platten am laufen.

Nachdem die Platten alle fast zur Hälfte voll sind hab ich den Parity Check ausgeführt, der nach ca. 2 Stunden über 160 Fehler korrigiert hatte. Erstmal abgebrochen und ein Tag später nochmal neu den Check gestartet, der dann mit über 30 Fehlern beendet worden ist.

Festplatten sind nach SMART Test alle okay.

Wie kann ich nachvollziehen was das für Fehler sind (log Datei?) und vor allem wie sind die vermeidbar?

Sind die Daten überhaupt alle noch vollständig? (bzw. reproduzierbar beim Ausfall einer HDD?)

Davon mal ab … wenn die Parity Platte 8tb groß ist wie groß dürfen die Daten Platten insgesamt sein?. (wie ist das Verhältnis allgemein?)

Link to comment

Hallo @StefanM71

31 minutes ago, StefanM71 said:

Neueinsteiger bräuchte mal Hilfe....

Hab auf meinem HP Microserver Gen8 mit nem Xeon 1230 und 16 GB Speicher 4x 8TB Platten am laufen.

Nutzt Du in dem System ECC?

Ich vermute von den Festplatten ist nur eine Parität?

 

31 minutes ago, StefanM71 said:

Nachdem die Platten alle fast zur Hälfte voll sind hab ich den Parity Check ausgeführt, der nach ca. 2 Stunden über 160 Fehler korrigiert hatte. Erstmal abgebrochen und ein Tag später nochmal neu den Check gestartet, der dann mit über 30 Fehlern beendet worden ist.

Festplatten sind nach SMART Test alle okay.

...

Sind die Daten überhaupt alle noch vollständig? (bzw. reproduzierbar beim Ausfall einer HDD?)

Um das nachzuprüfen arbeite ich mit zusätzlichen Checksummen.

Unter Windows mit MD5 in unraid hoffe ich da auf Dynamix File Integrity Plugin um auch Bitrot abzufangen/erkennen.

 

31 minutes ago, StefanM71 said:

Davon mal ab … wenn die Parity Platte 8tb groß ist wie groß dürfen die Daten Platten insgesamt sein?. (wie ist das Verhältnis allgemein?)

Wenn eine Parityplatte eingesetzt ist und 8 TB groß ist, kannst Du im Array 28 weitere Devices bis zu je maximal dieser 8TB Größe verwenden.

Max 28*8TB = 224TB für Daten

Wenn Dein Parity mit 8TB aus 2 Disks zu je 4Tb besteht (also 2 Paritätsdisks zu je 4TB), dann kannst Du im Array 28 weitere Devices bis zu je maximal dieser 4TB Größe verwenden. Maximal 28*4TB = 112TB Daten.

 

Link to comment

Danke für die schnelle Antwort

 

Ja sind ECC Speicher. (Gib es da irgend nen Ram Test?) Bios ist auf dem letzten Stand da es mal Probleme mit diversen ECC Speicher gab.

Ja nur 1 HDD für die Parität

 

Beim Kopiervorgang gab es auch keine Probleme bzw. Abbrüche, der Unraid wurde auch „normal runter gefahren“

Sind auch noch 2 Cache Laufwerke installiert (ssd) die wurden aber nicht verwendet beim Kopiervorgang.

 

Mit den diversen Plugins muss ich mich noch beschäftigen.

Aber wie gesagt interessiert mich erstmal wie es zu den Fehlern gekommen ist bzw. ob die Parität o.k. ist (vertrauenswürdig) und vor allem natürlich die kopierten Daten vollständig sind?

(Stichproben waren in Ordnung)

Sonst brauch ich da nicht weitermachen und es kommt wieder nen Raid 5 drauf. (was vorher mit dem „alten Prozessor“ und 2 GB gut lief. (XPEnology 5)

 

Ah .. danke für die Erklärung was es mit der Parität auf sich hat.

Ich kann aber nicht z.B. noch ne 2TB Platte als Parität dazu packen um ne 10 TB Datenplatte zu ergänzen?

 

Link to comment

Ich geh mal davon aus dass die Daten o.k. sind, da die Paritäts Fehler ja korigiert werden konnten. (Hoffe ich da alles verschoben wurde und im Momet kein Backup vorhanden ist)

Weiß halt nicht was ich machen soll um zu überprüfen ob alles richtig geschrieben wird wenn weiter Daten auf das NAS kommen?

Wie gesagt Unraid ist noch neu, Ich hab es eher mit Windows als MCSE.

 

Link to comment

Hmmm... gefunden

 ganz schön lang....hier gibt es Probleme ... Relevant?

ACPI BIOS Warning (bug): 32/64X length mismatch in FADT/Pm1aControlBlock: 16/32 (20210604/tbfadt-564)
ACPI BIOS Warning (bug): 32/64X length mismatch in FADT/Pm2ControlBlock: 8/32 (20210604/tbfadt-564)

ACPI BIOS Warning (bug): Invalid length for FADT/Pm1aControlBlock: 32, using default 16 (20210604/tbfadt-669)
ACPI BIOS Warning (bug): Invalid length for FADT/Pm2ControlBlock: 32, using default 8 (20210604/tbfadt-669)

...

DMAR: [Firmware Bug]: No firmware reserved region can cover this RMRR [0x00000000000e8000-0x00000000000e8fff], contact BIOS vendor for fixes
DMAR: [Firmware Bug]: Your BIOS is broken; bad RMRR [0x00000000000e8000-0x00000000000e8fff]

...

kernel: system 00:00: [mem 0xfed90000-0xfed91fff] could not be reserved

....

ntpd[1100]: kernel reports TIME_ERROR: 0x41: Clock Unsynchronized

....

ne Menge ..emhttpd: error: get_key_info, 566: Invalid argument (22): get_message: /boot/config/BTRS.key (-3)

 

 

Link to comment
2 hours ago, StefanM71 said:

Ja sind ECC Speicher.

Wenn da keien Fehler entstanden sind, liegt das Problem schon einmal nicht im RAM.

ZU ECC Log hat mgutt ja was geschrieben.

2 hours ago, StefanM71 said:

(Gib es da irgend nen Ram Test?)

Wenn Du unraid bootest sollte ein Bootmenu erscheinen. War da bei Dir nicht memtest bei?

 

2 hours ago, StefanM71 said:

Beim Kopiervorgang gab es auch keine Probleme bzw. Abbrüche, der Unraid wurde auch „normal runter gefahren“

Nach einem Kopiervorgang (bin noch bei Erstbefüllung) werde ich Parität erzeugen lassen und dann Kopiequelle (Daten von Windows basiertem PC) und Ziel (Daten auf Unraid) binaer miteinander vergleichen. Vorher vertraue ich den Daten auf unraid noch nicht. Das wird bei meiner Datenmenge aber voraussichtlich noch ein paar Wochen dauern, bis alles durch ist.

Eins kann man unraid nicht vorwerfen: dass es beim Array schnell ist :) 

 

2 hours ago, StefanM71 said:

Mit den diversen Plugins muss ich mich noch beschäftigen.

Dito. Deshalb mein Hinweis, dass ich auf das Plugin hoffe. Bisher habe ich es eingebundne und grundkonfiguriert, aber noch nicht darauf wirklich getestet.

 

2 hours ago, StefanM71 said:

Aber wie gesagt interessiert mich erstmal wie es zu den Fehlern gekommen ist bzw. ob die Parität o.k. ist (vertrauenswürdig)

Wo das Problem in den Daten liegt (ob jetzt Paritätsdaten bei Dir beschädigt sind oder Datenplatten oder es bei der Überprüfung zu Fehlern kam oder bei allem) kannst nur Du herausfinden.

Aber die Überpruefung deutet eben darauf hin, dass es an mindestens einer Stelle Fehler gibt.

 

2 hours ago, StefanM71 said:

und vor allem natürlich die kopierten Daten vollständig sind?

Da weder die Paritätsdaten noch die Nutzdaten bei Dir eine zu erreichende Checksumme zur Überpruefung haben, kann der Computer nicht entscheiden, welches von beidem nun korrekt ist.

 

2 hours ago, StefanM71 said:

(Stichproben waren in Ordnung)

Mach weiter, bis Du alles geprüft hast.

 

2 hours ago, StefanM71 said:

Ah .. danke für die Erklärung was es mit der Parität auf sich hat.

Ich kann aber nicht z.B. noch ne 2TB Platte als Parität dazu packen um ne 10 TB Datenplatte zu ergänzen?

Nein, kannst Du nicht. Die Paritätsplatte muss immer die Größte sein.

Steck die 10TB als Paritätsplatte rein und setze die freiwerdende 8TB und die neue 2TB ins Array für Daten. Dann hast Du auch rudn 10TB mehr an Datenspeicherplatz.

Link to comment
4 hours ago, StefanM71 said:

Ich geh mal davon aus dass die Daten o.k. sind, da die Paritäts Fehler ja korigiert werden konnten

Das siehst du falsch. Die Parität berechnet sich aus den Daten. Wenn sich die Daten ändern, dann auch die Parität. Du kannst nicht wissen ob sich die Parität oder die Daten geändert haben.

Link to comment
1 hour ago, JonathanM said:

 

That is not a valid trial key, it needs to be deleted.

I had an older version on the stick. The trial period had expired because I had no time. Updated Unraid to the new version, registered and I was able to unlock a 30-day trial. Now I have 14 left.... can I extend again? Since I may have to try everything again on a different piece of hardware.

Link to comment
3 hours ago, DataCollector said:

Wenn da keien Fehler entstanden sind, liegt das Problem schon einmal nicht im RAM.

ZU ECC Log hat mgutt ja was geschrieben.

Wenn Du unraid bootest sollte ein Bootmenu erscheinen. War da bei Dir nicht memtest bei?

 

Nach einem Kopiervorgang (bin noch bei Erstbefüllung) werde ich Parität erzeugen lassen und dann Kopiequelle (Daten von Windows basiertem PC) und Ziel (Daten auf Unraid) binaer miteinander vergleichen. Vorher vertraue ich den Daten auf unraid noch nicht. Das wird bei meiner Datenmenge aber voraussichtlich noch ein paar Wochen dauern, bis alles durch ist.

Eins kann man unraid nicht vorwerfen: dass es beim Array schnell ist :) 

 

Dito. Deshalb mein Hinweis, dass ich auf das Plugin hoffe. Bisher habe ich es eingebundne und grundkonfiguriert, aber noch nicht darauf wirklich getestet.

 

Wo das Problem in den Daten liegt (ob jetzt Paritätsdaten bei Dir beschädigt sind oder Datenplatten oder es bei der Überprüfung zu Fehlern kam oder bei allem) kannst nur Du herausfinden.

Aber die Überpruefung deutet eben darauf hin, dass es an mindestens einer Stelle Fehler gibt.

 

Da weder die Paritätsdaten noch die Nutzdaten bei Dir eine zu erreichende Checksumme zur Überpruefung haben, kann der Computer nicht entscheiden, welches von beidem nun korrekt ist.

 

Mach weiter, bis Du alles geprüft hast.

 

Nein, kannst Du nicht. Die Paritätsplatte muss immer die Größte sein.

Steck die 10TB als Paritätsplatte rein und setze die freiwerdende 8TB und die neue 2TB ins Array für Daten. Dann hast Du auch rudn 10TB mehr an Datenspeicherplatz.

Hab jetzt die Diagnostik Software die im HP Server drin ist mal den Speicher testen lassen und ne kurze Diagnose des ganzen System.

 

Speicher O.K. (Rest soweit auch)

 

Werde jetzt erst mal die Daten auf nen kleines NAS kopieren (verschieben) (kann dauern) und dann mal die große Diagnostik vom Server laufen lassen, da liest und schreibt der auch willkürlich auf den Festplatten rum.

 

Bootmenü hab ich mir noch gar nicht angeschaut … Server hatte keinen Monitor dran. (Jetzt ja wegen Systemtest)

 

wie meinst du das mit Parität erzeugen lassen ?

Der schreibt ja die Parität auf die P.. HDD …. Vergleichen der Daten hört sich gut an.

Gibts da was an App die das macht während des Kopierens? (Linux) (Windows gibt’s ja z.B. Dicsync pro oder div. Backup Prg.)

Klar ist das Array nicht schnell, ist ja kein Raid 5..6 wenns schneller gehen soll Cache nehmen (ssd oder Ram Speicher)

 

Oder ne Möglichkeit das Unraid beim Kopieren nochmal Checkt ob Daten u. dazugehörige Parität stimmen?

 

 

Wenn nicht werde ich nachdem der Server wieder leer ist und ich davon ausgehe dass die Diagnostik nix findet mal so 100 MB kopieren und direkt danach den Parity Check machen.

(eventuell Festplatten array neu erstellen und ne andere Platte als Parity nehmen)

 

edit... o.k. üblesen ..."Dynamix File Integrity Plugin" muss ich mir dann mal anschauen 

 

… Danke nochmal für die Erklärung mit der Größe der Parity und Daten HDDs.

Das die P. HDD die größte sein muss wusste ich schon, dacht aber die könnte man dann über die 2te vergrößern. Bei mir reichen erst mal die 4x 8TB, man kann ja später noch eine externe (bei mir da kein Platz) dazu nehmen.

 

….. sollte der Server wieder nicht laufen kann ich eigentlich meine Trial verlängern um eventuel alles auf ner andern Hardware nochmal zu testen?

Versteh das alles nicht, bin ja nicht der einzige der nen HP Gen 8 Micro S. mit Unraid am laufen hat.

Hab da noch Fragen zu HDDS Server oder Desktop ... wegen der eingebauten Fehlerkorktur. Aber da frag ich damits übesichtlicher wird seperat

 

Edited by StefanM71
Link to comment

Hallo @StefanM71

 

9 hours ago, StefanM71 said:

wie meinst du das mit Parität erzeugen lassen ?

Ich betreibe mein unraid Array (noch in Aufbau-/Befüllungsphase) momentan ohne Paritätsfestplatten (sind zwar schon eingebaut, aber eben noch nicht als Paritätsplatten angemeldet), weil so der sequentielle Schreibvorgang auf die Datenplatten schneller abläuft. Da ich von meiner Quelle Win10 Remoteshare auf Unraid Disks schreibe (mit krusader/ich777 und MC), besteht darin keine Gefahr für die Daten. Ich habe ja durchgehend/weiterhin meine Win10 Quelle mit Raid6.

Erst wenn alles angekommen ist (über 300TB Daten von Hand anzustoßen und auch sortieren dauert schon ein paar Wochen) werde ich die Paritätsfestplatten (2 Stück) als solche anmelden und gehe davon aus, daß Unraid dann die beiden Paritätsfestplatten erstellt (das wird dann vermutlich noch einmal rund 1-3 Tage dauern).

Wenn das alles durch ist, werde ich Quelle (Win10) mit Unraid Daten binär vergleichen (mit TotalCommander von WIn10 Maschine aus) und wissen ob alles unverändert angekommen und gespeichert wurde.

 

9 hours ago, StefanM71 said:

Gibts da was an App die das macht während des Kopierens?

Eine App, die über die normalen Kopierfunktionen hinaus etwas prüft müsste einige Zeit nach dem Schreiben einen Verify machen. Sowas kenne ich von einigen Programmen, aber unter unraid habe ich da keinen Schimmer von. Evtl. im Krusader Handbuch mal schauen. Ich vermute mal, daß man das dort einstellen kann.

 

Die erwähnte File Integrity App erstellt beim Schreiben auf das Array Checksummen und kann diese sporadisch überprüfen. So stellt man fest, daß ursprünglich fehlerfreie Daten irgendwann später verändert wurden. Aber das sichert keinen Kopiervorgang selber ab.

Bei einem Raid (egal ob raid1, 5 oder 6 oder so) und auch bei unraid gilt: Eine Backupstrategie für wichtige Daten ist anzuraten.

Ich werde auch mindestens eines meiner Win10 Systeme weiter als Backup behalten. Aber Unraid hat den Vorteil die Platten schlafen legen zu können, wodurch es idle weniger Strom schluckt. Deshalb werden die Win10 Systeme dann nur sporadisch mal zur Aktualisierung der Sicherung hoch gefahren.

 

9 hours ago, StefanM71 said:

Klar ist das Array nicht schnell, ist ja kein Raid 5..6 wenns schneller gehen soll Cache nehmen (ssd oder Ram Speicher)

Bei >300TB Daten wird SSD teuer. Vor allem, da Unraid bisher nur maximal 28 Datenplatten in einem Array betreiben kann und somit jede SSD mehr als 10TB groß sein muss. Die guenstigste 16TB SSD liegt aktuell bei rund 2650 Euro/Stueck.  30 davon kann ich mir nicht leisten :)

Da sind 18TB, 16TB & 12TB Festplatten zu je aktuell 300 - 180 Euro schon freundlicher zu meinem Geldbeutel. Ist eben nur eines meiner Hobbies.

 

9 hours ago, StefanM71 said:

Oder ne Möglichkeit das Unraid beim Kopieren nochmal Checkt ob Daten u. dazugehörige Parität stimmen?

Die Parität selber hat nichts mit Datenintegrität zu tun. Sie Ist nur dafür da beim Ausfall einer/zwei Platte/n die dort gelagerten Daten wieder herzustellen. Ohne Zusätzliche Maßnahmen kann ein System aber nicht erkennen, was nun falsch ist: die Daten auf der Datenfestplatte oder die Daten der Parität.

 

9 hours ago, StefanM71 said:

edit... o.k. üblesen ..."Dynamix File Integrity Plugin" muss ich mir dann mal anschauen 

Auch dieses Plugin kann nur sagen, dass da nach einiger Lagerzeit eine Checksumme nicht stimmt. Wiederherstellen kann es leider nicht.

Als ich mir vor einigen Monaten das Plugin mal angelesen hatte, wurde erwaehnt,md ass eine andere Person auch mit WIederherstellung auf PAR Basis experimentiere, aber da ich aus persönlichen Gründen ein paar Monate bei unraid aussetzen musste, weiß ich nicht, wie weit das schon ist.

Aktuell ist ein Backup von wichtigen Daten anzuraten.

 

9 hours ago, StefanM71 said:

Das die P. HDD die größte sein muss wusste ich schon, dacht aber die könnte man dann über die 2te vergrößern.

Bei Unraid kann man mit der zweiten Paritätsplatte eine höheren Ausfallschutz erreichen. Es können theoretisch also 2 Platten gleichzeitig ausfallen (wie bei Raid6). Das wird interessant, wenn man eben recht viele Datenträger verwendet.

 

Zu Deiner Frage zum Trial: man kann 2 mal verlängern.

Vorschlag: Nim einfach einen anderen USB Stick und fang damit neu an. Schon hast Du wiedere inen Vollen Monat und die Chance da wieder zu verlänngern.

Mir hatte bei meinem ersten Test der eine Monat auch nicht gereicht.

Link to comment
On 1/17/2022 at 11:04 AM, DataCollector said:

Hallo @StefanM71

 

Ich betreibe mein unraid Array (noch in Aufbau-/Befüllungsphase) momentan ohne Paritätsfestplatten (sind zwar schon eingebaut, aber eben noch nicht als Paritätsplatten angemeldet), weil so der sequentielle Schreibvorgang auf die Datenplatten schneller abläuft. Da ich von meiner Quelle Win10 Remoteshare auf Unraid Disks schreibe (mit krusader/ich777 und MC), besteht darin keine Gefahr für die Daten. Ich habe ja durchgehend/weiterhin meine Win10 Quelle mit Raid6.

Erst wenn alles angekommen ist (über 300TB Daten von Hand anzustoßen und auch sortieren dauert schon ein paar Wochen) werde ich die Paritätsfestplatten (2 Stück) als solche anmelden und gehe davon aus, daß Unraid dann die beiden Paritätsfestplatten erstellt (das wird dann vermutlich noch einmal rund 1-3 Tage dauern).

Wenn das alles durch ist, werde ich Quelle (Win10) mit Unraid Daten binär vergleichen (mit TotalCommander von WIn10 Maschine aus) und wissen ob alles unverändert angekommen und gespeichert wurde.

 

Eine App, die über die normalen Kopierfunktionen hinaus etwas prüft müsste einige Zeit nach dem Schreiben einen Verify machen. Sowas kenne ich von einigen Programmen, aber unter unraid habe ich da keinen Schimmer von. Evtl. im Krusader Handbuch mal schauen. Ich vermute mal, daß man das dort einstellen kann.

 

Die erwähnte File Integrity App erstellt beim Schreiben auf das Array Checksummen und kann diese sporadisch überprüfen. So stellt man fest, daß ursprünglich fehlerfreie Daten irgendwann später verändert wurden. Aber das sichert keinen Kopiervorgang selber ab.

Bei einem Raid (egal ob raid1, 5 oder 6 oder so) und auch bei unraid gilt: Eine Backupstrategie für wichtige Daten ist anzuraten.

Ich werde auch mindestens eines meiner Win10 Systeme weiter als Backup behalten. Aber Unraid hat den Vorteil die Platten schlafen legen zu können, wodurch es idle weniger Strom schluckt. Deshalb werden die Win10 Systeme dann nur sporadisch mal zur Aktualisierung der Sicherung hoch gefahren.

 

Bei >300TB Daten wird SSD teuer. Vor allem, da Unraid bisher nur maximal 28 Datenplatten in einem Array betreiben kann und somit jede SSD mehr als 10TB groß sein muss. Die guenstigste 16TB SSD liegt aktuell bei rund 2650 Euro/Stueck.  30 davon kann ich mir nicht leisten :)

Da sind 18TB, 16TB & 12TB Festplatten zu je aktuell 300 - 180 Euro schon freundlicher zu meinem Geldbeutel. Ist eben nur eines meiner Hobbies.

 

Die Parität selber hat nichts mit Datenintegrität zu tun. Sie Ist nur dafür da beim Ausfall einer/zwei Platte/n die dort gelagerten Daten wieder herzustellen. Ohne Zusätzliche Maßnahmen kann ein System aber nicht erkennen, was nun falsch ist: die Daten auf der Datenfestplatte oder die Daten der Parität.

 

Auch dieses Plugin kann nur sagen, dass da nach einiger Lagerzeit eine Checksumme nicht stimmt. Wiederherstellen kann es leider nicht.

Als ich mir vor einigen Monaten das Plugin mal angelesen hatte, wurde erwaehnt,md ass eine andere Person auch mit WIederherstellung auf PAR Basis experimentiere, aber da ich aus persönlichen Gründen ein paar Monate bei unraid aussetzen musste, weiß ich nicht, wie weit das schon ist.

Aktuell ist ein Backup von wichtigen Daten anzuraten.

 

Bei Unraid kann man mit der zweiten Paritätsplatte eine höheren Ausfallschutz erreichen. Es können theoretisch also 2 Platten gleichzeitig ausfallen (wie bei Raid6). Das wird interessant, wenn man eben recht viele Datenträger verwendet.

 

Zu Deiner Frage zum Trial: man kann 2 mal verlängern.

Vorschlag: Nim einfach einen anderen USB Stick und fang damit neu an. Schon hast Du wiedere inen Vollen Monat und die Chance da wieder zu verlänngern.

Mir hatte bei meinem ersten Test der eine Monat auch nicht gereicht.

Danke für deine Infos...

 

Hab jetzt die Daten gesichert u. merkwürdigerweise war bei nem Kopiervorgang ne Meldung das Dateien schon vorhanden sind. Na soweit alles o.k.....

 

Dann über 24 Stunden den HP Server seine Diagnostik machen lassen( Festplatten Check hat ziemlich gedauert) - Alles ohne Fehler bestanden

 

Zwei Videodateien ca. 4...5 GB auf den Unraid kopiert.

 

Nochmals den Parität Check durchgeführt, der dann mit 69 Fehler beendet worden ist.

 

Na supi..... jetzt kann ich nur davon ausgehen dass das Betriebssystem nicht richtig funktioniert.

Leider gibt’s ja keine Info was das für Fehler sind, ich kann nix nachvollziehen und werde wohl den Server nicht weiter mit Unraid betreiben.

 

Werde wenn ich Zeit finde nen anderen Server mal nehmen bzw. zusammenbauen.

Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.