MartinG Posted January 24, 2021 Share Posted January 24, 2021 Hallo allerseits. Ich beschäftige mich grade mit dem Preclear neuer Festplatten. Man macht einen Preclear um die Funktion einer Festplatte zu verifizieren. Dabei werden alle Sektoren einer Festplatte erst gelesen, dann mit Nullen beschrieben und anschließend nochmal gelesen. Bei erfolgsmeldung ist die Platte okay. Mir ist schon klar daß man auch einfach die Festplatten reinschieben und loslegen kann, ich habe aber keine Lust nochmal von Vorne zu beginnen und mache deshalb lieber einen Preclear. Ich habe auch schon gelesen daß Leute das preclear pro Festplatte 3x laufen lassen um sicher zu gehen. Aktuell läuft seit 20h ein preclear meiner ersten 8TB Toshiba N300 HDD. Und das wird wohl nochmal 12-14 Stunden dauern. Aktuell werden Nullen mit etwa 170 MB/s geschrieben (80% sind gelaufen), was etwa 13 Stunden für 8TB bedeuten würde. Schon der pre-read hat 12,5h gedauert. Realistisch wäre dann also wohl eine Gesamtdauer von 36 Stunden für einen preclear Durchlauf auf einer 8TB Festplatte oder auch 4,5 h/TB Fragen dazu: Ist der von mir ermittelte Wert in etwa das was zu erwarten ist oder ist mein System schlicht und ergreifend zu langsam? Read Average lag bei knapp über 200 MB/s. Bei einem Rebuild einer Festplatte in der gleichen Größe kann ich mir den Preclear ja sparen, da ich davon ausgehe daß bei einer defekten Festplatte der Rebuild einfach fehlschlägt. Korrekt? Wie ist es bei einem Rebuild einer Festplatte mit einer HDD von größerer Kapazität? Preclear erforderlich, oder nicht? Danke für Euer Interesse Martin Quote Link to comment
Ford Prefect Posted January 24, 2021 Share Posted January 24, 2021 29 minutes ago, MartinG said: Fragen dazu: Ist der von mir ermittelte Wert in etwa das was zu erwarten ist oder ist mein System schlicht und ergreifend zu langsam? Read Average lag bei knapp über 200 MB/s. ...das kommt auf die Disks an....200MB/s ist *schnell*...ginbt auch welche, die nur 90-110MB/s schaffen Aber ja, das ist so. 29 minutes ago, MartinG said: Bei einem Rebuild einer Festplatte in der gleichen Größe kann ich mir den Preclear ja sparen, da ich davon ausgehe daß bei einer defekten Festplatte der Rebuild einfach fehlschlägt. Korrekt? Nein. Der rebuild wird auch lange dauern...daher ist genau dieser Vorgang ein Risiko...Parity futsch und Rebuild läuft...die "alten" Platten haben den Stress, nicht die Neue...das Risiko, dass genau jetzt noch eine alte kaputtgeht ist schon deutlich vorhanden...Statistisch gesehen. Das Preclear, wenn Du die Disk gekauft hast, ist wichtig. Wenn Du sie als gebrauchte nochmal einsetzten willst eben durchaus nochmal angebracht. Ist sie im Einsatzfall dann ein Cold-Spare (neu, damals mit Preclear ins Regal gestellt) ist kein weiterer Preclear nötig. Nimmst Du sie aus einem anderen Rechner oder Array, dann ja. 29 minutes ago, MartinG said: Wie ist es bei einem Rebuild einer Festplatte mit einer HDD von größerer Kapazität? Preclear erforderlich, oder nicht? ...inwieweit soll die Grössere einen Vorteil haben? Die Non-Recoverable-Error Rate pro GB der DIsks hat nicht in dem Masse abgenommen, wie sich die Grössen weiter entwicklelt haben. Daher ist ein Hardware Fehler bei grossen Disks statistisch sogar wahrscheinlicher und diese sind risikoreicher als Kleine. Der Gesamtfehler bei mehreren kleineren Platten addiert sich natürlich, aber eine 16TB ist immer noch - statistisch gesehen - etwas anfälliger als 4x4TB. ...zumindest mein Wissenstand. ....wenn neu gekauft, immer einen Preclear machen...better safe than sorry. 1 Quote Link to comment
mgutt Posted January 24, 2021 Share Posted January 24, 2021 Den Preclear kannst du dir schon alleine deswegen sparen, weil Unraid diesen ja macht, wenn du die Platte dem Array hinzufügst. Also Unraid beschreibt die Platte komplett mit Nullen, weil sonst ja die Parität falsch wäre. Du nimmst Unraid mit dem Plugin also diesen Schritt nur einfach ab. Die Frage ist nun ob ein Pre-Read und Post-Read mehr Sicherheit bringt. Ich habe den Sinn dahinter ehrlich gesagt noch nie verstanden. Wenn ich eine Platte, die ab Werk genullt (entmagnetisiert) ist, auslese (Pre-Read), dann mit Nullen beschreibe (entmagnetisiere, Pre-Clear) und wieder auslese (Post-Read), was erfahre ich denn dann? Dass ich von allen Sektoren immer Nullen zurück bekomme. Weiß ich nun, ob ein Sektor auch geladen werden kann (Ladung = Eins)? Nein. Nun könnte man denken, dass es das beste ist die Platte komplett mit Einsen zu füllen und dann alle Sektoren noch mal auszulesen um genau das zu verifizieren. Vom Prinzip schon, aber jede HDD nutzt ECC um die geschriebenen Daten beim Lesen zu verifizieren. Also von jedem Sektor, der bekanntlich 512 Bytes oder 4k umfasst, wird ein ECC gebildet und mit diesem kann der Inhalt des Sektors sogar repariert werden. Also das was wir in Unraid für das komplette Array mit einer zusätzlichen Paritätsplatte machen, passiert ebenfalls bei jedem einzelnen Sektor durch die HDD Firmware. Warum ist das nun wichtig zu wissen. Da jeder Sektor 512 Bytes enthält, können wir einfach mit HD Tune Pro einen "Erase" mit "Random Fill" und "Verify" machen. HD Tune beschreibt also die Sektoren mit zufälligen Daten, was zufällige ECCs verursacht. Danach werden die geschriebenen Sektoren ausgelesen und abgeglichen. Parallel prüft die Firmware der HDD ständig den ECC. Also entweder meldet nun HD Tune einen Fehler, weil der Sektor falsche Daten enthält oder aber die HDD Firmware fügt einen Fehler im SMART hinzu, weil der ECC nicht passt. Fügt man abschließend die Platte dem Array hinzu und Unraid nullt sie, dann werden die ECCs ebenfalls angepasst. Ist man nun total paranoid, macht man noch einen Parity-Check wo dann die HDD Firmware ja auch wieder die ECCs abgleicht. Wie ich es mache: Ich verbinde die HDD mit dem PC, lösche die Partition (falls vorhanden) und starte in HD Tune ein paar mal den Random Access als Write. Der schreibt dann per Zufall auf unterschiedlichste Sektoren. Danach baue ich sie ein und lasse Unraid sie Nullen. Ich hatte auf die Art bisher zwei defekte Platten, die bei HD Tune aufgefallen sind und keine beim Nullen oder beim späteren Parity-Check (der ja den ECC Abgleich durch die HDD Firmware auslöst). 1 Quote Link to comment
MartinG Posted January 24, 2021 Author Share Posted January 24, 2021 7 hours ago, Ford Prefect said: Quote Wie ist es bei einem Rebuild einer Festplatte mit einer HDD von größerer Kapazität? Preclear erforderlich, oder nicht? ...inwieweit soll die Grössere einen Vorteil haben? Das war aufbauend auf der Annahme daß ein Preclear vor einem Rebuild nicht erforderlich ist. Alles in allem seid Ihr beide der Meinung daß eine Prüfung der Festplatte erforderlich ist, nur der Weg bzw. die Ausführung ist unterschiedlich. Da weitere Meinungen fehlen mache ich also doch einen Preclear da ich HD Tune Pro nicht kaufen möchte. Ich danke Euch Gruß Martin Quote Link to comment
MartinG Posted January 26, 2021 Author Share Posted January 26, 2021 (edited) Hallihallo. Also, Preclear hat wie erwartet 36h gedauert. Der Anschließende Parity build nochmal knapp über 12h. Ganz schön aufwendig. Ich kann jedem nur dazu raten beim Bau eines neuen Systems die Parity Platte doppelt so groß wie geplant zu nehmen. Das erspart einem im Nachhinein einiges an Aufwand.. Gruß Martin Edited January 26, 2021 by MartinG Schreibfehler Quote Link to comment
mgutt Posted January 26, 2021 Share Posted January 26, 2021 Ich versuche mal ein Script zu schreiben. 36h sind ja Wahnsinn. Quote Link to comment
MartinG Posted January 26, 2021 Author Share Posted January 26, 2021 1 hour ago, mgutt said: Ich versuche mal ein Script zu schreiben. 36h sind ja Wahnsinn. Ich weiß nicht genau was Du damit meinst Aber, wie lange Dauert Deine Prüfung per HDTune Pro? Gruß Martin Quote Link to comment
mgutt Posted January 26, 2021 Share Posted January 26, 2021 1 hour ago, MartinG said: Aber, wie lange Dauert Deine Prüfung per HDTune Pro? 5 Minuten ^^ Wie gesagt. Ich mache nur mehrere Random Write Tests. Der beschreibt dabei nicht die komplette Platte, sondern zufällig auf allen möglichen Spuren hier und da was. Eine nagelneue Platte wo teilweise Sektoren defekt waren, hatte ich noch nie. Ich kann nachher aber gerne mal testen wie lange der vollständige Erase mit HD Tune und der Verify-Option benötigt. Das würde ich auch nutzen, wenn die Platte gebraucht wäre. 1 Quote Link to comment
MartinG Posted January 26, 2021 Author Share Posted January 26, 2021 1 minute ago, mgutt said: 5 Minuten ^^ oha! 🤪 Das ist ja noch nichtmal derselbe Sport! 2 minutes ago, mgutt said: Ich kann nachher aber gerne mal testen wie lange der vollständige Erase mit HD Tune und der Verify-Option benötigt. Das würde ich auch nutzen, wenn die Platte gebraucht wäre. Daran wäre ich tatsächlich interessiert. Gruß Martin Quote Link to comment
mgutt Posted January 26, 2021 Share Posted January 26, 2021 1 hour ago, MartinG said: Daran wäre ich tatsächlich interessiert. Mir fällt gerade ein, dass das ja eigentlich total easy per Script zu machen ist. Einfach die Disk mit Zufallsdaten überschreiben (sdX entsprechend anpassen): dd if=/dev/random of=/dev/sdX bs=1M Danach die Platte komplett auslesen (die Daten werden verworfen): dd if=/dev/sdX of=/dev/null bs=1M Fertig. Danach einbauen und Unraid wird sie Nullen. Eine Verifikation der Daten wie es das Plugin macht ist überflüssig (und sinnfrei, weil ja die Sektoren niemals magnetisiert wurden), da der ECC, also die HDD Firmware das bereits abdeckt. HD Tune macht übrigens nichts anderes. Das ganze läuft mit voller Geschwindigkeit. Je nachdem wie die Durchschnittsgeschwindigkeit der Platte ist, also 150 bis 200 MB/s. Bei 150 MB/s also 1x schreiben und 1x lesen, macht also grob 2 Stunden pro TB. Ich werde das mal in den Plugin Thread schmeißen. Mal sehen ob ich erschlagen werde ^^ 1 Quote Link to comment
MartinG Posted January 26, 2021 Author Share Posted January 26, 2021 (edited) hm. Ich muss mich mal damit befassen. Es ist schon sexy das nebenbei am Windows PC machen zu können. (Also ohne Kellergang) Da sie Dich nur virtuell erschlagen können wirds nicht soo schlimm werden. Edited January 26, 2021 by MartinG Quote Link to comment
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.