MartinG Posted January 24, 2021 Share Posted January 24, 2021 Hallo allerseits. Ich beschäftige mich grade mit dem Preclear neuer Festplatten. Man macht einen Preclear um die Funktion einer Festplatte zu verifizieren. Dabei werden alle Sektoren einer Festplatte erst gelesen, dann mit Nullen beschrieben und anschließend nochmal gelesen. Bei erfolgsmeldung ist die Platte okay. Mir ist schon klar daß man auch einfach die Festplatten reinschieben und loslegen kann, ich habe aber keine Lust nochmal von Vorne zu beginnen und mache deshalb lieber einen Preclear. Ich habe auch schon gelesen daß Leute das preclear pro Festplatte 3x laufen lassen um sicher zu gehen. Aktuell läuft seit 20h ein preclear meiner ersten 8TB Toshiba N300 HDD. Und das wird wohl nochmal 12-14 Stunden dauern. Aktuell werden Nullen mit etwa 170 MB/s geschrieben (80% sind gelaufen), was etwa 13 Stunden für 8TB bedeuten würde. Schon der pre-read hat 12,5h gedauert. Realistisch wäre dann also wohl eine Gesamtdauer von 36 Stunden für einen preclear Durchlauf auf einer 8TB Festplatte oder auch 4,5 h/TB Fragen dazu: Ist der von mir ermittelte Wert in etwa das was zu erwarten ist oder ist mein System schlicht und ergreifend zu langsam? Read Average lag bei knapp über 200 MB/s. Bei einem Rebuild einer Festplatte in der gleichen Größe kann ich mir den Preclear ja sparen, da ich davon ausgehe daß bei einer defekten Festplatte der Rebuild einfach fehlschlägt. Korrekt? Wie ist es bei einem Rebuild einer Festplatte mit einer HDD von größerer Kapazität? Preclear erforderlich, oder nicht? Danke für Euer Interesse Martin Quote Link to comment
Ford Prefect Posted January 24, 2021 Share Posted January 24, 2021 29 minutes ago, MartinG said: Fragen dazu: Ist der von mir ermittelte Wert in etwa das was zu erwarten ist oder ist mein System schlicht und ergreifend zu langsam? Read Average lag bei knapp über 200 MB/s. ...das kommt auf die Disks an....200MB/s ist *schnell*...ginbt auch welche, die nur 90-110MB/s schaffen Aber ja, das ist so. 29 minutes ago, MartinG said: Bei einem Rebuild einer Festplatte in der gleichen Größe kann ich mir den Preclear ja sparen, da ich davon ausgehe daß bei einer defekten Festplatte der Rebuild einfach fehlschlägt. Korrekt? Nein. Der rebuild wird auch lange dauern...daher ist genau dieser Vorgang ein Risiko...Parity futsch und Rebuild läuft...die "alten" Platten haben den Stress, nicht die Neue...das Risiko, dass genau jetzt noch eine alte kaputtgeht ist schon deutlich vorhanden...Statistisch gesehen. Das Preclear, wenn Du die Disk gekauft hast, ist wichtig. Wenn Du sie als gebrauchte nochmal einsetzten willst eben durchaus nochmal angebracht. Ist sie im Einsatzfall dann ein Cold-Spare (neu, damals mit Preclear ins Regal gestellt) ist kein weiterer Preclear nötig. Nimmst Du sie aus einem anderen Rechner oder Array, dann ja. 29 minutes ago, MartinG said: Wie ist es bei einem Rebuild einer Festplatte mit einer HDD von größerer Kapazität? Preclear erforderlich, oder nicht? ...inwieweit soll die Grössere einen Vorteil haben? Die Non-Recoverable-Error Rate pro GB der DIsks hat nicht in dem Masse abgenommen, wie sich die Grössen weiter entwicklelt haben. Daher ist ein Hardware Fehler bei grossen Disks statistisch sogar wahrscheinlicher und diese sind risikoreicher als Kleine. Der Gesamtfehler bei mehreren kleineren Platten addiert sich natürlich, aber eine 16TB ist immer noch - statistisch gesehen - etwas anfälliger als 4x4TB. ...zumindest mein Wissenstand. ....wenn neu gekauft, immer einen Preclear machen...better safe than sorry. 1 Quote Link to comment
mgutt Posted January 24, 2021 Share Posted January 24, 2021 Den Preclear kannst du dir schon alleine deswegen sparen, weil Unraid diesen ja macht, wenn du die Platte dem Array hinzufügst. Also Unraid beschreibt die Platte komplett mit Nullen, weil sonst ja die Parität falsch wäre. Du nimmst Unraid mit dem Plugin also diesen Schritt nur einfach ab. Die Frage ist nun ob ein Pre-Read und Post-Read mehr Sicherheit bringt. Ich habe den Sinn dahinter ehrlich gesagt noch nie verstanden. Wenn ich eine Platte, die ab Werk genullt (entmagnetisiert) ist, auslese (Pre-Read), dann mit Nullen beschreibe (entmagnetisiere, Pre-Clear) und wieder auslese (Post-Read), was erfahre ich denn dann? Dass ich von allen Sektoren immer Nullen zurück bekomme. Weiß ich nun, ob ein Sektor auch geladen werden kann (Ladung = Eins)? Nein. Nun könnte man denken, dass es das beste ist die Platte komplett mit Einsen zu füllen und dann alle Sektoren noch mal auszulesen um genau das zu verifizieren. Vom Prinzip schon, aber jede HDD nutzt ECC um die geschriebenen Daten beim Lesen zu verifizieren. Also von jedem Sektor, der bekanntlich 512 Bytes oder 4k umfasst, wird ein ECC gebildet und mit diesem kann der Inhalt des Sektors sogar repariert werden. Also das was wir in Unraid für das komplette Array mit einer zusätzlichen Paritätsplatte machen, passiert ebenfalls bei jedem einzelnen Sektor durch die HDD Firmware. Warum ist das nun wichtig zu wissen. Da jeder Sektor 512 Bytes enthält, können wir einfach mit HD Tune Pro einen "Erase" mit "Random Fill" und "Verify" machen. HD Tune beschreibt also die Sektoren mit zufälligen Daten, was zufällige ECCs verursacht. Danach werden die geschriebenen Sektoren ausgelesen und abgeglichen. Parallel prüft die Firmware der HDD ständig den ECC. Also entweder meldet nun HD Tune einen Fehler, weil der Sektor falsche Daten enthält oder aber die HDD Firmware fügt einen Fehler im SMART hinzu, weil der ECC nicht passt. Fügt man abschließend die Platte dem Array hinzu und Unraid nullt sie, dann werden die ECCs ebenfalls angepasst. Ist man nun total paranoid, macht man noch einen Parity-Check wo dann die HDD Firmware ja auch wieder die ECCs abgleicht. Wie ich es mache: Ich verbinde die HDD mit dem PC, lösche die Partition (falls vorhanden) und starte in HD Tune ein paar mal den Random Access als Write. Der schreibt dann per Zufall auf unterschiedlichste Sektoren. Danach baue ich sie ein und lasse Unraid sie Nullen. Ich hatte auf die Art bisher zwei defekte Platten, die bei HD Tune aufgefallen sind und keine beim Nullen oder beim späteren Parity-Check (der ja den ECC Abgleich durch die HDD Firmware auslöst). 1 Quote Link to comment
MartinG Posted January 24, 2021 Author Share Posted January 24, 2021 7 hours ago, Ford Prefect said: Quote Wie ist es bei einem Rebuild einer Festplatte mit einer HDD von größerer Kapazität? Preclear erforderlich, oder nicht? ...inwieweit soll die Grössere einen Vorteil haben? Das war aufbauend auf der Annahme daß ein Preclear vor einem Rebuild nicht erforderlich ist. Alles in allem seid Ihr beide der Meinung daß eine Prüfung der Festplatte erforderlich ist, nur der Weg bzw. die Ausführung ist unterschiedlich. Da weitere Meinungen fehlen mache ich also doch einen Preclear da ich HD Tune Pro nicht kaufen möchte. Ich danke Euch Gruß Martin Quote Link to comment
MartinG Posted January 26, 2021 Author Share Posted January 26, 2021 (edited) Hallihallo. Also, Preclear hat wie erwartet 36h gedauert. Der Anschließende Parity build nochmal knapp über 12h. Ganz schön aufwendig. Ich kann jedem nur dazu raten beim Bau eines neuen Systems die Parity Platte doppelt so groß wie geplant zu nehmen. Das erspart einem im Nachhinein einiges an Aufwand.. Gruß Martin Edited January 26, 2021 by MartinG Schreibfehler Quote Link to comment
mgutt Posted January 26, 2021 Share Posted January 26, 2021 Ich versuche mal ein Script zu schreiben. 36h sind ja Wahnsinn. Quote Link to comment
MartinG Posted January 26, 2021 Author Share Posted January 26, 2021 1 hour ago, mgutt said: Ich versuche mal ein Script zu schreiben. 36h sind ja Wahnsinn. Ich weiß nicht genau was Du damit meinst Aber, wie lange Dauert Deine Prüfung per HDTune Pro? Gruß Martin Quote Link to comment
mgutt Posted January 26, 2021 Share Posted January 26, 2021 1 hour ago, MartinG said: Aber, wie lange Dauert Deine Prüfung per HDTune Pro? 5 Minuten ^^ Wie gesagt. Ich mache nur mehrere Random Write Tests. Der beschreibt dabei nicht die komplette Platte, sondern zufällig auf allen möglichen Spuren hier und da was. Eine nagelneue Platte wo teilweise Sektoren defekt waren, hatte ich noch nie. Ich kann nachher aber gerne mal testen wie lange der vollständige Erase mit HD Tune und der Verify-Option benötigt. Das würde ich auch nutzen, wenn die Platte gebraucht wäre. 1 Quote Link to comment
MartinG Posted January 26, 2021 Author Share Posted January 26, 2021 1 minute ago, mgutt said: 5 Minuten ^^ oha! 🤪 Das ist ja noch nichtmal derselbe Sport! 2 minutes ago, mgutt said: Ich kann nachher aber gerne mal testen wie lange der vollständige Erase mit HD Tune und der Verify-Option benötigt. Das würde ich auch nutzen, wenn die Platte gebraucht wäre. Daran wäre ich tatsächlich interessiert. Gruß Martin Quote Link to comment
mgutt Posted January 26, 2021 Share Posted January 26, 2021 1 hour ago, MartinG said: Daran wäre ich tatsächlich interessiert. Mir fällt gerade ein, dass das ja eigentlich total easy per Script zu machen ist. Einfach die Disk mit Zufallsdaten überschreiben (sdX entsprechend anpassen): dd if=/dev/random of=/dev/sdX bs=1M Danach die Platte komplett auslesen (die Daten werden verworfen): dd if=/dev/sdX of=/dev/null bs=1M Fertig. Danach einbauen und Unraid wird sie Nullen. Eine Verifikation der Daten wie es das Plugin macht ist überflüssig (und sinnfrei, weil ja die Sektoren niemals magnetisiert wurden), da der ECC, also die HDD Firmware das bereits abdeckt. HD Tune macht übrigens nichts anderes. Das ganze läuft mit voller Geschwindigkeit. Je nachdem wie die Durchschnittsgeschwindigkeit der Platte ist, also 150 bis 200 MB/s. Bei 150 MB/s also 1x schreiben und 1x lesen, macht also grob 2 Stunden pro TB. Ich werde das mal in den Plugin Thread schmeißen. Mal sehen ob ich erschlagen werde ^^ 1 Quote Link to comment
MartinG Posted January 26, 2021 Author Share Posted January 26, 2021 (edited) hm. Ich muss mich mal damit befassen. Es ist schon sexy das nebenbei am Windows PC machen zu können. (Also ohne Kellergang) Da sie Dich nur virtuell erschlagen können wirds nicht soo schlimm werden. Edited January 26, 2021 by MartinG Quote Link to comment
LXander Posted yesterday at 12:10 PM Share Posted yesterday at 12:10 PM Ich hoffe es ist ok, wenn ich diesen Thread hier wieder ausgrabe. Ich habe 3x18TB Toshiba Platten, welche geprüft werden wollen. Ich überlege entweder eine Win10 VM aufzusetzen und es über ein Tool zu machen, oder eben in unRAID mit dem preclear tool. Ich bin aber noch unschlüssig, was der sinnvollere Weg wäre. - Spare ich mir durch preclear Zeit beim Aufbau des Arrays und erstellen der Parity? So oder so wird das sicher unendlich viel Zeit in Anspruch nehmen :D. - Kann ich alle Platten zur gleichen Zeit prüfen lassen oder muss das nacheinander passieren? - Und selbst wenn preclear einen Fehler findet, was dann? Kann man das als Defekt bei Toshiba melden (Platten sind in der 5 Jahresgarantie)? Quote Link to comment
DataCollector Posted 19 hours ago Share Posted 19 hours ago 8 hours ago, LXander said: Ich hoffe es ist ok, wenn ich diesen Thread hier wieder ausgrabe. Ich habe 3x18TB Toshiba Platten, welche geprüft werden wollen. Ich überlege entweder eine Win10 VM aufzusetzen und es über ein Tool zu machen, oder eben in unRAID mit dem preclear tool. Ich bin aber noch unschlüssig, was der sinnvollere Weg wäre. Ich teste in der Regel mit HDTune Pro unter Windows und speichere sporadisch Screenshots des Vorganges ab (Einmal mit Erase alles beschreiben und einmal mit Verify danach alles lesen). 8 hours ago, LXander said: - Spare ich mir durch preclear Zeit beim Aufbau des Arrays und erstellen der Parity? Also bei meinen ersten Gehversuchen unter unraid 6.9.x stellte ich fest, daß eine mit Prclear (das war da noch eine extra Funktion) bearbeitete Festplatte bei der Einbindung ins Array nicht erneut von unraid geprüft/gecleart wurde. In späteren Versionen (als Preclear in UD gewandert ist) ist mir das nicht mehr aufgefallen. Ich habe nun schon länger keine Festplatte mehr meinem Array frisch hinzugefügt, aber aktuell gehe ich davon aus, daß man mit Preclear keien Zeit bei der Erstellung/Erweiterung eines Arrays mehr sparen kann. 8 hours ago, LXander said: So oder so wird das sicher unendlich viel Zeit in Anspruch nehmen :D. Grobe Übertreibung. Meine ST18000NM000J brauchen rund einen Tag (etwas unter 24h) für einen kompletten Schreibvorgang. Wenn Du Preclear also komplett ablaufen läßt sind es 3x ca. 1 Tag für Preclear + die Zeit für die Erstellung des Array/Parity. 8 hours ago, LXander said: - Kann ich alle Platten zur gleichen Zeit prüfen lassen oder muss das nacheinander passieren? Preclear unter UD kann mehrere Festplatten zeitlich prüfen. Aber anstossen muß man die Vorgänge einzeln. In der früheren Version (dsiehe oben) konnte man sogar beim Start der Operation mehrere Festplatten auswählen. das scheint das UD Preclear nicht zu können (oder ich habe es nicht gefunden). 8 hours ago, LXander said: - Und selbst wenn preclear einen Fehler findet, was dann? Wie gesagt nutze ich eher HDTune Pro unter Windows, aber wenn ein Fehler gefunden wird, prüfe ich den Datenträger mehrfach neu. Falls der Fehler bestehen bleibt: Garantiefall/Gewährliestzung/Widerruf. 8 hours ago, LXander said: Kann man das als Defekt bei Toshiba melden (Platten sind in der 5 Jahresgarantie)? Wenn die Festplatte nicht schon 5,001 Jahre alt ist (und je nachdem welcher Fehler es ist) wird der in der Regel von der Garantie der Hersteller ggf. gedeckt. 1 Quote Link to comment
LXander Posted 18 hours ago Share Posted 18 hours ago 1 hour ago, DataCollector said: Wie gesagt nutze ich eher HDTune Pro unter Windows, aber wenn ein Fehler gefunden wird, prüfe ich den Datenträger mehrfach neu. D.h. du nutzt preclear im Grunde gar nicht? Sehe grad, bei HDTune Pro gibts ja ne Testphase 😏. Also dann gehe ich die damit durch und lass dann preclear aus. Dachte nur, dass das überschreiben mit 0en der Parity quasi Arbeit abnimmt. Ich meine gelesen zu haben, dass beim Erstellen der Parity die Platte auch mit 0en übeschrieben wird (oder es wird jede Platte mit 0en beschrieben, die ins Array eingebunden wird?). (Es ist so nervig, wenn man endlich loslegen will aber noch auf die letzten Teile warten muss 😅. Bleibt mir nichts weiter übrig als euch zu nerven^^.) Quote Link to comment
DataCollector Posted 17 hours ago Share Posted 17 hours ago 18 minutes ago, LXander said: D.h. du nutzt preclear im Grunde gar nicht? Wenn ich Festplatten nach der Lieferung teste (um DOA Fälle zu finden), ist das in der Regel mit HDTune Pro unter Windows. Preclear habe ich benutzt, wenn ich gebrauchte Festplatten aus meinem Bestand für unraid vorbereitet habe (wie erwähnt die frühere stand alone Version von Preclear) oder eben eine Festplatte (welche im unraidsysyatem schon verbaut war) mal schnell soweit 'bereinigen' wollte um unraid vorzugaukeln, daß die Festplatte eben leer ist. Im Normalfall brauche ich PreClear wirklich nicht (mehr). 18 minutes ago, LXander said: Sehe grad, bei HDTune Pro gibts ja ne Testphase 😏. Leider wird das Tool vom Programmierer nur sehr sporadisch weiter entwickelt. Ich bin bei 3.50 eingestiegen und habe auch 5.75. Überraschenderweise hat er nun nach Jahren 6.00 raus gebracht, welche ich noch nicht habe. 18 minutes ago, LXander said: Also dann gehe ich die damit durch und lass dann preclear aus. Dachte nur, dass das überschreiben mit 0en der Parity quasi Arbeit abnimmt. Wenn Du nicht vorab testen willst kannst Du auch gleich das Array einfach erstellen und unraid selber alles machen lassen. Ich weiß aber nicht ob unraid dabei dann Datenträgerfehler findet/erkennt. Quote Link to comment
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.