21 minutes ago, Pippowicz said:

nur die Ideen fehlen mir jetzt so langsam

Mir auch. Aber wenn ich duschen gehe, fällt mir dd ein. Geh du mal duschen ^^

DD "Dödelt" jetzt seit ca. 20 Minuten vor sich hin, bis jetzt null Problemo...

Nach über 2 Stunden dd auf alle 3 WDs bisher Fehlerfrei. Ich lass das jetzt noch weiterlaufen bis

Du mich stoppst,

 

Ja ist ja gut ^^

 

Also kann nur am Standby / Aufwachen liegen. Hast du die Möglichkeit einen onboard SATA Anschluss zu testen?

 

 

 

 

 

Klaro, sind 6 von 8 frei. Außerdem 4 von 8 SAS Anschlüssen - das sind ja Sata Ports auf dem
Board. Ich hab jetzt abgebrochen, alle 3 WDs waren so ca. bei 5Tb gelesen - fehlerfrei.

Das mach ich dann aber Morgen gegen Mittag, ich hab Heute keinen Nerv mehr.

ich teste dann mit und ohne HDD Standby und der Vollständigkeit halber auch an den 4 freien

SAS Anschlüssen. 

Das Array sollte auch nen Wechsel des SAS Controllers überleben oder? ich hab nämlich noch 

einen zweiten LSI Controller mit SFF8087 Steckern da den ich bei der Gelegenheit auch mal stecken

könnte.

Puh, viele Hausaufgaben für Morgen... 

Irgendwo muss auch noch ein "diskrete" Backplane, also mit 3 SFF Steckern und 1:1 Verbindung auf

die HDD Plätze rumfliegen, die hat mir der Verkäufer des Gehäuses damals dazugeschenkt - die müsste

ich allerdings suchen, ist *irgendwo* *eingelagert*.

2 hours ago, Pippowicz said:

Das Array sollte auch nen Wechsel des SAS Controllers überleben oder?

Das einzige was passieren kann ist, dass sich die Namen ändern und du mit einer new config von Hand neu zuordnen musst. Es geht aber nichts dadurch kaputt. Daher am besten einen Screenshot von der Disk Übersicht machen. Hier ein Beispiel wo sich die Namen geändert haben:

https://forums.unraid.net/topic/104536-hilfe-nach-einem-update-des-hba-kann-unraid-die-disks-nicht-mehr-zuordnen/

Ich wollte Heute Mittag die Platten umstecken, allerdings ist mir ein Netzteiltechnisches Problem dazwischen gekommen:

Es sind keine SATA und auch keine Molex frei, ich brauch erst Adapter - und den Server ins Warme umziehen wäre auch genehmer

wenns ans Eingemachte geht. 

Ich schau mal ob ich Morgen dazu komme - nur daß Du nicht meinst ich lass das jetzt einschlafen.

Hast Du schon ne Idee was ich machen kann wenn die Platten an den SATA Ports des Boards laufen? Backplane umbauen,

Bugreport (LSI Treiber vielleicht doch problematisch) oder was ganz anderes? 

1 hour ago, Pippowicz said:

Backplane umbauen,

Bugreport (LSI Treiber vielleicht doch problematisch) oder was ganz anderes? 

🤷‍♂️

So, nach ein wenig Bastelei Heute hier meine Erkenntnisse:

Die beiden WD Reds laufen am Onboard Sata Controller bisher ohne Probleme. Mehrmaliges Standby und Aufwecken durch

einen Schreibvorgang bringen die Platten nicht aus der Ruhe.

 

Der Testweise dazugesteckte SAS 2008 zeigt das selbe Verhalten mit und ohne Backplane, die Backplane hak ich also mal

als in Ordnung ab. Der Onoard 2308 auch.

 

In diesem Thread redet wer über ähnliche bekannte Probleme mit ZFS, dazu gibts auch eine allerdings 4 Jahre altes Github Issue,

ob das allerdings zutreffend ist, keine Ahnung.

Es kann sein daß die Platte zu langsam aufwacht und der Treiber schon versucht auf die Platte zu schreiben, diese aber noch nicht 

Bereit ist. Das würde imho erklären warum Unraid und der Kernel Read Errors melden, das Smart Log aber keine reallocted Sectors

(und auch sonst keine Auffälligkeiten zeigt.

Mein Workaround wird erstmal sein die WDs nicht mehr schlafen zu legen.

Ob es Sinn macht einen Bugreport zu erstellen, keine Ahnung - was meinst Du @mgutt?

Ich müsste jetzt lügen, aber mit 6.8.2 gabs dieses Problem bisher nicht und es wäre ein großer Zufall daß nach dem Upgrade all meine

WD Reds sterben.

Edited March 24, 20215 yr by Pippowicz

Eine kleine Ergänzug noch: Der Parity Check den ich gestern angestoßen habe läuft nunmehr

12 Stunden ohne Probleme durch, die HDDs sind wieder am Onboard Controller angeschlossen

und stecken in der Backplane.

Alles in allem echt merkwürdig und vermutlich wirklich Problemen mit dem Aufwecken aus

dem Standby geschuldet.

Da käme mir jetzt nur noch in den Sinn:

- Mainboard BIOS aktualisieren

- PCIe Slot wechseln

- Stromsparmechanismen der PCIe Slots deaktivieren. Also im BIOS ASPM, Aggressive LPM, PCIe Power Management usw deaktivieren und falls du in Unraid powertop nutzt, darauf verzichten.

Sooo, aktuellstes Bios war drauf, ich hatte allerdings ein Problem mit der Management Engine das mir bisher nicht 

aufgefallen ist, die war im "Error State" laut Bios. Deswegen war die CPU Temp im Ipmi auch nicht zu sehen.

Ich habe das aktuelle Bios nach dieser Anleitung erneut geflashed, nun ist die CPU Temp im IPMI zu sehen.

Das LSI Bios und die Firmware ist aktuell, ich hab aber auch hier das OPROM mal aktiviert und reingeschaut, nichts

auffälliges bis auf ein paar EInstellungen, später mehr dazu (mit Screenshot).'

Den internen LSI Controller kann ich naturgemäß nicht im PCIe Slot umstecken, der muss so bleiben.

Das Power Management habe ich im BIOS für ALLE PCIe Geräte ausgestellt - das war an.

Powertop nutze ich nicht.

Zum Controller BIOS aka Option Rom (lasse ich normalerweise nicht laden weil ich nicht von SAS booten möchte):

Hier gibts einstellbare IO Timeouts im Controller BIOS, wirken die auch wenn das OPROM im Mainboard BIOS deaktiviert

ist? Ich konnte dazu nichts finden

 

Die Spinup Delays haben mit dem Problem vermutlich eher nichts zu tun, außer vielleicht "IO Device Missing Delay"



Ich halte mich eigentlich für recht fit was Hardware angeht, aber das bringt mich echt an meine Grenzen - ich habe eine ganze
Weile probiert das BIOS übers IPMI upzudaten, das ging allerdings am Ende gewaltig schief - also BIOS Recovery Procedure.

Als das System wieder lief gabs das Problem mit der Intel Management Engine, nach ner Weile Googlen konnte ich auch das lösen.

Für Heute ist wieder die Luft raus, Morgen gibts nochmals abschliessend Tests auf dem Array - ich werde berichten

UUUUUnd ich konnte doch nicht widerstehen und habs eben "schnell" getestet: Wenn die WD Reds im Spindown

sind und durch Schreibvorgänge aufs Array geweckt werden kommen in ca. 25% der Fälle die Read Errors, welche

HDD von den WD Reds betroffen ist ist völlig zufällig, manchmal sind es sogar mehrere.

Ich lass die jetzt halt laufen ohne Spindown und wenn ich ein paar Euros über habe konsolidiere ich meine Daten

auf größere Platten - Sinn würde das sowieso machen, aber so ist das halt mir "gewachsenen Systemen" 

An einen generellen Hardware Fehler kann ich nicht mehr glauben, weil Parity Checks ohne Probleme durchlaufen.

Ich denke dieses Mal werde ich Seagates kaufen  

Edited March 25, 20215 yr by Pippowicz