Hi,

 

da ich mit meinem Latein am Ende bin, versuche ich es hier einmal.

 

Dell r730

6 x Seagate Exos SAS 8TB (array, alles xfs auser eine die ist ZFS)

2 x Samsung PM893 480GB (als Cache Pool, ZFS mirror )

2 x Seagate Exos SATA 8 TB (eigener ZFS raid 0 Pool)

1 x NVME

 

Problem:

 

1. Die SAS Platten bleiben nicht im Spin Down. (Sata schon)

2. kurze Speed Einbrüche bspw. beim Parity Check oder DiskSpeed Test. Betrifft auch die Sata Platten.

 

Was habe ich versucht:

 

- SAS Spindown Plugin (auch nach der Anleitung mit den Einstellungen und reeboots zwischendrin)

- wechsel vom H730 auf HBA330 mini

- neuste Firmware auf dem Controller

- Überwachung der aktivität mit dem Filte Activity Plugin

- deninstallation vom ZFS Master Plugin

 

Letzteres brachte zumindest einen kleinen Erfolg, da die Platten so nicht direkt bzw. max 3 MIn aufgeweckt wurden, sondern nun willkührlich nach 30> Min wieder aufwachen.

 

Es findet keine aktivität auf dem Array statt, auch werden Platte nhochgefahren, die weder einen Share noch einen Inhalt haben (leer sind).

 

Ich habe keine weitere Lösung. Auf dauer die Platten laufen zu lassen, halte ich für unnötig. Sind ja 50W die da verbraten werden für nix.

 

Bei den SAS Drive´s in der Identity steht auch Power Mode: active

Was bedeutet das?

 

Dankt für euren input.

 

 

homeland-diagnostics-20240519-1327.zip

Edited May 19, 20242 yr by blacky_hh

13 minutes ago, blacky_hh said:

1. Die SAS Platten bleiben nicht im Spin Down. (Sata schon)

2. kurze Speed Einbrüche bspw. beim Parity Check oder DiskSpeed Test. Betrifft auch die Sata Platten.

 

Was habe ich versucht:

 

- SAS Spindown Plugin (auch nach der Anleitung mit den Einstellungen und reeboots zwischendrin)

- wechsel vom H730 auf HBA330 mini

- neuste Firmware auf dem Controller

- Überwachung der aktivität mit dem Filte Activity Plugin

- deninstallation vom ZFS Master Plugin

Zu 1. JA, da bist du leider einer von vielen, die das selbe Problem haben. Warum oder wieso das so ist, kann irgendwie keiner wirklich erklären. Es gibt einige Systeme, bei denen die SAS Platten tatsächlich in den Sleep gehen, allerdings ist dies aus meiner sicht dem passsendem Controller zuzuschreiben. (ist aber nur meine Meinung)

Ich selbst habe auch noch einige Platten rumliegen, die ich aufgrund der oben beschriebenen Situation nicht im Einsatz sind, was ich selbst sehr schade finde. 

 

Zu 2. Das ist denke ich ganz normal, das die Rate da schwankt.

17 minutes ago, blacky_hh said:

Bei den SAS Drive´s in der Identity steht auch Power Mode: active

 

Power Mode: active: Der Leistungsmodus der Festplatte ist aktiv, d.h., die Festplatte ist eingeschaltet und betriebsbereit.

Schwanken ist normal, aber es sind eher so Einbrüche von 230MB/s auf 110 MB/s und dann wieder 230 MB/s. Nur kurz für eine Sec.

 

 

@SAS Prroblem

Das habe ich auch oft gelesen, aber irgendwie ist es seltsam das die Zeiten so unterschiedlich sind, wann der SpinUp wieder erfolgt. Warum sind es mit ZFS Master so kurze Abstände und ohne so Lange?

1 hour ago, blacky_hh said:

Schwanken ist normal, aber es sind eher so Einbrüche von 230MB/s auf 110 MB/s und dann wieder 230 MB/s. Nur kurz für eine Sec.

Wie/Wo siehst Du das?

 

Dashboard/Main-Tab in unraid: Sicher, daß es nicht nur ein Anzeigeproblem ist?

 

1 hour ago, DataCollector said:

Wie/Wo siehst Du das?

 

Dashboard/Main-Tab in unraid: Sicher, daß es nicht nur ein Anzeigeproblem ist?

 

 

Ich lasse den DiskSpeed laufen, habe zeitgleich 2 Fenster offen und sehe dann im Maintab den Einbruch als auch darauf folgend dann die Meldung im DiskSpeed-Test das ein "Speed Gap" erfasst mit XY-Werten.

 

"SAS3008 PCI-Express Fusion-MPT SAS-3: Scanning Disk 1 (sdc) at 800 GB - Speed Gap of 167.77 MB (max allowed is 45 MB), retrying ..."

 

 

Selber Effekt dann eben auch bei einem Parity Check, dann sieht man es eben über alle Platten zeitgleich.

 

 

bzgl SpinDown hier einmal das Log der letzten Stunden.

 

SpinDown ist aktuell auf 1h eingestellt.

um 14:01 habe ich das gesamte Array runterfahren lassen.

 

(Parity)

May 19 14:01:07 Homeland emhttpd: spinning down /dev/sdh

May 19 14:01:07 Homeland SAS Assist v2024.02.18: Spinning down device /dev/sdh

(Drive1)
May 19 14:01:25 Homeland emhttpd: spinning down /dev/sdc
May 19 14:01:25 Homeland SAS Assist v2024.02.18: Spinning down device /dev/sdc

(Drive2)
May 19 14:01:42 Homeland emhttpd: spinning down /dev/sdb
May 19 14:01:42 Homeland SAS Assist v2024.02.18: Spinning down device /dev/sdb

(Drive3)
May 19 14:02:00 Homeland emhttpd: spinning down /dev/sde
May 19 14:02:00 Homeland SAS Assist v2024.02.18: Spinning down device /dev/sde

(Drive4)
May 19 14:02:18 Homeland emhttpd: spinning down /dev/sdd
May 19 14:02:18 Homeland SAS Assist v2024.02.18: Spinning down device /dev/sdd

(Drive5)
May 19 14:02:35 Homeland emhttpd: spinning down /dev/sdg
May 19 14:02:35 Homeland SAS Assist v2024.02.18: Spinning down device /dev/sdg

May 19 14:17:59 Homeland emhttpd: read SMART /dev/sdg
May 19 14:18:14 Homeland emhttpd: read SMART /dev/sdh

 

May 19 14:39:08 Homeland emhttpd: read SMART /dev/sdc
May 19 15:00:18 Homeland emhttpd: read SMART /dev/sdd

May 19 15:18:00 Homeland emhttpd: spinning down /dev/sdg
May 19 15:18:00 Homeland SAS Assist v2024.02.18: Spinning down device /dev/sdg
May 19 15:18:18 Homeland emhttpd: spinning down /dev/sdh
May 19 15:18:18 Homeland SAS Assist v2024.02.18: Spinning down device /dev/sdh

May 19 15:21:28 Homeland emhttpd: read SMART /dev/sde
May 19 15:21:43 Homeland emhttpd: read SMART /dev/sdb

May 19 15:39:09 Homeland emhttpd: spinning down /dev/sdc
May 19 15:39:09 Homeland SAS Assist v2024.02.18: Spinning down device /dev/sdc

May 19 15:42:37 Homeland emhttpd: read SMART /dev/sdg
May 19 15:42:54 Homeland emhttpd: read SMART /dev/sdh

May 19 16:00:20 Homeland emhttpd: spinning down /dev/sdd
May 19 16:00:20 Homeland SAS Assist v2024.02.18: Spinning down device /dev/sdd

May 19 16:03:47 Homeland emhttpd: read SMART /dev/sdc

 

Edited May 19, 20242 yr by blacky_hh

Habe jetzt mal die FW der Platten von E003 auf E004 geflashed. Schauen wir mal, evtl. hilfts ja ...

Update. brachte nix, selbes Problem weiterhin.

 

Den HBS330 mit der Firmware 16.00.12 von LSI 9300-8i zu versehen, schlug leider beim sas3flash tool mit:

Firmware Returned Exception. IOCStatus=0x4, IOCLogInfo=0x30010408

fehl.

 

Jemand dazu eine Idee?

22 hours ago, zero_neverload said:

Warum oder wieso das so ist, kann irgendwie keiner wirklich erklären.

Naja viele SAS Platten haben eine spin down gar nicht richtig implementiert und somit kann das nicht funktionieren.

 

Das ist so gesehen auch nicht unbedingt dem controller zuzuschreiben und dies eher ein Firmware problem der Platten ist.

Auch wenn du zwei baugleiche Platten hast aver mit unterschiedlichen Firmwares kann es durchaus vor kommen das eine davon in den sleep geht und die zweite nicht.

 

Unraid wurden viele Maßnhamen eingebaut un auch SAS Platten so gut wie möglich in den spin down zu schicken jedoch funktioniert dies einfach nicht immer weil wie gesagt viele Platten es gar nicht unterstützen.

 

Server Hardware is eben dafür ausgelegt um zu laufen und da ist auch der Stromverbrauch mehr oder weniger egel weil in einem Datacenter meistens Performance zählt, wobei man sagen muss mittlerweile liegt das Augenmerk auch schon ein wenig auf Energiesparen aber Performance ist trotzdem noch das wichtigste.