Hallo zusammen,

 

ich habe vor ein paar Tagen meine Platten getauscht.

Von 3x HDD WD Red 4tb + 3x SSD Samsung 2tb

Auf 3x Seagate Barracuda Pro 12tb (nicht optimal aber günstig bekommen) + 1x SSD Samsung 2tb

 

Natürlich werden die Seagates wärmer als die WD...7200 UPM vs. 5600 UPM

Aber seit dem Tausch werden meine beiden Cache NVME unverschämt warm. 

Und das verstehe ich nicht. Alle Einstellungen sind gleich, Shares unverändert,

Cache unverändert.

Wieso werden die NVMEs plötzlich wesentlich wärmer als mit den "alten" Platten?

 

Bin für Tips dankbar.

Nenne doch mal Temperaturwerte 😉 Könnte Stauwärme durch die ohnehin wärmeren HDDs sein. Oder es laufen noch Prozesse wie bspw.  Mover, Paritycheck, etc. 

Ist alles nicht bekannt…

Bei mir läuft alles zuerst in den Cache, ist der 70% gefüllt , kommt der Mover ins Spiel.

Mit den alten Platten lag die Temperatur der NVME bei 40-42 Grad im Zugriff.

Mit den neuen Platten komme ich auf 60-62 Grad im Zugriff.

Stauwärme kann eigentlich nicht sein, zum einen sind die HDDs im Spindown und zum anderen

habe ich aufgrund der höheren Temperatur vor die 3 Platten einen Lüfter gepackt.

Wenn die im Spinup sind kommen diese jetzt auf max. 31 Grad.

Bedeutet, seit Austausch der HDDs hat sich die Temperatur der NVMe erhöht, obwohl die HDDs im Spindown sind? Da besteht für gewöhnlich kein Zusammenhang.

 

Würde mal Array-Autostart deaktivieren, SATA Kabel vom Board abziehen und ohne die HDDs starten - nur um zu sehen ob die NVMe dann anders "temperieren". Vielleicht auch ein Auslesefehler.

1 hour ago, redeks said:

Mit den alten Platten lag die Temperatur der NVME bei 40-42 Grad im Zugriff.

 

was recht kühl während Nutzung ist

 

1 hour ago, redeks said:

Mit den neuen Platten komme ich auf 60-62 Grad im Zugriff.

 

was normal ist bei nvme während Nutzung

11 hours ago, redeks said:

Von 3x HDD WD Red 4tb + 3x SSD Samsung 2tb

Auf 3x Seagate Barracuda Pro 12tb (nicht optimal aber günstig bekommen) + 1x SSD Samsung 2tb

...

Aber seit dem Tausch werden meine beiden Cache NVME unverschämt warm.

 

Irgendwie habe ich hier ein Verständnisproblem.

Du hattest 3 SSD Samsung 2TB drin (alle NVMe oder SATA? Als Cache/Pool oder im Array?).

Neu ist nur noch eine Samsung 2TB drin (eine von denen? SATA oder NVMe? Als Cache/Pool oder im Array?)

 

Dann schreibst Du "meine beiden Cache NVME". Sind es nun auf einmal doch 2 NVMe SSD oder sind es nicht die oben erwähnten?

 

Könntest Du das Ganze vielleicht etwaas mehr ausführen?

 

Abgesehen von einigen Ausreissern sind die beobachteten um die 60 Grad Celsius für sehr viele heutige NVMe SSD im aktiven Betrieb kein Problem, sondern eher der Normalzustand.

Wenn die selben NVMe SSDs vorher wirklich nur um die 40 Grad warm wurden, ist das ungewöhnlich. Aber sobald die vopm/in das Array lesen/schreiben müssen sie auch mehr leisten, da das Array ja die Daten auch schneller liefert und abnimmt.

1 hour ago, alturismo said:

was recht kühl während Nutzung ist

Dann frieren sich meine ja den A**** ab 😄 Aber die sind auch im Idle. Unter Volllast erreichen sie aber auch selten 40°C.

 

Edited November 5, 20241 yr by k3vbert

8 hours ago, k3vbert said:

Dann frieren sich meine ja den A**** ab 😄

ja ... 

 

8 hours ago, k3vbert said:

Unter Volllast erreichen sie aber auch selten 40°C.

das verbuche ich eher unter Messfehler oder du hast keinen Blick dafür in dem Moment, nvme werden unter echter Last wesentlich wärmer ... was jedoch absolut in Ordnung ist, oder du hast Kühlkörper drauf und aktiv belüftet ...

 

Echte Last, beispielsweise große Dateien read / write (Videoschnitt), oder mit Speed Daten drauf schieben ...

 

ab ~ 70° wird es bei m2 nvme ja erst interessant zu schauen, bis 65° würde ich sogar behaupten ist bei allen das nicht nennenswert.

Ich kann’s dir nicht sagen. Sind nur die Temperaturen die Unraid/die Treiber auswerfen. Sicherlich kann da auch Müll stehen. 

12 hours ago, k3vbert said:

Bedeutet, seit Austausch der HDDs hat sich die Temperatur der NVMe erhöht, obwohl die HDDs im Spindown sind?

Genau

12 hours ago, k3vbert said:

Würde mal Array-Autostart deaktivieren, SATA Kabel vom Board abziehen und ohne die HDDs starten - nur um zu sehen ob die NVMe dann anders "temperieren". Vielleicht auch ein Auslesefehler.

Habe ich jetzt ausprobiert, macht keinen Unterschied.

12 hours ago, alturismo said:

was normal ist bei nvme während Nutzung

Ok, aber war ja vor dem HDD-Wechsel nicht so.

11 hours ago, DataCollector said:

Irgendwie habe ich hier ein Verständnisproblem.

Du hattest 3 SSD Samsung 2TB drin (alle NVMe oder SATA? Als Cache/Pool oder im Array?).

Neu ist nur noch eine Samsung 2TB drin (eine von denen? SATA oder NVMe? Als Cache/Pool oder im Array?)

 

Dann schreibst Du "meine beiden Cache NVME". Sind es nun auf einmal doch 2 NVMe SSD oder sind es nicht die oben erwähnten?

 

Könntest Du das Ganze vielleicht etwaas mehr ausführen?

vorher hatte ich in dem Array eben 3x die SSD drin. 2 davon habe ich jetzt ausgebaut. Aktiv gekühlt werden nur die 3 HDDs.

Und 48 bzw 50 Grad im Idle finde ich auch nicht normal, die lagen vorher unter 30 Grad wenn die beiden Langeweile hatten.

56 minutes ago, k3vbert said:

Ich kann’s dir nicht sagen. Sind nur die Temperaturen die Unraid/die Treiber auswerfen. Sicherlich kann da auch Müll stehen. 

Genau das vermute ich bei mir auch, nur wieso jetzt auf einmal und vorher nicht. Außerdem nerven mich die ewigen Warnmeldungen wegen der Temperatur.

Würden wir von 10 Grad reden, würde ich mit den Schultern zucken aber bei über 20 Grad Unterschied frage ich hier mal nach und hoffe, dass mir das jemand erklären kann.

1 hour ago, redeks said:

vorher hatte ich in dem Array eben 3x die SSD drin. 2 davon habe ich jetzt ausgebaut. Aktiv gekühlt werden nur die 3 HDDs.

 

Du hattest also 3 SSDs im Array, dann hast Du 2 davon ausgebaut und als Cache per zfs zusammengeschaltet und da zfs diese SDs nicht wirklich schlafen läßt wunderst Du Dich, warum die beiden Cache SSDs nun nicht mehr so kühl bleiben, wie vorher, als sie permanent schlafen konnten?

Dir ist aber bewusst, dass zfs den Nachteil hat, daß es sich sogar selbst organisiert, selbst wenn von außen keine Zugriffe stattfinden?

Ich hatte eine Zeit lang 2x18TB Festplatten als zfs zusammengeschaltet und da Festplatten nun einmal erheblich langsamer sind als Nvme SSD konnte ich sehr gut sehen, daß diese Festplatten sehr häufig aktiv waren.

Solltest Du Docker/VM auf dem System aktiv laufen haben werkeln die zusätzlich in den Systemshares, welche man sinnigerweise auf SSDs im Pool hat.

 

Also bei so einer Konstellation wundert es mich nicht wirklich, daß die NVMe SSD wärmer werden.

 

1 hour ago, redeks said:

Und 48 bzw 50 Grad im Idle finde ich auch nicht normal, die lagen vorher unter 30 Grad wenn die beiden Langeweile hatten.

 

Sie sind per zfs weniger Zeit wirklich "idle" (aus Hardwaresicht einer SSD), als im schlafenden Array.

NVMe SSDs sind nur eben so schnell, daß Du in vielen Fällen nicht siehst, das da was passiert.

Und ob unraid selber diese Zugriffe wirklich zählt, obwohl diese Zugriffe eben unterhalbd der von unraid ausgelösten Dateizugrife stattfindet (und zwar im zfs Konstrukt selber), das weiß ich nicht.

 

1 hour ago, redeks said:

Außerdem nerven mich die ewigen Warnmeldungen wegen der Temperatur.

 

Dann hast Du die Default-Warntemperatur der SSDs viel zu niedrig eingestellt.

Da unraid primär voin festplatten ausgeht, sind per default die systemweiten Temperaturschwellen für die Warnungen auf die Werte von Festplatten angepasst.

NVMe SSD haben einfach eine höhere Betriebstemperatur, weil alles erheblich kleiner und komprimierter ist (wie auch bei einer CPU, welche ja eine erheblich höhere Packungsdichte aufweist).-

Wenn es Dir also nur um die Warnungen geht, schau nach welche Werte für Deine SSD offiziel maximal vorgesehen sind (vermutlich irgendetwas um 80Grad) und stell den Warnwert dann etwas niedriger (70) und den Maxwert auf 80 und schon wirst Du nicht mehr mit den Warrnungen geflutet.

Alternativ kannst Du die NVMe SSD extrem viel besser/stärker kühlen.

 

 

1 hour ago, redeks said:

Würden wir von 10 Grad reden, würde ich mit den Schultern zucken aber bei über 20 Grad Unterschied frage ich hier mal nach und hoffe, dass mir das jemand erklären kann.

 

Die SSDs schlafen eben nicht mehr so viel, wie vorher.

7 hours ago, DataCollector said:

 

Du hattest also 3 SSDs im Array, dann hast Du 2 davon ausgebaut und als Cache per zfs zusammengeschaltet und da zfs diese SDs nicht wirklich schlafen läßt wunderst Du Dich, warum die beiden Cache SSDs nun nicht mehr so kühl bleiben, wie vorher, als sie permanent schlafen konnten?

Ich glaube hier gibt es immernoch ein Missverständnis.

Vorher:

Array:

3x HDD WD Red 4tb (ca. 40 Grad unter Last)

3x SSD Samsung 2tb (ca. 30 Grad unter Last)

Cache:

2x Samsung NVME 1tb (ca. 30-35 Grad unter Last)

 

Nachher:

Array:

3x HDD Seagate Barracuda pro 12tb (ca. 55-60 Grad unter Last)

1x SSD Samsung 2tb (ca. 30 Grad unter Last)

Cache:

2x Samsung NVME 1tb (ca. 60 Grad unter Last)

 

7 hours ago, DataCollector said:

Solltest Du Docker/VM auf dem System aktiv laufen haben werkeln die zusätzlich in den Systemshares, welche man sinnigerweise auf SSDs im Pool hat.

 

Sie sind per zfs weniger Zeit wirklich "idle" (aus Hardwaresicht einer SSD), als im schlafenden Array.

Im Cache läuft eine VM mit HomeAssistant, deren Sensorenprüfung sorgt alleine schon dauernd für kleine Schreib/Lesezugiffe. 

Dass der Cache auch nie schläft, ist mir klar. Nur habe ich abgesehen von den neuen HDDs eben nichts geändert. Keine neuen VMs keine neuen Docker.

Die beiden NVMEs waren vorher ungekühlt und auch daran wurde nichts geändert.

Nur die HDDs haben einen 120er Lüfter bekommen, wodurch diese jetzt unter Last bei etwa 35 Grad liegen. Daher keine Stauwärme.

 

7 hours ago, DataCollector said:

Wenn es Dir also nur um die Warnungen geht, schau nach welche Werte für Deine SSD offiziel maximal vorgesehen sind (vermutlich irgendetwas um 80Grad) und stell den Warnwert dann etwas niedriger (70) und den Maxwert auf 80 und schon wirst Du nicht mehr mit den Warrnungen geflutet.

Alternativ kannst Du die NVMe SSD extrem viel besser/stärker kühlen.

Ich werde die Werte gleich umstellen aber damit erklärt sich ja trotzdem nicht, wieso die NVMEs deutlich wärmer werden obwohl eben nur die HDDs getauscht wurden.

43 minutes ago, redeks said:

Ich glaube hier gibt es immernoch ein Missverständnis.

 

für mich nicht ...

 

44 minutes ago, redeks said:

3x HDD Seagate Barracuda pro 12tb (ca. 55-60 Grad unter Last)

 

das würde mir eher zu denken geben da dies für HDD's sicher nicht optimal ist ... um nicht zu sageb viel zu warm mMn.

 

44 minutes ago, redeks said:

2x Samsung NVME 1tb (ca. 30-35 Grad unter Last)

 

44 minutes ago, redeks said:

2x Samsung NVME 1tb (ca. 60 Grad unter Last)

 

 

der erste Wert mit 30 - 35° einer nvme unter "Last" ... was verstehst du "unter Last" ... ich weiß jetzt nicht welche nvme du genau hast, aber eigentlich egal welche nvme's man sieht und sich auch Tests anschaut ... dann sind die 60 unter "Last" normal und sicherlich keine 30 - 35 ... außer die sind gut extra gekühlt ... oder "Last" ist jetzt ein sehr dehnbarer Begriff ... Last heißt für mich längerer schneller Schreibvorgang.

und um das Thema "Last" meiner Meinung nach aufzuzeigen, hier ein Beispiel einer nvme 980pro 2tb mit etwas "Stress"

 

 

mal im cli read / write performance Tests laufen lassen 1, 10, 50, 100 GB Transfers in in 1, 10, 50, 100 Mb chunks ... und da geht es flott nach oben ...

so kenne ich das auch  und ist auch "normal" ...

 

jetzt die Frage, was heißt "Last" bei dir @redeks ...

11 hours ago, alturismo said:

das würde mir eher zu denken geben da dies für HDD's sicher nicht optimal ist ... um nicht zu sageb viel zu warm mMn.

Deshalb haben die einen 120er Lüfter bekommen. Seit dem liegen die immer unter 40 Grad. Auch als die Parity neu angelegt wurde.

11 hours ago, alturismo said:

der erste Wert mit 30 - 35° einer nvme unter "Last" ... was verstehst du "unter Last"

"unter Last" heißt für mich Schreibvorgänge ab 10GB aufwärts. Wobei die Temperatur bereits nach 2-3 GB hoch springt und dann bei 60-65 Grad konstant bleibt.

11 hours ago, alturismo said:

... ich weiß jetzt nicht welche nvme du genau hast, aber eigentlich egal welche nvme's man sieht und sich auch Tests anschaut ... 

Samsung 970 Evo Plus 1tb

 

Ich finde die 40° auch schon warm, zumindest wenn man bedenkt, dass vor dem HDD Tausch dort eher so 30-35° standen.

Wie schon gesagt, es geht mir nicht um die paar Grad sondern um das Warum. 

Mir will nicht in den Kopf wieso die NVMEs plötzlich 20° mehr haben obwohl ich nichts verändert habe, das mit dem Cache zu tun hat.

8 minutes ago, redeks said:

Mir will nicht in den Kopf wieso die NVMEs plötzlich 20° mehr haben obwohl ich nichts verändert habe, das mit dem Cache zu tun hat.

bleibt ja nur Umgebungstemperatur ... und wenn ich 30° - 35° zu 40° vergleiche sind es 5° - 10° mehr im idle, oder ?

2 hours ago, alturismo said:

bleibt ja nur Umgebungstemperatur ... und wenn ich 30° - 35° zu 40° vergleiche sind es 5° - 10° mehr im idle, oder ?

Die Umgebung hat sich ebenfalls nicht verändert.

Die 20° mehr beziehen sich auf die Temperatur unter "Last". Vorher unter 40 jetzt ab 60°.

7 hours ago, redeks said:

Die Umgebung hat sich ebenfalls nicht verändert.

Die 20° mehr beziehen sich auf die Temperatur unter "Last". Vorher unter 40 jetzt ab 60°.

du hast andere HDD's verbaut, also ja, es hat sich etwas verändert.

 

da die ~  60° unter Last ja auch kein Thema sind ... aber egal, wenn du sicher gehen willst, bau halt nochmals um im safe mode und vergleiche dann nochmals, dann weißt du ob es die HDD sind oder nicht.

 

Info, in den "Hardware" Bereich verschoben