Die schnellste Art von einer Win10 VM auf die Nutzdateien eines Unraid Share zuzugreifen?

[DataCollector]

Hallo.

 

Ich habe nun meine rund 340TB Daten in unraid eingelagert (23+2p Disks mehere Verzeichnisse (Shares).

 

Während ich im Hintergrund nun schaue ob Quelle (Win10 PC) und Ziel (unraid 6.9.2) wirklich binär identische Dateien hat (also alles komplett und korrekt angekommen ist) überlege ich den nächsten Schritt.
Aufbau einer Win10 VM um dann von dort aus neue Daten (auf einem SSD Pool) binär identisch mit den Daten des Disk Arrays zu vergleichen.

Als Tool würde ich gerne weiterhin mein altbewehrtes Clonespy nutzen. Dieses kann auf Laufwerke, aber auch Netzwerkfreigaben zugreifen.

 

Aktuell läuft das auf meinen Win10 (nativ) PC wegen dem flotten Hardwareraid sehr schnell (aber stromfressend).

 

Da es bei jedem Abgleich lesend auf Millionen von Dateien auf dem Diskarray zugreifen muß und das unraid Diskarray von Hause aus ja nicht wirklich schnell ist (maximal so schnell die eine Festplatte) möchte ich gerne an allen anderen Ecken und Kanten Bremsklötze aus dem Weg schaffen.
Ich könnte die Unraid Shares einfach als SMB Share in die Win10VM durchrreichen (dort einen Laufwerksbuchstaben damit verknüpfen) und so darauf zugreifen.
Wäre das der schnellste Weg (Latency wegen Routing über Netzwerk?) oder gibt es einen anderen Weg, den ich nur noch nicht gefunden habe?

 

[Ford Prefect]

5 minutes ago, DataCollector said:

Ich könnte die Unraid Shares einfach als SMB Share in die Win10VM durchrreichen (dort einen Laufwerksbuchstaben damit verknüpfen) und so darauf zugreifen.
Wäre das der schnellste Weg (Latency wegen Routing über Netzwerk?) oder gibt es einen anderen Weg, den ich nur noch nicht gefunden habe?

Ja, das wäre schnell - wenn Du virtio Treiber einsetzt sogar die ganze Bandbreite der CPU verfügbar - und diese in der Win10-VM auch aktivierst.

Dann ist das Netzwerk an sich auf jeden Fall nicht der Flaschenhals...ansonsten eher Multi-Channel SMB versuchen, damit SMB nicht single-threaded ist?

Da gibt es ein par Threads hier....

[DataCollector]

7 hours ago, Ford Prefect said:

Dann ist das Netzwerk an sich auf jeden Fall nicht der Flaschenhals...ansonsten eher Multi-Channel SMB versuchen, damit SMB nicht single-threaded ist?

Hm... unwissende Frage: Da es ja nur eine Win10 VM ist, die ja auch nur nicht wirklich über das physikalische Netzwerk, sondern nur die simulierte Netzwerkverbindung auf den selben PC (Hardware) zugreift, wirkt sich da Multichannel SMB wirklich aus?

Ich hatte es in den diversen Diksussionen so verstanden, dass sich Multichannel SMB eher dann auswirkt, wenn man wirklich über das physikalische Netzwerk transferiert.

 

Habe ich das wirklich so falsch verstanden?

[Ford Prefect]

3 hours ago, DataCollector said:

Habe ich das wirklich so falsch verstanden?

...SMB ist immer übers Netz, auch bei einer VM die SMB zum gleichen Host macht auf dem sie sitzt....auf die Randbedingungen kommt es an....was ist der begrenzende Faktor?

In einem 1Gbps Netzwerk schafft das auch das "normale" SMB und da eine Disk in der gleichen Diemnsion schreibt/liest ist alles eng beieinander.

Laufe mehrere Threads muss auch der Overhead durch das Netzwerk durch. Ein Vorteil, die Last auf mehr als eine Disk zu verteilen (vom Problem bei unraid im schreiben mit Parity im Array mal abgesehen - dafür hat es ja den Cache) bremst da sogar aus.

 

Hast Du aber ein performantes Netzwerk, ist die Bandbreite nicht mehr der beschränkende Faktor.

Das sieht man schon in einem 10G Netzwerk. Eine VM, mit virtio Netzwerktreibern und einem i3-9xxx hat aber etwa >50G

 

Das Normale SMB ist Single-threaded...ein 50G Netzwerk auszulasten schaftt selbst so eine CPU gerade so, zB mit ipef, aber eben nicht mit SMB.

Mit SMB und OS Overhead ist es weit weniger.

Daher wichtig, das die VM mehr als einen Core hat, damit Multi-Theading auch was bringt....und das SMB multi-threaded läuft.

Edited February 8, 2022 by Ford Prefect

[DataCollector]

25 minutes ago, Ford Prefect said:

...SMB ist immer übers Netz, auch bei einer VM die SMB zum gleichen Host macht auf dem sie sitzt....auf die Randbedingungen kommt es an....

 

Danke für die Erläuterung.

Dann werde ich erst einmal in die Richtung weiter schauen und mich nochmal mit den passenden Diskussionen beschäftigen.

 

[mgutt]

Multichannel funktioniert nur, wenn beide Seiten RSS unterstützen. Ich weiß tatsächlich nicht ob der virtio Treiber das kann. Probieren geht über studieren.

[Ford Prefect]

....wenn man dazu Tante google fragt, findet man ziemlich viele Kernel/driver patches dazu....wobei einige ziemlich neu sind....ob unraid schon so ausgestattet ist?

Edit: ich wusste bislang nicht, dass dies eine Treiber Eigenschaft ist.

 

@DataCollector gibt es denn unter Linux keine Tools für Deinen UseCase?

Edited February 8, 2022 by Ford Prefect

[DataCollector]

Hallo @Ford Prefect

9 hours ago, Ford Prefect said:

@DataCollector gibt es denn unter Linux keine Tools für Deinen UseCase?

 

Mit Linux kenne ich mich noch so gut wie gar nicht aus (habe nur minimal mit Ubuntu in einer VM experimentiert).

Ich vermute garantiert kann man das auch mit Linux machen, doch das wäre eine weitere Hürde auf dem Weg zum Ziel. Das gehe ich vielleicht spaeter an.

 

Beispielsweise bin ich schon bei der Dateiverwaltung (Linux/unraid und Windows) schon auf das Problem der Gross-Kleinschreibung und unterschiedliche Sortierung gestoßen und habe mich dabei selbst ausgetrickst.

 

 

[Revan335]

Eine Linux VM mit NFS wäre keine Option? Ich meine das wäre schneller als SMB.

 

Dürfte ich fragen wie du deinem Namen gerecht wirst und auf die 340 TB Platten gekommen bist? Unraid, SATA Buchsen, Gehäuse Slots und PSU haben ja irgendwann ein Limit. Sind das alles gerippte 4K Blu-rays?

[DataCollector]

Hallo @Revan335

1 minute ago, Revan335 said:

Eine Linux VM mit NFS wäre keine Option? Ich meine das wäre schneller als SMB.

Ich habe fast keine Erfahrungen mit Linux und deshalb würde ich mir damit eine weitere und für mich (zur Zeit) unübersichtliche zusätzliche Baustelle ins System holen. Ich bin eben noch Windows gewohnt. Später vielleicht. Aber dann muß ich meinen gesamten Ablauf und Tools umstellen.

Aktuell hat mein unraid eine Hardwareumrüstung nicht überlebt. System frieft schon ein, bevor unraid startet und auch schon im BIOS. Ich befürchte mein Hardwarewechsel ist schief gegangen. Naja. mal sehen, was der Gigabyte Support schreibt.

 

1 minute ago, Revan335 said:

Dürfte ich fragen wie du deinem Namen gerecht wirst

3xx TB an Dateien würde ich schon als Data Collection bezeichnen

 

1 minute ago, Revan335 said:

und auf die 340 TB Platten gekommen bist?

So war das System vor meinem Hardwareumbau dieses Wochenende aktiv:

Corsair RM850x

Fujitsu D3644-B Extended_Lifecycle
Intel I3-8100
Samsung 64GB Ram DDR4 ECC (4 Module)
Xilence XC044 M504D
25x Disks 18TB + 16TB Seagate und Toshiba
4x SATA SSD MX500 2TB Crucial
1x NVMe SSD 970 Evo Plus 2TB Samsung
Noctua NA-FC1
4x Lüfter 12cm (3x38mm 1x25mm)
ASM 1064 PCIe 3.0 x1 4 Port SATA
ADAPTEC 72405 24i SAS Kontroller im HBA Mode
KALEA INFORMATIQUE Karte M2 E/A Key 2 Port SATA JMB582

 

Nach dem Umbau dieses Wochenende auf GIGABYTE W480 Vision W, W-1290p, 2x 32GB Kingston Server Premier ECC DDR4-2933 DIMM CL21 Single KSM29ED8/32ME in DDR4_A2 and _B2 startet das System entweder gar nicht (schwerzer Bildschirm an HDMI mit Debug LED 60 oder 69) oder wenn ich schon ins BIOS/UEFI Setuo gehe friert die Kiste nach einigen Sekunden ein, selbst wenn ich alle Zusatzkontroller und Platten und NVme abziehe.

 

1 minute ago, Revan335 said:

Unraid, SATA Buchsen, Gehäuse Slots und PSU haben ja irgendwann ein Limit. Sind das alles gerippte 4K Blu-rays?

Das sind Sammlungen von Dateien seit ca. 1998.

Nein. Ich habe erst seit Dezember ueberhaupt einen 4k Bildschirm, den ich bisher noch nicht einmal angeschlossen habe.

[Revan335]

Wo hast die ganzen Laufwerke reingezimmert?

 

Hast du Erweiterungen fürs Netzteil genommen? Mir wäre nicht bekannt das die über 20 SATA Strom Anschlüsse haben.

 

 

Definitiv, hätte "wurdest" schreiben sollen. Erst dachte ich an Schreibfehler.

 

Läuft das Backup auf nen anderen Server oder USB Platten...

Edited February 14, 2022 by Revan335

[DataCollector]

Hallo @Revan335

43 minutes ago, Revan335 said:

Wo hast die ganzen Laufwerke reingezimmert?

Ich hatte mit em Hardwareaufbau begonnen als wegen Chia und Corona die Versorgungslage schwierig war und konnte noch ein 4HE 24HDD Gehäuse (Anscheinend Marke Gooxy) günstig ergattern.

Siehe Bilder unten.

Bild 1-3 Da hatte ich erstmal mit ein paar alten HDD grob aufgebaut, was/wie ich zusammenpuzzeln wollte.

Bild 1 Front

Bild 2 Ansicht von hinten oben

Bild 3 Ansicht von oben Seite

Bild 4 Komplett aufgebaut mit 25 Festplatten, 4Sata SSD und 1 NVMe SSD in der Core I3 Konstellation bis ich es dieses Wochenende umbauen wollte und nun das Ding nicht läuft. Aber ich arbeite dran.

 

43 minutes ago, Revan335 said:

Hast du Erweiterungen fürs Netzteil genommen?

Leider ist es in den letzten Jahren unüblich geworden bei ATX Netzteilen 4pol Molex Stromversorgungen in großer Menge zu ermöglichen.

Auch sind die Kabel natürlich dann meist seriell in Reihe, so daß bei eng beieinander liegenden Stromanschlüßen viel unnötiges Kabelmaterial im Weg liegt.

Die Netzteilverkabelung für die Laufwerkskäfige und Laufwerke habe ich selber erstellt (mit Absicht mit meist weitaus größeren Querschnitten als normal üblich) und musste die im Laufe der Konstruktion auch noch mehrfach abändern. Bild 1-3 deuten einen ersten Versuch Sept. 2021 an).

Nachdem ich mir klar geworden war, daß ich an einer Seitenwand innen 4 Laufwerke übereinander platziere (schwarzer Käfig) hatte ich für die Verkabelung nur noch darunter Platz. Deshalb habe ich dort einen abgesägten Brüstungskanal (Farbe weiß)  (Anfangs war es noch ein normaler Verkabelungskanal grau) hin gepflanzt. In den ersten Bildern ist noch die eher umfangreiche Verkabelung zu sehen, die habe ich später stark vereinfacht.

43 minutes ago, Revan335 said:

Mir wäre nicht bekannt das die über 20 SATA Strom Anschlüsse haben.

Handarbeit.

Man habe ich trotz 3fachem Durchmessen beim ersten Einschalten geschwitzt!

Ein Verdrahtungsfehler und irgendetwas hätte in Rauch aufgehen können.

43 minutes ago, Revan335 said:

Definitiv, hätte "wurdest" schreiben sollen. Erst dachte ich an Schreibfehler.

Sorry. Ab und zu rutsche ich hier noch in eine Schreibweise in der ich Sonderzeichen umgehe.

 

43 minutes ago, Revan335 said:

Läuft das Backup auf nen anderen Server oder USB Platten...

Mein aktuelles Windows System mit Platz für 51 Festplatten ist noch mein aktueller Hauptserver (2Stück 4HE Gehäuse mit Scharnier zusammengeschraubt).

Der Backupserver ist ebenfalls windowsbasiert und bekommt die kleineren ausrangierten Festplatten und packt 75 Festplatten (3 Stück 4HE Gehaeuse mit Scharnieren zusammengeschraubt).

Dieses unraid-System ist noch ein "Work in Progress", welches dann den Hauptserver ersetzen soll. Solange ich mit dem unraid System noch nicht fertig bin werde ich den Hauptserver nicht offline nehmen.

 

Hier die Bilder:

 

 

Edited February 14, 2022 by DataCollector
little corrections

[mgutt]

@DataCollector

Pack das doch mal in einem eigenen Thread, wo du deinen Server vorstellst.

[hawihoney]

On 2/14/2022 at 7:48 AM, DataCollector said:

Hier die Bilder

 

Und das bleibt kühl genug? Das letzte Bild wirkt mir sehr überfrachtet. In meinem aktuell 11 Grad kalten Keller läuft gerade ein Disk Rebuild und ich muss noch einen Standventilator davor setzen damit die Platten nicht über 45 Grad gehen. Und mein Supermicro Gehäuse wirkt im Gegensatz zu Deinem Build leer.

 

[DataCollector]

Hallo @mgutt

5 hours ago, mgutt said:

Pack das doch mal in einem eigenen Thread, wo du deinen Server vorstellst.

Mein Setup ausführlich vorzustellen, hatte ich vor, wenn die Kiste den gewünschten Endstatus erreicht hat.

Dann mit Foto und Text die Entstehung schildern.

Leider ist das durch aktuelle Probleme mit dem neuen Gigabyte W480 Vision W Mainboard +W1290p+2xKingston ECC (instabil und freezes schon im BIOS/UEFI) zeitlich in größere Ferne gerückt.

Gigabyte schlägt vor ein anderes Netzteil zu testen. Dabei geht das Corsair RM850x (2021 Ed.) laut AVM Steckdose im Maximum (alle 25 Festplatten Spinup) auf 348W (mit dem Fujitsu + I3-8100). Somit sollte es auch für das W480 genug Reserven haben. Und im späteren Testverlauf waren die Festplatten dann sowieso abgeklemmt.

 

Nun rächt es sich, daß ich das Mainboard nur noch über Amazon US (Import über Amazon DE) beschaffen konnte. Sollte das Mainboard wirklich einen Defekt haben sieht es mit dem Support schlecht aus. Soweit ich den Gigabyte Supporter korrekt verstanden habe müßte ich über den Verkäufer einsenden. Das wäre dann Amazon US. 😔

Edited February 16, 2022 by DataCollector
Ergänzungen

[DataCollector]

Hallo @hawihoney

4 hours ago, hawihoney said:

Und das bleibt kühl genug?

Überraschenderweise ja. Ohne Lüfterdrosselung sogar weitaus besser (aber auch lauter) als befürchtet.

Ursprünglich waren die 3 Trennwandlüfter sehr laut. Ich habe anhand der Festplattentemperaturen unter maximaler Belastung diese Lüfter dann mit dem Noctuaregler immer weiter gedrosselt, bis die wärmste Festplatte max. 50Grad erreicht hat.

Ich hatte in dem nachgebauten 4er Käfig und den beiden oben auf der Trennwand aufgesetzten Festplatten die höchste Temperatur befürchtet. Doch das ist nicht der Fall. Alle 6 internen Festplatten vermelden bisher in der Regel die niedrigsten Temperaturen.

Die dort sichtbare Mainboard+CPU (Fujitsu+I3-8100) Kombination ist aber auch noch nicht das gewünschte Ausbauende. Doch mein W480 mit dem W1290p laufen aktuell nicht stabil. Möglicherweise muß mir Gigabyte da praktisch wegen der Instabilität helfen (Supportfall).

Erst wenn ich einen Endausbau erreicht habe, werde ich die Lüftersteuerung am NoctuaRegler vielleicht wieder etwas nach oben anpassen müssen.

 

4 hours ago, hawihoney said:

Das letzte Bild wirkt mir sehr überfrachtet.

Das Gehäuse ist eben voll und noch nicht alle Kabel in den Endpositionen. Das neuere Mainboard hat die Anschlüsse eben wo anders.

Auch muß ich wohl unterhalb der beiden auf der Trennwand aufgesetzten Festplatten noch einen Steg einbauen, da sie durch die Lüfter zur Vibration neigen. Zur Zeit Stütze ich die zusätzlich mit einem Grafikkartenhhalter, aber das ist kein Endzustand.

Deshalb achte ich sehr auf die Temperaturen. Das passt bisher alles. (Siehe Screenshot unten)

 

4 hours ago, hawihoney said:

In meinem aktuell 11 Grad kalten Keller läuft gerade ein Disk Rebuild und ich muss noch einen Standventilator davor setzen damit die Platten nicht über 45 Grad gehen.

Alle eingesetzten Festplatten sind NAS fähig. Die Segates sind bis Betriebstemperatur 60Grad zulässig, die Toshiba bis 'Ambient temperatur' (Umgebungstemp) 55 Grad Celsius spezifiziert. Da bleibe ich in der Praxis unter bisheriger Maximalbeanspruchung drunter.

Im Paritybuild und auch vorherigen Schreibvorgängen waren diese Temperaturen in Spitze nie erreicht worden.

Siehe Screenshot mitten im Paritybuild unten.

4 hours ago, hawihoney said:

Und mein Supermicro Gehäuse wirkt im Gegensatz zu Deinem Build leer.

Und erheblich teurer. Ich habe auch schon lange mit dem Supermicro 36HDD Gehäuse geliebäugelt, aber ab ca. 1400 Euro (in deutschland nur mit altem Interieur) sind mir zu teuer. Vor allem sind da dann wieder aktive Expander und viele kleine Lüfter drin. Wie ich auch schon an meinen bisherigen Inter-Tech 4HE gelernt habe bringen 3 Stück 12 cm FAN (bis 38mm Tiefe) mehr Luftdurchsatz, als 4Stück 8cm, die ursprünglich rein gehörten. Die Inter-tech 4HE musste ich dahingehend nachrüsten.

Und im Gooxy Gehäuse hier sind eben die 38mm dicken 12cm Dinger drin, die heftig Lärm und Luft schaffen. Deshalb auch meine Noctua Drosselung, da ich mit dem Fujitsu Mainboard nicht genug runter regeln konnte.

 

Edited February 16, 2022 by DataCollector
kleine Korrekturen

[hawihoney]

51 minutes ago, DataCollector said:

Und erheblich teurer.

 

Alles gebraucht hier. Wollte bei meinem Gebrauchthandel in Gummersbach eigentlich auf die schnelle Ersatz für einen ausgefallene LSI 9300-8i HBA besorgen. Bin im Schneefall hin und kam zusätzlich mit zwei SC846 Gehäusen zurück. Habs nicht mehr im Kopf, aber ich glaube 600 EUR pro Stück oder so. Die Dinger sind unverwüstlich.

 

Das es bei Unraid einfach nicht voran geht (konkret Multiple Arrays) liebäugle ich mit SC847 Gehäusen im Moment. Die Expander stören mich nicht. Ganze 42" Schränke werden in Rechenzentren über Supermicro Expander in den Backplanes bedient.

 

Deine Temperaturen wären mir einfach zu hoch. Meine Toshibas sind bis 55 Grad aktiv zertifiziert. Ich versuche immer unter 45 Grad zu bleiben. Zertifizierung heisst nicht, dass sie nicht schneller altern.

 

Edited February 16, 2022 by hawihoney

[DataCollector]

Hallo @hawihoney

 

1 hour ago, hawihoney said:

Alles gebraucht hier.

Das ist bei mir auch die bevorzugte/priesgünstige Bezugsmöglichkeit.

Auf unriad in ich aber gerade zur Hochzeit von chia gestoßen und zu der Zeit war weder neu noch gebraucht so einfach ein 24HDD 4HE zu bekommen. Ich war glücklich, das Gooxy dann für rund 400 Euro zu bekommen. Und ich muß sagen die Verarbeitung empfinde ich subjektiv besser als die Inter-Tech 24 4HE. Und in den Intertech hätte ich internnicht so aufrüsten können. War also ein Verzweifelungskauf mit überraschend gutem Ergebnis.

1 hour ago, hawihoney said:

Bin im Schneefall hin und kam zusätzlich mit zwei SC846 Gehäusen zurück. Habs nicht mehr im Kopf, aber ich glaube 600 EUR pro Stück oder so.

In der Zeit hätte ich wohl auch bis 600 Euro ausgegeben, aber in der regel waren die InterTech neu früher bei 450 bis 500 Euro und irgendwo da wollte ich bleiben um nach den ersten Experimenten mit unraid dann mal zu versuchen meinen gesamtes bisherigen Datenbestand in ein unraidsystem zu quetschen um Strom zu sparen.

 

1 hour ago, hawihoney said:

Die Dinger sind unverwüstlich.

Yep. Aber eben teuer, auch gebraucht.

 

1 hour ago, hawihoney said:

Das es bei Unraid einfach nicht voran geht (konkret Multiple Arrays) liebäugle ich mit SC847 Gehäusen im Moment.

Ja, das sind die 36er die ich auch mehrfach interessiert angeschaut habe. Als ich die vor ein paar Jahren zuerst gesehenhatte, glaube ich die als Gebrauchtware für ca. 1400 Euro gesehen zu haben. Da war es für mich billiger 2Stück 4HE zusammen zu schrauben.

Neu beginnen die in Germany irgendwo oberhalb von 2000 Euro. Das ist mir zuviel.

 

1 hour ago, hawihoney said:

Die Expander stören mich nicht.

Da ich das Unraidsystem aufgebaut habe um eben Strom gegenüber meiner bisherigen 24/7 Windowslösung mit Hardwareraidkontrollern einzusparen, wollte ich aktive SAS Elemente (abgesehen vom HBA) vermeiden.

 

1 hour ago, hawihoney said:

Ganze 42" Schränke werden in Rechenzentren über Supermicro Expander in den Backplanes bedient.

Ich habe auch bei meinem Backup (weil da kleinere Platten drin sind) 3 SAS Expander an einem 16i Kontroller drin.

Tolle und sehr pflegeleichte Technik. Aber eben zusätzlicher Stromverbrauch, den ich durch unraid (und HDD Spindown) reduzieren will.

Sollte ich unraid in dem aktuell angestrebten Endausbau endlich hinbekommen (mit 10C/20T CPU) sollte die Rechenpower sogar ausreichen um einen zweiten PC bei mir abschalten zu können. Dann wäre das unraidsystem bei mir sogar noch besser/betriebskostensparemd/stromkostensparend.

Aber wie erwähnt - aktuell habe ich da ein nerviges Propblem mit dem Mainboard und weiß so langsam nicht mehr weiter.

1 hour ago, hawihoney said:

Deine Temperaturen wären mir einfach zu hoch.

Das ist Festplatten Hochlastzustand (Parityerzeugung) bei ca. 22Grad Celcius Raumtemperatur (nur durch die PC Technik um 'ungeheizten' Kellerraum).

Das ist alles im normal zulässigen Bereich. Im Normalzustand (Festplatten Spindown und nur die CPU I3-8100 schuftet auf der SSD) sind die Temperaturen sehr viel niedriger. Alles okay.

 

1 hour ago, hawihoney said:

Meine Toshibas sind bis 55 Grad aktiv zertifiziert.

 

Die Toshiba MG09 Series (und ich glaube die Vorgänger auch) sind bis 60 Grad spezifiziert (Screenshot unten).

Für die MG07 habe ich aber aktuell das Datenblatt nicht gefunden.

 

1 hour ago, hawihoney said:

Ich versuche immer unter 45 Grad zu bleiben.

Die von Dir dargestellte Betriebssituation ist aber nicht wirklich viel Last auf den ganzen Festplatten.

 

 

[hawihoney]

2 hours ago, DataCollector said:

Die von Dir dargestellte Betriebssituation ist aber nicht wirklich viel Last auf den ganzen Festplatten.

 

Das sind die letzten Stunden eines Disk Rebuild. Es sind nur noch die 12 TB Platten übrig. Als alle 24 Platten liefen kam ich mit Standlüfter auf unter 40 Grad. Ohne Lüfter über 45 Grad. Das ist mir zu heiß - bin halt übervorsichtig.