DataCollectors zweiter unRAID Server -Tower


Recommended Posts

Hallihallo.

 

Wie ich schon mehrfach angedeutet habe, ist die Kapazität meines ersten unraid Systemes zu gering.

Aus dem Grund baue ich gerade ein Zweites zusammen.

Die ist weniger auf hohe Performance ausgelegt, sondern eher auf Datensicherheit und Lagerkapazität.

Nicht hübsch, aber funktionell.  😁

 

MB: FUJITSU D3644-B1 Version S26361-D3644-Bx  BIOS: V5.0.0.13 R1.26.0
CPU: Core i3-8100 CPU
Ram: 64 GiB DDR4 Single-bit ECC (4x Samsung 16GB M391A2K43BB1-CTD)
LAN: PCIe 3.0 x4 Mellanox ConnectX 3 CX311A (SFP+) DAC 10GBLan
CPU Kühler: Xilence XC044 M504D (Twin Fan)
Gehäuse: Sharkoon Rebel 9 Eco
Netzteil: RM550x 2021
Festplatten 5in3 Wechselrahmen: 3x Silverstone Sst-FS305-12G
unraid: 6.10.0 RC8 Trial
SATA-Controller: 2x ASM1064 (PCIe 3.0 x1; mit zusätzlichen Kühlkörpern versehen) + JMB582 (M.2 PCIe x1 Key-E)
NVMe SSD: Samsung 960 EVO 250GB (wird demnächst gegen etwas größeres ausgetauscht und bekommt einen Kühler mit Klemmbefestigung)

 

Hier passen von vorne also bis 15 Stück 3,5 Inch Festplatten in die Wechselrahmen rein.
Intern ist aktuell ein SATA Steckplatz noch frei. Dort werde ich vermutlich bald eine SATA SSD anschließen.


Ich strebe an, im M.2 (oben direkt hinter dem Wechselrahmen, wo die beiden gelben kabel hin gehen) den M.2 Key-E JMB582 zu entfernen und mit einem Key-E/M Adapter dort einen JMB585 M.2 5Port SATA einzubauen, der dann 4 Festplatten in den vorderen Rahmen befeuert.
Dann habe ich einige weitere von den performanteren OnBoard SATA Ports frei für weitere SATA SSD.


Zusätzlich werde ich in Zukunft im obersten (noch leeren) PCIe x16 Slot (maximal 8x4x4x) den schon mal erwähnten PCIe x16 NVMe x4x4x4x Adpater einbauen um darin dann per Bifurcation bis zu 3 weitere NVMe SSD anzuschließen, womit dann in Summe 4 NVMe SSD im System als Pool cachen können.

 

unraid: 6.10.0 stable (seit 18.05.22)

 

Diverse Teile waren/sind gebraucht vorhanden und deshalb bot es sich an das System so aufzubauen.

Stromverbrauch idle Spindown mit 4 eingebauten 16TB Festplatten ohne besondere Stromsparmaßnahmen in unraid ist ganz passabel (siehe letztes Bild aus der Fritzbox über AVM Dect 200).

Aktuell ergänze ich eine 12TB als 5. Festplatte und eine weitere 12TB steht auch noch an.

 

Hier noch Bilder des Systemes.

Erst die Frontansicht, dann die Seitenansicht.

Danach dann die Stromangabe:

2+2 Festplatten idle/no Docker/no VM: 26,67W

Edit- weiter erweitert:

5+2 Festplatten idle/no Docker/no VM: 28,53W

 

UR-SHIPON-Front.jpg

UR-SHIPON-Seite.jpg

UR-SHIPON-IDLE-SPINDOWN-4x16TB-Mellanox-2022-05-15 09_06_07-an Eaton.png

Edited by DataCollector
Typos und Aktualisierung
  • Like 1
Link to comment
  • 3 weeks later...
On 5/17/2022 at 1:30 PM, DataCollector said:

SATA-Controller: 2x ASM1064 (PCIe 3.0 x1; mit zusätzlichen Kühlkörpern versehen) + JMB582 (M.2 PCIe x1 Key-E)

NVMe SSD: Samsung 960 EVO 250GB (wird demnächst gegen etwas größeres ausgetauscht und bekommt einen Kühler mit Klemmbefestigung)

Hier passen von vorne also bis 15 Stück 3,5 Inch Festplatten in die Wechselrahmen rein.
Intern ist aktuell ein SATA Steckplatz noch frei. Dort werde ich vermutlich bald eine SATA SSD anschließen.

Ich habe eine Aktualisierung durchgeführt:

Im oberen PCIe Slot X16 habe ich per UEFI/BIOS Bifurication auf 8x4x4x einstellen können und dort nun eine x4x4x4x4 M.2 Karte drin. Eine NVMe Samsung 970 Evo Plus 2TB spielt darauf nun Cache und wird im Laufe der Zeit (und je nach verfügbarem Geld) um maximal 2 weitere M.2 SSD erweitert (wegen der 8x4x4x Aufteilung sind dort keine 4 SSD auf der Karte nutzbar).

 

Zusätzlich:
In dem M2 Key-E Slot war ja ein JMB582 2Port SATA Kontroller drin. Den habe ich entfernt.

 

Dort habe ich nun einen Adapter von Key A/E auf Key-M eingebaut und dieser hat eine M.2 Key-M 6Port SATA Karte aufgenommen.
Aufgrund eines Kunststoffhalters ist die Kontruktion nicht so wackelig, wie befürchtet.
Da der Key-E Slot nur mit einer PCIe Lane (vermutlich 3.0) angebunden ist, macht es keinen Sinn mehr als 4 der SATA Ports für Festplatten gleichzeitig zu verwenden.
Aber das sind immer noch 2 Ports mehr, als mit dem vorherigen JMB582 Adapter.

 

Somit kann ich nun in Summe 18 SATA Geräte anschliesen.
12 SATA Ports über Kontrollersteckkarten mit je ca. 250MByte/s gleichzeitig
und 6 SATA Ports onBoard, die sich mutmaßlich 2GByte/s teilen.
Hier noch ein paar Bilder

 

Shipon-ASM1166-KEY-E-1.jpg

Dies ist der Adapter, der in einen KEY E/A Sockel passt und nach oben/senkrecht auf Key M adaptiert. Dabei links die Kunstsoffhalterung, die die 2280 M.2 Karte festhalten soll.

 

 

Shipon-ASM1166-KEY-E-2.jpg

Dies ist der Adapter in Großaufnahme, der in einen KEY E/A Sockel passt und nach oben/senkrecht auf Key M adaptiert.

 

 

Shipon-ASM1166-KEY-E-3.jpg

Links noch einmal der Key A/E auf Key M Adapter   rechts die ASM1166 SATA Karte, die eigenltich PCIe3.0 x2 auf 6 SATA Ports adaptieren soll. Leider hat mein Mainboard an dem M.2 Key E Slot nur eine PCIe Lane, wodurch die Bandbreite sich besser nur auf 4 Ports aufteilt. Die rstlichen beiden SATA Ports lasse ich einfach frei.

 

 

Shipon-ASM1166-KEY-E-5.jpg

Hier der die eingebaute Kombination (mit 2 gelben und 2 grünen Kabeln zu den Wechselrahmen für Festplatten).

 

 

Shipon-ASM1166-KEY-E-6.jpg

Das Selbe aus einem leicht anderen Winkel.

 

Edited by DataCollector
  • Like 2
  • Thanks 1
Link to comment
  • DataCollector changed the title to DataCollectors zweiter unRAID Server -Tower
  • 4 weeks later...

Hallo.

Aufgrund ein paar Fragen beschreibe ich meine NVMe Lösung in diesem System etwas genauer.

 

Zur Klarstellung:

Aktuell können 15 SATA 3,5 Inch Festplatten in Wechselrahmen frontseitig eingeschoben werden.

Diese werden über 2 Stück ASM1064 (je 4 SATA) in den PCIe 3.0 x1 Slots und einen ASM1166 im M.2 KEY A/E PCIe 3.0 x1 [mit nur 4 SATA Ports beschaltet) und 3 Mainboard SATA Ports versorgt.

3 SATA Mainboardports sind noch frei, falls ich noch SATA SSD oder Festplatten dazu bauen will.

 

Das Board hat von "oben" nach "unten" 4 PCIe Slots:

  PCIe 3.0 x16 (elektrisch x16 mit der Möglichkeit per Bifurcation auf x8x4x4 aufzusplitten)

  PCIe 3.0 x1 (elektrisch x1 Standardslot, nach hinten offen)

  PCIe 3.0 x16 (elektrisch x4)

  PCIe 3.0 x1 (elektrisch x1 Standardslot)

Dazu noch einen M.2 Key A/E 2230 Steckplatz mit PCIe 3.0 x1, der für WLAN gedacht ist, den ich aber per extra Adapter (sehe vorherigen Beitrag) zu M-key kompatibel gemacht und mit einem ASM1166 für Festplatten bestück habe (siehe Bild1 oben rechts, wo die grünen und gelben Kabel hin gehen).

Und ein M.2 Key-M Steckplatz PCIe 3.0 x4 gedacht für NVMe SSD (siehe Bild unten rechts, unter dem silbernen Kühlkörper temporär mit rotem Isoband befestigt).

 

Meine NVMe SSD Lösung besteht darin im M.2 M-Key OnBoard Steckplatz eine normale (kleine) NVMe SSD zu betreiben für Pool/Cache Docker, images und so.

 

Um einen sehr großen zweiten NVMe SSD Pool/Cache zu haben, wurde eine Bifurcation kompatible Adapterkarte für rund 40 Euro gekauft.

  https://www.amazon.de/gp/product/B09QWDCTRP

Da der obere PCIe x16 Slot aber nur auf x8x4x4 Splitten kann sind darin somit nur 3 NVMe SSD möglich, was bei 2TB SSD einen Pool mit bis zu 6TB (Raid0) ermöglicht.

 

Hier sei wie üblich gewarnt: Raid0 hat keine Sicherheit gegen Ausfall. Ich nutze es aktuell nur für temporäre Bearbeitung und Lagerung von Daten, die auch wo anders noch (auf langsameren Speichermedien) vorliegen.

 

Ich kann also bei diesem Gesamtkonstrukt bis zu 4 NVMe SSD (PCIe 3.0) mit ihrer maximalen Geschwindigkeit (jeweils x4) ansprechen.

 

Hier noch ein paar Bilder zu diesen Details:

Bild 1: Noch einmal seitliche Ansicht ins stehende Towergehäuse bei geöffneter Seitenwand und montierten Lüfter (Arctic P12) über den PCIe Slots.

Bild 2: Vergrößerte Ansicht der eingebauten Steckkarten mit kleinem Infotext pro PCIe Karte

Bild 3: Ausgebaute PCIe x16 Steckkarte mit 3 NVMe SSD (Samsung 970 Evo Plus 2TB) bestückt und mit zusätzlichen Kühlkörpern versehen.

https://www.amazon.de/gp/product/B089RBKH31

Bild 4: die selbe Karte nur von hinten

 

 

IMG20220627214657.jpg

IMG20220627214837#.jpg

IMG20220627214902.jpg

IMG20220627214916.jpg

Edited by DataCollector
Link to comment
3 hours ago, mgutt said:

Hast du eigentlich mal gemessen, was die FS305-12G vom Verbrauch her ausmachen? Also wenn man quasi ohne die Hot Swap Gehäuse die Platten direkt anschließen würde?

Nein, bisher habe ich das nicht. Ich überlege gerade, wie ich das machen sollte ohne hier nun weitgehend umzubauen.

Ohne aktive Kühlung/Lüftung würde ich die bis zu 15 Festplatten auch nicht betreiben wollen.

Link to comment
  • 1 year later...

Hallo.

Nur so zur Information.

Ich habe gerade die beiden ASM1064 PCIE 3.0 x1 Steckkarten entfernt und dafür je eine ASM1166 Steckkarte eingebaut.

Der obere PCIe 3.0 x1 Slot ist nach hinten offen, da konnte dann eine ASM1166 PCIE 3.0 x4 (elektrisch x2) Steckkarte rein.

Der untere PCIe 3.0 x1 Slot ist nach hinten leider geschlossen. Da habe ich dann extra eine ASM1166 PCIE 3.0 x1 Steckkarte eingebaut.

Da beide Steckplätze die Karten elektrisch weiterhin ja nur mit PCIE 3.0 x1 versorgen bleibe ich dabei pro Steckkarte maximal 4 SATA Ports zu belegen, wodurch es dabei bleibt, daß jede daran angeschlossene Festplatte mit ca. 250MByte/s gleichzeitig angesprochen werden kann.

 

Den schon eingebauten M.2 ASM1166 Kontroller, den ich über eine recht wackelige Kontruktion im M.2 Key-A/E Sockel betreibe habe ich gegen eine baugleichen ASM1166 ausgetauscht und dieser wird auch wieder nur mit 4 Festplatten verbunden, da auch er nur mit PCIE 3.0 x1 versorgt wird.

 

Nun fragt sich der geneigte Leser: Was soll der Aufwand?

In der fernen Vergangenheit hatte ich bei dem System mit den Stromsparfunktionen herumgespielt (powertop - autotune) und kurz darauf zeigten sich Festplattenausfälle und Chaos im Array. Wie ich später erfuhr kann das bei einigen Kontrollern passieren.

Da hier ja des öfteren zu lesen ist, daß die ASM1166 mit der Firmware des Silverstone ECS06 FW: 11080000.ROM dahingehend besser und sparsamer sein sollen, habe ich alle hier neu eingebauten ASM1166 Karten vorher mit der Firmware geflasht.

 

Wenn ich also wieder mal mit powertop rumexperimentieren will, könnte es diesmal zumindest anders ablaufen.

 

to be continued...

Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.