Unraid Server Eigenbau


Recommended Posts

On 2/21/2022 at 7:19 AM, MasterOfPuppets111 said:

Außerdem soll das Teil nicht allzu Stromhungrig sein (so 10-20W im Idle wäre schön).

In seinem ersten Post wurde ein Wert genannt für die Effizienz - ich weiss nicht welchen Stellenwert das haben soll.

Aber wäre es nicht sowieso das beste ein Chipset auszusuchen welches

- nur die wirklich wichtigen Features bietet, die Unraid in der gewünschten Form benötigt aber auch wirklich nicht mehr - Der Unraid server ist keine Workstation..

- das würde im Extremfall ja bedeuten, daß die einfachste Ausstattung auch den geringsten Stromverbrauch hat - kann man das so pauschal sagen ?!

 

Ist vielleicht aber hier als Forderung nur ein Randaspekt - wenn ich einen Haufen Sonnen-Panele auf dem Hausdach hätte (was bei uns leider nicht möglich ist), wäre mir der Stromverbrauch vollkommen egal! Die Einspeisevergütung ist ja viel niedriger als der Strompreis - dann lieber selbst verbrauchen... so ein alter 4x Xeon schank in den Keller und gut ist....🤪

 

Link to comment
1 hour ago, ullibelgie said:

Ist vielleicht aber hier als Forderung nur ein Randaspekt - wenn ich einen Haufen Sonnen-Panele auf dem Hausdach hätte

Ist bei mir tatsächlich der Fall, habe 15kWp aufm Dach 😀....

 

Heute kam der Server und das ist die Backplane.....🙆‍♂️🙈

 

Leider kommt mein Mini SAS - Sata Reverse Kabel erst morgen um es zu testen.

20220223_160127.jpg

Link to comment
24 minutes ago, MasterOfPuppets111 said:

Heute kam der Server und das ist die Backplane.....🙆‍♂️🙈

Überraschend viele SFF Anschlüße. Das deutet darauf hin, dass diese Backplane passiv sein wird, aber zusätzlich NVMe beherrscht.

Bei einer passiven 12er Backplane vermute ich, daß die 3 senkrechten SFF Anschlüsse für SAS/SATA Single Port gedacht sind.

Die Waagerechten 4 sind mit U.2 beschriftet. Das deutet darauf hin, daß man darüber einige Slots auch mit NVMe füttern kann.

 

Auf dieser Seite sehe ich ansonsten nur kleinste Aktivtechnik/Chips. So klein und winzig ist Expandertechnik nicht. Ich schaetze auf der anderen Seite der Backplane ist auch nicht mehr zu sehen.

Ich schätze über die Backplane werden noch ein paar Lüfter und die Slots verwaltet/signalisiert. Mehr nicht.

 

Du könntest also mutmaßlich wirklich eien passive Backplane haben (abgesehen von der Lüfter und Slotsteuerung/-signalisierung und dann sollte es mit den Reverse BreakoutKabeln wirklich möglich sein.

Ich drücke Dir die Daumen!

Link to comment

Ich drücke mir selbst auch die Daumen😄,

 

Hier ein Foto von der Rückseite außer die HDD Ports und jeweils 2 LEDS ist nichts zu sehen.

 

4x Fan Anschlüsse ist klar, jedoch weiß ich noch nicht, für was die ganzen Dip Switches sind, die beiden Anschlüsse unter JFAN1&2 sind mir auch noch unklar... 

Ganz rechts gibt es ebenfalls nochmal Anschlüsse und 4x3 Jumper....

 

Leider ist dies in der User Manual nicht beschrieben, dort wird eine andere Backplane angezeigt... Habe aber aicipc mal angeschrieben.

 

 

20220223_170808.jpg

 

 

 

 

 

20220223_170730.jpg

20220223_170734.jpg

20220223_170744.jpg

20220223_170757.jpg

Edited by MasterOfPuppets111
Link to comment

So kleines Update von mir, die Backplane funktioniert mit dem reverse Kabel, sie ist tatsächlich passiv 🙂.

Hab mal ein uralt Mainboard aus der Grabbelkiste geholt, wo ich auch noch 3 Festplatten gefunden habe.

20220224_165834.thumb.jpg.0043adaef988eaee69e13589e5b3ce61.jpg

 

Das mit den mit den ganzen Anschlüssen konnte ich auch zum Teil klären.

Nur bei den DIP Schaltern bin ich nicht Schlau geworden aus den Anleitungen, ist aber glaube ich nicht relevant für mich.

Es gibt:

 

Hot Plug SMBus SW1

566992814_Screenshot_20220225-062549_AcrobatforSamsung.jpg.0286ba6b5d7f42ec5bb1c72480933bc8.jpg

 

Hot Plug SMBus SW2

525394034_Screenshot_20220225-062705_AcrobatforSamsung.thumb.jpg.d872d8d2aef2d4c78176e75a539ba0e1.jpg

 

Sensor SW1

1174527975_Screenshot_20220225-062746_AcrobatforSamsung.jpg.b1fa7e3e860b5991d329b975a6a60da2.jpg

 

Drive off sw1

199906625_Screenshot_20220225-063002_AcrobatforSamsung.thumb.jpg.864632c11f973056f5bbe9493610b9e3.jpg

 

Drive PWR OK SW

1987710280_Screenshot_20220225-063109_AcrobatforSamsung.thumb.jpg.95a6de20b2faa5eb8b826b17fd67ae88.jpg

 

Drive INPL SW

529186259_Screenshot_20220225-063210_AcrobatforSamsung.thumb.jpg.0a031111a7be15511ff0abb986ca256d.jpg

 

EEPROM SW

1327472614_Screenshot_20220225-063251_AcrobatforSamsung.thumb.jpg.a2c2f5df1162f50cb9af36ce903021aa.jpg

 

Dann gibt es noch die Anschlüsse für die 4 Lüfter, scheinen auch keine normalen PWM Lüfter zu sein oder?

1431555396_Screenshot_20220225-063413_AcrobatforSamsung.jpg.6d6f2c7005d038623fd66a128da1d15c.jpg

 

2x Power Connector für Stromversorgung ist klar.

812271442_Screenshot_20220225-063523_AcrobatforSamsung.thumb.jpg.7b174ce85a73c2179625cdc06a0da848.jpg

 

I2C Bus & Reset Anschluss, keine Ahnung was ich damit machen kann, kenn den I2C nur von Arduinos^^

385378787_Screenshot_20220225-063625_AcrobatforSamsung.jpg.42ffc9a1c4400b6cfc4c9bffea32c899.jpg

1232183450_Screenshot_20220225-063729_AcrobatforSamsung.jpg.4de5540c8d86222dbb7d32e5582f7e11.jpg

 

Und jetzt die Interssanten Anschlüsse mit denen man die LEDs extern ansteuern kann wenn man will (auch die activity LED je nach Jumper Einstellung)

1560502462_Screenshot_20220225-063918_AcrobatforSamsung.thumb.jpg.28e98bc36bcd31a99b353c0d3b3460c2.jpg

 

die passenden Jumper dazu

1559203161_Screenshot_20220225-064019_AcrobatforSamsung.thumb.jpg.544bf42c124c765d94ed0f56b1391a1d.jpg

 

Einen Front I/O JButton Anschluss mit dem ich auch nichts anzufangen weiß^^

923569600_Screenshot_20220225-064110_AcrobatforSamsung.thumb.jpg.14749d56fb26c48f6a4c4dafcbc1d52a.jpg

 

Und zu guter letzt ein Jumper Header, der genau so Aufgebaut ist wie die beiden JCPLD HEAD Jumper der sich "JHDD Selection Set" nennt und nirgendwo Dokumentiert ist:

Screenshot_20220225-064539_Gallery.thumb.jpg.63975d2f3aadd5fb2e02fe1fe67839c4.jpg

 

vielleicht hat noch jemand ne idee zu den mir unbekannten in meiner Liste 😃

Link to comment

Da ich erstmal mit meinem 0815 Board Mainboard spielen will, habe ich vorerst erstmal nur ein Netzteil gekauft, dass ich auch später verwenden möchte. Geworden ist es das Seasonic Prime Fanless PX-450 80+ Platinum.

 

Mein Servergehäuse habe ich nun auch gekürzt, sodass es in mein Rack passt und ich es nurnoch als HDD Tray nutze. Neue Lüfter sind auch bestellt und werden gegen die Staubsauger getauscht, dann PWM gesteuert über MB un Abhängigkeit der HDD Temperatur, ansonsten aus.

20220227_170720.thumb.jpg.2b0cb55a3b057c1f079098dba0eba6dd.jpg

20220227_170726.thumb.jpg.641046c12d8c9dbac964c2573c88d4ea.jpg

20220227_170736.thumb.jpg.3b7f8d14122c693b8fdd47693c6602dc.jpg

 

Für das Servergehäuse habe ich mich für das 3HE Gehäuse von https://shop.yakkaroo.de/19-Zoll-3HE-Server-Gehaeuse-IPC-C330-30cm-kurz.

19-zoll-3he-server-gehaeuse-ipc-c330-30cm-kurz.jpg.3777fb9957f561346173e0a6d2888170.jpg

19-zoll-3he-server-gehaeuse-ipc-c330-30cm-kurz_2.jpg.d511dcf1388ae2e452fb11e88e8804fe.jpg

19-zoll-3he-server-gehaeuse-ipc-c330-30cm-kurz_3.jpg.deb96fa1071d41a9b90151d6566537ee.jpg

19-zoll-3he-server-gehaeuse-ipc-c330-30cm-kurz_4.jpg.701d071dab4f1984a47a22d89d0268af.jpg

 

Das habe ich innen erstmal Leergeräumt.

Die Lüfter unter dem Laufwerkschacht (4x60mm) kommen wieder rein, werden jedoch durch andere ersetzt (PWM). Alle anderen Luftauslässe werden dicht gemacht, sodass der Luftstrom frontseitig ins Gehäuse reingezogen wird und zwangsweise durch das passive Netzteil raus muss.

20220227_170759.thumb.jpg.9be9233a3a0fbc3c6590f1343cba660e.jpg

 

An der Front habe ich das I/O Panel komplett entfernt, dort wird ein 7" Waveshare QLED Display Platz finden, für das ich nächste Woche den Ausschnitt mit der CNC Fräse erstelle.

20220227_170811.thumb.jpg.70c6ed1f2ce75817e48fbffc1f940008.jpg

 

An der Rückseite werde ich ebenfalls einen Auschnitt (über der Blende für die Mainboard Anschlüsse) für ein gelasertes Blech fräsen, indem dann 12x Satastecker, Strom für die Backplane usw. eingebracht werden.

20220227_170827.thumb.jpg.51368aedd13788ed9048ceaa63d4fe89.jpg

  • Like 1
Link to comment

Ja, entweder das, oder das Unraid GUI :)

Hab da son fetisch wenn ich ne Glastür in nem Schrank habe, muss ich auch was sehen können, wie hier bei meinem Zählerplatz und meiner Verteilung 🙈.

20211205_212405.thumb.jpg.ad72cae46724ee41adc012ddb63a3097.jpg

 

Blende für hinten habe ich auch fertig und schieb sie morgeen durch den Laser :).

12x SATA 1x 22pin Molex 1x 44PIN SUB-D für HDD LEDs und Frontpanel des HDD Gehäuses.

ALU07.jpg.67c74fbc14cff15f5ae5e335a867afc9.jpg

Edited by MasterOfPuppets111
Link to comment
  • 2 weeks later...
3 hours ago, MasterOfPuppets111 said:

So wieder ein bisschen weiter gemacht 😄

 

20220302_215708.thumb.jpg.9f7c740931767fcfba63282fe20bb493.jpg

Na das sieht doch richtig schick aus. Aber wenn da permanent der Screen dran ist und das System doch nur im "nicht GUI" Modus läuft wird das weder stromsparend, noch informativ werden.

Und permanent im GUI Modus laufen lassen wird wohl noch mehr Strom schlucken.

Link to comment
5 minutes ago, MasterOfPuppets111 said:

Anschlussblende für den Anschluss der Backplane auch fertig gelasert & gepulvert 🙂

 

20220311_133736.jpg

 

Die Kabel sehen mir alle so ca. 30cm lang aus.

Beachtem daß Du durch die vermehrten Steckverbindungen höhere Dämpfungen und Signalreflektionen erhalten kannst.

Teste das Konstrukt ausgiebig auf Stabilität, bevor Du durch eine gesamt zu lange Verbindung und zu viele Steckverbindungen in den Wirkbetrieb nimmst und dann sporadisch die Platten Probleme (steigende UDMA CRC Error oder noch schlimmeres) zeigen.

 

Ansonsten: da ich ab und zu Bleche bearbeiten will und es selber wirklich gut nicht kann, bin ich neidisch auf die Dir zur Verfügung stehende Technik dazu. Sieht wirklich sehr gut aus! 👍

 

Link to comment

Ich werde es definitiv testen, bin auf jedenfall noch unter 1m insgesamt.... mal schauen ob es stabil ist oder ich die esata Anschlüsse weg lasse und direkt aufs Mainboard gehe... wird sich zeigen.

 

Habe heute mal das Mainboard bestellt, bin gespannt ob es kommt, ist ja echt ne Katastrophe im Moment.

GIGABYTE C246M-WU4 (Intel/C246/Micro ATX/DDR4 unterstützt ECC/2xPCIEx16/Dual Intel Server GbE LAN/8xSATA3/2xM.2/USB 3.1 Type-A/Server Motherboard) https://www.amazon.de/dp/B07PDNRSWB/ref=cm_sw_r_apan_glt_i_82N7YKMK02A2AA47RXJ9

 

Habe halt das Glück ne Metallfirma in der Familie zu haben, das hilft bei so Basteleien ungemein. 

Link to comment

Hätte nochmal eine Frage zum Cache:

 

Wie genau ist denn da der Datenfluss?

Option 1: kein Cache nur HDD's und 16GB Ram

Daten -> RAM -> HDD

 

Option 2: 2x 500GB SSD Cache als RAID1, HDD's und 16GB RAM

Daten -> RAM -> Cache -> HDD's

 

Würde es bedeuten, dass ein entsprechen Großer ECC RAM (z.B. 128GB) besser ist, als Cache SSD bei vorausgesetzt schneller LAN Anbindung (40Gbe)?

Link to comment
1 hour ago, MasterOfPuppets111 said:

Hätte nochmal eine Frage zum Cache:

Wie genau ist denn da der Datenfluss?

Option 1: kein Cache nur HDD's und 16GB Ram

Daten -> RAM -> HDD

Ja. Zuerst speichert er immer erst ins RAM. Wenn Du keinen Cache aktiviert hast, schreibt er dann auf das Array (hier Deine Festplatten).

 

1 hour ago, MasterOfPuppets111 said:

Option 2: 2x 500GB SSD Cache als RAID1, HDD's und 16GB RAM

Daten -> RAM -> Cache -> HDD's

Auch korrekt.

 

1 hour ago, MasterOfPuppets111 said:

Würde es bedeuten, dass ein entsprechen Großer ECC RAM (z.B. 128GB) besser ist, als Cache SSD bei vorausgesetzt schneller LAN Anbindung (40Gbe)?

RAM ist schneller, aber auch flüchtiger.

Deshalb habe ich mir auch vor kurzem eine UPS gehlt. Die muss ich aber auch noch vor mein unraid schalten.

Ich werde zukünftig 128GB ECC DDR4 RAM nutzen, dahinter eine 2TB NVMe SSD Single Pool als Cache und dahinter das Array.

 

 

Und wenn meine Tests erfolgreich sind: dazu noch einen weiteren Pool (4xNVMe SSD) als Temporärspeicher und einen Pool 4*SATA SSD als zweiten Tempspeicher.

Aber da werden die Tests erst zeigen ob und in wie weit ich damit so klar kmme wie ich es will.

  • Thanks 1
Link to comment
2 hours ago, MasterOfPuppets111 said:

Würde es bedeuten, dass ein entsprechen Großer ECC RAM (z.B. 128GB) besser ist, als Cache SSD bei vorausgesetzt schneller LAN Anbindung (40Gbe)?

 

bevor hier etwas missverstanden wird, natürlich laufen die Daten durch den RAM, aber es wird nichts im RAM bereit gestellt ... sprich, ob 16 oder 128 GB RAM machen hierfür nicht wirklich den Unterschied ...

 

bei 128 G kannst du dir Gedanken für eine RAM Disk machen falls bzw. was du da gepuffert haben willst ... aber, Maschine aus, Ram Disk (Inhalt) ex ...

Link to comment

Das stimmt, hab auch ne usv dazwischen, mir ginge es eher darum, dass meine Dateien in der realen zwischen 20-30gb groß sind, um das bottleneck zwischen LAN und HDD zu schließen würde ich dann einfach 128GB ECC RAM installieren und 50% davon als Cache nutzbar machen, im Hintergrund kann es ja dann auf eine M2 SSD und dann direkt auf die HDD schaufeln.... den zweiten M2 Port würde ich dann gerne für eine SSD nutzen auf dem meine VM für meine Automatisierungstechnik zu Hause läuft nutzen (IOBroker/EDOMI).

Link to comment
31 minutes ago, MasterOfPuppets111 said:

mir ginge es eher darum, dass meine Dateien in der realen zwischen 20-30gb groß sind, um das bottleneck zwischen LAN und HDD zu schließen würde ich dann einfach 128GB ECC RAM installieren und 50% davon als Cache nutzbar machen

nochmal, der RAM ist nicht der unraid cache von dem hier normal gesprochen wird

 

unraid cache == eine Festplatte, sollte eine SSD oder nvme sein um auch sinnig einen "schnellen" cache zu haben

 

bitte nicht verwechseln mit einem write cache im RAM was es auch gibt, aber nicht der cache ist wo in unraid verwaltet wird ... per default auch nicht in unraid zu setzen was du als write cache im RAM haben willst

Link to comment
50 minutes ago, MasterOfPuppets111 said:

...mir ginge es eher darum, dass meine Dateien in der realen zwischen 20-30gb groß sind, um das bottleneck zwischen LAN und HDD zu schließen würde ich dann einfach 128GB ECC RAM installieren und 50% davon als Cache nutzbar machen, im Hintergrund kann es ja dann auf eine M2 SSD und dann direkt auf die HDD schaufeln....

Aktuell pumpe ich massenhaft Daten von einem anderen PC über LAN auf mein unraid. SSD-Cache habe ich ausgeschaltet.

Wie man an der Statistikgrafik sieht benutzt er fast den gesamten RAM als Cache, der dann auf das Array weiter reicht.

(Aktuell sind nur 3x 32GB verbaut. Ein 4. Riegel ist aber unterwegs).

 

2022-03-18 18_26_29-102 Tessa Main (TESSA-MAIN1064)RAM.png

Edited by DataCollector
Link to comment
6 minutes ago, DataCollector said:

Wie man an der Statistikgrafik sieht benutzt er fast den gesamten RAM als Cache,

klar, linux default Verhalten, ist aber auch kein skalierbarer cache in dem Sinn ... egal

 

unraid parkt ja nicht die Datei im RAM wenn der nvme cache voll ist und "nur" noch normal verarbeitet wird ...

 

praktisches Bsp. ich habe 40 GB frei im RAM, jetzt kokpiere ich Vollgas lokal von nvme zu nvme ... sagen wir 2 x 15 GB, dann würde der read speed ja am Anschlag sein für die 30 GB da die ja in den RAM laufen sollten ... von dort aus dann zum Ziel verarbeitet würden ... nur so verhält sich das ja nicht ... der read speed ist nur so lange hoch bis der nvme ram voll ist, je nach disk unterschiedlich ...

 

das offloading im RAM ist nicht die ganze Datei oder gar ganze Dateien ... korrigier mich bitte ;)

 

und ich wollte nur darauf hinweisen da ich denke die Idee dahinter ist das seine 20 - 30 GB Dateien komplett im RAM gepuffert werden bevor Sie zur nvme geschrieben werden.

Link to comment
19 hours ago, alturismo said:

aber es wird nichts im RAM bereit gestellt

Doch sehr wohl. Linux nutzt 20% des freien RAM immer als Schreibcache und kopiert die Daten erst nach 30 Sekunden weg. Siehe auch:

 

 

16 hours ago, alturismo said:

praktisches Bsp. ich habe 40 GB frei im RAM, jetzt kokpiere ich Vollgas lokal von nvme zu nvme ... sagen wir 2 x 15 GB, dann würde der read speed ja am Anschlag sein für die 30 GB da die ja in den RAM laufen sollten ... von dort aus dann zum Ziel verarbeitet würden ... nur so verhält sich das ja nicht

Doch, genauso verhält es sich. Vorausgesetzt du hast 200GB freien RAM, da 20% wie gesagt der Standardwert ist.

 

Oder du hast den Standardwert entsprechend korrigiert.

 

Die Dateien bleiben übrigens im RAM. Eine gerade auf den Server hochgeladene Datei kommt daher beim folgenden Download nicht mal mehr vom Datenträger. Kann man testen. Man lädt eine 100MB Datei direkt auf eine HDD, dann dauert es 30 Sekunden bis Linux sie auf die HDD kopiert, dann versetzt man sie in den Spindown und lädt die Datei wieder runter. Die HDD geht dann nicht an (irgendwann schon, weil die Zugriffszeit geschrieben wird, aber das passiert bei Linux irgendwie viel später, ich glaub wenn die page caches durch irgendwas geflusht werden).

 

Natürlich verschwindet die Datei irgendwann wieder aus dem RAM, wenn andere Dateien gecached wurden. Linux überschreibt aber immer nur selten genutzte Dateien. Daher würde zb eine Plex Datenbank immer im RAM verweilen, weil sie ständig genutzt wird.

 

Und ja es sind eigentlich nicht "Dateien", die im RAM gecached werden, sondern deren Datenblöcke. Aus dem Grund funktioniert auch dieses Script, was nur 100MB eines Videos in den RAM lädt:

 

 

  • Like 1
  • Upvote 1
Link to comment
1 minute ago, alturismo said:

Werde ich mir mal bei Gelegenheit anschauen.

Mach das in jedem Fall. Ich finde das jedenfalls mega. Hätte am liebsten 1TB RAM und würde einfach alles da reinpacken, weil es ja auch mega effizient ist, wenn gar nicht mehr auf die Datenträger zugegriffen werden muss. Mal sehen ob wir bei DDR5 auch im Privatbereit endlich richtig dicke Module bekommen 😋

 

 

Übrigens ist mir aufgefallen, dass rsync den kompletten Schreibcache "verschwendet", während Dateien synchronisiert werden. Ich mein ist ja logisch, weil jede Datei individuell ist und automatisch damit erst mal "frisch" in den RAM geht, aber ich hätte gerne eine Ausnahme explizit für rsync. Weil Backup-Prozesse müssen echt nicht durch den RAM laufen. Falls da einer eine Idee hat, wie man das selektiv abschalten kann, würde ich mich freuen davon zu hören 🤗

 

Link to comment
10 minutes ago, mgutt said:

Mach das in jedem Fall. Ich finde das jedenfalls mega.

ich bin en Depp ... kann hier nicht funktionieren, ich hab dir dirty page Einstellungen bewusst runter gesetzt wegen der Empfehlung für Gaming VM's ;)

 

ich schieb das mal wieder hoch und schau es mir dann zuhause an ... ;)

 

12 minutes ago, mgutt said:

Falls da einer eine Idee hat, wie man das selektiv abschalten kann, würde ich mich freuen davon zu hören

 

selektiv wüsste ich jetzt nicht, temporär wäre ja kein Thema (nur während der backup task läuft) als Option

Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.