Empfehlung Unraid Rack Server

[Neo78]

Hallo,

 

Unraid ist für mich (noch) komplettes Neuland, bin vom System aber sehr fasziniert und denke daher dass diese Lösung das Richtige für mich ist.

Ich habe bzgl. Serverhardware diverse Foren durchstöbert sowie einige Youtube Videos angeschaut, bin aber aufgrund der enormen Auswahl, Verfügbarkeit, Vor- und Nachteile etc. im Moment komplett überfordert 🙈 Auch deshalb da ein Eigenbau eines PCs ca. 25 Jahre zurückliegt.

 

Von der Hardware sind "nur" ein paar HDDs (4x 3TB + 4x 6TB) vorhanden, ansonsten muss alles neu angeschafft werden. Vor kurzem habe ich meinen kleinen Rack-Wandschrank durch einen 32HE Stand-Schrank mit 1000mm Tiefe ersetzt, Platz ist also kein Problem 🙂

 

Beim Rack-Servergehäuse (was auch ziemlich schwierig ist ein passendes zu finden) bin ich auf ein Modell gestoßen das mein Interesse geweckt hat. Ist zwar komplett oversized, sollte für die Zukunft jedoch ausreichend Reserve bieten. 4U Server Case (lieferbar im Moment bei alibaba)

 

Mein Einsatzzweck sieht wie folgt aus:

- 24/7 Betrieb

- (großes) Filmarchiv mit Möglichkeit von Transcodierung (Plex usw.)

- Datenbackup / Filearchiv

- Einsatz von Docker Containern (Vaultwarden, UnifiController etc.)

- Evtl. einige VMs zum testen

 

Hardware:

Jetzt kommt der schwierig Teil 😬 Wie anfangs bereits erwähnt habe ich keine Hardware (außer HDDs) und benötige deshalb alle restlichen Hardwarekomponenten wie Netzteil, Motherboard, RAM, CPU, Grafikkarte (?), HBA, NVMe (SSD Cache), weitere HDDs (Parität) usw.

 

Meine Vorstellung sieht im Groben wie folgt aus:

- Rack-Gehäuse mit Hot-Plug HDD Unterstützung wäre sehr schön

- ECC RAM (kein must have aber nice to have) how much ?

- CPU, Motherboard (bin für alles offen)

- IPMI wäre super

- SSD Cache (je 2St, 1TB damit auch andere, performantere Dienste darauf laufen können)

- 2 Paritäts HDDS (geplant sind weitere 3-4St. 10 oder 14TB HDDs anzuschaffen)

- 1 Gbit NIC zum starten, 10Gbit für später geplant

- Energieersparnis ist zwar nicht unwichtig, steht aber auch nicht an 1. Stelle

- Preis / Leistung sollte noch im Rahmen bleiben, bin aber auch bereit Einiges zu investieren (Weihnachtsprämie muss herhalten😛)

 

Ich wäre euch wirklich sehr dankbar wenn ihr mir einige Tips über die Feiertage geben könntet, vielleicht hat jemand auch einen Link mit einer interessanten Hardwarezusammenstellung

 

Ich bedanke mich schon mal im Voraus und wünsche Frohe Weihnachten!

 

Grüße Jürgen

 

 

[DataCollector]

12 hours ago, mr.sarge said:

Beim Rack-Servergehäuse (was auch ziemlich schwierig ist ein passendes zu finden) bin ich auf ein Modell gestoßen das mein Interesse geweckt hat. Ist zwar komplett oversized, sollte für die Zukunft jedoch ausreichend Reserve bieten. 4U Server Case (lieferbar im Moment bei alibaba)

 

Das sieht mir ziemlich bauähnlich/baugleich aus wie diverse der Inter-Tech 4U Gehäuse.

4HE 24er passive Hotswap Backplane mit 3x 12cm internen Lüftern. Ansonsten leer.

 

Mit Zoll, Steuer und allen Scherereien wirst Du bei einem Import vermutlich kaum unter 500 Euro wegkommen.

Ich würde mir überlegen ob ich dann nicht gleich etwas hier in DE kaufe (ich vermute mal, daß Du in DE sitzt).

https://geizhals.de/?cat=geh19&xf=1036_Inter-Tech~7647_24~895_4

 

Bist Du sicher, daß Du wirklich ein 24er haben willst? Sollen die Festplatten zukünftig (fast) alle in ein Array rein?

Ich habe 6 solche gehäuse im Einsatz (eines mit unraid, 5 Stück teilweise miteinander verbunden unter Windows). (Sind zwar Vorgänger der aktuellen Inter-Tech Modelle, aber laufen auch heute noch gut. Musste aber in den letzten ca. 10 Jahren 2 der Backplanes austauschen.)

 

Es ist nicht einfach 24 SATA Ports irgendwie stromsparend auf ein Mainboard zu bringen.

Mehrere kleine und stromspare Kontroller (ASM1064, 1164 1166) erfordern ein Mainboard (oder PCIe Switch-Tricks) welches soviele PCIe Slots hat. Das sind dann aber selber keine kleinen und sparsamen Mainboards.

Oder man nimmt einen großen (SAS) Kontroller (selber nicht stromsparend), aber da er nur einen PCIe Slot braucht kann man da ein eher sparsames Mainboard drunter packen.

Bevor man später das Mainboard passend austauschen muß, sollte man von Anfang an schon eine geeignete Basis wählen.

 

Ich verweise zu dem Thema mal auf meien SATA FAQ, bei der ich die aktuellen Techniken etwas beleuchtet habe.

https://forums.unraid.net/topic/132205-faq-grundlagen-zusatzkarte-für-sata-ports-v12-stand-08052023/

 

12 hours ago, mr.sarge said:

- (großes) Filmarchiv mit Möglichkeit von Transcodierung (Plex usw.)

 

Transcoden/plex: Das macht man sinnvoll (und möglichst sparsam) auf der iGPU. Bei Intel bis 10. Gen. konnte man die iGPU mit geeignetem Plugin auch noch parallel anderweitig nutzen. Seit Intel 11. Gen geht das so nicht mehr.

Aber wenn Du die iGPU nur zum transcoden brauchst ist das mit aktuellen Intel 12-14.Gen möglich.

Ich plexe aber nicht. Dazu müssen Dir Andere genaueres sagen.

 

12 hours ago, mr.sarge said:

- Evtl. einige VMs zum testen

 

Solange Du keine nennenswerten Anforderungen an die Grafikfunktion in den VMs hast geht das wunderbar.

Sobald Du in den VM auch GPU Leistung brauchst Gaming oder anspruchsvolle Berechnungen oder so) ist das mit neuern Intel CPUs (ab11.gen) nicht mehr gleichzeitig möglich (siehe oben). Eine zusätzliche dGPU hingegen frißt einerseits mehr Strom und mindestens einen PCIe Steckplatz.

Aber wenn es eben nur VM auf der Basis von BüroPC Grafikbedarf sind, das kann unraid simuliert wunderbar leisten.

 

12 hours ago, mr.sarge said:

Hardware:

Jetzt kommt der schwierig Teil 😬 Wie anfangs bereits erwähnt habe ich keine Hardware (außer HDDs) und benötige deshalb alle restlichen Hardwarekomponenten wie Netzteil, Motherboard, RAM, CPU, Grafikkarte (?), HBA, NVMe (SSD Cache), weitere HDDs (Parität) usw.

 

Das Thema ist nicht schnell erledigt!

Seit kurz vor Corona hat sich der Markt stark verändert und es gibt aktuell ein Spannungsfeld zwischen Lieferbarkeit, gestiegenen Preisen, immer schlechter werdender Verfügbarkeit wirklich sparsamer Neuware, Hardwareentwicklungen die gerade für Leute mit viel Festplattenbedarf eher negativ sind, etc....

Falls Du wirklich jetzt schon für zukünftigen Vollausbau planen willst  fängt es bei Mainboard und CPU an, da das Mainboard ja genug Steckplätze für die SATA/SAS Kontroller braucht. Und bevor wir da vielleicht doch falsch dimensionieren: 

Bist Du ganz sicher, daß Du das (so ein) 24er Gehäuse haben und das ggf. auch wirklich zukünftig voll nutzen willst?

 

Bei wirklich 24 (oder mehr) Festplatten/SSD und zusätzlich noch NVMe SSD ist die Wahl des/der Kontroller/s wichtig, da das Mainboard ausreichend passende PCIe Anbindungen braucht.

a) Willst Du also einen SAS HBA mit vielen Ports nehmen, wird das nicht stromsparend, aber Du brauchst nur einen PCIe Slot auf dem Mainboard und dann kann das Mainboard klleiner (sparsamer) ausfallen.

b) Willst Du lieber viele kleine SATA Kontroller nehmen, muß das Mainboard größer ausfallen, da die alle darauf ja ihren Anschluß brauchen. Dann sind die Kontroller zwar einzeln recht sparsam, aber das Mainboard verbraucht mehr.

c) Du kannst auch einen eher kleinen (aler nicht so sparsamen) SAS Kontroller mit 4-8 Ports nehmen und die festplatten per SAS Expander anbinden. Leider schlucken SAS Kontroller und SAS Backplane beide auch wieder so einiges an Strom, aber dass Mainboard braucht dann auch nur 1 PCIe Slot dafür.

 

Ich hoffe Du erkennst, der Wunsch nach bis zu 24 (oder mehr im Vollausbau) Festplatten und deren Anbindung ist hier ein wichtiger Faktor für die Wahl des Mainboards. Und anders herum, kann man mit einem beispielsweise zu kleinen Mainboard sich diverse Möglichkeiten verbauen.

Momentan hast Du nur 8 Festplatten und kommst damit anscheinend klar.

Vielleicht wäre es sinnvoller kein 24er Gehäuse zu nehmen oder zumindest nicht den Vollausbau anzustreben.

Wenn Du ein Gehäuse für 8, 12 oder 16 Festplatten nimmst und die Festplatten im Laufe der Jahre größer wählst wären heutzutage mit 18 oder 20 TB Festplatten schon gigantische Lagerplätze aufbaubar.

 

Auch zu bedenken: je weniger Festplatten, desto sparsamer kann ein System sein.

Aktuell hast Du rund 36TB Kapazität.

Wenn Du 3x 12TB Festplatten nimmst hast Du die gleich Nutzkapazität.

Oder 2x 18TB?

Dazu jeweils noch eine Parity und Du brauchst kein Monstergehäuse, keine(n) Monster SATA/SAS Kontroller, kannst ein sparsames Mainboard suchen, etc...

Nur so als Idee.

 

12 hours ago, mr.sarge said:

Meine Vorstellung sieht im Groben wie folgt aus:

- Rack-Gehäuse mit Hot-Plug HDD Unterstützung wäre sehr schön

 

Wie schon geschrieben: überlege zuerst, mit welcher Festplattenaustattung die nächsten 5-10 Jahre auskommen wirst. Ich zweifele, wenn Du bisher 36TB hast, daß Du in 5-10 Jahren ein paar hundert TB in 24 Schächten brauchst.

 

12 hours ago, mr.sarge said:

- ECC RAM (kein must have aber nice to have) how much ?

 

Echtes ECC ist ein heißes Eisen.

so um Corona herum war mit den früheren Intel-Generationen (bis 10.Gen) ECC noch halbwegs erschwinglich zu haben und auch noch ausreichend Leistungsfähig (beispielsweise Chipsätze: C246, W480, etc ...)

 

Seit den aktuellen 12-14-Gen muß man entweder zu heftig teueren W680 Chipsätzen oder den ganz neuen C Chipsätze greifen. Doch die Mainboards damit habe in der Regel eine Pferdefuß. Entweder kaum/nicht lieferbar oder ungeschickte Ausstattung für sowas wie unraid oder zu wenieg Slots oder nur CPUs ohne iGPU oder ... oder ...oder.

Und das, obwohl Intel endlich sehr leistungsfähige Consumer CPUs mit ECC Fähigkeiten bestückt hat (oberhalb der I3 Serie).

Irgendwie plant Intel da nicht wirklich sinnvoll. (Meine persönliche Meinung)

 

12 hours ago, mr.sarge said:

- CPU, Motherboard (bin für alles offen)

 

Die Mainboardwahl muß zu der Festplatenzahl, bzw der Kontrollerzahl passen. Auch hier wieder: Überlege als erstes ob es wirklich 24 (oder mehr) sein sollen.

 

12 hours ago, mr.sarge said:

- IPMI wäre super

 

Schluckt permanent extra Strom. Ist es so schwer bei Bedarf in den Keller/zum Rack zu gehen und Monitor und Tastatur anzuschließen/einzuschalten?

 

12 hours ago, mr.sarge said:

- SSD Cache (je 2St, 1TB damit auch andere, performantere Dienste darauf laufen können)

 

Mit Hinblick auf Deine Festplattenkapazität würde ich vielleicht sogar direkt zu 2TB NVMe SSDs raten. Viel Cache hilft viel, wenn man auch viel schreiben will.

 

12 hours ago, mr.sarge said:

- 2 Paritäts HDDS (geplant sind weitere 3-4St. 10 oder 14TB HDDs anzuschaffen)

 

Naja, das Thema "vielleicht lieber wenige Größere als massig viele winzige Festplatten" hatte ich oben ja schon.

 

12 hours ago, mr.sarge said:

- 1 Gbit NIC zum starten, 10Gbit für später geplant

 

10GBLan zum Nachrüsten erfordert aktuell auf dem Mainboard mindestens einen PCIe 3.0 x4 Slot Steckplatz. Also das sollte Dein Mainboard zumindest bieten.

 

12 hours ago, mr.sarge said:

- Preis / Leistung sollte noch im Rahmen bleiben, bin aber auch bereit Einiges zu investieren (Weihnachtsprämie muss herhalten😛)

 

Was ist denn hier der Rahmen?

24er Gehäuse, ECC Mainboard, CPU, Ram, Netzteil, HBS/SATA Kontroller, SFF.Kabel etc... also unter 1000 Euro wird schon kaum machbar (vor allem, bei Neuware).

24er Gehäuse und ECC sind hier die primären Preistreiber und entscheiden eigentlich schon fast alles andere. Deshalb hier nochmal überlegen.

 

Nur so, falls Dich ein 24er Aufbau unter unraid interessiert: hier ist mein 1st System "Tessa" zu sehen wie ich ihn 2022 zusammengebaut habe:

https://forums.unraid.net/topic/120263-vorstellung-erster-unraid-server-4he-noch-kein-finaler-stand-erreicht/

 

(Leider habe ich seit ca. 2 Wochen dabei ein technisches Festplatten/Kontroller-Problem, aber die Tage werde ich da wohl ran gehen und suchen).

Edited December 24, 2023 by DataCollector
Typos und kleine Anpassungen

[Neo78]

Hallo DataCollector,

 

erstmal vielen Dank für die ausführliche Antwort! 👍

8 hours ago, DataCollector said:

Bist Du sicher, daß Du wirklich ein 24er haben willst? Sollen die Festplatten zukünftig (fast) alle in ein Array rein?

Nein, absolut nicht; denke dass ein Gehäuse mit 12 - 16 Bays auf jeden Fall ausreichen sollte

 

8 hours ago, DataCollector said:

Solange Du keine nennenswerten Anforderungen an die Grafikfunktion in den VMs hast geht das wunderbar.

Nein, keine Grafikfunktion, sollte also ausreichen.

 

8 hours ago, DataCollector said:

Schluckt permanent extra Strom. Ist es so schwer bei bedarf in den Keller/zum Rack zu gehen und Monitor und Tastatur anzuschließen?

Stimmt auch wieder, so weit bin ich nicht vom Rack entfernt 🙂 Und wenn das System mal läuft muss man auch nicht jeden Tag ran ...

 

8 hours ago, DataCollector said:

Was ist denn hier der Rahmen?

mit 1.000€ hab ich auf jeden Fall gerechnet, wäre auch bereit mehr zu investieren (1.500€ - 2.000€)

 

Die Basis ist - wie du erwähnt hast - sicher entscheidend!

[DataCollector]

1 hour ago, Neo78 said:

Erstmal vielen Dank für die ausführliche Antwort! 👍

Ich bin leider meist etwas wortreicher unterwegs, aber das Them aist eben etwas komplexer und man muß eben so einiges beachten.

 

1 hour ago, Neo78 said:

Nein, absolut nicht; denke dass ein Gehäuse mit 12 - 16 Bays auf jeden Fall ausreichen sollte

 

Es spricht nichts (außer den Kosten) dagegen ein 24er Gehäuse zu nehmen (da passen Standard ATX Netzteile hochkant gut rein), aber man muß die Plätz eja nicht alle belegen. Deshalb gehe ich ab hier mal von 12-16 Festplatten aus.

Die meisten aktuellen Intel Mainboards haben 4 OnBoard SATA Anschlüsse. Somit müssen nur noch 8-12 SATA Ports zusätzlich geschaffen werden.

Dazu würden sich 2 SATA Kontroller mit je einem ASM1166 Chip anbieten.

- Bei nur 8 Ports würden sogar 2 der Kontrollerkarten mit PCIe 3.0 x1  reichen, bei denen man je nur 4 der vohandenen 6 SATA Ports im Array benutzt. PCIe 3.0 x1 reicht (in meinen Augen) vollkommen für Festplatten aus. Für perfromante SATA SSDs wäre es zu langsam/bremsend, weshalb SATA SSDs an den OnBoardkontroller (und nicht ins Array) gehören.  Jeder dieser Kontroller schlägt aktuell mit um die 30 Euro zu Buche. Diese Konstellation ht den Vorteil, daß man eben auch mit den öfters vorhandenen PCIE 3.0 x1 Steckpläzen auf dem Mainboard auskommt.

- Bei 12 zusätzlichen SATA Ports wären zwar auch 2 Stück ASM1166 meine Wahl, aber dort auf einer PCIe 3.0 x4 Steckkate (die elektrisch aber nur x2 benutzt).

Das erfordert aber eben auch 2 solche x4 (oder breiter) Steckplätze und mit Deinem Wunsch nach 10GBLan wären dann schon 3 dieser PCIe Schnittstellen erforderlich.

Das findet sich auf Mainbord selten in PCIe Slotform.

Aber Du hast Glück: diese Kontroller gibt es auch in einer M.2 Bauform und heute Mainboards haben gerne mal mehrere M.2 Slots.

Damit wären zumindest die ASM1166 Kontroller für je bis zu 6 performante SATA Ports als M.2 möglich.

Pferdefuß:

a) diese M.2 stehen dann nicht mehr für NVMe SSDs zur Verfügung.

b) Auch kann es bei einigem Mainboards sein, daß die Benutzung eines M.2 Steckplatzes das Abschalten einer anderen Funktion auf dem Mainboard bewirkt.

 

Kleiner Nebenschauplatz:

Daß diese 12-16 Ports irgendwie verkabelt werden wollen und das einen ziemlichen "Kabelwust" darstellt sollte bekannt sein!

Und da die Backplanes in solchen Gehäusen meist mit SFF SAS Steckverbindern realisiert werden wirst Du spezielle reverse "Krakenkabel" brauchen. Kostenpunkt für 4 Festplattenplätze jeweils rund 20 Euro.

 

1 hour ago, Neo78 said:

Nein, keine Grafikfunktion, sollte also ausreichen.

Super, dann sind die heutigen Intel 12. bis 14. Gen Systeme eine realistische Wahl.

 

1 hour ago, Neo78 said:

Stimmt auch wieder, so weit bin ich nicht vom Rack entfernt 🙂 Und wenn das System mal läuft muss man auch nicht jeden Tag ran ...

 

Ich habe das für mich (bequem) so gelöst: ich habe einen "KVM oder IP Adapter" (gebrauchten Aten CN8600) der per KVM Switch gleich mehrere Geräte auch auf BIOS/UEFI-Ebene fernsteuerbar macht. Somit wird der Strom, den diese Lösung verbraucht auf mehrere Geräte umgerechnet auch über das Jahr 'erträglicher' und ist mit seinem externen Netzteil auch bei Bedarf (stromsparend) abschaltbar.

Aber leider sind auch diese exterenen KVMoverIP Lösungen in den letzten Jahren als Gebrauchtware seltener bei ebay zu finden gewesen und Schnäppchenpreise dafür (ich habe einen sogar mal unter 50 Euro bekommen) sind auch kaum noch zu finden.

 

1 hour ago, Neo78 said:

mit 1.000€ hab ich auf jeden Fall gerechnet, wäre auch bereit mehr zu investieren (1.500€ - 2.000€)

 

Damit ist ECC auf W680 machbar.

Ich habe hier mal vorgefiltert, was bei GH zu finden ist (leider ist GH bei diesen Exoten nicht volständig).

mindestens 2x M.2 PCIe für die ASM1166 Zusatzkontroller und

mindestens 1x PCIE x4 für Dein zukünftiges 10GBLan

 

Das fängt somit bei rund 500 Euro für das Mainboard an (teils DDR4, teils DDR5).
https://geizhals.de/?cat=mbp4_1700&xf=11924_2%7E12417_1%7E494_ECC-RAM+Unterst%FCtzung

 

CPU Sockel 1700 mit ECC beginnt beo aktuell rund 250 Euro
https://geizhals.de/?cat=cpu1151&xf=5_ECC-Unterst%FCtzung%7E5_Grafik+(iGPU)%7E820_1700

 

32GB Modul DDR4 Ram mit ECC
Kingston Server Premier DIMM 32GB, DDR4-3200, CL22-22-22, ECC KSM32ED8/32HC 
um ca 75 Euro/Stück

 

DDR5 mit echtem ECC ist wohl auch nicht billiger.
 

Bis hierhin sind in dieser untersten Stufe rund 800 Euro futsch.

 

Netzteil: Ich habe in meinem 24er zu einem Corsair 2021 Edition RM850x gegriffen, weil es a untenrum recht effizient ist (auch wenn das System nie diese niedrigen Wert eerreicht), aber auch (für heutige Verhältnisse) noch ausreichend viele Anschlußmöglichketen hat. Leider ist heute das Minfactory Mindstar Angebot dafür ausgelaufen (129 Euro versandkostenfrei). Bei einem System mit vielen festplatten mußt Du Dir Gedanken machen, wie Du alle Festplatten mit Strom versorgst. Diese Gehäuse mit Backplanes brauchen pro Backplane (für 4 gemeinsame festplatten) in der Regel mindestens einen PATA (4pol) Molex Stromamnschluß. Das ist heutzutage eher selten und meist in den falschen Kabellängen.

Ich habe da dann doch selber mir einen Kabelbaum gebastelt (siehe in meinem vorherigen Beitrag mein 1st System "Tessa" verlinkt.

Mein RM850x ist übrigens überdimensioniert. Mein System ist in Summe für 30 festplatten + mehrere SSDs (SATA +NVMe ausgelegt) und selbst beim Start werden keine 500 Watt erreicht. Somit kannst Du auch ein 550W Netzteil anstreben. Aber wie gesagt. Du brauchst ein Netzteil mit ausreichend vielen Anschlüssen für Festplatten/Periopherie und genug Leistung auf der (möglichst zusammengeschalteten) 12V Schiene.

Dafür geht dann wohl nochmal 150-200 Euro bei drauf.

 

Dazu noch die erwähnten "reverse" Krakenkabel und zwei ASM1166 Kontroller = 100-150 Euro

 

+ Gehäuse (300-500 Euro)

Voila, 1600 Euro sind schon verplant.

Da bleiben dann noch rund 400 Euro für größere/sinnvollere Festplatten/SSDs und Du hat die 2kEuro Grenze erreicht!

 

Nur so als Info gedacht, in welch Richtung das geht.

 

Ohne ECC: billigerer Speicher, billigeres Mainboard (CPU wird kaum billiger, wenn Du eben auch die eine oder andere VM nutzen willst). Da kann man schon 100-200 Euro in Summe eimsparen.

 

Achja, ich habe mit Absicht kein AMD angesprochen. Es gibt so einige Leute, die mit AMD unter unraid glücklich sind.

Ich nutze ausschließlich Intel, weil ich zu oft dann doch von vereinzelten Problemfällen bei einigen AMD Konfigurationen las.

Das ist aber eben meine persönliche Meinung.

 

[Neo78]

1 hour ago, DataCollector said:

Ich bin leider meist etwas wortreicher unterwegs, aber das Them aist eben etwas komplexer und man muß eben so einiges beachten.

 

nochmals Danke, so kann ich noch viel dazulernen! Ich werde versuchen eine Liste der Hardwarekomponenten (aufgrund deiner Empfehlungen) zusammenzustellen und hier zu posten. Hast du noch einen Tip bzgl. Rack-Gehäuse (mit evtl. weniger Bays)? Ansonsten spricht glaube ich auch nichts gegen ein Inter-Tech (auch wenn es wahrscheinlich nie voll belegt wird.)

 

Eine Frage am Rande: hätte die Möglichkeit (günstig) an einen HP ProLiant DL380 G8 Server zu kommen (im Moment mit 6x4TB HDDs belegt). Bin aber der Meinung daß ein Solcher Server im Bezug auf Stromverbrauch, Lautstärke usw. wahrscheinlich nicht interessant ist ...

 

viele Grüße und schöne Feiertage!

[DataCollector]

On 12/24/2023 at 1:23 PM, Neo78 said:

 

nochmals Danke, so kann ich noch viel dazulernen! Ich werde versuchen eine Liste der Hardwarekomponenten (aufgrund deiner Empfehlungen) zusammenzustellen und hier zu posten. Hast du noch einen Tip bzgl. Rack-Gehäuse (mit evtl. weniger Bays)? Ansonsten spricht glaube ich auch nichts gegen ein Inter-Tech (auch wenn es wahrscheinlich nie voll belegt wird.)

 

Ich habe vorhin mal bei GH durchgelistet.

Bei kleineren (2HE; 3HE) Gehäusen gibt es einiges, aber dann paßt ggf. kein normales ATX Netzteil mehr rein.

In so fern ist das 24er Gehäuse zwar nicht billig (aber es geht auch weitaus teurer) aber wie gesagt würde ich das in Deiner Situation nicht für Vollbestückung vorsehen.

 

Ich selber habe nur mit den Inter-tech, einem Gooxy und einem Fantec Gehäuse Erfahrung. Die Inter-Tech sind billig aber gut aufgebaut. Ein paar scharfe Kanten sind drin. Das Fantec, welches ich als günstigeren Ersatz mal gekauft habe steht immer noch hier rum, weil es (meiner persönlichen Meinung nach) sehr schlechte Qualität ist. Das Fantec SRC-4240X07  stufe ich als Fehlkauf ein.

Das Gooxy ist die Basis meines unraidsystemes, weil zu der Zeit (als der CHIA Boom groß war) kaum etwas anderes in der Art so günstig bekommen war und hat sich eigentlich als Glücksfall herausgestellt. War aber ein Resteverkauf/Einzelstück.

 

Zu dem Fantec hatte ich auf Nachfrage mal die wichtigsten meiner Kritikpunkte gelistet:

https://forums.unraid.net/topic/111512-hardware-serverstromversorgung-für-angedachtes-4he-unraidsystem/?do=findComment&comment=1017393

 

On 12/24/2023 at 1:23 PM, Neo78 said:

Eine Frage am Rande: hätte die Möglichkeit (günstig) an einen HP ProLiant DL380 G8 Server zu kommen (im Moment mit 6x4TB HDDs belegt). Bin aber der Meinung daß ein Solcher Server im Bezug auf Stromverbrauch, Lautstärke usw. wahrscheinlich nicht interessant ist ...

 

Schöne 2HE Technik, wenn man sowas beruflich (aus)nutzt. Privat haben solche Systeme (gerade unter unraid) einen hohen Stromverbrauch, welcher kaum zu senken ist, da sie eher auf Stabilität, als effizienz und sparsamkeit ausgelegt sind. Das gerät gibt es in diversen optionalen Ausstattungen/Aufrüstungen. ich weiß nicht, was man DIr da genau anbietet.

Beachte auch, daß die Proliant meist mit der 2,5inch Backplane ausgestattet sind. Für 3,5inch Festplatten umzurüsten kostet dann extra Geld.

In der Regel ist die Hardware darin auch sehr speziell und auf SAS Basis. Auch sind die redundanten Netzteile ein höherer Stromverbrauch.

Ob man bei Deinem beschriebene Anwendungszweck wirklich ein Dual Xeon System braucht sehe ich bei unraid als fraglich an.

 

Auch wenn mich die Technik darin schon interessiert, sehe ich diese Serversyteme als nicht empfehlenswert für unraid und Deine Nutzung an.

 

Edited December 27, 2023 by DataCollector

[Neo78]

Hallo,

 

ich habe begonnen mal eine Liste der Hardwarekomponenten zusammenzustellen. Ob das jetzt final wird kann ich noch nicht sagen, mir wäre mal wichtig zu verstehen ob es so "funktioniert" 🙂

 

Vorhanden:

4x 3TB HDD WD30EFRX

4x 6TB HDD WD60EFRX

 

Wunschliste:

https://geizhals.de/wishlists/3637142

 

Rack-Gehäuse: Inter-Tech 3U-3416, 3HE

Motherboard:   ASUS Pro WS W680-Ace IPMI

CPU:               Intel Core i5-13500, 6C+8c/20T, 2.50-4.80GHz, boxed

                      evtl. besseren, separaten Kühler: ??

RAM:               2x Kingston Server Premier DIMM 32GB, DDR4-3200, CL22-22-22, ECC

Netzteil:          Corsair RM White Series 2021 RM850 850W ATX 2.4

                      zusätzliche Kabel notwendig?

SSD-Cache:     2x Samsung SSD 970 EVO Plus 2TB, M.2

                      werden direkt auf Mainboard eingesetzt (?)

HDDs              zusätzliche HDDs (Array, Parity) noch zu definieren

 

SATA-Anbindung (Variante 1):

Wenn ich es richtig verstehe benötige ich für die SATA HDD Anbindungen mit dem Inter-Tech Gehäuse folgende Kabel

2x Inter-Tech SATA 6Gb/s Anschlusskabel SFF-8643 Stecker auf 4xSATA Stecker Schwarz/Blau

 

Anbindung SATA Ports mit 2St. ASM1166

Was wäre hier empfehlenswert? z.B. Erweiterungskarte für ASMedia ASM1166 Master, PCI-E3.0

 

SATA-Anbindung (Variante 2):

Als Alternative evtl. sinnvoll/möglch:

Broadcom LSI 9300-16i SATA / SAS HBA Controller

miniSAS Kabel SFF8643 auf SFF8643 (4St, Verbindungskabel Controller/Backplane)

 

Habe ich hier mehr oder weniger alles bedacht oder muss ich noch das eine oder andere dazubestellen?

 

Grüße,

 

Jürgen

 

Edited December 27, 2023 by Neo78

[hawihoney]

2 hours ago, Neo78 said:

miniSAS Kabel SFF8643 auf SFF8643 

 

Bist Du Dir sicher? In den spärlichen Details fand ich das:

 

Quote

4x Hot-Swap Backplanes mit je einer SFF-8087 Buchse

 

https://www.inter-tech.de/produktdetails-10/3U-3416.html

 

Die verbauen wohl 4x Backplane-Streifen für je 4x Festplatten und mit je einer SFF-8087 Buchse. Überprüfe das bitte vorsichtshalber nochmal.

 

Durch diesen Aufbau ist man gezwungen 4x SFF-8087 anzubinden (deshalb 9300-16i), was meiner persönlichen Meinung nach völliger Overkill ist.

 

Ich mag deren Gehäuse nicht - bin eher Supermicro orientiert - aber im Moment ist die Bucht ziemlich ausgetrocknet. Sonst hätte ich Dir eher zu gebrauchten Supermicros geraten. Die sind höllisch laut aber sind massiv/schwer, robust und langlebig.

 

Das Pendant zu dem InterTech Backplane Aufbau wäre z.B. bei Supermicro die BPN-SAS2-836EL1 Backplane. Da schließt man nur maximal 2x SFF-8087 an. Alle drei vorhandenen Anschlüsse (EL1) verhalten sich wie an einem Switch und können IN und OUT (für zusätzliche Gehäuse via Expander Chip):

 

https://www.supermicro.com/manuals/other/BPN-SAS2-836EL.pdf

 

Edited December 27, 2023 by hawihoney

[DataCollector]

Ich bin mal so frei etwas umzusortieren.

2 hours ago, Neo78 said:

Rack-Gehäuse: Inter-Tech 3U-3416, 3HE

Netzteil:          Corsair RM White Series 2021 RM850 850W ATX 2.4

 

Wie soll ein Standard ATX Netzteil in das Gehäuse passen?

 

2 hours ago, Neo78 said:

Motherboard:   ASUS Pro WS W680-Ace IPMI

RAM:               2x Kingston Server Premier DIMM 32GB, DDR4-3200, CL22-22-22, ECC

 

Ein Mainboard für DDR5 und Speicher als DDR4 Version?

Info:

a) Das Mainboard soll 4 Standard SATA Ports und 4 weitere SATA Anschlüsse auf Slim SAS SFF-8654 bieten (Spezialkabel!).

b) leider habe ich im Handbuch zum Mainboard kein Blockschaltbild gesehen, so daß ich ncih sagen kann ob es EInschränkungen gibt, je nachdem ob/welceh Anschlüsse man auf dem Board nutzt oder nicht.

 

2 hours ago, Neo78 said:

CPU:               Intel Core i5-13500, 6C+8c/20T, 2.50-4.80GHz, boxed

                      evtl. besseren, separaten Kühler: ??

 

CPU ist gut und unterstützt auch ECC. Extra Kühler kann man nehmen, braucht man aber nicht, da er in dem Gehäuse (mit eigenen Lüftern) wohl kaum lauter sein wird als die Gehäuselüfter.

 

2 hours ago, Neo78 said:

SSD-Cache:     2x Samsung SSD 970 EVO Plus 2TB, M.2

                      werden direkt auf Mainboard eingesetzt (?)

 

Ich finde die SSDs gut.

Auf das Mainboard: Ja, kann man machen. Das Mainboard soll ja 3 Stück geeignete M.2 Slots haben.

 

2 hours ago, Neo78 said:

SATA-Anbindung (Variante 1):

Wenn ich es richtig verstehe benötige ich für die SATA HDD Anbindungen mit dem Inter-Tech Gehäuse folgende Kabel

2x Inter-Tech SATA 6Gb/s Anschlusskabel SFF-8643 Stecker auf 4xSATA Stecker Schwarz/Blau

 

Ich kann leider nicht erkennen ob es Reversekabel sind. Wenn es solche Reverse Kabel sind, sind die geeignet die Backplane mit dem SFF SAS Stecker auf Standard SATA Ports zu adaptieren. Ob Dir in dem Gehäuse 0,5m lange Kabel reichen, weiß ich nicht. Ich mußte in meinem Gooxy ca 80cm lange SAS-Kabel verwenden.

 

2 hours ago, Neo78 said:

Anbindung SATA Ports mit 2St. ASM1166

Was wäre hier empfehlenswert? z.B. Erweiterungskarte für ASMedia ASM1166 Master, PCI-E3.0

 

Die verlinkte Steckkarte hat den korrekten Chip, aber ist nur PCIe x1 Angebunden. Das könnte etwas bremsen, wenn Du neuere Festplatten (ca. 250 Mbyte/s) einsetzt, weil davon keine 6 Stück gleichzeitig voll 'befeuert' werden können.

Man kann diese ASM1166 Konttollerkarten mit einer PCIe 3.0 x2 Anbindung kaufen, dann sind sie maximal Leistungsfähig mit allen 6 Ports nutzbar (bei gleichzeitiger Nutzung aller 6 Ports, schafft jeder Port bis zu rund 330 MByte/s, was für heutige Festplatten vollkommen ausreichent.

 

Diese ASM1166 Karten (elektrisch PCie 3.0 x2) gibt es in 2 grundlegenden Bauformen:

 

Einmal für M.2 PCIe/NVME Steckplätze:

https://www.ebay.de/itm/296031282252

Davon hast Du auf dem Mainboard ja noch einen frei, wenn Du die beiden SSD eingebaut hast.

 

Oder auch als normale Steckkarte für einen PCIe x4 Slot (auch wenn darin nur elektrisch x2 benutzt werden):

https://www.ebay.de/itm/144688976175

https://www.amazon.de/MZHOU-Erweiterungskarte-6-Port-Chip-Integrierter-Adapterkonverter/dp/B08F56WKW7

von denen das Mainboard 2 Slots haben soll:  "2x PCIe 3.0 x16 (x4)"

 

2 hours ago, Neo78 said:

SATA-Anbindung (Variante 2):

Als Alternative evtl. sinnvoll/möglch:

Broadcom LSI 9300-16i SATA / SAS HBA Controller

 

Hier gibt es die aktuell gebraucht einzeln billiger

https://www.ebay.de/itm/132757462768

 

 

2 hours ago, Neo78 said:

miniSAS Kabel SFF8643 auf SFF8643 (4St, Verbindungskabel Controller/Backplane)

 

Wenn es nicht eilig ist; des öfteren sind SFF-Kabel bei ebay oder AliExpress (alles auch china) etwas billiger zu haben.

Gerade, wenn man mehrere braucht kann sich das rechnen. Aber es dauert eben so 2 Wochen, bis die da sind.

Nebenbei hat hawihoney recht, die Backplanes in dem Gehäuse haben keinen SFF 8643 Anschluß.

(Siehe Screenshot unten).

 

2 hours ago, Neo78 said:

Habe ich hier mehr oder weniger alles bedacht oder muss ich noch das eine oder andere dazubestellen?

 

Du hast irgendwie einiges an inkompatibler Technik zusammengestellt.

Das ATX Netzteil wird wohl zu groß sein um es hochkant in 3HE einzubauen,

die Speichermodule passen nicht zum Mainborad

und die SFF Kabel zwischen SAS Kontrolelr und Backplane sind die falschen.

 

Und nur, damit es nochmal klar wird: In der konstellation ist "stromsparend" ein nicht mehr wirklich passendes Prädikat.

 

Edited December 27, 2023 by DataCollector
Kleien Anpassung wegen Kabeln

[Neo78]

Hallo hawihoney,

 

danke für die Info, bzgl. SFF Anschlüssen Gehäuse Backplane hast du recht

 

51 minutes ago, hawihoney said:

Durch diesen Aufbau ist man gezwungen 4x SFF-8087 anzubinden (deshalb 9300-16i)

 würde so etwas dann auch nicht funktionieren? 10Gtek® SFF-8087 zu 4xSATA Mini SAS Kabel

 

bzgl. Rack-Gehäuse ist es wirklich schwer etwas passendes zu finden, dachte mit Inter-Tech ein passendes Modell gefunden zu haben wo auch die Lieferbarkeit gegeben ist. 

[Neo78]

Hallo DataCollector,

 

47 minutes ago, DataCollector said:

Wie soll ein Standard ATX Netzteil in das Gehäuse passen?

Glaube das müsste mit dem mitgelieferten Zubehör realisierbar sein? 

 

56 minutes ago, DataCollector said:

Und nur, damit es nochmal klar wird: In der konstellation ist "stromsparend" ein nicht mehr wirklich passendes Prädikat.

hm, hast du nicht selber ein Inter-Tech Gehäuse im Einsatz? War der Meinung dass ich hiermit mit den "richtigen" Pfad einschlage 🤔

 

womöglich muss ich nochmals die Auswahl von Gehäuse (mit entsprechender Kompatibilität bzgl. SFF, Netzteil usw.) überdenken ...

 

Danke jedenfalls für den Input, ich tu mich hier wirklich noch ziemlich schwer 😬

[hawihoney]

1 hour ago, Neo78 said:

würde so etwas dann auch nicht funktionieren?

 

Nein. Du willst von 4x SATA (Motherboard, Controller) auf 1x SFF-8087 (Backplane), oder? Das sind "Reverse Breakout" Kabel.

 

https://www.amazon.de/SFF-8087-Internes-Reverse-Breakout-Schwarz/dp/B07QNDGQW2

 

Ich halte davon aber nix. Lieber eine richtige Lösung ...

 

Edited December 27, 2023 by hawihoney

[DataCollector]

22 minutes ago, Neo78 said:

Glaube das müsste mit dem mitgelieferten Zubehör realisierbar sein? 

 

Also physikalisch sehe ich das nicht.

Inter-Tech 3U-3416, 3HE (88887119)   Abmessungen BxHxT: 482x134x685mm

Laut den Abbildungen ist nur Platz das Netzteil hochkant einzusetzen (also 134mm minus die Dicke des Bpleches = ca. 130 mm)

 

Corsair RM White Series 2021 RM850 850W ATX 2.4 (CP-9020232-EU)   Abmessungen (BxHxT) 150x86x160mm

Also ich würde sagen 150mm ist rund 2cm mehr als 130mm.

 

22 minutes ago, Neo78 said:

hm, hast du nicht selber ein Inter-Tech Gehäuse im Einsatz? War der Meinung dass ich hiermit mit den "richtigen" Pfad einschlage 🤔

 

zum Thema Gehäuse:

a) Wenn man so/sehr viele Festplatten einsetzen will, gibt es kaum mehr andere Gehäseuse als 19Zoll und da sind die Inter-tech eben gut und preisgünstig.

Ein Gehäuse mit aktivem SAS Expander würde mehr schlucken.

Es gibt einfach heutzutage keine/kaum preisgünstige Towergehäuse mehr, in die man wirklidh viiiieeeele Festplatten sinnvoll rein bekommt.

Und ja, ich habe mehere Inter-tech 19Zoll Gehäuse, aber die Systeme darin sind definitiv nicht stromsparend (was aber nicht an den Gehäusen, sondern den verbauten Innereien liegt).

 

b) Ein Gehäuse selber hat eher wenig mit dem Stromverbrauch zu tun. Okay, die Lüfter und die Backplane (LEDs) verbrauchen ein kleines bisschen, aber ins Gewicht fällt eher das W680 Mainboard mit IPMI, die ganzen Zusatzkontroller (die ASM1166 brauchen weniger Energie als der LSI 9300-16i), die Anzahl der Festplatten, etc...  Das wird eben einiges an Strom verbrauchen.

Mein größtes unraidsystem (ast System Tessa, siehe Signatur) frißt unter Vollast so rund 400-500 Watt. Aber da es selten unter Vollast ist und unraid die Arrayfestplatten eben auch spindown schlafen legen kann, läuft es idle irgendwo bei etwas mehr als 100Watt.

 

Meine Windowssysteme (aber mit weitaus mehr Festplatten und erheblich performanter, die aufgrund der dort eingesetzten Hardwareraidstruktur nie schlafen) fressen da permanent weitaus mehr Strom.

 

Aber wenn jemand 100W für ein idle System hört: nein, das wird nicht wirklich als ein stromsparendes unraid system angesehen.

In anderen Beiträgen im Forum kann man lesen, daß bei Leuten wegen 1-2W für realtek die Köpfe rauchen oder man ein System nackt am liebsten unter 7 W idle (oder weniger) vermißt. Andere bekommen die Krise weil ein aufgebautes System nicht unter 30-40W runter geht.

Aber sobald ein System eben wirklich in der gewünschten Konfiguration mit ggf. so vielen Komponenten ist (und auch IPMI und so weiter), dann schluckt das eben alles ein bisschen, was sich summiert.

 

 

[Neo78]

2 hours ago, hawihoney said:

Ich halte davon aber nix. Lieber eine richtige Lösung ...

 

Hallo, darf ich fragen warum und was meinst du mit "richtige Lösung"? Sorry dass ich nochmals nachfrage aber ich ich bin gerade etwas verwirrt mit den ganzen Anschlüssen 🙈

Da ich einen Rack-Sever mit 1000mm Tiefe habe bietet es sich ein 19" Servergehäuse an. Es muss auch nicht unbedingt Hot-Swap für die HDDs unterstützen. 

 

Vielleicht wäre ein Gehäuse dieser Art besser / einfacher um evtl. Anschlussproblemen aus dem Weg zu gehen

[hawihoney]

1 hour ago, Neo78 said:

darf ich fragen warum und was meinst du mit "richtige Lösung"

 

SATA Anschlüsse auf SFF-8087 bündeln für Backplane ist IMHO ein Mischmasch von Desktop und Server Komponenten. Entweder richtig Server (HBA 8643 auf Backplane 8087) oder Desktop (alles SATA).

 

16 Platten = Server. Wenn man einen Server betreiben will, dann sollte man sich damit auseinandersetzen. Die Entscheidung kann Dir niemand abnehmen. Guck mal bei Inter-Tech ob die auch einen Server mit Backplane für 16 Platten ohne die aneinander gepappten Mini-Backplanes haben. Auf mich wirkt das nach Desktop Technik im Server Gewand. Wahrscheinlich deshalb der günstige Preis.

 

😉

Edited December 27, 2023 by hawihoney

[DataCollector]

 

On 12/27/2023 at 10:05 PM, hawihoney said:

16 Platten = Server.

 

Da bin ich bei Dir, aber Server = (in der Regel) erheblich Energieintensiver und Redundanz und so weiter.

Also so ganz konsequent den Serverweg zu verfolgen macht mit unraid wenig Sinn.

Wenn man auch Kosten und Verbrauch in die Waagschaale wirft kommt eben immer ein Gemisch bei heraus.

 

On 12/27/2023 at 10:05 PM, hawihoney said:

Guck mal bei Inter-Tech ob die auch einen Server mit Backplane für 16 Platten ohne die aneinander gepappten Mini-Backplanes haben.

 

Gerade bei den Inter-tech hat es mir schon einiges an Kosten erspart, daß es eben a) passive Backplanes sind und b) sich diese in sehr kleinen EInheiten austauschen lassen.

Eine 16er Backplane (Leider auch ein großes Hindernis für die kühlende Luftbewegung) im Fehlerfall komplett zu tauschen würde erheblich mehr kosten.

 

[Die von Dir oben erwähnte BPN-SAS2-836EL1 alleine kostet bei ebay ab rund 500 Euro und bei GH vierstellig.

Da kaufe ich mir lieber gleich ein neues Inter-tech Gehäuse und habe alles an Ersatzteilen, was dafür anfällt. 😉 ]

 

On 12/27/2023 at 10:05 PM, hawihoney said:

Auf mich wirkt das nach Desktop Technik im Server Gewand. Wahrscheinlich deshalb der günstige Preis.

 

Inter-Tech 19Zoll Gehäuse sind genau das: Eine kostengünstige Mischung aus Severtechnik/Bauweisen um diese (ebenfalls kostengünstig) mit Desktoptechnik (Mainboard/Netzteil) zu mischen.

Jeder muß selber wissen, ob er/sie das ghut findet.

Solange es funktionier wäre mir das (fast) egal.

 

Bezogen auf die bisher weitgehend diskutierte Neuware:

Ich bin bei Dir, daß man bei größerem Kostenaufwand und ggf. auch größerem Stromauswand durchgängig beispielsweise das Supermicrogehäuse und auch einen SAS Expander in der Backplane verwenden könnte.

Doch ist eben die SAS Technik nicht wirklich so energiesparend wie SATA Technik und andererseits sind die Supermicrogehäuse meist 2-3fach so teuer.

 

Natürlich wären Gebrauchtangebote vielleicht besser, aber auch da muß man echt Glück und Geduld haben.

 

[Neo78]

Hallo,

 

erstmal ein Frohes Neues Jahr 2024!

 

Habe weiter recherchiert und 2 mögliche "Unraid Wunschlisten" zusammengestellt: 1x mit ECC (wie ursprünglich, leicht abgeändert) und einmal ohne ECC (welche dann wesentlich günstiger ist). 

 

Da dies mein erster Homeserver wird und ich noch nicht sagen kann wo die Reise hingeht tendiere ich zur Variante mit ECC. Dies deshalb da ich ich das System möglichst lange nutzen und mir auch so wenig wie möglich "verbauen" möchte. Wenn in Zukunft ECC möglicherweise noch eine größere Rolle spielt dann wäre ich auch hiermit gut vorbereitet

Auch wenn mit Variante 1 Desktop/Server Komponenten vermischt werden (so wie hawihoney angesprochen) so hätte ich immer noch die Möglichkeit nachträglich einen Controller einzusetzen für die Backplane Verbindungen

 

Bei der Verkabelung fehlt mir einfach die Erfahrung, das beste wird hier wohl sein die Hardware-Komponenten zu bestellen und die evtl. fehlenden Kabel (Stromversorgung, SATA usw.) nachzubestellen.

 

Wäre super wenn ihr nochmals eure Meinung dazu sagen könntet. Vielen Dank!

 

Variante 1:       Unraid Server mit ECC

 

Rack-Gehäuse: Inter-Tech IPC 4U-4724 , 4HE

                      Würde dann doch auf die 4HE gehen um ein normales Netzteil verbauen zu können

Netzteil:          Corsair RM White Series 2021 RM850 850W ATX 2.4

Motherboard:   ASUS Pro WS W680-Ace

                      auf die "IPMI" Variante werde ich verzichten und bei Bedarf evtl. PiKVM (oder ähnl.) einsetzen

CPU:               Intel Core i5-13500, 6C+8c/20T, 2.50-4.80GHz, boxed

RAM:               2x Kingston Server Premier DIMM 32GB, DDR5-4800, CL40-39-39, ECC, on-die ECC

SSD-Cache:     2x Samsung SSD 970 EVO Plus 2TB, M.2

SAS-Kabel       3x Inter-Tech mini SAS x4 [SFF-8087] auf 4x SATA Kabel

SATA-Karte      1x PCIe SATA X4 Karte 6 Port Erweiterungskarte, ASM1166

HDD-Parity      1x 6TB WD60EFRX (vorhanden) - 1 Parity ausreichend?

DATA-Disks     3x 6TB WD60EFRX (vorhanden)

                     4x 3TB WD60EFRX (vorhanden)    

 

*********************************************************************************

 

Variante 2       Unraid Server OHNE ECC

 

Rack-Gehäuse: Inter-Tech IPC 4U-4129L, 4HE

Netzteil:          Corsair RM White Series 2021 RM850 850W ATX 2.4

Motherboard:   GIGABYTE B760M DS3H DDR4

CPU:               Intel Core i5-13500, 6C+8c/20T, 2.50-4.80GHz, boxed

RAM                2x Crucial DIMM Kit 32GB, DDR4-3200, CL22-22-22

SSD-Cache:     2x Samsung SSD 970 EVO Plus 2TB, M.2

SATA-Karte      1x PCIe SATA X4 Karte 6 Port Erweiterungskarte, ASM1166

HDD-Parity      1x 6TB WD60EFRX (vorhanden) - 1 Parity ausreichend?

DATA-Disks     3x 6TB WD60EFRX (vorhanden)

                     4x 3TB WD60EFRX (vorhanden)    

 

Edited January 2 by Neo78

[jj1987]

16 minutes ago, Neo78 said:

Netzteil:          Corsair RM White Series 2021 RM850 850W ATX 2.4

Wozu ein 850W Netzteil?

Viel hilft viel ist nicht immer die beste Lösung.

Selbst im Vollausbau mit 12 HDDs sollten 600-700W dicke ausreichen (je HDD ca 20-30w) oder planst du irgendwann noch eine fette Grafikkarte einzubauen?

[DataCollector]

2 hours ago, Neo78 said:

Variante 1:       Unraid Server mit ECC

Rack-Gehäuse: Inter-Tech IPC 4U-4724 , 4HE

                      Würde dann doch auf die 4HE gehen um ein normales Netzteil verbauen zu können

Netzteil:          Corsair RM White Series 2021 RM850 850W ATX 2.4

Motherboard:   ASUS Pro WS W680-Ace

                      auf die "IPMI" Variante werde ich verzichten und bei Bedarf evtl. PiKVM (oder ähnl.) einsetzen

CPU:               Intel Core i5-13500, 6C+8c/20T, 2.50-4.80GHz, boxed

RAM:               2x Kingston Server Premier DIMM 32GB, DDR5-4800, CL40-39-39, ECC, on-die ECC

SSD-Cache:     2x Samsung SSD 970 EVO Plus 2TB, M.2

SAS-Kabel       3x Inter-Tech mini SAS x4 [SFF-8087] auf 4x SATA Kabel

SATA-Karte      1x PCIe SATA X4 Karte 6 Port Erweiterungskarte, ASM1166

HDD-Parity      1x 6TB WD60EFRX (vorhanden) - 1 Parity ausreichend?

DATA-Disks     3x 6TB WD60EFRX (vorhanden)

                     4x 3TB WD60EFRX (vorhanden)    

 

8 Festplatten (leider die Parity auch 5400Rpm).

Dir ist bewußt, daß das Mainboard 4 Standard SATA und einen 4fach Slim SAS SFF-8654 4i (PCIe 4.0 x4/SATA) haben soll?

Du könntest also mit geeigneten Kabeln auch alle 8 Festplatten mit den Mainboard alleine ansteuern.

Das Netzteil ist vermutlich für einen doch möglichen Vollausbau dimensioniert. Die Netzteilverkabelung wirst Du vermutlich etwas anpassen müssen. In Summe 6 PATA Stecker in geeigneter Länge für die Backplane hat es vermutlich nicht.

Ansonsten sieht das technisch kompatibel zueinander aus.

 

 

2 hours ago, Neo78 said:

Variante 2       Unraid Server OHNE ECC

Rack-Gehäuse: Inter-Tech IPC 4U-4129L, 4HE

Netzteil:          Corsair RM White Series 2021 RM850 850W ATX 2.4

Motherboard:   GIGABYTE B760M DS3H DDR4

CPU:               Intel Core i5-13500, 6C+8c/20T, 2.50-4.80GHz, boxed

RAM                2x Crucial DIMM Kit 32GB, DDR4-3200, CL22-22-22

SSD-Cache:     2x Samsung SSD 970 EVO Plus 2TB, M.2

SATA-Karte      1x PCIe SATA X4 Karte 6 Port Erweiterungskarte, ASM1166

HDD-Parity      1x 6TB WD60EFRX (vorhanden) - 1 Parity ausreichend?

DATA-Disks     3x 6TB WD60EFRX (vorhanden)

                     4x 3TB WD60EFRX (vorhanden)    

 

Ich verstehe nicht warum das Mainboard mit 4x 16GB Modulen vollbestücken willst. Wenn Du stattdessen 2x32GB Module nimmst kannst Du noch aufrüsten ohne vorherige Module entsorgen zu müssen.

Wenn Du eine ASMx4 Karte einsetzt wirst Du den x16 Slot verwenden müssen. Da Du in der Konstruktion sowieso nur 4 SATA Zusatzports für das Array brauchst, würde ich eine x1 Karte in einen der PCIe 3.0 x1 Slots einsetzen.

Dann hast Du weitergehende Erweiterungsmöglichkeiten durch die noch freien PCIe Slots.

Oder Du nimmst ein anderes Mainboard, welches einen x4 Slot hat.

Da Du in dem Gehäuse auch mit einigen Umbaumaßnahmen nur so ca. 15 Stück 3,5inch Festplatten rein bekommst brauchst Du selbst für diesen Maximalfall kein so groß dimensioniertes Netzteil. 550W oder 750W sollten auch reichen.

Um die bisher möglichen 10 (vielleicht später ca. 15) Festplatten mit Strom zu versorgen, wirst Du ein paar Kabelverteiler noch einplanen müssen.

Auch hier: die Parityfestplatte wird im Array am Meisten belastet und beeinflußt die Arraygeschwindigkeit am meisten. Dort würde ich das Schnellste was geht einbauen und keine 5400RPM Festplatte.

Edited January 2 by DataCollector

[Neo78]

On 1/2/2024 at 10:23 PM, jj1987 said:

Wozu ein 850W Netzteil?

Viel hilft viel ist nicht immer die beste Lösung.

Selbst im Vollausbau mit 12 HDDs sollten 600-700W dicke ausreichen (je HDD ca 20-30w) oder planst du irgendwann noch eine fette Grafikkarte einzubauen?

 

Hallo,

 

ehrlich gesagt hab ich darüber zu wenig nachgedacht, denke auch dass es ein kleineres Netzteil auch tut und ein paar Euronen spart man sich auch ...

[Neo78]

On 1/3/2024 at 12:12 AM, DataCollector said:

Dir ist bewußt, daß das Mainboard 4 Standard SATA und einen 4fach Slim SAS SFF-8654 4i (PCIe 4.0 x4/SATA) haben soll?

ja, ist mir bewusst. Ein Kabel dieser Art müsste der richtige sein Slim SAS Kabel SFF-8654 zu Mini SAS SFF-8087 12Gb/s 1m

Bei reddit berichtet jemand von anscheinend limitierten Bandbreiten beim Einsatz von beiden Onboard SATA/SLIM SAS Anschlüssen. Wahrscheinlich fällt das beim Einsatz von Unraid aber eh nicht ins Gewicht

 

On 1/3/2024 at 12:12 AM, DataCollector said:

Das Netzteil ist vermutlich für einen doch möglichen Vollausbau dimensioniert. Die Netzteilverkabelung wirst Du vermutlich etwas anpassen müssen. In Summe 6 PATA Stecker in geeigneter Länge für die Backplane hat es vermutlich nicht.

Ansonsten sieht das technisch kompatibel zueinander aus.

dachte ich nehme mal sicherheitshalber ein Netzteil das stark genug ist, vermutlich tut es aber auch ein kleineres ...

 

On 1/3/2024 at 12:12 AM, DataCollector said:

Ansonsten sieht das technisch kompatibel zueinander aus.

Danke für die Info! Wo ich noch unsicher bin ist beim RAM (on-die ECC vs ECC), da muss ich noch recherchieren was hier genau die Vor- und Nachteile sind

 

On 1/3/2024 at 12:12 AM, DataCollector said:

ch verstehe nicht warum das Mainboard mit 4x 16GB Modulen vollbestücken willst. Wenn Du stattdessen 2x32GB Module nimmst kannst Du noch aufrüsten ohne vorherige Module entsorgen zu müssen.

Du hast absolut recht, das war ein "Flüchtigkeitsfehler", werde auf jeden Fall 2x32GB Module einsetzen.

 

On 1/3/2024 at 12:12 AM, DataCollector said:

Oder Du nimmst ein anderes Mainboard, welches einen x4 Slot hat.

Welche(s) Mainboard würdest du empfehlen?

 

On 1/3/2024 at 12:12 AM, DataCollector said:

Auch hier: die Parityfestplatte wird im Array am Meisten belastet und beeinflußt die Arraygeschwindigkeit am meisten. Dort würde ich das Schnellste was geht einbauen und keine 5400RPM Festplatte.

Danke für den Tip, das hab ich nicht gewusst! In diesem Fall werde ich mir neue (schnellere) Parityfestplatten anschaffen. Macht ja auch keinen Sinn alles neu zu kaufen und dann mit einer alten/bestehenden HDD einen Flaschenhals zu erzeugen.

 

Was mich noch interessieren würde wäre deine persönliche Meinung von Variante 1 und 2 bzw. für welche würdest du dich entscheiden bei einem Neukauf (abgesehen von den Kosten)? Dann fällt die Entscheidung evtl. etwas leichter 😊

 

Grüße

 

Edited January 4 by Neo78

[DataCollector]

10 hours ago, Neo78 said:

Danke für die Info! Wo ich noch unsicher bin ist beim RAM (on-die ECC vs ECC), da muss ich noch recherchieren was hier genau die Vor- und Nachteile sind

 

Es gibt bei DDR5 diese neuen Speichermodule, bei denen die Module selber ECC handhaben und einfache Speicherfehler ausbügeln können.  Das Modul selber liest also die Bits und prüft, ob das Ergebnis plausibel ist und gibt das Ergebnis für die CPU frei. Damit íst dann aber nur das Modul selber abgesichert.

Der Transportweg vom Modul zur CPU wird dabei nicht geprüft/geschützt.

 

Echtes ECC (auch bei DDR4 oder so) liefert der CPU alle Bits und die CPU berechnet ob das Ergebnis plausibel ist. Somit wird dabei auch der Weg zwischen dem Speichermodul und der CPU selber abgedeckt.

Echtes ECC erfordert aber CPUs und Mainboards, die das auch beherrschen.

 

10 hours ago, Neo78 said:

Welche(s) Mainboard würdest du empfehlen?

 

Betrifft Deine genannte Variante 2 (ohne ECC):

Wenn Du wirklich ein anderes Mainbard nutzen willst, es gibt auch B760M Mainboards, die eine üppigere PCIe Ausstatung haben.

Generell gelten die "B" Mainboards als weniger energieverschwenderisch, als beispielsweise "Z" oder so Mainboards, aber auch bei den "B"-Boards gibt es anscheinend da Streuungen, die durch Steckarten, die Firmware/BIOS/UEFI und deren Einstellungen stark beeinflußt werden.

Und kleine Mainboards haben meist weniger (strombedürftige) Technik drauf, weshalb eben Bauform mATX/uATX (meist erkennbar am "M" am Ende der Typenbezeichnung) dann gewählt wird.

Je mehr Technik und Fähigkeiten, desto mehr Energie braucht das Mainboard in der Regel.

 

Ich kenne die "B" Mainboards aber nicht alle (oder besser gesagt bisher nur 3) und kann deshalb nur anhand der Eckpunkte ein technisch passendes raussuchen.

Wie gut das ist, muß jemand anderes dann dazu sagen, der das jeweilige Modell dann kennt.

 

Die Mainboards hier gelistet bei GH bieten alle einen Standard x16 Slot und einen PCIe x4 Slot, der auch elektrisch x4 angebunden ist und in dem man dann eine ASM1166 PCIe 3.0 x2 Karte mit bis zu 2GByte/s in Summe voll nutzen kann.

https://geizhals.de/?cat=mbp4_1700&xf=11924_2~12417_1~16552_1~317_B760

Die Liste ist übrigens nicht vollständig, weil die Filter das nicht hergeben.

Auch interessant wäre beispielswise das MSI PRO B760M-A Wifi, wobei hier jemand im Forum vor kurzem von ein paar Problemen bei dem MSi berichtet hat.

 

Die Firma Biostar ist bisher nicht durch besonders sparsame Konstruktionen aufgefallen, aber mir sähe das Mainboard Biostar B760MZ-E Pro sehr interessant ausgestattet aus.

Laut Geizhals:

"1x PCIe 4.0 x16

1x PCIe 3.0 x16 (x4)

1x PCIe 3.0 x1

1x M.2/M-Key (PCIe 4.0 x4, 2280)

1x M.2/M-Key (PCIe 4.0 x4, 2280/2260/2242)

1x M.2/E-Key (PCIe/Intel CNVi, 2230)

1x HDMI

1x DP

4x SATA

2,5GBLan" (leider Realtek)

Beachte, das Board hat DDR5 Speicherslots!

Ob das aber sich in der Praxis als "wirklich zu empfehlen" herausstellt, weiß ich nicht.

 

 

 

Wenn man technisch höher greifen will (mehr Reserven für die Zukunft) müsste man dann vielleicht über den Tellerrand der "B" Mainboards hinaus gehen.

 

10 hours ago, Neo78 said:

Was mich noch interessieren würde wäre deine persönliche Meinung von Variante 1 und 2 bzw. für welche würdest du dich entscheiden bei einem Neukauf (abgesehen von den Kosten)? Dann fällt die Entscheidung evtl. etwas leichter 😊

 

Das kommt darauf an, wie wichtig Dir Deine Daten sind und ob Du eben auch ausreichend Backups extern vorhälst.

Variante 1 mit ECC ist eben sehr teuer und futtert etwas mehr Strom. Dafür bist Du auch gegen einfache Speicherfehler des RAM abgesichert. Aber das hilft natürlich nicht gegen Datenverlust, wenn man Mist baut oder Software Amok läuft. Auch hat diese Variante mehr Möglichkeiten später zu erweitern. Zu beachten ist aber eben das, was ich oben schon schrieb: Je mehr Möglichkeiten ein Mainboard bietet desto höher ist in der Regel auch der Stromverbrauch, selbst wenn man vieles davon nicht benutzt.

 

Variante 2 ohne ECC ist erheblich günstiger und sollte auch etwas sparsamer sein. Aus den Anwendungen, die ich aus der Beschreibung vermute, sollte die Variante 2 vollkommen ausreichen und auch hier ein bisschen Platz für Erweiterungen bieten. Du hast zwar keine Absicherung gegen RAM Speicherfehler, aber ehrlich gesagt ist sowas sehr selten und wird deshalb bei Desktopsystemen auch nicht geprüft.

Wenn man ein System nach dem Zusammenbau einmal lange mit Speichertests malträtiert und sich dabei nichts zeigt, kann man hoffen einen langfristig fehlerfreien Betrieb der Speichermodule zu haben. Natürlich kann aber immer ein Schaden/Problem entsprechen, aber dann hat man ja die hoffentlich fehlerfreien Backups.

 

Ich würde bei Daten, die einem nicht seeeehr eng am Herzen liegen eher Variante 2 (ohne ECC) nehmen.

 

Im Geschäftsumfeld oder wenn man nur einmalig vorhandene Hochzeitsvideos/Geburt(tag)sereignisse/etc...  oder so darauf lagert wäre natürlich maximale Sicherheit der Variante 1 zu bevorzugen.

 

Aber wer (selbst nach einem Hinweis darauf) kein Backup hat, hat dahingehend kein Mitleid verdient. 😁

Edited January 5 by DataCollector
Typos

[Neo78]

On 1/3/2024 at 12:12 AM, DataCollector said:

Wenn Du eine ASMx4 Karte einsetzt wirst Du den x16 Slot verwenden müssen. Da Du in der Konstruktion sowieso nur 4 SATA Zusatzports für das Array brauchst, würde ich eine x1 Karte in einen der PCIe 3.0 x1 Slots einsetzen.

wäre eine solche x1 Karte ASM1166 1X 6-Port-Chip für das GIGABYTE B760M DS3H geeignet ?

 

7 hours ago, DataCollector said:

Es gibt bei DDR5 diese neuen Speichermodule, bei denen die Module selber ECC handhaben und einfache Speicherfehler ausbügeln können

Danke für die Erklärung! Wenn ich es richtig verstehen dann würde das "Kingston ECC, on-die ECC RAM Modul" bei Variante 1 echtes ECC nutzen da sowohl Mainboard als auch CPU ECC unterstützen

 

7 hours ago, DataCollector said:

Ich würde bei Daten, die einem nicht seeeehr eng am Herzen liegen eher Variante 2 (ohne ECC) nehmen.

Nun, die wichtigsten Daten sind für mich im Moment Familienfotos (und einige Videos) die ich sei vielen Jahren archiviere (im Moment auf dem PC und auf einer QNAP-NAS). Wie ich aber mitbekommen haben gibt es bei Unraid auch ohne ECC Mechanismen um die Datenintegrität von bestimmten Ordnern (regelmäßig) auf Fehler zu überprüfen

[DataCollector]

2 minutes ago, Neo78 said:

wäre eine solche x1 Karte ASM1166 1X 6-Port-Chip für das GIGABYTE B760M DS3H geeignet ?

 

ja.

 

2 minutes ago, Neo78 said:

Danke für die Erklärung! Wenn ich es richtig verstehen dann würde das "Kingston ECC, on-die ECC RAM Modul" bei Variante 1 echtes ECC nutzen da sowohl Mainboard als auch CPU ECC unterstützen

 

Leider sind die hersteller mit den Bezeichnungen nicht so ganz eindeutig.

ohne es jetzt recherchiert zu haben (da Du ja sowieso keine echtes ECC mit dem Gigabyte Board nutzen kannst mache ich mir die Mühe jetzt nicht) klingt es mir so, als wenn das Kingston Modul wirklich beides beherrscht,. ECC on DI e(also die Fehlerausbügelei auf dem Modul selber und auch ECC im Prozessor (wenn das Mainboard mitspielt).

 

2 minutes ago, Neo78 said:

Nun, die wichtigsten Daten sind für mich im Moment Familienfotos (und einige Videos) die ich sei vielen Jahren archiviere (im Moment auf dem PC und auf einer QNAP-NAS).

 

Wenn es wirklich nur ein par zehntausende Fotos und einige wenige Videos sind (= eher wenig Platzbedarf), die einem aber sehr am Herzen liegen würde ich zumindest eine Weitere Kopie/Backup machen. Ein USB Festplatte im Bankschließfach oder bei Freunden wäre hier vielelicht eine Idee.

 

2 minutes ago, Neo78 said:

Wie ich aber mitbekommen haben gibt es bei Unraid auch ohne ECC Mechanismen um die Datenintegrität von bestimmten Ordnern (regelmäßig) auf Fehler zu überprüfen

 

Nein. Unraid alleine prüft nicht die Integrität der Dateien selber. Das ist ein riiiieeeesiger Knackpunkt im Array.

Unraid selber prüft (auf Wunsch) in regelmäßigen Abständen ob die Bits der Datenfestplatten noch zu den hinterlegten Werten der Parität passen und kann diese dann korrigieren. (leider erfährt man aber nicht ob und wenn ja, welche Dateien betroffen sind.)

Das bedeutet aber nicht, daß der Inhalt der einzelnen Dateien unverändert ist.

 

Es gibt ein Plugin (File Integrity) welches von jeder Datei eine Chechsumme erstellt und diese bei Bedarf/Zeitplaner auch zu prüfen scheint. Das kann aber auch Probleme nur zeigen und nicht beheben. Zusätzlich hatte ich mit den vielversprechenden Tool einige Zeit experimentiert und darstellungen udn Verhaltensweisen gefunden, die mich an den Tool zweifeln ließen. Anfragen dazu im Support zu dem Tool blieben unbeantwortet. so daß ich das Tool zwr gerne erwähne, aber nicht unbedingt empfehle.

Auch deshalb: Man sollte ein Backup der Daten haben! Unraid hat zwar Ausfallsicherheit, aber die Datenintegrität ist eine andere Sache.

 

Ich handhabe die Sache mit Checksummen, die ich aber selber erstelle (aus Windows Basis), so kann ich auch ohne ins Backup zu schauen undalle Dateien mit dem Backup zu vergleichen sehen, welche betroffen ist.

[Neo78]

1 hour ago, DataCollector said:

Leider sind die hersteller mit den Bezeichnungen nicht so ganz eindeutig.

ohne es jetzt recherchiert zu haben (da Du ja sowieso keine echtes ECC mit dem Gigabyte Board nutzen kannst mache ich mir die Mühe jetzt nicht) klingt es mir so, als wenn das Kingston Modul wirklich beides beherrscht,. ECC on DI e(also die Fehlerausbügelei auf dem Modul selber und auch ECC im Prozessor (wenn das Mainboard mitspielt).

war auf Variante 1 (also mit ECC / ASUS W680) bezogen ... Denke auch daß es beides beherrschen sollte. Jedenfalls haben anderen Unraid User da ASUS W680-ACE zusammen mit Kingston "KSM48E40BD8KM-32HM" RAM im Einsatz.

 

1 hour ago, DataCollector said:

Es gibt ein Plugin (File Integrity) welches von jeder Datei eine Chechsumme erstellt und diese bei Bedarf/Zeitplaner auch zu prüfen scheint.

Genau, darüber bin ich gestoplert ...

  

On 12/24/2023 at 12:14 PM, DataCollector said:

Mein RM850x ist übrigens überdimensioniert. Mein System ist in Summe für 30 festplatten + mehrere SSDs (SATA +NVMe ausgelegt) und selbst beim Start werden keine 500 Watt erreicht. Somit kannst Du auch ein 550W Netzteil anstreben. Aber wie gesagt. Du brauchst ein Netzteil mit ausreichend vielen Anschlüssen für Festplatten/Periopherie und genug Leistung auf der (möglichst zusammengeschalteten) 12V Schiene.

Dafür geht dann wohl nochmal 150-200 Euro bei drauf.

achja, welches 550W (oder 650W) wäre noch empfehlenswert? Oder ist es doch besser/sicherer auf ein 850W oder zumindest 750W zu gehen aufgrund der Anschlüsse (?)

Edited January 5 by Neo78