February 15, 20242 yr Hallo, mein Qnap kommt in die Jahre und ist mit den 4 Slots jetzt schon an der Grenze. Der Nachfolger soll ein Selbstbau werden und da ich genug SAS Platten habe und mir der Austausch von funktionierenden Platten im Qnap mangels HDD Slots schon genervt hat, wird zumindest das Gehäuse grösser. Mein Homeserver (Nuc i5-1135g7) könnte mit dem System auch mit abgelöst werden ist aber nicht das Hauptziel. Anfangsbenutzung: Pool: 8 x 3,5" HDDs, 2 Parity, 6 Daten (2x18, 2x16, 2x12, 2x10) Cache: 2xNVMe Container/VM Storage: 2x 2,5" SSD Gehäuse: Inter-tech 4U-4416 Fantec SRC-4240X07-12G Fantec SRC-4230X07-6GE Tendiere zu einem der ersten beiden, die Expander Backplane wär zwar schön, aber kostet doch ca 100€ mehr Mainboard: Supermicro X13SAE-F CPU: Intel i5-14500 da nicht soviele Unterschiede zwischen 13th und 14th gen ist, auch ein 13th gen möglich HBA LSI 9300-16i LSI 9305-16i Der 9300-16i wird scheinbar sehr warm, ist dafür um einiges günstiger als der 9305-16i 10G Nic noch keine Idee, mit dem 2,5G Ports vom Mainboard könnte ich aber anfangs leben, 10G geht bei mir als SPF+ bzw 10GBaseT Ram 2x32GB RAM Timings waren noch nie so mein Thema, könnte mir aber auch vorstellen mit 1x48GB single channel zu starten, sollte ja als NAS nichts ausmachen CPU Kühler boxed? oder gibts da gute Alternativen? Netzteil Silverstone DA850 850W sind denk ich viel ohne Grafikkarte, aber sonst habe ich keine 6 Molex Anschlüsse Wie sieht die Zusammenstellung für euch aus. Gibt es irgendwo Einsparungspotential, oder würdet ihr was komplett anders machen?
February 15, 20242 yr 14 minutes ago, worli said: Der Nachfolger soll ein Selbstbau werden und da ich genug SAS Platten habe und mir der Austausch von funktionierenden Platten im Qnap mangels HDD Slots schon genervt hat, wird zumindest das Gehäuse grösser. Aus meiner Erfahrung her würde ich keine SAS Festplatten im Array empfehlen. ich habe keine meiner SAS Festplatten in den Spindown zwingen können. Nicht einmal mit dem SAS Plugin. Zusätzlich ist ein SAS Kontroller für nur 8 Festplatten im Array eine ziemliche Stromverschwendung. Wenn es um hohe Performance und so geht ist SAS super. Auch wenn es um eine sehr hohe Portzahl geht ist es annähernd alternativlose Technik. Aber 8 Ports und dann unter unraid, bei dem es um Stromsparendesn Arraybetrieb geht: ich würde das noch einmal überdenken. 14 minutes ago, worli said: Anfangsbenutzung: Pool: 8 x 3,5" HDDs, 2 Parity, 6 Daten (2x18, 2x16, 2x12, 2x10) Cache: 2xNVMe Container/VM Storage: 2x 2,5" SSD Von den technischen Innereien (wenn die Festplatten SATA waren) würde ich wieder zu einem B760M Mainboard mit viel Ram raten. Dazu einen oder gar 2 SATA Kontroller für je 4 Festplatgen und man hat ( je nach Mainboard) in Summe 3x4 SATA Ports und 2 NVMe Slots. Wenn Deine VM anspruchslos sind, reicht auch hier ein I3 12-14. gen. Wenn mehr Wumms brauchst I5 oder I7 12.-14Gen. Hier mal so ein Ansatzpunkt, was ich meine: https://forums.unraid.net/topic/152936-hilfe-bei-entscheidungsfindung-erster-build/?do=findComment&comment=1367540 Falls Du wirklich einen SAS Kontrolelr einsetzen willst, kann der ja im x16 Slot Platz finden. Das wird aber die Verbrauchswerte erhöhen. 14 minutes ago, worli said: Gehäuse: Inter-tech 4U-4416 Fantec SRC-4240X07-12G Fantec SRC-4230X07-6GE Aufgrund meiner eher schlechten Erfahrung mit einem Fantec 4HE Gehäuse (24 Hotswap) würde ich das Inter-tech vorziehen. 14 minutes ago, worli said: Tendiere zu einem der ersten beiden, die Expander Backplane wär zwar schön, aber kostet doch ca 100€ mehr Expander schlucken extra Strom. subjektive Meinung: Bei nur 8 Disks ist das overkill. 14 minutes ago, worli said: Mainboard: Supermicro X13SAE-F Sieht nach einem schönen Mainboard aus. Aber ich bezweifele, daß die PCIe5.0 Technik und die zwangsweise verbauten PCIe 5.0 Switche/Muxer wirklich ernergieffizient sind. 14 minutes ago, worli said: HBA LSI 9300-16i LSI 9305-16i Kann man nehmen. die 9300-16i sollen mehr Strom brauchen, sind aber gebraucht auch erheblich billiger zu haben. Beachte: Du brauchst zwingend eine gute Lüftung im Gehäuse. 200lfm bei den LSI Karten. Es wird also immer ein gewisser Geräuschpegel da sein. 14 minutes ago, worli said: RAM Timings waren noch nie so mein Thema, könnte mir aber auch vorstellen mit 1x48GB single channel zu starten, sollte ja als NAS nichts ausmachen 48GB Module sind eigentlich noch recht teuer. 14 minutes ago, worli said: Netzteil Silverstone DA850 850W sind denk ich viel ohne Grafikkarte, aber sonst habe ich keine 6 Molex Anschlüsse Ich kenne die Leistungswerte des Netzteiles nicht, aber bisher wurde das noch nicht als sonderlich empfehlenswert dargestellt. Zur Leistung selber: ich habe ein Corsair 850W und befeuete damit 30 Festplatten, mehrere SATA SSDs und ein paar NVMe mit einer Xeon CPU und da ist noch immer massig Luft nach oben. Mein kleineres System ist für aktuell 15 Festplatten und 4 NVMe SSD ausgelegt und kommt problemlos mit einem Corsair 550W aus. Deine 850W sind wirklich weitaus mehr als notwendig. Zu den Anschlüssen: das Netzteil selber hat nur 4 Buchsen dafür. Das bedeutet, daß da bei angegebenen 6 Molex sowieso ein Teil über Kabelpeitschen/Verteiler gehandhabt wird. Somit kannst Du auch mit zugekauften Kabelpeitschen arbeiten und mußt nicht zwingend auf das Silverstone setzen. Bei Corsair und bequiet gibt es werksseitig diese Modularkabel nachzukaufen, und wenn es nicht diese sein sollen, gibt es viele auch im freien Handel. Ich habe mir meine Verkabelung teilweise selber gemacht oder eben zugekaufte Y-Kabel verwendet. Beachte nur, bei den Backplanes (ich nehme mal die Inter-tech als Beispiel) hängen in der Regel 4 Festplatten an einer Molex-4Pin-versorgung. Bei Deinem 16er Gehäuse macht es also Sinn die 4 Backplanes in irgendeiner Form lastmäßig gleichmäßig auf die Netzteilanschlüsse zu verteilen. Wieso Du bei den 4 Backplanes auf 6x Molex wert legst erschließt sich mir noch nicht. 14 minutes ago, worli said: Wie sieht die Zusammenstellung für euch aus. Gibt es irgendwo Einsparungspotential, oder würdet ihr was komplett anders machen? Ich weiß noch nicht, wie Dein Aufbau und die Nutzung wirklich aussehen soll und was da zwingend rein muß, aber ich würde als erstes die SAS Technik überdenken.
February 15, 20242 yr Author Wow erstmal danke für den ausführlichen Post. Die 8 HDDs sind ja nur die Anfangsausstattung für den Server. Da kommen je nach Kapazitätsanforderungen dann die Platten dazu. Nicht umsonst hab ich ein 4 HE Gehäuse gewählt. Beim Inter-Tech mit 16 Hotswap brauch ich natürlich keine 6 Molex, da nur 4 Backplanes, die 6 bräuchte ich nur für die Fantec. Der Vorteil an den SAS Platten (10TB) ist, das ich die gebraucht so bekomme. Sata Platten müsste ich halt kaufen. Das die Expander Backplane Overkill ist, hab ich mir fast gedacht. Wollte sie aber einfach mit reinschreiben. Die Option fällt dann auf jeden Fall weg. ServetheHome hat ein MiniReview zum Board. Das war mit einem 12700 bestückt und die haben im idle 31W, mit normalem ATX Netzteil, gemessen. ~4W braucht das IPMI. das geht aus meiner Sicht noch in Ordnung. Nochmal zum Netzteil: Sollte bei einem Single Rail Netzteil das eigentlich nicht egal sein, wie man die Anschlüsse verteilt? Sorry für die dumme Frage. Als ToDo für mich also: Wieviel 3,5" brauch ich wirklich. SAS ja oder nein. Netzteil dann auch noch passend sizen. Die 10G Karte lass ich auch anfangs sein, wenn das Board 2,5G kann.
February 15, 20242 yr 1 hour ago, worli said: Beim Inter-Tech mit 16 Hotswap brauch ich natürlich keine 6 Molex, da nur 4 Backplanes, die 6 bräuchte ich nur für die Fantec. Auch dort kannst Du mit dem Silverstone alle 6 nur Kabelpeitschen anbinden. Somit spricht auch nichts dagegen ein passendes Netzteil (mit vielleicht nur 3 Mudularausgängen zu wählen und diese auch per Kabelpeitsche anzubinden. Ein Modularausgang sollte für 8 Standardfestplatten reichen. Aber bitte dann nicht gleich 12 anschließen. Das sollte die netzteilseitigen Steckverbinder doch im Peak arg belasten. Ich hatte bei Reichelt mal die Datenblätter der am Netzteil (bei meinen Corsair) verbauten Molxex Micro-Kontakte gefunden. Schon meine 8 Festplatten (=2 Backplanes) pro Anschluß gehen da nahe an die Grenzwerte. 1 hour ago, worli said: Der Vorteil an den SAS Platten (10TB) ist, das ich die gebraucht so bekomme. Sata Platten müsste ich halt kaufen. Okay. ich wollte nur darauf hinweisen, daß das Ding dann durchgehend mehr Strom frißt. Das kann (je nach Strompreis) auf Dauer den Preisunterschied mindern. Deshalb hatte ich es anfangs auch mit teilweise SAS Platten versucht. Aber daß die nie schliefen hat mich dann doch ... zu sehr gewurmt. Nun nehme ich meine SAS Festplatten für Backups ein und in unraid nur SATA (und NVMe) Datenträger. 1 hour ago, worli said: Das die Expander Backplane Overkill ist, hab ich mir fast gedacht. Wollte sie aber einfach mit reinschreiben. Die Option fällt dann auf jeden Fall weg. In meinen Windowskisten habe ich (extra) Expander drin. Da hätten Backplanes mit eingebauten Expandern weniger Platz verschwendet. Aber das ist in meinen Augen erst bei hohem Portcount interessant. Ich fand einfach keinen SAS Kontroller die nativ >50 oder gar >70 Festplatten steueren konnten. 1 hour ago, worli said: Nochmal zum Netzteil: Sollte bei einem Single Rail Netzteil das eigentlich nicht egal sein, wie man die Anschlüsse verteilt? Sorry für die dumme Frage. Jeder Steckverbinder ist nur bis zu einer gewissen Belastung geeignet. An der Festplattenseite ist das weniger problematisch, weil man da ja entweder nur eine Festplatte anschließt oder vielleicht eine kleine Backplane mit 4 oder ein Y-Kabel mit vielleicht 5 oder so Festplatten. Das geht ja noch. Aber diese ganzen Kabelverzweigungen und Verbraucher laufen auf der Netzteilseite dann auf 4(5) Steckkontakten: 12V GND 5V GND 3,3V. Bei Singlerail geht es ja primär um die 12V Schiene gegenüber GND. Wenn man also eine Kabelpeitsche mit 2 Molex Anschlüssen nimmt und an jeden Molex euiner 4er Backplane anschließt ist das auf der Netzteilseite die Belastung von 8 Festplatten (Anlaufstrom) auf einem einzigen 12V und einem einzigen GND Pin. Das ist in der realität noch machbar. Selbst 9-10 Standardfestplatten klappen noch, wenn es eben keine Dauerlast ist. Aber wenn man es zu sehr übertreibt schmelzen die Anschlüsse durch die die gesamte Leistung/Stromstärke durch muß. Hier mal keine SATA, sindern überlastete ATX-Mainboard Anschlüsse Ich habe 1200W Single-Raid Netzteile (von Superflower) in meinen WIndowskisten. Wenn ich die ca. 1200W über 2 Steckkontakte ziehen würde, hätte ich Glück, wenn die Feuerwehr schnell genug da ist um das System zu löschen. 🔥🚒 Bei meinen unraid-Systemen verwende ich di eerwähnten Corsair, und soweit ich ausgeprüft habe, verwenden die folgende Kontakte https://www.reichelt.de/mini-mate-buchsenkontakte-fuer-0-3-0-89mm--mum-bk1-p52990.html?&nbc=1&trstct=lsbght_sldr::52987 die bis 7A Dauerlast ausgelegt sind. Wenn ich von einer kurzfristigen Belastung von ca. 20W (eher etwas mehr) bei jedem Anlaufen ausgehe würden sich (20W : 12V = ) 1,6A pro Festplatte an einem solchen Pin summieren. 8 Festplatten * 1,6A = 12,8 A. Kurzfristig (Anlaufstrom) geht das gut. Und die Festplatten schlucken im Betrieb ja auch weniger, aber das muß man eben beacten, wenn man die wenigen Netzteilsteckverbinder zu viiiielen Verbrauchern verteilen will. Singlerail finde ich super, weil mich PCIe Poweranschlüsse in meinen NAS/Fileservern so gar nicht interessieren und ich somit alles auf einer Rail brauche, aber dennoch sind die Steckverbinder einzeln leider nur für erheblich weniger Leistung geeignet, so daß man da aufpassen muß. 1 hour ago, worli said: Als ToDo für mich also: Wieviel 3,5" brauch ich wirklich. Etwas Luft nach oben ist gut. 1 hour ago, worli said: SAS ja oder nein. Ich nutze in einem unraid-System SAS, weil ich sonst Probleme hätte meine 34 SATA Devices anzubinden. Wenn es gute SATA Kontroller mit 24 oder mehr Ports gäbe, wären die mutmaßlich sparsamer. Dann hätte ich die lieber. Aber das ist halt so. Dennoch setze ich nur noch SATA ein, nachdem ich eben SAS nie zum Spindown bewegen konnte (wenn ich mal von Abschalten des Servers absehe 😄 ). Es soll aber auch sehr individuell an dem jeweiligen SAS Drive liegen, ob es klappt.
February 15, 20242 yr Author Das mit dem maximalen Strom auf den Kabeln bzw auf Steckerseite hab ich nach deinem Hinweis vermutet. Danke für die genaue Erklärung. Also eher singlerail modular und maximal zwei 4er Backplanes auf ein Kabel vom Netzteil. Welches Netzteil genau würdest denn dann empfehlen? Genau die SAS Platten die ich auch bekommen würde hat schon ein Kollege in seinem Unraid System und da funktioniert eben der Spindown. Sonst wäre ich gar nicht auf die Idee gekommen. Ein andere Kollege hat einen unserer alten Ceph Server mitgenommen der nutzt die Server abschalten Spindown Variante. Weils bei ihm nicht geht, allerdings nicht mit Unraid. Bei 16 Bays würd ich zusätzlich zu den 8 Sata onboard noch einen 8i Controller maximal brauchen. Somit könnte ich die Sas/Sata Entscheidung auch noch ein bisschen rauszögern. Der 16i wär nur für die Zukunft gewesen. Gehäuse mal genügend Slots für die Zukunft und mein bisheriges 2x18 und 2x12 Setup nur mit 2x16 erweitern, das hab ich noch als Sata. Dann noch die 2 Sata ssds dazu und ich bin voll. Da brauch ich ja dann zwei Reverse Sata zu Sff-8087. Welche sind denn da zu empfehlen? Die Sas Platten mal auf Halde legen und dann später entscheiden. Nochmals vielen Dank. Hier bekomm ich eine Super Beratung zu Strom und Controller und Gehäuse. Da war ich mir eh richtig unsicher. Edited February 15, 20242 yr by worli
February 15, 20242 yr 34 minutes ago, worli said: Das mit dem maximalen Strom auf den Kabeln bzw auf Steckerseite hab ich nach deinem Hinweis vermutet. Danke für die genaue Erklärung. Also eher singlerail modular und maximal zwei 4er Backplanes auf ein Kabel vom Netzteil. Welches Netzteil genau würdest denn dann empfehlen? Ich kann keines empfehlen, weil dei, von mir in Erwägung gezogenen Netzteile ja kaum noch zu bekommen sind. Ich setze in meinem 30 Festplattensystem ein Corsair RM850x (2021 Edition) ein, bei dem ich wenigstens 5 SATA/Molex Steckbuchsen habe (die kleinern hatten weniger), und habe mir meine SATA/Molex Stromverkabelung selber gebastelt. https://forums.unraid.net/topic/120263-vorstellung-erster-unraid-server-4he-noch-kein-finaler-stand-erreicht/ Bei den zweiten System mit aktuell maximal 15 SATA Festplatten nutze ich ein Corsair RM550x (2021 Edition), bei dem ich aber auch mit Kabeladaptern arbeiten mußte (3 Netzteilbuchen, die jede nun 5 SATA Festplatten in ihren Wechselrahmen versorgen). https://forums.unraid.net/topic/124338-datacollectors-zweiter-unraid-server-tower/ Es werden gerne aktuell als Alterantive die bequiet 12M (BN317) genanngt, aber die haben leider nur 3 Netzteilseitige Anschlüsse. Es sollte aber klappen, wenn Du das eben so verteilst, daß maximal 8 Festplatten pro Anschluß versorgt werden. Leider sind die (soweit ich lese) auch nicht single Rail. Könnte aber dennoch bei max. 16 Festplatten funktionieren. Ich erwähnte schon in früheren (vor Monaten und Jahren) Beiträgen, daß es seit Jahren immer schwieriger wird optimale Netzteile und Gehäuse für große Festplattenstapel zu finden. [Wenn meine letzten Coldspare Super Flower Ledex II 1200W in Jahren in meinen Windowsmaschinen versterben, werde ich heulend vor den Kisten sitzen und unter Tränen die ganzen Stromkabelbäume rausreißen und alles umstellen müssen. Ganz früher hatte ich die Last sogar auf 2 Netzteile verteilt, die sich per Relais gegenseitig steuerten. Vielleicht werde ich da wohl irgendwnn wieder hin müssen.] 34 minutes ago, worli said: Genau die SAS Platten die ich auch bekommen würde hat schon ein Kollege in seinem Unraid System und da funktioniert eben der Spindown. Okay, dann spräche (abgesehen vom Stromverbrauch des Kontrollers) das schonmal nicht gegen diese SAS festplatten. 34 minutes ago, worli said: Bei 16 Bays würd ich zusätzlich zu den 8 Sata onboard Der W680, der hinter den 8 SATA steckt beherrscht meines wissens kein SAS. 34 minutes ago, worli said: noch einen 8i Controller maximal brauchen. Somit könnte ich die Sas/Sata Entscheidung auch noch ein bisschen rauszögern. Der 16i wär nur für die Zukunft gewesen. Wenn es kein SAS wird: ein ASM1166 mit bis zu 6 SATA Ports hat bei mir unbeschaltet idle nur rund 1.5-2W benötigt. Der 9300-8i snackt schon mal 14W (laut Datenblatt). Erwähnte ich schon mal, daß die 200lfm Lüftung ernst zu nehmen ist?
February 15, 20242 yr Author Hmm schade, das du mir kein Netzteil empfehlen kannst. Ja die 8 Ports am Board sind nur Sata, aber win paar Sata Geräte habe ich ja. Könnte ja 2 Backplanes Sata und 2 Backplanes später am Sas Controller anschließen, oder dann doch Sata Controller nutzen. Die Entscheidung einfach verschieben bis ich den Platz im Gehäuse beauche. So wars gemeint. Da muss ich ja nur was dazukaufen. Beim Netzteil ists was anderes. Das würd ich gleich richtig sizen, weil ichs sonst komplett austauschen muss. Derzeit hab ich 6 sata hdds, 2 ssds und x sas hdds. Selbst nur mit Sata hab ich schon mehr Kapazität als in meinem derzeitigen Nas. Ich denke in ein paar Monaten wirds Zeit das ich die Sas Platten, oder zusätzliche Sata brauche. Ich verbau mir mal nichts wenn ich erstmal nur mit 8 Ports starte.
February 28, 20242 yr Author So die meiste Hardware ist gestern gekommen. Die reverse Kabel um die Backplanes anzubinden sind noch in der Post, aber so zusammenbauen konnte ich schonmal. Stromverbrauch des Systems (nur die 2 Nvme sind eingebaut, alle 5 GehäuseLüfter aktiv): pendelt zwischen 38 und 40W, ausgeschaltet also nur BMC läuft: 2,4W (gemessen mit einem Shelly Plug) Von dem Wert im ausgeschalteten Zustand bin ich sehr positiv überrascht, habe da von ganz anderen Werten nur fürs BMC gelesen. Mit meinem CPU musste ich mir powertop 2.15 installieren die tieferen C States zu sehen. Irgendwas hält mich aber auf C3 und höher. Sata Controller ist noch nicht verbaut. Hmm. Auch der Scaling Governor ist auf Performance. Ich seh da noch Tuning Potential, aber bin vorerst zufrieden. Meine Qnap, mit 4 dauerhaft laufenden Platten, braucht 43W und mein Intel Nuc Homeserver 25W im Durchschnitt.
March 4, 20242 yr Hier ist eine Datenbank von etlichen Netzteilen und deren Effizienz. https://docs.google.com/spreadsheets/d/1TnPx1h-nUKgq3MFzwl-OOIsuX_JSIurIq3JkFZVMUas/edit#gid=110239702 Vom Youtube Channel: https://www.youtube.com/@WolfgangsChannel Grüße
April 12, 20242 yr Author So jetzt hab ich endlich alles migriert. Von vorher Nuc 20-30 Watt und Wnap mit den konstant 43, bin ich jetzt auf 43-50 Watt gekommen. Bei 2x 1TB NVMe, 2x 12 TB und einer Enterprise Sata SSD mehr. Mit dem Supermicro Board kommt man zwar nicht höher als C3, aber wenn der Server nicht nur idelt macht eigentlich nicht viel Unterschied. Spitzen gibt es bis 90 Watt, aber der Nuc alleine hatte beim Clair Update auch ca 70 Watt gezogen. Mit meiner Windows VM, die ich nur über Guacamole/RDP für Remote Access nutze warns 5 Watt mehr, bin dafür jetzt auf Arch und xorgxrdp geschwenkt. Sehr zufrieden mit dem Unraid System, wobei ich für meine Docker Container, doch dann von Portainer weg bin zum Docker compose Plugin und konnte dann doch mein Setup mit Traefik übernehmen. Eigentlich wollte ich meinen Backup DNS auf einem Pi laufen lassen, aber seit die Enterprise SSD nicht mehr im NUC ist braucht der mit dem DNS auch fast nichts mehr. Nur ist das fast Perlen vor die Säue. Danke an alle für die Unterstützung. Vorallem an @DataCollector du hast mich von dem SAS Controller weggebracht. Mit den Onboard Ports und einem ASM Controller hab ich jetzt erstmal genug Slots die ich nutzen kann.
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.