Hilfe bei Zusammenstellung eines Energiesparers


Recommended Posts

Guten Tag liebe Unraid-Community,

 

ich möchte hiermit auf eure Erfahrungswerte im Zusammenhang mit stromsparenden Servern zurückgreifen.

 

Was mir vorschwebt ist ein System mit folgenden Eckdaten:

 

Hardware:

  • bis zu 8x 3,5" HDDs, möglich via vorhandenem Chassis
  • bis zu 8x 2,5" SSDs, ebenfalls möglich via vorhandenem Mobile Rack
  • mindestens zwei NVMe's onboard
  • RAM-Ausbau bis zu 128GB DDR4, bevorzugt ECC weil vorhanden aber kein Muss

 

Software (Docker):

  • Traefik
  • Nextcloud
  • Bookstack
  • ggf. weitere

 

Software (VM):

  • nicht geplant

 

Vorhanden ist folgende Hardware:

Supermicro CSE-743AC-1K26B-SQ (8x 3,5" Hotswap Bays)

Supermicro CSE-M28SACB (8x 2,5" Hotswap Bays) 

2x 32GB ECC U-Dimm Kingston KSM32ED8/32ME

 

Benötigte Hardware:

  • Mainboard
  • CPU
  • ggf. RAM wenn das Mainboard keinen ECC UDimm unterstützt
  • HDD-Controller 

 

Was definitiv nicht geplant ist, ist der Einsatz von Plex oder ähnlichem. Somit kann auf die Verwendung von dedizierten GPUs verzichtet werden.

 

Angestreber idle Verbrauch sind so etwa 30 Watt inkl. 4x HDD, 2x NVMe und 4x SSD.

 

Schonmal herzlichen Dank für eure Ratschläge.

 

 

Gruß,

Frank

Edited by ankom
Link to comment
3 minutes ago, ankom said:

CSE-743AC-1K26B-SQ

Ein 1200W Netzteil macht vermutlich alleine 15W aus.

 

Als Board solltest du nach W480 oder C246 suchen. Da passt dein RAM und es ermöglicht ein sparsames Setup.

 

Der Knackpunkt wird das 16x SATA sein. Wenn ich möglichst sparsam sein möchte, würde ich auf einen HBA Controller verzichten und ein Board mit 8x SATA nehmen und 2 SATA Karten mit jeweils 4-Ports installieren (ASM1164). Du brauchst dann aber noch entsprechende Adapterkabel von SATA auf Mini SAS (wegen dem 2.5 Zoll Bay Rack, bei 3.5 Zoll kenne ich die Anschlüsse nicht).

 

Alternativ ginge natürlich auch mit HBA Controller, aber der zieht auch wieder alleine 8 bis 15W.

 

 

Link to comment

Danke für deine Antwort,

 

auf einen HBA, wenn auch interessant wegen der Anzahl Anschlüsse, möchte ich verzichten. Diese scheinen mir zuviel Energie zu beanspruchen. Das Thema Kabel für den Anschluss an die Backplanes habe ich bereits beleuchet und werde hier auf folgende Produkte zurückgreifen:

 

DELOCK 83322 Reverse Breakout Kabel (1,0m) und DELOCK 83322 Reverse Breakout Kabel (0,5m)

 

Schön wäre es, wenn es einen empfehlbaren SATA-Controller mit gleich acht Ports gibt, um nicht zweite PCIe Slots belegen zu müssen.

 

Link to comment

Mainboard:

ASRock Rack C246 WS mit 8x SATA via Intel C246 und 4x SATA via Marvell SE9172. Sollte der 4-Port Marvel Controller OK gehen würde lediglich ein zusätzlicher SATA Controller via PCIe benötigt werden. RAM wird 4x 32GB ECC wie auch non-ECC unterstützt.

 

Die restlichen Spezifikationen lesen sich auch recht ordentlich. Bleibt nur noch die Frage noch einer passenden CPU offen, die auch ECC RAM unterstützt. Pentium CPUs können damit glaube ich umgehen doch die werden sicherlich zu schwachbrüstig sein, wenn es um die Docker Container geht. Bin einfach zu lange aus dem Thema raus und von den ganzen Nummer mit und ohne Buchstabenanhängsel erschlagen.

 

Controller mit ASM1164 Chip:

4-Port SATA 3 PCIe 3.0 x2

 

Fraglich ist auch, ob ggf. das AMD Lager in Frage kommen würde. Habe die Möglichkeit von meinem Bruder sehr günstig (Familienrabatt) ein X570D4U zu erwerben. Dieses kommt ebenfalls mit ECC RAM klar, bietet 8x SATA 3, zwei M.2 Ports und ausreichend PCIe Slots.

 

Habe hier im Forum irgendwo von jemandem mit einem X570D4U-2L2T gelesen dessen Leistungshunger ebenfalls ansehnlich war. 30 oder 40 Watt waren es wenn ich mich richtig erinnere. Das -2L2T hat ja noch 10G Netzwerk welches das X570D4U nicht mitbringt, womit der Verbrauch nochmals nach unten korrigiert würde :-)

Edited by ankom
Link to comment
11 minutes ago, ankom said:

Habe hier im Forum irgendwo von jemandem mit einem X570D4U-2L2T gelesen dessen Leistungshunger ebenfalls ansehnlich war.

Ja, hier ich,

Wenn du an ein X570D4U-2L2T rankommst, dann hast du Glück. Aktuell nur sehr teuer zu bekommen.

 

Stromverbrauch bei mir liegt bei 42 - 46 W im Idle.

5800X - 64GB ECC - 6x HDDs - 2x SSDs - 2x NVMe -  Lüfter: 1x CPU-Lüfter - 2x 120mm + 2x 80mm

 

Um den Verbrauch zu senken habe ich kurzfristig ein Gigabyte C246M-WU4 mit einem 9600k und 9100 betrieben, aber mir fehlte einfach das IPMI und somit nehme ich den Mehrverbrauch in kauf. Ansonsten ist das Gigabyte top.

 

Link to comment

Aktuell nutze ich kein 10GbE

Mir sind vor einiger Zeit bei einem Gewitter zwei Switches abgeraucht. Ich warte noch auf die Versicherung.

Im Moment betreibe ich den Server nur mit 1GbE.

 

Ursprünglich lag der Verbrauch mal bei 55W und mit ein paar Änderungen könnte man den etwas reduzieren.

Ab hier Habe ich ein paar Dinge ausprobiert und getauscht. @Smolo hat auch einige Dinge ausprobiert:

 Evtl. tut sich in nächster Zeit noch etwas:

 

 

Aber das ASRockRack ist kein Stromsparer. Das muss einem klar sein.

Solltest du bei Plex etc. transcodieren wollen, dann ist eine CPU mit IGPU von Intel definitiv besser.

Link to comment
12 minutes ago, i-B4se said:

Solltest du bei Plex etc. transcodieren wollen, dann ist eine CPU mit IGPU von Intel definitiv besser.

 

Plex & Co. stehen nicht auf meinem Fahrplan ;-).

 

Danke für die Verweise zu den anderen Beträgen, werde ich mir gleich mal ansehen. Aufgrund der Tatsache das ich meinem Bruder günstig ein X570D4U abkaufen kann, werde ich auf den AMD-Zug aufspringen und mir eine der folgenden CPUs zulegen: 5600X, 5700X oder 5800X. Muss mich mal belesen, welche für mich in Frage kommt.

Link to comment
10 minutes ago, ankom said:

5600X, 5700X oder 5800X

Brauchst du unbedingt Pcie4? Und was ist mit ECC?

Falls du auf Pcie4 verzichten kannst wären evtl die APUs noch eine Idee. Ohne ECC dann also 5600g bzw 5700g und wenn du ECC möchtest halt die Pro Versionen also 5650g und 5750g.

Die dürften im idle nochmal ca 5-10w weniger ziehen, dadurch daß es keinen extra IO-Die gibt 

Link to comment
2 minutes ago, jj1987 said:

Brauchst du unbedingt Pcie4? Und was ist mit ECC?

ECC Support ist bevorzugt, da ich hier noch 2x 32GB ECC Riegel liegen habe. 

 

Eine APU ist nicht erforderlich. Das X570D4U hat einen OnBoard VGA via AST2500, was mehr als ausreichend ist, da ich nichts vorhabe was einer leistungsstärkeren APU/GPU bedarf.

Link to comment
2 hours ago, ankom said:

Mainboard:

ASRock Rack C246 WS mit 8x SATA via Intel C246 und 4x SATA via Marvell SE9172. Sollte der 4-Port Marvel Controller OK gehen würde lediglich ein zusätzlicher SATA Controller via PCIe benötigt werden.

Marvel ist nicht unbedingt der bevorzugte Hersteller fuer SATA Kontroller unter unraid. Ich meide Marvel im Zusammenhang mit unraid.

Ich würde zu zwei ASM Karten greifen.

 

2 hours ago, ankom said:

Controller mit ASM1164 Chip:

4-Port SATA 3 PCIe 3.0 x2

Der ASM 1164 hat 2 SATA Ports weniger als der ASM1166 aber die gleiche PCIe x2 Bandbreite (die man meist in je einem PCI x4 Slot betreibt, weil kaum ein Board X2 Slots hat).

Wenn man also sowieso einen PCIe x4 Slot für sowas verballert, dann hat man mit einem 6Port ASM1166 mehr Flexibilität für späteren Ausbau und Festplatten. Es stoert ihn ja nicht, wenn man daran erst einmal dennoch nur 4 Ports verwendet oder gar einen ASM1166 fuer 6 Festplattenports und einen ASM1064 oder 1164 in einem PCIe x1 Slot für dann erst einmal 2 SATA Ports (um bei jedem SATA port mehr Geschwindigkeit zu erreichen).

Die Festplatten sollten bevorzugt an die Zusatzkontroller die SATA SSD bevorzugt an die internen SATA Ports angeschlossen werden.

Link to comment
5 hours ago, ankom said:

Schön wäre es, wenn es einen empfehlbaren SATA-Controller mit gleich acht Ports gibt, um nicht zweite PCIe Slots belegen zu müssen.

Gibt es tatsächlich nicht. ASM1164, ASM1166 und JMB585 sind so die bekannten Empfehlungen. Falls das Board X1 Slots hat, könnte man evtl zwei 4 Port ASM1164 mit X1 Anschluss nehmen. Dann bleiben die großen Slots offen und man hat 4x 250MB/s für HDDs. Außer @DataCollector  widerspricht. 

 

2 hours ago, ankom said:

Pentium CPUs können damit glaube ich umgehen doch die werden sicherlich zu schwachbrüstig sein

Kommt drauf an was man vor hat. 2 starke Pentium Gold Kerne können immer noch mehr als 16 schwache Atom Kerne.

 

Wenn man keine Client VMs aufsetzen will, reicht zB ein i3-8xxx oder 9xxx, der beim C246 auch noch ECC kann.

 

Das nach wie vor beste C246 Board ist das, auch wenn es um die 200 € kostet:

https://amzn.eu/d/e7G06Ik

 

Durch die iGPU des i3 kannst du später auch problemlos Plex oder Jellyfin nutzen, wenn du das wolltest.

 

1 hour ago, ankom said:

Tatsache das ich meinem Bruder günstig ein X570D4U abkaufen kann, werde ich auf den AMD-Zug aufspringen und mir eine der folgenden CPUs zulegen: 5600X, 5700X oder 5800X. Muss mich mal belesen, welche für mich in Frage kommt.

Wenn der etwas höhere Verbrauch nicht stört auch eine schicke Option. Ich würde aber auch hier eine CPU mit iGPU nehmen, weil man in manchen Containern mit der iGPU Prozesse beschleunigen kann (Plex leider nicht offiziell).

 

Der sparsamste Ryzen dürfte ein 4650GE (nur Pro unterstützt ECC RAM!) sein. Man kann einen 4650G aber auch im BIOS auf 35W TDP stellen und hat dadurch ebenfalls einen GE. Hat freiheraus bei Computerbase schon nachgemessen. Das selbe wird für den 4750G gelten.

 

Die Ersparnis kommt zb dadurch, dass der kein PCIe 4.0 kann, also auch der X570 Chipsatz nur mit 3.0 angebunden wird. Das wirkt sich entsprechend positiv aus.

 

Wir würden uns freuen, wenn du das Board von deinem Bruder dann mal nur mit einer SSD messen könntest. Verbrauchswerte des Non-10G Modells haben wir nämlich noch keine so viel ich weiß.

 

 

Link to comment
17 minutes ago, mgutt said:

ASM1164, ASM1166 und JMB585 sind so die bekannten Empfehlungen. Falls das Board X1 Slots hat, könnte man evtl zwei 4 Port ASM1164 mit X1 Anschluss nehmen. Dann bleiben die großen Slots offen und man hat 4x 250MB/s für HDDs. Außer @DataCollector  widerspricht.

 

Ich möchte nur folgende Informationen beisteuern.
Es kommt meiner persönlichen Meinung nach auf die Slots des Boards an.

 

- ASM1064 = PCIe 3.0 x1   4SATA Ports (je Port bei gleichzeitiger Nutzung knapp um die 250MByte/s)
  250MByte/s sind für SATA SSD nicht wirklich viel so daß eine solche Karte bei voller Portbestückung besser nur für aktuelle Festplatten benutzt werden sollte.
  Neueste und größte Festplatten sind zwar im Außenbereich auch schon etwas über 250MByte/s, aber nicht viel.

 

- ASM1164 = PCIe 3.0 x2   4SATA Ports (je Port bei gleichzeitiger Nutzung knapp um die 500MByte/s)
  Soweit ich sehe werden die wirklich auch überwiegend auf PCIe x2 Karten verbaut.
  Auf x1 Karten habe ich sie kaum gefunden.
  Bei x2 müsste man dann einen offenen x1 oder einen X2 oder X4 Slot für verwenden.
  Offene PCIe x1 Slots sind auch eher selten. Also hier kommt es dann darauf an, welche freien Slots/M.2 PCIe Steckplätze man hat und dafür opfern will.

 

- JMB585 = PCIe 3.0 x2   5 SATA Ports (je Port bei gleichzeitiger Nutzung knapp um die 400MByte/s)
  Wenn man sowieso pro Kontroller einen PCIe x2 oder längere Slots ver(sch)wenden will (siehe oben ASM1164), bietet der 585 schon einmal mehr zukünftige Flexibilität als die ASM1064 und ASM1164.

 

- ASM1166 = PCIe 3.0 x2   6 SATA Ports (je Port bei gleichzeitiger Nutzung knapp um die 330MByte/s)
  Auch hier:Wenn man sowieso einen oder mehrer PCIe x2 oder längere Slots ver(sch)wenden will, bietet ein ASM1166 noch einmal einen Port mehr als der 585 für zukünftige Flexibilität.

Link to comment

Zunächst einmal vielen lieben Dank für den ganzen Input von euch, welcher mich bei meiner Entscheidungsfindung maximal unterstützt hat!

 

Ich bin inzwischen zu folgendem Entschluss gelangt:

 

  • Supermicro CSE-743AC-1K26B-SQ mit Mobile Rack (vorhanden), ggf wird hier später noch das Netzteil getauscht werden
  • ASRock Rack X570D4U (8x SATA für SSDs im Mobile Rack), das gute Angebot meines Bruders ist Schuld :-)
  • Ryzen 5600X, beeinflusst durch @Smolo
  • 2x 32GB ECC (vorhanden)
  • 2x ASM1164 PCIe 3.0 x2 4-Port Controller (insgesamt 8x SATA für HDDs), beeinflusst durch @mgutt und @DataCollector
  • 4x 4TB WD Red (vorhanden)
  • 2x Corsair Force Series MP600 R2 1TB, M.2 (vorhanden)
  • 2x Kingston DC500M 480GB (vorhanden)
  • 2x Kingston DC500M 960GB (vorhanden)

Halte mir die Option offen, die beiden ASM1164 Controller und das Mobile Rack zu deinstallieren und HDDs sowie SSDs über die Bays des 743AC zu betreiben was den Stromverbrauch nach unten korriegiert.

 

On 9/3/2022 at 7:06 PM, mgutt said:

Wir würden uns freuen, wenn du das Board von deinem Bruder dann mal nur mit einer SSD messen könntest. Verbrauchswerte des Non-10G Modells haben wir nämlich noch keine so viel ich weiß.

 

Gerne, wie geht ihr bzgl. der Messung vor (Hard-/Software)?

Edited by ankom
Link to comment
On 9/3/2022 at 7:57 PM, frah said:
  • 2x ASM1164 PCIe 3.0 x2 4-Port Controller (insgesamt 8x SATA für HDDs), beeinflusst durch @mgutt und @DataCollector
  • 4x 4TB WD Red (vorhanden)

 

Servus,

 

der SATA Controller hat mich neugierig gemacht, daher habe ich den mir mal auch besorgt. Keine Ahnung, ob der Controller defekt ist oder nicht Kompatibel ist. Fakt ist jedenfalls, dass sämtliche meiner WD RED 4TB (WD40EFRX) nicht mehr sauber funktionieren, sobald sie an dieser Karte hängen (drei an der Zahl). Meine 14 TB Seagate Ironwolf (ST14000NE0008) als auch andere Platten, welche ich noch rumliegen hatte, laufen jedoch ohne Probleme an dem Teil.

 

grafik.thumb.png.a825886f01317e2e9c277a09d4e9fb5e.png

 

Würde mich interessieren, ob du die Probleme mit der Karte auch hast oder ob ich nur ein Montagsmodell erwischt habe.

Edited by Gorosch
Edit
Link to comment
44 minutes ago, mgutt said:

Nutzt du Energiesparrichtlinien? ASM und JMB Controller machen in Kombination mit powertop --auto-tune Probleme.

 

 

Nutze ich tatsächlich. Komisch, dass jedoch nur die WD RED davon betroffen sind und alle anderen Platten ohne Probleme laufen. Werde es nochmal ohne powertop testen.

Link to comment
10 hours ago, Gorosch said:

Würde mich interessieren, ob du die Probleme mit der Karte auch hast oder ob ich nur ein Montagsmodell erwischt habe.

 

Kann noch nichts zu dem Controller sagen da ich den Server aufgrund fehlender Teile noch nicht aktiv habe.

 

7 hours ago, mgutt said:

Nutzt du Energiesparrichtlinien? ASM und JMB Controller machen in Kombination mit powertop --auto-tune Probleme.

 

Gut zu wissen. Das spricht dann ja eigntlich gegen die Verwendung eines solchen Controllers und z. B. ein LSI 9207-8i PCIE3.0 6Gbps HBA wäre in die bessere Wahl. Besonders in meinem Fall, da ich so nur einen statt zwei PCIe Slots belegt hätte und der Stromverbrauch wäre nur minimal (2 Watt) höher.

 

Werde die beiden bestellten ASM Controller also wieder zurück schicken. 

Link to comment
6 minutes ago, frah said:

Das spricht dann ja eigntlich gegen die Verwendung eines solchen Controllers

Eigentlich nicht, denn es ist nur eine Regel, die das Problem verursacht:

https://forums.unraid.net/topic/126967-neue-festplatte-sata-fehler/?do=findComment&comment=1158298

 

 

Das macht dann vielleicht 0.1W pro HDD aus.

 

7 hours ago, Gorosch said:

alle anderen Platten ohne Probleme laufen

Entweder waren die nicht im Spindown oder die unterstützen kein DIPM. Das kann durchaus sein.

  • Like 1
  • Thanks 1
Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.