Neu-config: stromsparendes VM-Gaming MB und CPU gesucht

[hecky]

Servus zusammen,

 

ich bin ein wenig überfordert bei der Konfiguration meines Servers.

 

Aktuell nutze ich:

2011-3 Consumer-board

E5 2640 V4

48gb DDR4 2133 EEC-Ram

Älteres 600w Platinum-Netzteil

7x Toshiba MG09

2x 2tb Sandisk SSD als Cache

1x 2tb NVMe als Docker

 

Vorgeschichte:

Vom Gefühl her würde ich sagen, dass die combo locker für meine Bedürfnisse reicht. Aber irgendwo ist da aber der Wurm drin. 🤨

 

Bei jedem Neustart muss ich die Daumen drücken, dass er problemlos hochfährt.

Mal bootet er ins Bios - mal fährt er (wie er soll) mit dem Unraid-Stick regulär hoch.

Manchmal bleibt er auch einfach mit nem Fehlercode hängen.

 

Da die PCI-Plätze mit Erweiterungskarten voll belegt sind, habe ich keine Grafikkarte - bzw. muss jedes mal, wenn ich wissen will, wo es hängt, einen Riser-adapter aus nem anderen PC mopsen, um ne GraKa temporär installieren können.

 

Unabhängig davon scheint irgendwas bei der Spannungsversorgung oder Ansteuerung der Festplatten nicht zu stimmen. Scheinbar aus dem nichts (NAS unbelastet) kommen komische Geräusche aus den Festplatten mit "Hardwarefehlern".

Das hat dann leider zur Folge, dass ich fast jedes mal nen Paritäts-Check durchführen lassen muss.

 

Da habe ich einfach keinen Bock mehr drauf.

 

 

Deswegen suche ich:

 

Neues Motherboard + CPU:

 

Wichtig wäre mir:

- 2 M.2-Slots oder gerne mehr

- "ausreichend PCI-Lanes"

- Win1x-VM-Gaming-fähig (es soll eine RTX4090 mit einziehen)

- "Stromsparend" bei Geringlast

- interne GraKa (als Backup)

- gerne non-consumer-ware (Supermicro, ...)

- gerne viele SATA Anschlüsse (10/12+ ... aktuell nutze ich eine "alte" LSI-Karte 9240-8i als Porterweiterung - die möchte ich, wenn möglich gerne rausschmeißen) 

- ... oder besser noch SAS-Anschlüsse (SAS-auf-4x-Kabel vorhanden) oder andere neue Kombisteckverbinder auf SATA  

- Option für NVME-only upgrade

- gerne mit 10gB-Lan (nutze aktuell ne 2-port-Melanox-SFP+-Karte

 

Vom Gefühl her tendieren ich zu den neuen Intel 12xxxK/13xxxK, aber leider haben die, wenn ich das richtig verstanden habe, nur 20 PCI-Lanes

Wenn ich eine Grafikkarte mit 16Lanes anbinde, bleiben ja quasi nur 4 für Erweiterungskarten - oder habe ich da einen Denkfehler?

 

AMD oder Intel wäre mir vom Prinzip her egal.

Im Idle-Betrieb wäre mir ein sehr niedriger Verbrauch wichtig. Gerne ~50-80W. Beim Gamen kann er gerne Leistung ziehen (neues 1KW-Netzteil bereits vorhanden). 

 

Preis: max. 1k€ CPU+MB

 

Danke im Voraus

 

 

 

 

 

Edited April 13, 2023 by hecky

[DataCollector]

1 hour ago, hecky said:

ich bin ein wenig überfordert bei der Konfiguration meines Servers.

Aktuell nutze ich:

2011-3 Consumer-board

E5 2640 V4

48gb DDR4 2133 EEC-Ram

Älteres 600w Platinum-Netzteil

7x Toshiba MG09

2x 2tb Sandisk SSD als Cache

1x 2tb NVMe als Docker

Vorgeschichte:

Vom Gefühl her würde ich sagen, dass die combo locker für meine Bedürfnisse reicht. Aber irgendwo ist da aber der Wurm drin. 🤨

Bei jedem Neustart muss ich die Daumen drücken, dass er problemlos hochfährt.

Mal bootet er ins Bios - mal fährt er (wie er soll) mit dem Unraid-Stick regulär hoch.

Manchmal bleibt er auch einfach mit nem Fehlercode hängen.

 

Hast Du schon mal einen Speichertest (Memtest) ausführlich (1 Tag oder so) durchlaufen lassen?

Ich hatte Neuware bestellt (siehe meine Signatur '1st System') und es zeigte sich dann erst beim Speichertest, dass einer der RAM Riegel fehlerhaft war.

Und das obwohl es ECC RAM Module sind.

Nachdem der Riegel identifiziert und getauscht wurde, hatte ich kein komisch instalbiles und veraenderliches Bootverhalten mehr.

 

1 hour ago, hecky said:

Da die PCI-Plätze mit Erweiterungskarten voll belegt sind, habe ich keine Grafikkarte - bzw. muss jedes mal, wenn ich wissen will, wo es hängt, einen Riser-adapter aus nem anderen PC mopsen, um ne GraKa temporär installieren können.

Wenn Du permanent eine Grafikfunktion nutzen willst, fallen mir ein paar Bastelideen ein (leider benennst Du Dein Mainboard nicht genau).

Ich vermute mal, daß Du die NVMe in einem PCIe Slot betreibst oder einer der PCIe Slots (hinter den Risern) per PCIe Switch mehrfach belegt werden könnte.

 

1 hour ago, hecky said:

Unabhängig davon scheint irgendwas bei der Spannungsversorgung oder Ansteuerung der Festplatten nicht zu stimmen. Scheinbar aus dem nichts (NAS unbelastet) kommen komische Geräusche aus den Festplatten mit "Hardwarefehlern".

Den Satz verstehe ich nicht.

Aber wenn Du Probleme in der Stromversorgung vermutest, schließ temporär mal ein anderes Netzteil an.

Ggf. ist Dein bisheriges Netzteil nicht mehr stabil.

 

1 hour ago, hecky said:

Das hat dann leider zur Folge, dass ich fast jedes mal nen Paritäts-Check durchführen lassen muss.

Vielleicht beschreibst Du den Hardwarefehler etwas genauer. Syslog?

 

1 hour ago, hecky said:

Deswegen suche ich:

Neues Motherboard + CPU:

 

Wichtig wäre mir:

- 2 M.2-Slots oder gerne mehr

gehen auch PCIe Slots oder muß es onBoard M.2 sein. ich vermute mal Du meinst NVMe/PCIe fähige Slots.

1 hour ago, hecky said:

- "ausreichend PCI-Lanes"

Wieviele brauchst Du und in welcher Konstellation?

 

1 hour ago, hecky said:

- Win1x-VM-Gaming-fähig (es soll eine RTX4090 mit einziehen)

Das wird dann aber nicht wirklich stromsparend. Überlege Dir gut ob Du nicht vielleicht eine leistungsfähige WIN-Gamin-Kiste hinstellst, die Du auch stromlos schalten kannst und zusätzlich ein 24/7 laufendes unraid NAS.

 

1 hour ago, hecky said:

- "Stromsparend" bei Geringlast

Das Gesamtkonstrukt würde ich mit der Grafikkarte (subjektiv betrachtet) kaum als Stromsoarend (selbst in idle) bezeichnen. Allein die Grafikkarte treibt den Stromverbrauch (auch idle) unnötig hoch.

 

1 hour ago, hecky said:

- interne GraKa (als Backup)

Eigentlich wäre eine iGPU für unraid sowieso üblich (die ist dann nicht als Backup da).

 

1 hour ago, hecky said:

- ... oder besser noch SAS-Anschlüsse (SAS-auf-4x-Kabel vorhanden) oder andere neue Kombisteckverbinder auf SATA  

SAS Kontroller sind in der Regel (auch als Chip Onboard) nicht wirklich stromsparend.

https://forums.unraid.net/topic/132205-faq-grundlagen-zusatzkarte-für-sata-ports/

 

1 hour ago, hecky said:

- Option für NVME-only upgrade

Hier weiß ich nicht, was Du da meinst.

 

1 hour ago, hecky said:

- gerne mit 10gB-Lan (nutze aktuell ne 2-port-Melanox-SFP+-Karte

RJ45 10GBLan steht im Ruf mehr Strom zu verbrauchen als SFP+10GBLan per DAC oder GF.

SFP+10GBLan ist onBoard aber wirklich eher selten.

 

1 hour ago, hecky said:

Vom Gefühl her tendieren ich zu den neuen Intel 12xxxK/13xxxK, aber leider haben die, wenn ich das richtig verstanden habe, nur 20 PCI-Lanes 

Wenn Du Wert auf ECC DRAM legst sind aktuell wohl nur die W680 Chipsätze vorgesehen. Die Auswahl ist eher gering.

Was Deine Vorstellung angeht wirst Du dann aktuell so einige Abstrichte machen müssen.

 

1 hour ago, hecky said:

Wenn ich eine Grafikkarte mit 16Lanes anbinde, bleiben ja quasi nur 4 für Erweiterungskarten - oder habe ich da einen Denkfehler?

Neuere CPUs verwenden PCIe 4 oder gar 5.

Bei Intels neueren Generation ist der DMI deshalb auch flotter und somit kann der Chipsatz darüber mehr anbinden.

Aber ja, irgendwo gibt es da überall Grenzen und die aufzubohren ist entweder teuer oder gar nicht möglich.

 

1 hour ago, hecky said:

AMD oder Intel wäre mir vom Prinzip her egal.

12/13.Gen klang mir nach Intel.

 

1 hour ago, hecky said:

Im Idle-Betrieb wäre mir ein sehr niedriger Verbrauch wichtig. Gerne ~50-80W.

In diesem Punkt könnte Deine Vorstellung von niedrig hinterfragbar sein.

Wenn Du in der Signatur mein 2nd System siehst, zieht es mit einer idle laufenden Win10 VM (ohne Powertop oder so) idle irgendwas knapp unter 40Watt.

Darin sind 8 Festplatten, 4 NVMe, 10GBLan SFP+ Mellanox. Und das ist schon viel Stromverbrauch.

Vielleicht überlegst Du Dir ob es nicht doch ein sparsames unraid NAS und eine getrennte Gamingmaschine werden, wobei die Gamingkiste dann eben stromlos geschaltet werden kann, wenn Du sie nicht nutzt.

 

1 hour ago, hecky said:

Beim Gamen kann er gerne Leistung ziehen (neues 1KW-Netzteil bereits vorhanden).

Allein das wird den idle Verbrauch um einiges hoch drücken.

 

1 hour ago, hecky said:

Preis: max. 1k€ CPU+MB

Ohne RAM?

Viele neue Boards nutzen DDR5 (ECC) Ram, deinen vorhandenen DDR4 kannst Du dann nicht darin weiter betreiben.

 

Wenn ich mir Deien Vorstellung so ansehe komme ich subjektiv zu der griben EInschätzung: das alles für nur 1kEueo und in stromsparend/sparsam: das wird aktuell wohl nichts.

Edited April 13, 2023 by DataCollector

[hecky]

Vielen Dank erstmal für die ausführliche Antwort!

 

1 hour ago, DataCollector said:

Hast Du schon mal einen Speichertest (Memtest) ausführlich (1 Tag oder so) durchlaufen lassen?

Ich hatte Neuware bestellt (siehe meine Signatur '1st System') und es zeigte sich dann erst beim Speichertest, dass einer der RAM Riegel fehlerhaft war.

Und das obwohl es ECC RAM Module sind.

Nachdem der Riegel identifiziert und getauscht wurde, hatte ich kein komisch instalbiles und veraenderliches Bootverhalten mehr.

 

Ich lasse mal nen Mem-Test durchlaufen.

Ram ist gebraucht gekauft und mir wurde 2x nen defekter zugeschickt. Von 5 wurden 2 gar nicht erkannt 🤨

 

1 hour ago, DataCollector said:

Wenn Du permanent eine Grafikfunktion nutzen willst, fallen mir ein paar Bastelideen ein (leider benennst Du Dein Mainboard nicht genau).

Ich vermute mal, daß Du die NVMe in einem PCIe Slot betreibst oder einer der PCIe Slots (hinter den Risern) per PCIe Switch mehrfach belegt werden könnte.

 

Das mit dem Gaming auf dem System lass ich einfach komplett raus ...

 

1 hour ago, DataCollector said:

Den Satz verstehe ich nicht.

Aber wenn Du Probleme in der Stromversorgung vermutest, schließ temporär mal ein anderes Netzteil an.

Ggf. ist Dein bisheriges Netzteil nicht mehr stabil.

Ich hatte leider schon ein anderes dran (ebenfalls ~5Jahre) für das Neue warte ich noch auf Kabel - da im Lieferumfang Teile gefehlt haben

 

1 hour ago, DataCollector said:

Vielleicht beschreibst Du den Hardwarefehler etwas genauer. Syslog?

 

Das Geräusch ist kein komisches Quietschen. Ich vermute, das liegt daran, dass der Festplatte der Strom irgendwie entzogen wird. Warum? Bei meinen vielen Unraid-boot-Versuchen, wo es sich aufhängt, bleibt mir oft nur der Reset- oder Aus-Schalter - das Geräusch der Festplatten beim Spindown-ist dann ähnlich.

 

1 hour ago, DataCollector said:

Wieviele brauchst Du und in welcher Konstellation?

 

Da x16-Gen4-Lanes für die Graka und x8-Gen2-Lanes für die LSI wegfallen würden, würde ich sagen ...

x16-Gen?? für eine 4er NVMe-Erweiterungskarte(n) * - aktuell nutze ich eine Supermicro AOC-SLG3-2M2-O) glaube die belegt x8-Gen3

x8-Gen3 für meine ConnectX-3 546SFP+

gerne halt ein paar Lanes für die Zukunft - möchte ungern in 5 Jahren wieder das Board tauschen müssen

 

1 hour ago, DataCollector said:

Hier weiß ich nicht, was Du da meinst.

 

Bzgl. des NVMe-only-raids. Ich will mir idealerweise die Option offen lassen, dass ich irgendwann mal von mechanischen Platten trenne (auch auf Grund der Größe).

Mir ist klar, dass da noch einiges an Zeit ins Land geht. Und wie dann die nötigen Anschlüsse aussehen, weiß man eh noch nicht.

 

1 hour ago, DataCollector said:

Wenn Du Wert auf ECC DRAM legst sind aktuell wohl nur die W680 Chipsätze vorgesehen. Die Auswahl ist eher gering.

Was Deine Vorstellung angeht wirst Du dann aktuell so einige Abstrichte machen müssen.

Ich würde gerne wieder EEC-Ram nehmen - maximal mögliche Sicherheit wäre mir schon wichtig. Wenn der am Ende nochmal ~200-400€ kostet, kann ich damit leben.

 

1 hour ago, DataCollector said:

In diesem Punkt könnte Deine Vorstellung von niedrig hinterfragbar sein.

Wenn Du in der Signatur mein 2nd System siehst, zieht es mit einer idle laufenden Win10 VM (ohne Powertop oder so) idle irgendwas knapp unter 40Watt.

Darin sind 8 Festplatten, 4 NVMe, 10GBLan SFP+ Mellanox. Und das ist schon viel Stromverbrauch.

Vielleicht überlegst Du Dir ob es nicht doch ein sparsames unraid NAS und eine getrennte Gamingmaschine werden, wobei die Gamingkiste dann eben stromlos geschaltet werden kann, wenn Du sie nicht nutzt.

Wow. Hätte echt nicht erwartet, dass man das so drücken kann 😳

Vom Prinzip her ist das ja ein seeeeehr ähnlich Aufbau. Mein Server davor (TrueNas 3x4tb WD-red, und nen Supermicro X10SDV-4C-TLN2F mit nem Intel D-1521) Hat schon immer ~55W gebraucht. 

Aktuell bin ich ~100-115W 😢

 

Dass ich alt-Teile nicht mehr nutzen kann, stört mich nicht unbedingt.

Ich möchte nur endlich mal ein verlässliches System.

 

Ach ja.

Das aktuelle board ist ein Asus-X99A

Wenn es Sinn macht würde ich gerne ein aktuelles Supermicro nehmen. Ich war mit denen bisher zufrieden.

 

Gruß

Edited April 13, 2023 by hecky

[EliteGroup]

Egal wie stark die CPU ist, im Idle haben alle (vorallem Intel) gute Werte.
Bevorzugt Desktop/WS CPUs mit ECC Support, Xeon/TR CPUs haben viele PCIe Lanes, was ein Traum für alle Workstation besitzer wäre, sie saugen aber viel Saft, sind auch im Preis nicht günstig.
Die aktuellen Raptor Lake mit ECC Support scheinen ein guter kompromiss zu sein.
Ein Board das ich mir ins Auge gefasst habe ist das hier:
ASUS Pro WS W680-Ace
3x M.2 PCIe 4.0 x4
2x PCIe 5.0 x16 (1x x16, 1x x8)
2x PCIe 3.0 x16 (x4)
1x PCIe 3.0 x1
--
1x SFF-8654 x4 (PCIe 4.0 x4 / SATA)
4x SATA
--
2x 2.5 GBit Intel LAN

Die zwei unteren PCIe 3.0 (x4) Plätze sind ideal für bis zu 2x ASM1166 (6x SATA)
Dann hättest du bis zu 12x SATA für HDD und 8x SATA für SSD/HDD. Gesamt 20 SATA
Wenn du nur 2x M.2 braucht kannst du aus dem einen M.2 auch ein M.2 ASM mit 5x SATA.
Der obere PCIe x1 kann auch bis zu 4x SATA. Da gehen sich 29x SATA + 2x M.2 aus das braucht du bestimmt nicht
Trotzdem hättest du noch 2x PCIe 5.0 x16 (1x x16, 1x x8).
Ich persönlich würde die 2x 2.5Gbe zu LACP zusammen bündeln das würde mir reichen mit 5Gbe. Alternativ kann auf den PCIe x1 eine weitere 2.5Gbe Karte.
Leider passt auf das Board deine LSI Karte nicht nicht wegen PCIe x8. Da müsstest du den zweiten x16 Opfern.

 

Und du bräuchtest neue DDR5 Ram.
Da könntest du jeden on-die ECC Ram nehmen. Wenn du echtes ECC haben willst kannst du auch zu
Kingston Server Premier DIMM 32GB, DDR5-4800, ECC KSM48E40BD8KM-32HM

oder

Micron DIMM 32GB, DDR5-4800, ECC MTC20C2085S1EC48BA1R

(Oder geringer GB des gleichen Modell)

Das Thema mit den Lanes ist etwas komplizierter. Da spielt auch das Chipset eine Rolle und auch sehr wichtig die Verbindungen zwischen CPU und Chipset.
 

Du könntest dir einen "K" kaufen und aus zb dem
i9-13900K (TDP: 125 Watt / MAX: 254 Watt)
eine "T" CPU mit (TDP: 35 Watt / Max: 104 Watt) machen.
Einfaches Setting im Bios. Eine T CPU selbst kaufen würde ich nicht empfehlen.
Auch hier im Forum scheint es keine Probleme mit den neuen Raptor Lake zu geben.
Zum Strom sparen gibt es hier im Forum auch einige Tipps die du dir durchlesen kannst. Wie zb die VM mit der GPU nicht herunterfahren damit die GPU weniger im Idle zieht etc.

Was mit deinem aktuellen Board nicht stimmt kann ich so nicht sagen. Da fehlen viele Infos.
Aber bei einer dicken Graka bleibt dir auch nichts anderes übrig als einen PCIe x16 Riser zu verwenden da immer Steckplätze verdeckt werden besonders bei den neuen nVidia (3.5 Slots).
Von dem was du hier berichtest hat das ASUS W680 genug Platz für deine Bedürfnisse auch wenn der Platz wie bei jeden anderen Board sehr eng ist.
Ich selbst habe mit der ASUS WS Pro Serie gute Erfahrung gemacht, die laufen sehr gut und stabil im 24/7 Betrieb ohne meckern.
Aber am ende brauchst du mit den neuen Raptor Lake neue CPU, MB, RAM und eine ASM1166 SATA Karte. Also überleg dir das nochmal.

Es ist bei Intel recht schwer deine ECC Ram weiter zu verwenden in Desktop Systemen. Bei den Intel XEON bekommst du mehr PCIe Lanes als du brauchen kannst. Die Boards und CPUs sind nicht nur sehr Teuer sondern auch fressen viel Strom.
Also bleibt dann nur noch die Ryzen CPU und Boards, und die haben auch starke Limits bei PCIe. Aber mit den AMD AM4 CPUs + Boards kannst du deine ECC Ram behalten (Kommt drauf an welche RAMs du hast). Bei Intel kannst dir Boards mit 1151 v2 oder 1200 Socket ansehen da könntest du etwas finden.
Zb:
ASUS WS C246 Pro
oder
ASUS P12R-E/10G-2T
Bei AM4 zb:
ASUS Pro WS X570-Ace
Nur geht sich bei AM4 kein 10Gbe aus, oder du verzichtest auf PCIe Platz.
Die neuen Intel 1700 Socket gehen in eine positive Richtung, man bekommt starke Lanes, es kommt mehr ECC Support auch für Desktop CPUs etc.

Edited April 13, 2023 by EliteGroup

[DataCollector]

1 hour ago, hecky said:

Ich würde gerne wieder EEC-Ram nehmen - maximal mögliche Sicherheit wäre mir schon wichtig. Wenn der am Ende nochmal ~200-400€ kostet, kann ich damit leben.

Das Problem ist eher, dass es nicht viele ECC Mainboards für die 12/13.Gen Intel gibt.

 

1 hour ago, hecky said:

Wow. Hätte echt nicht erwartet, dass man das so drücken kann 😳

Eigentlich ist der Verbrauch noch recht hoch (wegen aktiver Lüfter und so).

mgutt hat ja ein SSD Only (aber nur 5 Stück) System im MiniDesktop Format (Lenovo) zusammengestellt und ich glaube eine Messung deutet irgendwo in Richtung 7W idle oder so.  Nicht unbedingt geeignet, wenn man massig Daten lagern will, aber mit den 5 SSD sind brutto auch schon so 4x4 + 8TB (=24TB) gut machbar. Leider passt dann keine 10GBLan rein, so daß man von der Geschwindigkeit nach außen hin kaum etwas hat.

 

1 hour ago, hecky said:

Vom Prinzip her ist das ja ein seeeeehr ähnlich Aufbau. Mein Server davor (TrueNas 3x4tb WD-red, und nen Supermicro X10SDV-4C-TLN2F mit nem Intel D-1521) Hat schon immer ~55W gebraucht. 

Tja, wenn man sich mit den Besonderheiten von unraid anfreundet sind schlafende Festplatten eben weitaus sparsam,er als drehende (in einem echten Raid). Dafür ist das Array in unraid ungleich langsamer.

 

1 hour ago, hecky said:

Aktuell bin ich ~100-115W 😢

Da in der Nähe (140W) bin ich idle mit meinem 1st System mit 28 Festplatten, 4 SATA SSD und 2 NVMe und einer laufenden Win10 VM.

 

1 hour ago, hecky said:

Dass ich alt-Teile nicht mehr nutzen kann, stört mich nicht unbedingt.

Wenn Du etwas optimierst und den Bootfehler findest und ausmerzt sind die bestimmt auch noch gut nutzbar.

Aber so richtig effizient erscheinen die mir leider nicht.

 

1 hour ago, hecky said:

Ach ja.

Das aktuelle board ist ein Asus-X99A

Hm... ich bin verwirrt die CPU kann ECC, aber das deutsche Manual schreibt auf PDF Seite viii (8):

"8 x DIMM DDR4, maximal 64 GB .....  ungepufferte Speicher ohne ECC"

https://dlcdnets.asus.com/pub/ASUS/mb/LGA2011/X99-A/G10088_X99-A_UG_V3_WEB_only.pdf?model=x99-a

Ich weiß ja, daß deutsch übersetzte ASUS Manuals da nict selten blödsinn drin haben, aber ich hätte schon gedacht,d aß denen bei einen so wichtigen Kriterium wie ECC kein Fehler unterläuft.

Wobei Seite 1-8 (24) auch aussagt, dass man nicht ECC- DDR 3 Module einsetzen könnte.

Also entweder DDR3 oder DDR4 und nur 64GB max bei 8 DIMM Plätzen?

 

Das englische Manual sagt dazu aber auch aus:

https://dlcdnets.asus.com/pub/ASUS/mb/LGA2011/X99-A/E10088_X99-A_UG_V3_U_for_web_only.pdf?model=x99-a

Seite viii (8) : "non-ECC"

Und auf Seite 1-8 (24) wird zwar schon korrekter Weise von DDR4 geredet, aber auch da non-ECC.

 

Bist Du Dir sicher, daß Deine alte Konstellation wirklich durchgängig ECC beherrscht?

Vielleicht haben wir da schon den Grund für die Instabilität? Teste mal mit 2 oder 4 non-ECC DDR4 Modulen.

[alturismo]

7 hours ago, hecky said:

Danke im Voraus

 

Wir haben extra einen Hardware Bereich, daher hierher verschoben ... ansonsten solltest du bereits bei all den Beiträgen evtl. hier fündig werden.

[hecky]

Ich habe den folgenden RAM verwendet: MTA36ASF2G72PZ-2G1A2II

Laut dem Link soll der MTA36ASF2G72PZ-2G1A2IG auf 8 Bänken unterstützt werden. 😧

[hecky]

24 minutes ago, alturismo said:

Wir haben extra einen Hardware Bereich, daher hierher verschoben ... ansonsten solltest du bereits bei all den Beiträgen evtl. hier fündig werden.

Bitte entschuldigt.

Ich dachte, ich hätte den Threads erfolgreich gelöscht.

Ließe sich der Post von EliteGroup an die neu eröffnete Diskussion mit anheften? 🙃

[alturismo]

37 minutes ago, hecky said:

Ließe sich der Post von EliteGroup an die neu eröffnete Diskussion mit anheften? 🙃

ich hab Sie merged

[EliteGroup]

2 hours ago, hecky said:

Ich habe den folgenden RAM verwendet: MTA36ASF2G72PZ-2G1A2II

Laut dem Link soll der MTA36ASF2G72PZ-2G1A2IG auf 8 Bänken unterstützt werden. 😧

mit Reg. ECC RAM wirds wieder schwer.
Wenn ich mich nicht irre, gehen die sowieso nicht auf den normalen Workstation/Desktop Boards.
Da gibts nur Support für Xeon / Threadripper. Da bräuchtest du sowieso einen umstieg auf "Unbuffered Memory". Zumindest habe ich nie welche gesehen die Reg ECC unterstützten würden.

Edit:

Wie @DataCollector schon schreibt, die kombination aus den Reg. ECC und einem Asus-X99A verwirrt mich etwas... Das dieses ding überhaupt läuft und Bootet finde ich auch interessant 😄
Ich vermute wenn du da mal "normale" DDR4 rein packt läuft der wie geschmiert. Probier vilt die aus deinem PC wenn du einen hast.

Wenn das einzige ist was du möchtest rein eine Gaming GPU + viele SATA Anschlüsse, konzentrier dich lieber auf Desktop/Workstation Systeme und spar dir das Geld für Equip & Strom. Die Xeon / Threadripper gehen in die Business Richtung wo es benötigt wird.

 

LG Elite

Edited April 13, 2023 by EliteGroup

[EliteGroup]

PS: der X99 Chipset ist sehr umstritten bzgl. ECC Support, mache meinen es würde gehen mit XEON CPU,

und wenn geht es eher in die Richtung Unbuffered Memory ECC. Offiziell gibt selbst Intel keinen ECC Support für X99 an.
Das Mainboard hat offiziell auch keinen Support für ECC.
Du hast Reg. ECC da bräuchtest du ein Board mit zb Intel C612 Chipset.

Edited April 13, 2023 by EliteGroup

[DataCollector]

5 hours ago, hecky said:

Ich habe den folgenden RAM verwendet: MTA36ASF2G72PZ-2G1A2II

Laut dem Link soll der MTA36ASF2G72PZ-2G1A2IG auf 8 Bänken unterstützt werden. 😧

Soweit ich es googlen konnte sind sich die Module sehr ähnlich (vermutlich ist der "I" einfcah nur eine neuere Entwicklung).

Leider konnte ich bei Micron/Crucial dazu keine Datasheets finden.

 

Somit gehe ich auch mal davon aus, daß die Module in dem Board gut laufen sollten.

Aber ob das Mainboard dadurch überhaupt ECC unterstützt, wenn alle beide von mir gelesenen (und verlinkten) ASUS Manuals das bestreiten, ist eine Frage, die ich nicht beantworten kann.

Sollte ASUS da auf dem Layout nur eine Verbindung nicht durchverbunden haben, laufen auch diese Module (wie in dem englischen und deutschen Handbuch zu lesen) trotz Xeon wohl auch im non-ECC Betrieb.

Hast Du mal geschaut ob ein aktueller Memtest oder so dahingehend etwas aussagekräftiges ausgibt?

[hecky]

Servus,

habe den Test erst sehr spät anstarten können.

Er ist jetzt einmal durchgelaufen (Pass: 1) - 0 Fehler.

Das hat in Summe knapp 3h15min gedauert - ist das normal?

Der Test wurde automatisch gestartet - ich habe keine Eingabe getätig.

 

Ich hatte erst versucht mit F2 den Multithread-Modus zu "erzwingen". Da ist das System dann aber eingefroren und hat gar nicht erst gestartet.

Insofern lief er auch nur mit vermeintlich einem Kern.

 

Achja:
Während des Memtests verbraucht die CPU mit einer GTX770 ohne Zusatzkarten (alle entnommen) und ohne angesteckt Festplatten 120W laut meiner APC

Edited April 14, 2023 by hecky

[DataCollector]

1 hour ago, hecky said:

Das hat in Summe knapp 3h15min gedauert - ist das normal?

Der Test wurde automatisch gestartet - ich habe keine Eingabe getätig.

Selbstverständlich ist Memtest ziemlich gründlich und dadurch brauchen tests je nach Plattform und Speichermenge lange.
Ich rüste gerade ein Consumer Board Skylake I5 auf 32GB Ram (2 Module) auf.
Da braucht ein Durchlauf aktuell mit Passmark Memtest86 v7.5 Free rund 1,5h.
20 Pass brauchten bis heute Vormitteg knapp über 36h.

So ein Test ist gut um mit großer Zuverlässigkeit Fehler zu finden. Bei jedem Pass wird auch ein 'Zufallsmuster' verwendet, das bedeutet, dass nicht jeder Pass wie der vorherige identisch ist. Dadurch werden sehr viele mögliche Probleme gefunden, aber leider nicht 100%ig alle.

 

1 hour ago, hecky said:

Während des Memtests verbraucht die CPU mit einer GTX770 ohne Zusatzkarten (alle entnommen) und ohne angesteckt Festplatten 120W laut meiner APC

Natürlich greifen bei dem Test keine Stromsparmassnahmen, da kein optimiertes OS darauf läuft.

Edited April 14, 2023 by DataCollector
Typos

[hecky]

Wie immer. Danke für die Antwort
Ich habe gerade als vergleich für mich 3 consumer-ram-module reingemacht. 

2x Crucial 8gb + 1x GSkill 4gb

Was auffällig ist. 

Bis die Riegel in endlich alle im bios erkannt wurden musste ich ewig hin- und herstecken, kreuztauschen, mehrere BIOS-Reset ... Ähnliche Symptome, wie auch bei meinen "glücks"-starts mit dem EEC-Ram.

Mittlerweile glaube ich fast, dass das Board eher einen weg hat - z.B. irgendwelche Kondensatoren ausgelutscht sind, Spannungsregler evtl. nicht mehr funktionieren, oder oder ...

[mgutt]

On 4/13/2023 at 10:49 AM, hecky said:

Wenn ich eine Grafikkarte mit 16Lanes anbinde, bleiben ja quasi nur 4 für Erweiterungskarten - oder habe ich da einen Denkfehler?

Ja hast du. Die aktuellen Intel Consumer CPUs haben 16 Lanes + 4 Lanes + 4 oder 8 Lanes. Diese Werte sind bewusst getrennt, denn die 4 sind ausschließlich für eine M.2 und das "4 oder 8" ausschließlich für den Chipsatz.

 

Damit hast die für die PCIe Slots eigentlich nur 16 Lanes von der CPU.

 

ABER: diese Lanes lassen sich auf 8 + 8 Lanes aufteilen. Also zwei PCIe Slots mit jeweils X8 und ob eine Grafikkarte mit X8 oder X16 angebunden ist spielt keine Rolle..

 

AUẞERDEM: Der Chipsatz kann noch Lanes unterverteilen. Aus dem Grund bietet zB ein Supermicro X13 Board noch zusätzlich 2x M.2 Slots und 2x PCIe X4 Slots:

 

Man könnte also 2x X8 Karten und 2x X4 Karten verbauen (wenn der Platz das hergibt).

 

Natürlich teilen sich die 8 SATA Buchsen, die M.2 Slots und die PCIe Slots des Chipsatzes die X8 Lanes, aber das sind bekanntlich ~ 8 GB/s. Das muss man auch erstmal parallel ausgelastet bekommen.

 

Die Aufteilung kann bei jedem Board natürlich anders aussehen. Da muss man also die Anleitung lesen, wenn man es genau wissen will.

[hecky]

Ich habe nochmal geguckt, was ich jetzt in Summe hier an "verwendbaren" boards und CPUs habe.

 

 

Links: 

Board 1: X99-A mit E5-2640 V4 und 48Gb DDR4 ECC REG

Board 2: X10SDV-4C-TLN2F mit D-1521 und 32GB DDR4 ECC REG

*³ Borad 3: X10SLM+-F mit E3-1230V3 und 32GB DDR3L ECC unbuffered 

 

Dedizierte Grafik-Karte lege ich für mich gedanklich erstmal ad-acta.

Mein Wunsch wäre damit jetzt eher ein:

- verlässliches

- stromsparendes (neues Ziel: Idle ~20-30 ohne drehende Platten)

- erweiterbares 

NAS.

 

Platten(wunsch)konfig:

8x Toshiba MG09

2x 2tb Sandisk SSD als Cache

1x 2tb NVMe als Docker

 

Evtl. lässt sich dies mit den oben Komponenten bewerkstelligen.

Wenn es eurer Meinung nach sinnvoller ist, andere Komponenten zu nehme, kann ich die Obigen verklingeln

 

 

*³ - Das board lasse ich gerade mal mit Memtest v10.3 durchlaufen.
Es zieht aktuell immer mal zwischen 50-75W während des Prozesses ...

 

Edited April 15, 2023 by hecky

[EliteGroup]

4 hours ago, hecky said:

Links: 

Board 1: X99-A mit E5-2640 V4 und 48Gb DDR4 ECC REG

Board 2: X10SDV-4C-TLN2F mit D-1521 und 32GB DDR4 ECC REG

*³ Borad 3: X10SLM+-F mit E3-1230V3 und 32GB DDR3L ECC unbuffered

 

Ist dir das Board 2 mini-ITX (X10SDV-4C-TLN2F) nicht zu limitiert? Nur einen PCIe und 6 SATA onBoard..

Zuerst wolltest du noch iGPU, viele PCIe Lanes, M.2 Slots. Gute wenn du deine LSI 8-Port Karte reinhaust bist du bei 14 SATA und das wars dann,

und die CPU hat keine integrierte Grafikeinheit? Also Unraid in headless Betrieb.

 

Die Toshiba MG09 kann ich nur empfehlen, gehören zu den schnellsten und zuverlässigsten HDDs, Stromverbrauch auch sehr gut, da wären nur Western Digital Gold besser, kosten aber auch fast das doppelte.

[mgutt]

16 hours ago, hecky said:

X10SLM+-F

Wenn wird das das einzig sparsame Board von der Sammlung sein.

 

16 hours ago, hecky said:

Es zieht aktuell immer mal zwischen 50-75W während des Prozesses ...

Naja. Was willst du nun für ein Fazit ziehen? Wenn der Server was macht, verbraucht er Strom? 😅

[hecky]

Ich muss leider noch nochmal nachhaken.

Ich bekomme immer mehr Panik, dass ich an meine Daten überhaupt nicht mehr ran komme.

Das "laut memtest" fehlerfreie System (Borad 3: X10SLM+-F mit E3-1230V3 und 32GB DDR3L ECC unbuffered) hat mir nun ebenfalls einen herben Strich durch die Rechnung gemacht.

Die Platten haben wieder angefangen zu quietschen.

 

 

Auf der Main-Page wurden die Platten (4,5 und 6) als healthy, aber nur mit einem Kreuzchen bei der Temperatur angezeigt.

Das Array ließ nicht stoppen über die GUI.

Und immer dieses gequietsche bei den Platten .. Man hat auch an der PSU gesehen, dass nach einem "Quietscher" die Leistungsaufnahme ~15-20W gedropped ist.

Das letzte log habe ich angehangen.

 

Auf dem Dateisystem liegen aktuell knapp 46tb an Daten, die mir sehr wichtig sind und mich im Laufe der Jahre sehr viel Zeit und Geld gekostet haben - einige kann ich faktisch auch nicht mehr ran Schaffen. Ein full-backup habe ich natürlich nicht (nur von ~6tb - den kritischsten Daten eben).

 

Aus diesem Grund lass ich jetzt die Fehlersuche der alten Hardware erstmal sein und würde mir gerne ein neues Komplettsystem kaufen.

 

Platten sollen erhalten bleiben.

Wenn MB, CPU, RAM, PSU und CASE am Ende 2-2,5t€ kosten ist mir das auch zum aktuellen Zeitpunkt egal. Die Daten wären es mir wert.

Und ich würde gerne mal Ruhe haben.

 

 

 

unraid-diagnostics-20230416-1511.zip

Edited April 16, 2023 by hecky

[DataCollector]

8 minutes ago, hecky said:

Die Platten haben wieder angefangen zu quietschen.

 

Hier kommen leider viele Punkte als Fehlerursache in Frage: Stromversorgung, Kontroller, Kabel oder Festplatten.

 

 

8 minutes ago, hecky said:

Auf der Main-Page wurden die Platten (4,5 und 6) als healthy, aber nur mit einem Kreuzchen bei der Temperatur angezeigt.

Das Array ließ nicht stoppen über die GUI.

Das Array hakt bei mir auch meist. Wenn ich dann einfach ein Terminalfenster öffne stoppt das Array dann meist innerhals von 30 sekunden.

 

8 minutes ago, hecky said:

Auf dem Dateisystem liegen aktuell knapp 46tb an Daten, die mir sehr wichtig sind und mich im Laufe der Jahre sehr viel Zeit und Geld gekostet haben

Da die Festplatten des Array alle ein eigenständiges Filesystem haben   kannst Du die auch einzeln an einen PC anschließen und auslesen.

Natürlich sollte das Betriebssystem, welches Du dann nutzt auch das verwendete Dateisystem (xfs, BTRFS, zfs....) verstehen und beherrschen.

Aber Du brauchst natürlich erst einmal ausreichend Backupplatz.

 

8 minutes ago, hecky said:

- einige kann ich faktisch auch nicht mehr ran Schaffen. Ein full-backup habe ich natürlich nunraid-diagnostics-20230416-1511.zipicht (nur von ~6tb - den kritischsten Daten eben).

Dann wird es jetzt Zeit Backupplatz ran zu sachaffen udn die Daten zu sichern.

Edited April 16, 2023 by DataCollector

[hecky]

1 hour ago, DataCollector said:

Hier kommen leider viele Punkte als Fehlerursache in Frage: Stromversorgung, Kontroller, Kabel oder Festplatten.

 

Aus diesem Grund würde ich gerne alles neu machen.

Neue PSU

Neues Board

Kabel habe ich für SATA schon neue da.

Festplatten (die problematischen) sind alle zum gleichen Zeitpunkt vor ein paar Wochen gekauft worden. Alle haben einen Preclear-Durchlauf einwandfrei durchlaufen - nur pre-test hatte ich abgewählt.

 

1 hour ago, DataCollector said:

Das Array hakt bei mir auch meist. Wenn ich dann einfach ein Terminalfenster öffne stoppt das Array dann meist innerhals von 30 sekunden.

 

Ich hatte versucht über die Konsole das Array nach Anleitung zu stoppen - mit der Anleitung von link

Leider ist mir dann zusätzlich auch noch die Console eingefroren. 😭

GUI hat dann garnicht mehr reagiert ich ich hab den Rechner über den Power-Button zwangs-runtergefahren.

 

1 hour ago, DataCollector said:

Da die Festplatten des Array alle ein eigenständiges Filesystem haben   kannst Du die auch einzeln an einen PC anschließen und auslesen.

Natürlich sollte das Betriebssystem, welches Du dann nutzt auch das verwendete Dateisystem (xfs, BTRFS, zfs....) verstehen und beherrschen.

Aber Du brauchst natürlich erst einmal ausreichend Backupplatz.

 

Ich sitze seit dem 22.02.2023 fast jeden Tag hier mehrere h vor dem Rechner und versuche eigentlich "nur" ein erweiterbareres System als TrueNas aufzubauen.

Dieses lief davor problemlos (allerdings auch nicht 24/7, sondern nur bei Bedarf).

Da ich kein sinnvolles Szenario zum Erweitern gefunden habe, wollte ich UnRaid (wohl gemerkt auf älter hardware, als TrueNas) eine Chance geben.

Und seit dem stecke ich, wie ich finde, Unmengen an Zeit in eine (ich glaube zumindest immer noch dran) langzeitlich-komfortablere Lösung (Energieeinsparung, Erweiterbarkeit, Docker, ...).

Klar kann ich nochmal 1-1,25k€ (4-5x 18TB) in weitere HDDs investieren ... über 3-4Tage + nen Backup machen mit Festplattenadaptern oder Festrechner, die ich noch nicht habe. Aber was mach ich dann mit den übrigen Platten, wenn die Daten zurück auf dem (Un)Raid sind.

Ich bin halt nicht der Typ, der die gekauften Sachen dann einfach zurückschickt.

Das dort investierte Geld würde ich lieber in verlässliche neue Hardware stecken, da ich scheinbar ja irgendwo Defekte zu haben scheine ... 😢

 

Klar reizt es mich herauszufinden, woran es am Ende gelegen hat ... 

Aber das würde ich gerne auf einem Zweit-System machen, wo es mir schlicht und ergreifend egal ist, wenn was passiert.

 

Bitte nicht falsch verstehen.

Ich bin WIRKLICH unendlich dankbar, dass Ihr euch meinem Problem annehmt.

Aber aktuell bringe ich psychisch nicht mehr die Kraft auf, immer auf "Messer Schneide" zu tanzen. 😔

Und das Geld für die Lebenszeit bin ich im Zweifelsfall bereit auszugeben - um es lieber in die Familie zu stecken.

 

Deswegen...

Wäre das Folgende eine sinnvolle Option?

 

Wie gesagt:

- Neuware

- Datensicherheit

- Erweiterbarkeit (Festplatten)
 

 

Gruß und Danke im Voraus

Edited April 16, 2023 by hecky

[DataCollector]

41 minutes ago, hecky said:

Klar kann ich nochmal 1-1,25k€ (4-5x 18TB) in weitere HDDs investieren ... über 3-4Tage + nen Backup machen mit Festplattenadaptern oder Festrechner, die ich noch nicht habe. Aber was mach ich dann mit den übrigen Platten, wenn die Daten zurück auf dem (Un)Raid sind.

Ich bin halt nicht der Typ, der die gekauften Sachen dann einfach zurückschickt.

Ich empfehle weiterhin: Ein Backup ist sinnvoll. unraid selber sichert nur gegen Ausfall einzelner (1 bis 2) Datenträger im Array.

 

https://www.ebay.de/itm/334830777608
Fujitsu Esprimo P756 Tower PC i5 6.Gen 8GB RAM 250GB SSD
Laut Datenblatt
https://www.its.uni-bayreuth.de/pool/ITS_PDF/Datenblaetter/ds-esprimo-p756-e85-de_160330.pdf
5x SATA 1x M.2
280W Netzteil
149 Euro incl. Versand.
Da dann Deine erwähnten 5x18 TB Backupfestplatten rein (Du hast bis 1,25kEuro erwähnt),

eine Cache M.2 NVMe SSD (unter 200 Euro);

Ram aufrüsten (ca. 60 Euro)

Paar Blechadapter für die Festplatten

 = Fertig ist das lauffähige Backup System für ca. 1,5 Euro.

 

41 minutes ago, hecky said:

Das dort investierte Geld würde ich lieber in verlässliche neue Hardware stecken, da ich scheinbar ja irgendwo Defekte zu haben scheine ... 😢

Hoffen wir mal, daß in der Zwischenzeit nichts schief geht.

 

41 minutes ago, hecky said:

Aber aktuell bringe ich psychisch nicht mehr die Kraft auf, immer auf "Messer Schneide" zu tanzen. 😔

Deswegen ja: Backup.

 

41 minutes ago, hecky said:

Wäre das Folgende eine sinnvolle Option?

"Stromsparend" ist aber nicht mehr Dein Ziel, oder?

 

Das gewählte Corsair RM550x ist die 2018 Edition.

Empfohlen wird die (kaum noch zu bekommende) 2021 Edition.

Aber da Deine Konstellation meiner vermutung nach kaum in den Niedriglastbereich kommen wird, wo diese höhere Effizienz des Corsair eine Rolle spielt, ist dieser Punkt egal,

 

[hecky]

1 hour ago, DataCollector said:

"Stromsparend" ist aber nicht mehr Dein Ziel, oder?

 

Das gewählte Corsair RM550x ist die 2018 Edition.

Empfohlen wird die (kaum noch zu bekommende) 2021 Edition.

Aber da Deine Konstellation meiner vermutung nach kaum in den Niedriglastbereich kommen wird, wo diese höhere Effizienz des Corsair eine Rolle spielt, ist dieser Punkt egal,

 

 

Gibt es eine sinnvolle Alternative als Neuware?

Wenn möglich möchte ich natürlich effiziente stromsparende Komponenten ... nur eben neu.

Wenn das Asus-board oder der 13600k/13900k dafür viel zu überdimensioniert sind, dann bin ich gerne für andere Sachen offen.

 

[DataCollector]

3 hours ago, hecky said:

Gibt es eine sinnvolle Alternative als Neuware?

Wenn es um ein effizientes Netzteil im Niedrigleastbereich geht wird gerne auf das be quiet! Pure Power 11 FM 550W ATX 2.52  BN317 verwiesen.

Aber ob das für Dein angedachtes System überhaupt relevant ist, wirst Du dann in der Praxis sehen.

Ich bin mir nicht wirklich sicher, daß die sonstige Zusammenstellung wirklich in diesem Niedriglastbereich betrieben wird (mit den Festplatten).

 

3 hours ago, hecky said:

Wenn möglich möchte ich natürlich effiziente stromsparende Komponenten ... nur eben neu.

Das übliche Problem: für die von Dir angedachten Komponenten liegen für unraid bisher kaum sinnvolle Messungen/reale Werte vor, weil es eben alles noch zu neu ist. Aber wenn es um Stromsparen geht werden eher weniger ATX Mainboards mit vielen Features genannt.

Der kleine Bruder meines w480 gilt als stromsparere Version. Meine ATX Variante mit 10 SATA Ports und... und ... und...  hingegen ist für mich zwar ausreichend effizient, aber wirklich so energiesparend wie die keine Variante wird es nie werden.

Edited April 16, 2023 by DataCollector