Fragen zu Intel Xeon W-1290(P) und passendem Board

[DataCollector]

Hallo Allerseits.

 

Ich teste zwar gerade mein neues System (I3-8100), aber befürchte, daß unter Last die CPUleistung nicht ausreichen wird.
Auch deshalb lese ich bei diversen Vorschlägen und Beiträge mit und bin auf diese Empfehlung des Intel Xeon W-1290 gestoßen (wegen ECC). (Leider kenne ich mich bei Xeon so gar nicht aus und blicke auch nach einigen Artikeln im Netz und Wikipedia mehr schlecht als recht durch die Bezeichnung durch.)
Dazu nehme ich mal die Aussage, dass Kerne, die idle sind kaum Strom verbrauchen:
Frage:
Macht es im Idle so viel Unterschied, ob man
 Intel Xeon W-1290P (125W) wohl nur als Tray ohne Garantie
oder
 Intel Xeon W-1290 (80W) boxed
nimmt?

Das sie unter Last recht unterschiedlich sind ist klar, aber die meiste Zeit wird das System kaum etwas zu tun haben/idle sein.

 

Beide scheinen ja für den W480 Chipsatz gedacht zu sein. Deshalb schaue ich gerade nach passenden Mainboards.
Ich weiß, daß hier gerne das GIGABYTE W480M Vision W empfohlen wird, doch würde ich etwas mit mehr PCIe Slots bevorzugen, weshalb ein uATX Board mir weniger sympatisch ist.
Da gibt es ja dann auch die Varianten

 

GIGABYTE W480 Vision D (scheint gut verfuegbar zu sein, ist aber mit 350 Euro nicht billig)
 3x PCIe mechanische x16 Slots, 3x M.2 mit PCIe, 6SATA, 2 Thunderbolt, Wifi

 

GIGABYTE W480 Vision W (scheint kaum zu bekommen zu sein, aktuell aber mit 270 Euro etwas billiger)
 4x PCIe mechanische x16 Slots, 2x M.2 mit PCIe, 8+2SATA, 1 Thunderbolt Header

 

Wenn ich die gegeneinander vergleiche erscheint mir die Variante W mit den 4 PCIe Slots für Erweiterungskarten (HBA, PCie Switch ASM2824 für bis zu 4 M.2 NVMe, 10GBLan) und 10 SATA Ports recht sympatisch zu werden.

Habe ich da einen Haken übersehen, der gegen das Board spricht?

 

 

Ich bedanke mich für sachdienliche Hinweise und Vorschläge.

P.S.: Bei den Preisen muß ich die Vorstellung sowieso noch etwas reifen kassen und das Geld ansammeln lassen. Es ist also keine Ad Hoc Vorstellung meinerseits und könnte zwischen 1/2 Jahr und nie realisiert werden.

 

[ich777]

6 minutes ago, DataCollector said:

Xeon

6 minutes ago, DataCollector said:

ECC

Darf ich Fragen was du vor hast bezüglich Xeon und ECC? Oder geht es um den Stromverbrauch?

[DataCollector]

Hallo.

 

@ich777Natürlich darfst Du fragen.

 

Es ist, wie schon ab und zu mal angedeutet hatte:
Eigentlich will ich meine Win10 Kiste (Heimserver basierend auf PC Technik mit Megaraid 9361) mit 300+TB Datenkapazität stromsparender gestalten/ersetzen/ergänzen.
Mit der alten Kiste lasse ich unter Win10 neue eintreffende Daten mit clonespy gegen den vorhandenen Datenbestand laufen um binär identische neue Datein zu verwerfen.
Zusätzlich fertige ich von den Dateien in jedem Verzeichnis Checksummen an um bei gelegentlichem Prüfen Fehler/Bitrot zu entdecken und mit dem Cold Backup aus einem anderen System auszuhelfen.

 

Die gerade im Test befindliche unraid Maschine (aktuell mit I3-8100 64GB ECC Ram) hat schon rund 250TB Kapazität und ich befülle sie gerade das erste Mal.
Und da ich so nette Sachen wie Dynamix File Integrity gefunden habe und das mir als Pruefung gegen BitRot sehr sympatisch erscheint (auch wenn ich die Arbeitsweise der App noch nicht so ganz verstehe und noch teste) habe ich festgestellt, daß ich ab und zu schon recht viel Leistung brauche. Das ist dann aber eben nur sporadisch.

Sollte ich die Maschine wirklich mit dem Xeon oder so ausstatten, dann wäre es wohl meine leistungsstärkste Maschine in meinem PC-Fuhrpark.
Somit würde ich wohl auch zukünftig vermutlich meinen Videoschnitt und vielleicht aus Platzgründen Videorecoding in W10 VM darauf betreiben.

 

Sollte ich mal neue Software testen, wären später auch weitere VM interessant, die ich dann dafür hernehme.
Aktuell teste ich neue/unbekannte Software auf anderen PC in einer VirtualBox VM um mir meine bestehenden Systeme nicht zu sehr zu versauen.

 

Aber wie gesagt sind das überwiegend noch nur Gedankenspiele.
Aktuell baue ich eben das System mit em I3 und versuche festzustellen ob nicht schon die Verwaltung der 300+ TB nicht schon etwas viel sind.

 

[hawihoney]

2 hours ago, DataCollector said:

Ich bedanke mich für sachdienliche Hinweise und Vorschläge.

 

Eine Alternative: Nicht ganz so üppig mit PCIe (3x) bzw. M.2 (2x) ausgestattet wie gewünscht. Aber ich stehe halt auf Supermicro server-grade Hardware:

 

Supermicro X12SCA-F Mainboard
Intel Xeon W-1290P CPU
Samsung 32 GB M391A4G43AB1-CVF RAM

 

Da steht dem "data-collecten" nichts im Wege:

 

 

[mgutt]

1 hour ago, DataCollector said:

 4x PCIe mechanische x16 Slots, 2x M.2 mit PCIe, 8+2SATA, 1 Thunderbolt Header

 

Und wie viele Slots kannst du davon wirklich nutzen? Der Punkt ist, dass viele Slots rein gar nichts nützen, wenn sie bei entsprechender Belegung einfach deaktiviert werden. Bei dem W ist es zB so, dass eine M.2 einen PCIe X4 killt. Dir bleiben also 2x X8 + 1x X4 + 1x X1. Also am Ende nur 1x X4 mehr als beim mATX. Bei dem Vision D hat man 2x X8 + 1x X2 + 1x X1, wenn man alle M.2 Slots belegt.

 

Wenn 3x M.2 dein Ziel ist, dann ist das größere Board natürlich alternativlos, allerdings geht das auch zu Lasten des Stromverbrauchs. Wir haben schon jemanden hier, der das ATX W Board gekauft hat und nicht zufrieden war. Was aber auch logisch ist, da das Board mit Thunderbolt, zusätzlichem SATA Controller, usw Komponenten hat, die mit Strom versorgt werden müssen.

 

Was hast du denn aktuell für ein Board? Wie wäre es da einen Xeon drauf zu pflanzen:

https://en.wikipedia.org/wiki/List_of_Intel_Coffee_Lake-based_Xeon_microprocessors

 

Da gingen aber nur bis zu 8 Kerne.

 

2 hours ago, DataCollector said:

Macht es im Idle so viel Unterschied, ob man
 Intel Xeon W-1290P (125W) wohl nur als Tray ohne Garantie
oder
 Intel Xeon W-1290 (80W) boxed
nimmt?

 

Viel wird es nicht ausmachen, aber der W-1290 wird wegen seinem etwas geringeren Basistakt (3.2 vs 3.7 Ghz) vermutlich etwas weniger ziehen. Allerdings ist der W-1290 quasi gar nicht zu bekommen. Daher scheitert es meist schlicht an der Verfügbarkeit. Wenn beide richtig tief schlafen, werden sie gar keinen Unterschied beim Verbrauch haben. Ich hatte den übrigens mal mit einem anderen Board gemessen:

https://forums.unraid.net/topic/116379-vorstellung-die-cloud-der-großfamilie/?tab=comments#comment-1076700

 

[DataCollector]

Hallo @hawihoney

 

3 hours ago, hawihoney said:

Eine Alternative: Nicht ganz so üppig mit PCIe (3x) bzw. M.2 (2x) ausgestattet wie gewünscht. Aber ich stehe halt auf Supermicro server-grade Hardware:

Supermicro X12SCA-F Mainboard
Intel Xeon W-1290P CPU
Samsung 32 GB M391A4G43AB1-CVF RAM

 

Ich habe mir die Daten des vorgeschlagenen SM-Mainboards angesehen und es steht bei den PCIe Slots dem Gigabyte kaum nach.
Die erwähnte 10GBLan Karte wäre bei mir nur PCIe x4 und somit könnte ich die selbe angedachte PCIe Steckkartenbestückung ermöglichen.
Supermicro X12SCA-F (2 PCIe mechanisch x16, 1 PCIe x4, 2 M2 PCIe, 4 SATA)
Es wären aber nur 4 SATA drauf.
Das ist nicht gravierend, da ja auch ein HBA vorgesehen ist, aber der hat aktuell nur 24 Ports und bei einem höheren Preis des SM Bords dann ein bisschen weniger an Ausstattung wäre für mich zu bedenken.
6SATA würde ich schon sehr sympatisch finden.

 

 

3 hours ago, hawihoney said:

Da steht dem "data-collecten" nichts im Wege:

 

Zu Deinen Bildern: als ich vor Monaten meine 300TB+ Idee hier ansprach, hatte ich ja noch das Problem mit auch 30+ HDD in einem Array und da erwähntest Du Dein beeindruckendes System mit den 3 Unraid Maschinen schon mal grob.
Dahingehend konnte ich zum Glück mit viel Zeit, Bastelei und einigem Geldeinsatz meine Vorstellung auf ein Gehäuse mit einer unraid Lizenz konsolidieren.
Aktuell habe ich das ebenfalls schon mal erwähnte Gooxy 4U Gehäuse auf max. 30HDD, 4 SATA SSD und 1 NMVe SSD umbauen können.
Bestückt sind zur Zeit aber nur 18 HDD und ich habe damit schon knapp über 250TB. Somit sollten die 300TB+ in der einzelnen Maschine machbar sein.
Wieviel Speicherplatz ich genau brauche um die bestehenende 300TB+ Windowsmaschine zu ersetzen kann ich erst sagen, wenn ich alles transferiert habe, da die Windowsmaschine mit 7 Hardwarearrays (Raid5 und 6) die Daten anders aufteilt. Bei Unraid geht das alles an einem Stück.

 

Das ist aber eben aufgrund der doch großen Menge an Speicherplatz und angedachter Anwendungen eben nur ein Realitaetscheck/Test mit vorhandener Hardware/CPU (I3-8100), weil ich eben erst einmal herausfinden will ob unraid damit nicht doch an der einen oder anderen Stelle ins Straucheln auf der CPU kommt.
Schon die Checksummenberechnung auf mehreren Platten gleichzeitig bringt die I3 CPU an die Grenzen, weshalb ich auch die CPU Kühlung heute Nacht von Intel boxed Kühler auf 180W Tower Kühler umbaue (180W laut Hersteller ist zwar weit überdimensioniert, aber evtl. kann ich dann bei vorhandenem Gehäuseluftstrom die CPU Lüfter abschalten/entfernen und habe damit immer noch genug Luftzug.)

 

Falls die Rechenleistung der I3 doch zu schwach ist habe ich dann eben die Sachen mit dem Xeon aufgeschnappt und überlege im Hinterkopf schon weiter/neu.
Aufgrund der vielen PCIe Lanes haette ich zwar lieber einen Threadripper, aber wichtiger ist mir die Kompatibilität auch mit einer iGPU, da ich sonst doch wieder einen PCIe Slot für eine GPU opfern müßte.

 

Danke für Deinen Vorschlag, der kommt mit auf den Zettel und wird weiter überdacht.

[DataCollector]

Hallo @mgutt

 

3 hours ago, mgutt said:

Und wie viele Slots kannst du davon wirklich nutzen? Der Punkt ist, dass viele Slots rein gar nichts nützen, wenn sie bei entsprechender Belegung einfach deaktiviert werden. Bei dem W ist es zB so, dass eine M.2 einen PCIe X4 killt. Dir bleiben also 2x X8 + 1x X4 + 1x X1. Also am Ende nur 1x X4 mehr als beim mATX. Bei dem Vision D hat man 2x X8 + 1x X2 + 1x X1, wenn man alle M.2 Slots belegt.

 

Das habe ich gelesen, aber das past ja genau. ich schrieb mit Absicht x16 mechanisch, weil ich elektrisch weniger brauche und das genau passt:

Meine aktuelle Bestückung ist elektrisch weniger anspruchsvoll und ist auch der Ansatzpunkt, der dann so oder ähnlich auf das Xeonboard kommen würde (solange mir kein HBA mit noch mehr Ports zuläuft).
Der erwähnte HBA ist ein ADAPTEC/Microsemi-72405 und hat x8 elektrisch+mechanisch für 24 SATA/SAS Ports.
Der erwähnte PCIe Switch (KALEA PCIe3 Controller f. 4SSD NVMe an ASM2824) hat x8 elektrisch, aber x16 mechanisch.
Die 10GBLan wäre entweder eine Mellanox ConnectX-3 CX311A  oder eine ASUS XG-C100C und die haben beide nur PCIe x4 elektrisch+mechanisch.

Durch die Wechselwirkung der M.2 und des einen PCIe Slots habe ich dann die Wahl ob ich eben eine NVMe SSD M2 dort einsetze oder doch noch eine Steckkarte (für SATA).
Der zweite M.2 PCIe bliebe dabei ja weiter nutzbar.

 

3 hours ago, mgutt said:

Wenn 3x M.2 dein Ziel ist, dann ist das größere Board natürlich alternativlos, allerdings geht das auch zu Lasten des Stromverbrauchs.

 

Der PCIe Switch stützt 4 NVMe SSD. Dazu die eine auf dem verbliebenen M.2 Port, das sollte 5 nutzbare M.2 NVMe SSD ergeben und erst einmal ausreichen um auch die 10GBLan längerfristig als Cache zu befeuern.

Daß die großen Bords wegen der Ausstattung etwas mehr Strom schlucken als das uATX ist mir bewusst. Ich kann zwar nicht sagen, wieviel,

aber da ich viele PCIe Lanes will/brauche habe ich nichts anderes passendes gefunden. (Da hatte ich das SuperMikro von hawihoney noch nicht gefunden/gekannt, Aber da fehlen mir in meiner Planung auch SATA Ports und ich müßte somit einen anderen HBA oder einen SAS Expander einplanen. Das schluckt auch wieder mehr Strom.)

Deshalb hatte ich auch erst mal an einen Thgreadripper gedact, welche es ja mit mehr und flotteren PCIe Lanes gibt, aber die hier öfters erwähnte Problemtik der nicht/schlecht nutzbaren iGPU würde dann auch wieder einen Slot fressen und dann hätte ich kaum einen Vorteil, selbst wenn ich eien PCIe x1 GPU nehme.

 

3 hours ago, mgutt said:

Wir haben schon jemanden hier, der das ATX W Board gekauft hat und nicht zufrieden war. Was aber auch logisch ist, da das Board mit Thunderbolt, zusätzlichem SATA Controller, usw Komponenten hat, die mit Strom versorgt werden müssen.

Was hast du denn aktuell für ein Board?

 

Momentan teste ich in meinem System mit einem

Fujitsu D3644-B + i3-8100 und 64GB ECC Ram

und zwei der erwähnten PCIe Steckkarten (HBA Adaptec + Asus 10GBLan)

+ einer ASM 1064 PCIe x1 und einem M.2 Key A/E JMB582

+ 7x 18TB & 11x 16TB Festplatten,

+ 4 SATA SST 2TB,

+ 1 NVMe SSD 2TB

in einem umgebauten Gooxy-RM4124-660 4U Gehäuse

indem ich es eben erst einmal Erstbefülle (ausgeschalteter SSD Cache um die nicht gleich zu verschleißen).

Wenn gewüscht kann ich ein paar Fotos liefern.

 

3 hours ago, mgutt said:

Wie wäre es da einen Xeon drauf zu pflanzen:

https://en.wikipedia.org/wiki/List_of_Intel_Coffee_Lake-based_Xeon_microprocessors

 

Das würde bei dem Board nur begrenzt etws bringen, weil es gerade wegen der Stromsparsamkeit nicht alle der zulässigen Xeons voll nutzen kann.

Schon bei einem I3-9100K sind in der Beschreibung Einschränkungen erwähnt.

Und wenn ich schon so viel Geld wieder in die hand nehmen würde, dann bitte auch gleich eine bessere PCIe Nutzung.

Stromsparender als mein aktueller auf PC Technik mit Win10 und Hardwareraid basierende Heimserver mit dauernd durchlaufenden Platten wäre es in den idle Zeiten bestimmt.

 

3 hours ago, mgutt said:

Viel wird es nicht ausmachen, aber der W-1290 wird wegen seinem etwas geringeren Basistakt (3.2 vs 3.7 Ghz) vermutlich etwas weniger ziehen. Allerdings ist der W-1290 quasi gar nicht zu bekommen. Daher scheitert es meist schlicht an der Verfügbarkeit.

 

Auch sehe ich da wegen den fernen Zeithorizont keinen Druck. Wenn dafür geld da ist einfach bestellen und warten ob der in 1/2 Jahr geliefert wird.

Und wie schon agedeutet: Das ist bisher alles nur Gedankenspiel, da ich das Geld zur Zeit sowieso nicht habe. Erst wird die HDD Kapazität noch etwas gesteigert bis ich alle Daten da drauf habe und abschätzen kann ob es wegen der 30er Festplatten im Array Limitierung von unraid und den Geschwindigkeitsverlusten beim Zugriff eine Sackgasse ist oder ob unraid wirklich eine Lösung für mich an der Stelle ist.

 

Ich habe das alles bei vorherigen kleiner angelegten Tests einfach nicht abschätzen können, weshalb ich hier nun den einen Praxistest mit Realdaten möglichst im Originalumfang durchführe.

 

Wenn sich dabei herausstellt, daß ich von der internen VM nicht vergleichbar bequem und schnell den kompletten Datenbestand bearbeiten kann, oder ich dann bisher unbedachte andere Einschränkungen bei der unraid Maschine finde, kann ich alles bisher einfach in eine W10 Maschine Recyclen und spare zumindest aufgrund der großen Fstplatten darin etwas Strom gegenueber der vorherigen W10 Konstellation mit eben kleineren und zahlreicheren Festplatten.

 

 

3 hours ago, mgutt said:

Wenn beide richtig tief schlafen, werden sie gar keinen Unterschied beim Verbrauch haben. Ich hatte den übrigens mal mit einem anderen Board gemessen:

https://forums.unraid.net/topic/116379-vorstellung-die-cloud-der-großfamilie/?tab=comments#comment-1076700

 

Danke, das hatte ich noch nicht gesehen/gefunden.

 

Danke auch für Deine Denkanstöße.

 

 

[DataCollector]

Hallo @mgutt

 

6 hours ago, mgutt said:

 

Was hast du denn aktuell für ein Board? Wie wäre es da einen Xeon drauf zu pflanzen:

https://en.wikipedia.org/wiki/List_of_Intel_Coffee_Lake-based_Xeon_microprocessors

 

Ich habe mal die aktuellsten Infos zu meinem Motherboard gesucht und bei Kontron auch gefunden.

 

Laut CPU Compatibility PDF (Stand 2019) zum Fujitsu D3644-B sind 8Core Xeon nicht vorgesehen.
 XEON E-21xxG 4-Core / 6-Core  up to 95W
 XEON E-22xxG 4-Core / 6-Core  up to 95W
Laut Kontron (welche dieses Board nun seit kurzem Supporten) soll in den neuen CPU Infos 8Core nun doch möglich sein:
 8-Core processors @ 95W TDP are supported; max. Turbo Mode may be slightly limited

 

Wie gesagt kenne ich mich mit den Xeons nicht so gut aus, aber wenn ich richtig gefiltert habe, wäre das Maximum somit
 Intel Xeon E-2278G 8C/16T 3.4-5.0GHz Wenn lieferbar dann ab 830 Euro.
 Intel Xeon E-2288G 8C/16T 3.7-5.0GHz für ca. 740 Euro

Bei den Preisen ist der Schritt zum Komplettaustausch Board & CPU nicht mehr weit.

 

Ansonsten kämen für das Board wohl in Frage:
 Intel Xeon E-2286G 6C/12T 4.0-4.9GHz 95W ab ca. 610 Euro.
Wobei mir aus Kostengruenden und TDP der
 Intel Xeon E-2246G 6C/12T 3.6-4.8GHz 80W ab ca. 400 Euro (laut GH nur ein Anbieter) oder der
 Intel Xeon E-2176G 6C/12T 3.7-4.7GHz 80W ab ca. 400 Euro
sympatischer klingen.

Dokus bei Kontron leider über FTP:
ftp://ftp.kontron.com/Products/Motherboards/ExtendedLifeCycle/D3642-B_D3644-B/Documentation/Manuals_D364x-B_H.html

[mgutt]

Die CPUs muss man wenn bestellen. Was aktuell gelistet ist, ist ziemlich teuer, wobei die Xeons immer deutlich teurer sind als ein i7, auch wenn sie von der Leistung her quasi gleich sind.

 

Wobei 700 € oder ähnliches keinen Sinn macht, wenn man den W-1270P für weniger bekommt:

https://www.sona.de/intel-xeon-w-1270p-3-8ghz-8c-frasl-16t-tray-sockel-1-422905.html

 

Und selbst der ist alles andere als günstig. Den W-1270 hatte ich übrigens mal Im Großhandel angefragt. Keine Ahnung wo der jetzt liegt, aber letzten Monat waren es noch 390 €.