Upgrade auf Intel E-2288G System

[hawihoney]

Ich würde gerne mein Monstersystem (2x 2680v2) umstellen auf ein Intel E-2288G System und habe ein paar wenige Verständnisfragen. Wichtig ist mir ein professionelles, stabiles, "frickel-freies" System. Die Idee:

 

 

CPU Intel E-2288G (TDP 95W, DDR4-2666, max. 128 GB RAM, 2x Speicherkanäle):

https://www.intel.de/content/www/de/de/products/processors/xeon/e-processors/e-2288g.html

 

 

RAM:

-- hier geht es schon los. Ich verstehe nicht den Unterschied zwischen den SO-DIMM, LR-DIMM, R-DIMM, CL19, CL22. Welche 2x 64GB DDR4-2666 ECC für die CPU sowie die u.a. Boards würden funktionieren?

 

 

Board (Supermicro):

https://www.supermicro.com/en/products/motherboard/X11SCA-F

oder

https://www.supermicro.com/en/products/motherboard/X11SCH-F

 

 

Weiter verwendet werden sollen:

1x Broadcom/LSI 9300-8i HBA

2x Samsung M.2 NVMe Samsung 970 Evo Plus 1 TB (zwei XFS pools)

 

 

Fragen:

 

1.) RAM: Welches RAM würde mit den Boards und der CPU funktionieren?

 

2.) Board: Bei den Boards müssen beide M.2 NVMe, die iGPU und IPMI problemlos nutzbar sein. Kann das jemand für eines der beiden Boards bestätigen?

 

3.) HBA: Ich suche ein Slotblech, welches nach außen zwei Anschlüsse bietet wie ein LSI 9300-8e Adapter und nach innen zwei Anschlüsse wie ein LSI 9300-8i Adapter. Zusätzlich suche ich zwei passende Kabel um die internen Anschlüsse des Slotblechs mit einer Supermicro BPN-SAS2-EL1 Backplane zu verbinden.

 

 

Vielen Dank für Eure Unterstützung.

 

[Ford Prefect]

58 minutes ago, hawihoney said:

RAM:

-- hier geht es schon los. Ich verstehe nicht den Unterschied zwischen den SO-DIMM, LR-DIMM, R-DIMM, CL19, CL22. Welche 2x 64GB DDR4-2666 ECC für die CPU sowie die u.a. Boards würden funktionieren?

...die beiden MB unterstützen Module (ECC-UDIMM) mit bis zu 32GB...keine 64GB-Module.

Für 128G RAM also 4 Stück.

Bei Kingston kannst Du im Konfigurator nachschauen...hier mal für das X11SCH-F: https://www.kingston.com/germany/us/memory/search?model=99223&devicetype=7&mfr=SMI&line=X11SCH-F

Bei Geizhals wäre das die passende Auswahl (mit ECC, un-registeed, unbuffered, DIMM): https://geizhals.de/?cat=ramddr3&xf=1454_32768~15903_DDR4~15903_keinSO~15903_mitECC~15903_ohneREG~15903_ohnepuff~254_2666

[hawihoney]

43 minutes ago, Ford Prefect said:

mit ECC, un-registeed, unbuffered, DIMM

 

Ah, super. Das wären dann wohl u.a. die hier:

 

https://www.samsung.com/semiconductor/dram/module/M391A4G43MB1-CTD/

 

 

[Ford Prefect]

...bei SM sind wenige Module als getestet gelistet....wenn Du Sicherheit/Stressfreiheit willst, nimm die aus dem Kingston Konfigurator...die sind aktuell zwar 10 Steine teurer als die Samsung, aber wenn die nicht laufen, wird es keine Probleme mit Reklamationen wg. Fehlkauf geben...technisch tun die sich nix - oder Du findest Jemanden, bei dem die Samsung Module in dem SM Board laufen ...

...just sayin' ...SM Boards können auch ganz schön zickig sein bei Hardware Konfigurationen und nix ist schlimmer als ein "does not POST" beim ersten einschalten

 

 

[hawihoney]

Das RAM ist aber extrem teuer pffff. 250 EUR für 32 GB. Whow.

 

Wir verwenden in den letzten dutzend Jahren ausschließlich Supermicro Komponenten und ich bin bisher mehr als zufrieden. Hier werkeln noch im 365/7/24 Betrieb diverse Komponenten aus 2009/2010. Da "quietscht" bisher noch nix. Hab wohl Glück bisher.

 

Interessanterweise hat sich letzte Woche aus einem Intel 2680v2 ein Core verabschiedet. So etwas hatte ich bisher aber auch noch nicht. Hab den Core in Unraid Isoliert und schwupps läuft alles wieder. Der "hinkt" jetzt nur noch mit 9 Cores.

 

[Ford Prefect]

...warum klickst Du nicht auf den Geizhals Link, oben?

5 minutes ago, hawihoney said:

Das RAM ist aber extrem teuer pffff. 250 EUR für 32 GB. Whow.

 

[mgutt]

3 hours ago, hawihoney said:

Bei den Boards müssen beide M.2 NVMe, die iGPU und IPMI problemlos nutzbar sein.

Das X11SCH-F hat keinen HDMI/DP Ausgang. Die iGPU wird vermutlich trotzdem gehen, aber das wollte ich nur anmerken.

 

Bei beiden Boards liegen beide M.2 auf dem Chipsatz, wobei das X11SCA-F noch einen ASMedia ASM1480 Demultiplexer vorgeschaltet hat:

 

 

Ob das einen Nachteil bedeutet? Ich denke schon. Denn bei einem RAID läuft ja die gesamte Bandbreite beider M.2 durch den DMI und der hat nur x4. Wenn ich also nicht total falsch liege, werden beide M.2 schlussendlich jeweils nur x2 liefern können. Müsste man mal Supermicro fragen. Das ist jetzt keine mega Einschränkung, aber wie hebt sich das Supermicro dann noch vom günstigen Asus P11C ab (das beide M.2 mit x2 anbindet):

https://geizhals.de/asus-p11c-m-4l-90sb06r0-m0uay0-a1924715.html?hloc=at&hloc=de

https://geizhals.de/asus-p11c-c-4l-90sb06m0-m0uay0-a1924597.html

 

Jedenfalls teilen sich beim X11SCA-F der x4 Slot und ein M.2 Slot die Bandbreite und der letzte große Slot ist nutzlos (PCI 33 Mhz):

 

Das X11SCH-F hat dagegen bereits physisch nur x8, x8 und 2x x4 M.2. Da wurden die x1 Slots vermutlich für die 4 LAN Buchsen und das IPMI geopfert.

 

Für eine HBA Karte und 2x M.2 werden natürlich beide gehen. Falls du mal über eine GPU nachdenkst, wäre vermutlich das X11SCA-F besser, weil da der Abstand der Slots größer ist.

 

 

Eventuell auch eine Option könnte der Nachfolger mit W480 Chipsatz sein:

https://www.supermicro.com/en/products/motherboard/X12SCA-F

 

Die Einschränkungen sind da ähnlich wie beim X11SCA-F. Also auch beide M.2 auf dem Chipsatz. Allerdings ist da der x4 Slot nicht geshared mit dem M.2. Das hat man wohl erreicht, in dem man nur 4x SATA verbaut hat. Da könnte man also evtl mit einer PCIe auf M.2 Adapterkarte beide M.2 mit x4 betreiben.

 

Alles gar nicht so einfach ^^

 

[Ford Prefect]

13 minutes ago, mgutt said:

Das X11SCH-F hat keinen HDMI/DP Ausgang. Die iGPU wird vermutlich trotzdem gehen, aber das wollte ich nur anmerken.

...guter Hinweis.

Und zum Thema IGP und IPMI noch das hier: 

Mein letzter Stand: IGP im X11SCA-F geht, aber iKVM ist dann tot...der Rest von IPMI geht aber.

 

 

[hawihoney]

2 hours ago, Ford Prefect said:

warum klickst Du nicht auf den Geizhals Link, oben?

 

Händler ohne gültige Bewertungen - zudem preislich nach unten ein Ausreisser. Den habe ich bewusst ausgelassen.

[mgutt]

Ja im Moment ist es die absolute Katastrophe. Wenn ich aktuell RAM beim Großhandel anfrage, garantiert der mir den Preis dann auch nur wenige Tage. Im Moment wird wieder wie bekloppt bestellt und die Ware kommt nicht nach.

 

Der Kingston Server Premier sollte aber genauso gut gehen. Noch nicht gehört, dass der Probleme beim C246 Chipsatz gemacht hätte.

[hawihoney]

2 hours ago, mgutt said:

Das X11SCH-F hat keinen HDMI/DP Ausgang. Die iGPU wird vermutlich trotzdem gehen, aber das wollte ich nur anmerken.

 

Guter Hinweis, vielen Dank.

 

Habe mir beide Quick Reference Guides angeschaut und es scheint tatsächlich so zu sein, dass das X11SCA-F Board in vielerlei Hinsicht schlechter ist als das X11SCH-F (was meine Anforderungen angeht). Die iGPU soll zumindest mit dem X11SCH-F aber problemlos funktionieren. Da ich keine Grafik in meinen VMs benötige, sondern nur in Docker, bin iich dann ohnehin auf der sicheren Seite.

 

IPMI nutze ich seit einer Decade ausschließlich für das Remote Power Management via Browser. Die Bildschirmausgabe habe ich noch nie benötigt. Da bin ich ziemlich entspannt was die Einschränkungen angeht.

 

OK. Es wird also X11SCH-F/E-2288G werden. Die Informationen zu den Kabeln und Slotblechen habe ich mir mühsam zusammen gesucht. Jetzt fehlt mir nur noch eines - aber das ist eine ganz andere Baustelle:

 

Wie finde ich unter Linux das Mapping zwischen einer Disk (e.g. TOSHIBA_HDWE160_19N4K0HCFB8G --> sdg) und den dämlichen, durchnummerierten scsi-3500003990b8815e3 Texten unter /dev/disk/by-id. Sobald ein SAS Laufwerk, oder ein SATA Laufwerk mit SAS Features, im Array ist, verschwinden die von Unraid genutzen Labels aus /dev/disk/by-id ... Ich wollte mir nämlich ein Script bauen um alle Disks eines Array in eine VM zu pumpen - aber das habe ich noch nicht gefunden.

 

Vielen Dank für die Hardware Tipps. Hat mir sehr geholfen. Baue zwar immer alle Server selbst zusammen, aber bin doch eher der Software-Mensch.

 

[mgutt]

32 minutes ago, hawihoney said:

IPMI nutze ich seit einer Decade ausschließlich für das Remote Power Management via Browser

Da könnte man aber genauso gut eine Shelly für nehmen. Einfach Jumper auf 12V, 12V vom PC-Netzteil nehmen und die Schaltung mit dem Power-Frontpanel verbinden. Geschaltet wird dann per Smartphone / WLAN. Eine smarte Steckdose könnte man dann noch für die Energiemessung nehmen, falls man aus der Ferne erfahren möchte ob der Server an ist.

 

46 minutes ago, hawihoney said:

scsi-3500003990b8815e3

Woher kommt denn diese ID? Taucht die evtl in den Systemlogs auf, so dass man darüber einen Zusammenhang herstellen kann?

 

Wenn du "lsscsi -v" ausführst, taucht diese ID vermutlich nicht auf?

 

Ansonsten probiere mal "ls -rtl /dev/disk/by-id". Hier gefunden.

 

[Ford Prefect]

2 hours ago, hawihoney said:

 

Händler ohne gültige Bewertungen - zudem preislich nach unten ein Ausreisser. Den habe ich bewusst ausgelassen.

...nicht Samsung...Kingston: https://geizhals.de/kingston-server-premier-dimm-32gb-ksm26ed8-32me-a2349167.html?hloc=de

[hawihoney]

1 hour ago, mgutt said:

Woher kommt denn diese ID?

 

Interessant nicht? Guck mal in den Link ganz unten. Drei identische Unraid Server hier. In einem stecken aber sechs alte HGST SATA Modelle. Die verändern aber seit 6.9.x das Verhalten des HBAs, der Backplane und von Unraid auf diesem einen Unraid Server. Während die beiden anderen Unraid Server so etwas in /dev/disk/by-id anzeigen:

 

root@Tower:~# ls -lisa /dev/disk/by-id
total 0
 492 0 drwxr-xr-x 2 root root 2080 Mar 18 08:37 ./
 491 0 drwxr-xr-x 7 root root  140 Mar 16 14:34 ../
 764 0 lrwxrwxrwx 1 root root    9 Mar 16 14:34 ata-ST3000DM001-9YN166_W1F15DHG -> ../../sdp
 768 0 lrwxrwxrwx 1 root root   10 Mar 16 14:34 ata-ST3000DM001-9YN166_W1F15DHG-part1 -> ../../sdp1

 

Sieht das bei dem einen Server so aus und zwar für alle disks - nicht nur die sechs fraglichen:

 

root@TowerVM02:~# ls -lisa /dev/disk/by-id
total 0
321 0 drwxr-xr-x 2 root root 2000 Mar 19 13:00 ./
320 0 drwxr-xr-x 7 root root  140 Mar 18 08:39 ../
659 0 lrwxrwxrwx 1 root root    9 Mar 18 08:39 scsi-3500003990b8815e3 -> ../../sdg
670 0 lrwxrwxrwx 1 root root   10 Mar 18 08:39 scsi-3500003990b8815e3-part1 -> ../../sdg1

 

Und bei diesem einen Server muss ich für Spindown das SAS-Plugin verwenden. Ohne das Plugin geht keine Disk in den Ruhemodus.

 

 

1 hour ago, mgutt said:

lsscsi -v

 

Hier finden sich dann wieder die gewohnten ata disk Bezeichner aber nicht die komischen scsi Bezeichner. Mir fehlt einfach die Verknüpfung. Das wäre wahrscheinlich nur über /dev/sd? möglich.

 

Ich hatte mir das unter 6.8.3 alles schön zusammen gebastelt um mit "virsh attach-disk " alle disks eines Arrays in eine VM zu injizieren. Mit 6.9 bekomme ich das deswegen noch nicht hin. Und der Austausch von 6 Platten, einfach so, ist keine Option.

 

 

 

Edited March 19, 2021 by hawihoney

[hawihoney]

51 minutes ago, Ford Prefect said:

..nicht Samsung...Kingston

 

Alles klar, danke. Hatte ich übersehen. Ich war einfach auf Samsung fixiert.