Hardware Problem: Server startet nicht

[Bigbrother]

Hallo zusammen, benötige euer Wissen:

Zur Erweiterung meines Servers habe ich eine neue Festplatte (nicht zum ersten Mal) eingebaut. Vorher hatte ich Unraid über die GUI runtergefahren und dann das Gerät vom Strom getrennt. Nach Einbau der Platte läuft der Server kurz an und geht dann sofort wieder aus, geht wieder kurz an und sofort wieder aus usw. Er kommt also noch nicht mal in das BIOS.

Also habe ich alle Festplatten vom Strom getrennt und das ganze nochmal versucht, gleiches Problem, kurzer Anlauf, dann aus.

Das Phänomen ist mir noch nicht untergekommen. Vielleicht hat jemand einen Hinweis in welcher Richtung ich suchen kann.

 

Verbaut ist ein Gigabyte C246M-WU4 und ein Corsair RM550x (2019)

Edited November 2, 2023 by Bigbrother

[DataCollector]

4 hours ago, Bigbrother said:

Nach Einbau der Platte läuft der Server kurz an und geht dann sofort wieder aus, geht wieder kurz an und sofort wieder aus usw. Er kommt also noch nicht mal in das BIOS.

Also habe ich alle Festplatten vom Strom getrennt und das ganze nochmal versucht, gleiches Problem, kurzer Anlauf, dann aus.

...

Verbaut ist ein Gigabyte C246M-WU4 und ein Corsair RM550x (2019)

 

Dir ist bekannt, daß neuere Intel Mainboards (ist mir seit 7. oder 8.Gen aufgefallen) erst mehrfach so "halb" starten und erst am Ende durchstarten, wenn sie vom Strom getrennt wurden oder sich die Konfiguration zu sehr geändert hat? Auch sind die Serverchipsätzze dafür bekannt bei massiver RAM Ausstattung länger beim booten zu brauchen (für interne Tests).

Startet er auch nicht, wenn Du ihn mal nicht ausschaltest und mal rund 1-3 Minuten Zeit für den Start gibst?

 

[eLpresidente]

Hört sich für mich irgendwie nach nem kurzen an.. und overcurrentprotect vom Netzteil.. aber das ist jetzt echt ne vermutung die auf zuwenig infos beruht

[Bigbrother]

12 hours ago, DataCollector said:

Startet er auch nicht, wenn Du ihn mal nicht ausschaltest und mal rund 1-3 Minuten Zeit für den Start gibst?

Er hängt eher in einer Boot-Schleife, läuft nur ganz kurz an, aus, an, aus usw. auch mehrere Minuten bringen ihn nicht zum starten.

[Bigbrother]

8 hours ago, eLpresidente said:

Hört sich für mich irgendwie nach nem kurzen an.. und overcurrentprotect vom Netzteil.. aber das ist jetzt echt ne vermutung die auf zuwenig infos beruht

Was ich so bei Google gefunden habe deutet evtl. auf ein defektes Netzteil, werde mich mal in dieser Richtung auf die Fehlersuche machen.

[DataCollector]

7 hours ago, Bigbrother said:

Er hängt eher in einer Boot-Schleife, läuft nur ganz kurz an, aus, an, aus usw. auch mehrere Minuten bringen ihn nicht zum starten.

Bootschleife, also das Starten des OS verursacht das Problem?

 

[saber1]

1 hour ago, DataCollector said:

Bootschleife, also das Starten des OS verursacht das Problem?

 

On 11/2/2023 at 2:57 PM, Bigbrother said:

Er kommt also noch nicht mal in das BIOS.

 

[DataCollector]

Booten interpretiere ich als starten des OS.

https://de.wikipedia.org/wiki/Booten

 

Das davor sind die Selbsttests und Initialisieren der Hardware.

Vielleicht liege ich damit ja falsch.

 

Deswegen ja meine Nachfrage.

Edited November 3, 2023 by DataCollector

[Bigbrother]

Hallo zusammen,

 

das Netzteil war defekt. Nach dem Tausch gegen ein neues lief die Kiste direkt wieder los. Alles ist wieder gut 😀

[SidM]

Guten Abend zusammen!

 

Ich dachte ich gönne mein Server mal was schönes und habe 2 neue 32GB RAM Riegel von Kingston bestellt um auf 128GB zu kommen.

Also Rechner runtergefahren, vom Netz getrennt und die beiden Riegel eingesetzt. Aber genau das gleiche Problem wie @Bigbrother gehabt--> der Server geht kurz an und geht dann sofort wieder aus, geht wieder kurz an und sofort wieder aus usw. Er kommt also noch nicht mal in das BIOS.

 

ich habe dann mehrere Konstellationen probiert:

- komplett Bestückung mit 4x32GB Modulen--> geht nicht

- komplett Bestückung mit 4x32GB Modulen und in verschiedenen Bänken getauscht--> geht nicht

- nur die beiden neuen Riegel zusammen als auch nochmal die alten zusammen probiert--> geht

- Bestückung mit 3x32GB Modulen (2x Alt, 1x Neu)--> geht

- CMOS Clear gemacht, aber mehr wie 3x32GB geht nicht

 

Daraus schlussfolgere ich erstmal, dass alle Riegel funktionieren und keiner davon defekt ist.

@Bigbrother schrieb, dass sein Netzteil defekt war.

Dazu muss ich sagen, dass ich das auch in Verdacht hätte, WENN! ich nicht dieses schonmal vor 2 Jahren gegen den gleichen Typ (Corsair RM550x 2021) getauscht hätte. 

Ich hab das oben geschilderte Verhalten (An,Aus,AN etc.) wenn ich jetzt Revue passieren lasse, glaube schon immer gehabt wenn ich den Server um eine weitere Festplatte erweitert habe. Bei der Grafikkarte bin ich mich nicht sicher.

Nach mehreren Ein-Ausschaltversuchen hat es dann auch irgendwann funktioniert und lief nach diesen "Prozedere"@ dann einwandfrei und auch Neustarts waren kein Problem.

 

@DataCollector Du scheinst dich damit gut auszukennen. Ist das Verhalten wirklich normal und ich muss den Server nur mehr Zeit zum "Voll" starten geben? Ich meine ich habe ca. 2-3 Minuten gewartet, habe aber auch nicht die Zeit gestoppt.

Gibt es irgendwo Quellen wo man das nachlesen kann?--> ich habe hierzu leider noch nichts gefunden.

 

Was ich auch blöde finde, dass dann bei jeden Versuch die Platten unnötig hochgefahren und wieder gestoppt werden...

 

Das Verhalten was ich Erwartet hätte, wäre halt runterfahren, einbauen, hochfahren und sich auf 128GB im Dashboard freuen. 

Was sagt ihr? Nochmal alle Riegel einbauen und mehr zeit (wieviel ist genug?) zum starten geben? 

Oder hab ich vielleicht Pech und das gleiche Netzteil ist wieder defekt?

 

Hier noch ein Teilauszug meiner Hardware:

- Intel Xeon E-2176G

- Gigabyte C246M-WU4-CF

- Corsair RM550x 2021

- 1x Kingston KSM29ED8/32ME (Alt)

- 1x Kingston KSM32ED8/32ME (Alt

- 2x Kingston KSM32ED8/32HC (Neu)

 

Vielen Dank vorab!

 

[DataCollector]

1 hour ago, SidM said:

...habe 2 neue 32GB RAM Riegel von Kingston bestellt um auf 128GB zu kommen.

Neu: Kingston Server Premier DIMM 32GB, DDR4-3200, CL22-22-22, ECC (KSM32ED8/32HC)

 

Du hast bisher schon eine gemische Bestückung verwendet:

1x KSM29ED8/32ME 32GB 2Rx8 4G x 72-Bit PC4-2933 CL21 288-Pin DIMM
1x KSM32ED8/32ME 32GB DDR4 3200MT/s ECC

 

Da die HC (Hynix C) der neuern Module meines Wissens von Kingston nun verwendet werden, weil die beiden anderen Speichermodultypen (Micon und Samsung) nicht mehr verfügbar sind, ist ein Problem der unterschiedlichen Speichertypen nicht vollkommen auszuschliessen, wenn auch bei einem Markenhersteller wie Kingston eigentlich extrem unwahrscheinlich.

Ich befürchte aber, daß die unterschiedlichen Speichertakte die CPU dazu verleiten (weil das Mianboard vermutlich "full power vorgibt) zu hoch zu takten oder per DualChannel zuzugreifen, was leichte Timingdiskrepanzen verursachen kann.

Die CPU soll zwar nur DDR4-2666 (PC4-21300, 42.7GB/s) machen udn somit wären alle Module nutzbar, aber irgendwoher muß das Problem ja stammen.

 

1 hour ago, SidM said:

ich habe dann mehrere Konstellationen probiert:

- komplett Bestückung mit 4x32GB Modulen--> geht nicht

 

Wie lange hast Du gewartet, bis zu zu dem Schluß kamst?

Meine W480 Mainboards haben bei Speicherveränderungen etwas über (ich glaube es waren) 3 Minuten im Start+Speichertest verbracht, bevor das Board dann zum Bootscreen kam.

Nachdem die Speicher einmal durchgetestet waren startet es nun so in ca. 1Minute bis zum Bootscreen.

1 hour ago, SidM said:

- Bestückung mit 3x32GB Modulen (2x Alt, 1x Neu)--> geht

 

Welches der beiden alten Mo9dulen hast Du im 3er Verbund getestet?

Ich vermute die 3x DDR3200 Module laufen besser zusammen als das DDR2933 Module mit den anderen 3200ern.

Versuche das nochmal und schaue ob es so ist, wie ich vermute. Dann wird das 2933er Modul einfach nicht gut mit den schnelleren zusammen arbeiten.

Das sollte zwar nicht der Fall sein, da alle oberhalb der CPU Fähigkeiten liegen, aber gerade bei Speichermodulen kann es immer "Animositäten geben".

 

1 hour ago, SidM said:

@DataCollector Du scheinst dich damit gut auszukennen.

geht so... 😅

1 hour ago, SidM said:

Ist das Verhalten wirklich normal und ich muss den Server nur mehr Zeit zum "Voll" starten geben? Ich meine ich habe ca. 2-3 Minuten gewartet, habe aber auch nicht die Zeit gestoppt.

 

Nur aus Spass gib der Kiste mal 5 Minuten. Wenn dann auf keinem Videoausgang etwas kommt, sehe ich schwarz. (Wie ich an einem Z690 Mainboard feststellet, sind BIOSse vielleicht per default etwas empfindlich und geben das Signal nur auf einem iGPU Anschluß aus. Der zweite blieb bei mir schwarz und ich dachte auch, daß das Mainboard sich tod stellen würde. in wirklichkeit hat es auf dem anderen digitalen iGPU Anschluß munter seine Meldungen abgespult.)

 

Zusatzinformation:

a) Wegen Deinem langsamen Speichermodul, ist es einen Versuch wert, erst einmal irgendwie (mit nur 1, 2 oder 3 Modulen) in das BIOS/UEFi rein zu kommen und Dual Channel-Speicherzugriff abzuschalten! Danach nochmal mit allen 4 versuchen. Dadurch kommen die Timingunterschiede der Module nicht mehr so zum Tragen.

b) sollte das Mainboard automatisierte Speichertakteinstellungen haben, schalte die Auotmatik für den Ram Takt mal ab und klopfe die auf die CPU fähigkeit 2666 fest.

c) ich würde die beiden alten Speichermodule testweise in die RamSlots A1 und B1 rein, damit diese den Speicherbus heruntertakten.

Das langsamste Module bevorzugt in B1 (der CPU am nächsten, weil es da die kürzeste Signalbahn hat und somit noch das beste Signal von der CPU bekommt).

Die schnelleren (neuen) Module sind vermutlich toleranter und kommen am Ende des Speicherbusses (in den Slots A2 und B2) vermutlich besser damit klar den längeren Signalweg zu haben.

Alle drei sind aber nur je ein Schuß ins Blaue!

 

Ich drück die Daumen! (oder wie man im englischen sagt: fingers crossed🤞)

 

1 hour ago, SidM said:

Was ich auch blöde finde, dass dann bei jeden Versuch die Platten unnötig hochgefahren und wieder gestoppt werden...

 

Diese mehrfachen Start/Stopps beim Start stören mich auch, sind aber bei neueren (ab ich glaube 8. gen Intel) notwendig.

Wenn Du die Laufwerke bei den Basteleien abklemmst. laufen die auch nicht hoch.

Sollte das Mainboard dann doch mit den 4 Speichermodulen klar kommen und dann später in kürzerer Zeit starten, kannst Du die wieder anklemmen und unraid normal laufen lassen.

Sollten auch die von mir vorgeschlagenen Maßnahmen nichts bringen, weiß ich leider auch nicht weiter.

Den CMOS reset hattest Du ja schon gemacht.

Mich hatte mal ein vom Händler Mindfactory neu geliefertes aber dennoch defektes Kingston ECC Ram Modul (fast) in den Wahnsinn getrieben, das habe ich dann nur durch Einzeltests mit memtest86 herausgefunden.

Du hattest zwar angedeutet, daß Du meinst die seien alle in Orgnung, aber sofern Du nicht jedes Modul einzeln in dem Board mit Memtest einige Stunden (24h) durchgetestet hast, empfehle ich das dennoch mal zu machen.

 

1 hour ago, SidM said:

Das Verhalten was ich Erwartet hätte, wäre halt runterfahren, einbauen, hochfahren und sich auf 128GB im Dashboard freuen. 

Grundlegend ja, aber ECC Selbsttests dauern anscheinend länger und zumindest mein W480 reagiert auf jede Art des Speicherwechsels mit einer erhöhten POST-testzeit mit schwarzem Bildschirm.

 

Deien vermutung eines Netzteilproblemes wäre nicht wirklich meien Suchrichtung, aber ganz Ausschließen kann man sowas nie. Wenn Du sowieso die fetsplatten für die tests abklemmt, wird des entlastet. das könnte erstmal helfen, wenn es doch am PSU liegt. Aber wie gesagt. das wäre jetzt nicht wirklich meine naheliegenste Vermutung.

 

[SidM]

11 hours ago, DataCollector said:

Du hast bisher schon eine gemische Bestückung verwendet:

Ja das Stimmt. ist leider so gewachsen😀 Wenn ich die KSM32ED8/32ME Module bekommen hätte, wären es auch die geworden.

 

 

11 hours ago, DataCollector said:

 

Ich befürchte aber, daß die unterschiedlichen Speichertakte die CPU dazu verleiten (weil das Mianboard vermutlich "full power vorgibt) zu hoch zu takten oder per DualChannel zuzugreifen, was leichte Timingdiskrepanzen verursachen kann.

Die CPU soll zwar nur DDR4-2666 (PC4-21300, 42.7GB/s) machen udn somit wären alle Module nutzbar, aber irgendwoher muß das Problem ja stammen.

Das ist Interessant.

 

11 hours ago, DataCollector said:

Wie lange hast Du gewartet, bis zu zu dem Schluß kamst?

Meine W480 Mainboards haben bei Speicherveränderungen etwas über (ich glaube es waren) 3 Minuten im Start+Speichertest verbracht, bevor das Board dann zum Bootscreen kam.

Nachdem die Speicher einmal durchgetestet waren startet es nun so in ca. 1Minute bis zum Bootscreen.

Wie gesagt, die Zeit habe ich nicht gestoppt, ich denke so 2-3 Minuten. Da ich das Startverhalten aber nicht als normal erachtet habe, habe ich dann auch abgebrochen.

Ich hatte es auch 2mal, dass nach diesen An,Aus,An,Aus der Server länger anblieb für vielleicht so 45s , dann wieder ausging, dann wieder 45s an etc. Da ich aber auch keine Ausgabe auf dem TV bekommen habe, auch hier abgebrochen.

 

Was ich noch vergessen habe:

- dass ich ein Pieper verbaut habe und dieser bei den Konstellationen die nicht funktioniert haben, kein einziges mal gepiept hat.

- die Num-Lock Taste einer angeschlossene USB-Tastatur hat dann ebenfalls nicht aufgeleuchtet 

 

11 hours ago, DataCollector said:

Welches der beiden alten Mo9dulen hast Du im 3er Verbund getestet?

Ich vermute die 3x DDR3200 Module laufen besser zusammen als das DDR2933 Module mit den anderen 3200ern.

Versuche das nochmal und schaue ob es so ist, wie ich vermute. Dann wird das 2933er Modul einfach nicht gut mit den schnelleren zusammen arbeiten.

Das sollte zwar nicht der Fall sein, da alle oberhalb der CPU Fähigkeiten liegen, aber gerade bei Speichermodulen kann es immer "Animositäten geben".

wenn es doch am PSU liegt. Aber wie gesagt. das wäre jetzt nicht wirklich meine naheliegenste Vermutung.

Ich glaube hier hast du dich verlesen😉

Ich habe 2x Alt (1x KSM29ED8/32ME 1x KSM32ED8/32ME) und 1x Neu (KSM32ED8/32HC) verbaut.

In dieser Konstellation läuft der Server auch gerade den 2ten Tag durch. 

 

11 hours ago, DataCollector said:

Nur aus Spass gib der Kiste mal 5 Minuten. Wenn dann auf keinem Videoausgang etwas kommt, sehe ich schwarz. (Wie ich an einem Z690 Mainboard feststellet, sind BIOSse vielleicht per default etwas empfindlich und geben das Signal nur auf einem iGPU Anschluß aus. Der zweite blieb bei mir schwarz und ich dachte auch, daß das Mainboard sich tod stellen würde. in wirklichkeit hat es auf dem anderen digitalen iGPU Anschluß munter seine Meldungen abgespult.)

Mit der Information von dir werde ich das nochmal Probieren. 

 

 

11 hours ago, DataCollector said:

Zusatzinformation:

a) Wegen Deinem langsamen Speichermodul, ist es einen Versuch wert, erst einmal irgendwie (mit nur 1, 2 oder 3 Modulen) in das BIOS/UEFi rein zu kommen und Dual Channel-Speicherzugriff abzuschalten! Danach nochmal mit allen 4 versuchen. Dadurch kommen die Timingunterschiede der Module nicht mehr so zum Tragen.

b) sollte das Mainboard automatisierte Speichertakteinstellungen haben, schalte die Auotmatik für den Ram Takt mal ab und klopfe die auf die CPU fähigkeit 2666 fest.

c) ich würde die beiden alten Speichermodule testweise in die RamSlots A1 und B1 rein, damit diese den Speicherbus heruntertakten.

Das langsamste Module bevorzugt in B1 (der CPU am nächsten, weil es da die kürzeste Signalbahn hat und somit noch das beste Signal von der CPU bekommt).

Die schnelleren (neuen) Module sind vermutlich toleranter und kommen am Ende des Speicherbusses (in den Slots A2 und B2) vermutlich besser damit klar den längeren Signalweg zu haben.

Alle drei sind aber nur je ein Schuß ins Blaue!

Das sind auch nochmal sehr wertvolle Tipps, die ich gerne Probiere!

 

11 hours ago, DataCollector said:

Ich drück die Daumen! (oder wie man im englischen sagt: fingers crossed🤞)

Vielen Dank🍻🍻

 

11 hours ago, DataCollector said:

Diese mehrfachen Start/Stopps beim Start stören mich auch, sind aber bei neueren (ab ich glaube 8. gen Intel) notwendig.

Die Info ist auf jeden Fall Gold Wert!!! Ich habe früher öfters am PC's geschraubt aber das ist auch ne Weile her und da ist mir sowas nicht untergekommen.

 

 

11 hours ago, DataCollector said:

Wenn Du die Laufwerke bei den Basteleien abklemmst. laufen die auch nicht hoch.

Sollte das Mainboard dann doch mit den 4 Speichermodulen klar kommen und dann später in kürzerer Zeit starten, kannst Du die wieder anklemmen und unraid normal laufen lassen.

Das Stimmt. Ich habe auch gelernt, dass man solche Aktionen nicht Abend's mal schnell machen sollte in der Hoffnung "wird schon gehen" . Kurz vor 22 Uhr angefangen und 2 Uhr war ich froh das die Kiste wieder läuft, da auch ein paar Docker nicht mehr so wollten. 

(Durch das CMOS reset war jetzt Standartmäßig die dGPU gesetzt, was ich erstmal nicht geblickt hatte)

 

12 hours ago, DataCollector said:

 

Mich hatte mal ein vom Händler Mindfactory neu geliefertes aber dennoch defektes Kingston ECC Ram Modul (fast) in den Wahnsinn getrieben, das habe ich dann nur durch Einzeltests mit memtest86 herausgefunden.

Du hattest zwar angedeutet, daß Du meinst die seien alle in Orgnung, aber sofern Du nicht jedes Modul einzeln in dem Board mit Memtest einige Stunden (24h) durchgetestet hast, empfehle ich das dennoch mal zu machen.

Puhh... ich hoffe nicht. Dass müsste ich dann irgendwann mal anders Timen. Ich brauche Nextcloud und IoBroker täglich andere Docker ebenso.

 

12 hours ago, DataCollector said:

Grundlegend ja, aber ECC Selbsttests dauern anscheinend länger und zumindest mein W480 reagiert auf jede Art des Speicherwechsels mit einer erhöhten POST-testzeit mit schwarzem Bildschirm.

Gut zu Wissen!

 

Vielen vielen Dank für deine Ausführliche Hilfe. Ich werde mal Schritt für Schritt alles durchgehen und melde mich wieder mit neuen Erkenntnissen.

[SidM]

Einen schönen Pfingstmontag euch allen,

 

ich melde mich wieder zurück und kann berichten, dass der Server jetzt mit 128GB RAM läuft. Ich bin, nachdem mir @DataCollector Wertvolle Tipps mit mitgegeben hat, nochmal die verschiedenen Punkte durchgegangen.

 

- DUAL Channel ausschalten --> keine Option im BIOS vorhanden

- Speichertakt Einstellung fix auf 2666 setzen --> ebenfalls keine Option vorhanden

- RAM-Riegel in verschiedenen Bänken probiert --> kein Booten mit 4 Modulen möglich

 

Letztendlich habe ich jetzt noch ein weiteren Riegel mit 3200Mhz gekauft und diesen mit den 2933MHz Riegel ausgetauscht, damit läuft die Kiste nun wie gewünscht.