Mor9oth

Im Grunde wieder die gleiche Antwort von ASRock. ASPM deaktivieren ... I raff' es nicht warum. 🙄 Will es ja aktiv haben. Die Treiber die ASPM vermutlich deaktivieren kommen ja zudem erst später. Was das Beta Bios kann, verrät er auch nicht. Auf der Seite und im Download keine Infos. Musste ich nun nachfassen. Ohne eine Information und Bezug zum Problem würde ich das aber auch nicht installieren.

Sonderlich viele W680-Boards gibt es leider nicht als eine Alternative. Zudem sind alle im ATX-Formfaktor. Wenn ich jetzt aber das ASRock-Board retourniere, brauche ich halt nun mal eine Alternative. Auch weil die restliche Hardware ja sonst nur herumliegt. In der Liste sind ja im Grunde nur: Supermicro X13SAE-F ASUS Pro WS W680-Ace IPMI Vergleich Ich tendiere eher zum ASUS, da IPMI hier als Erweiterungskarte anstatt fix verbaut ist. Zudem sieht es laut Manual so aus als ob ASPM richtig implementiert ist. Auch bei den C-States sieht der Ansatz gut aus. Auto bedeutet da den tiefsten C-State, C0 bis C10 lässt sich aber auch noch manuell konfigurieren. @mgutt Gibt es Erfahrungen mit Supermicro und/oder ASUS Workstation Boards was ASPM und C-States angeht? Hier paar Auszüge:

Vergleicht man das Bild, dass ich jetzt mit dem ASRock W680D4U-2L2T/G5 habe und vergleicht die Messergebnisse, die ich mit dem ASRockRack E3C246D4U2-2L2T dokumentiert hatte, dürfte ja anhand der absolut identischen ASPM- & C-State-Problematik klar sein, dass es an ASRock liegt. Vermutlich ist es einfacher oder nicht gewünscht, dass PCIe Geräte ASPM beherrschen und in tiefere C-States gehen. Im Motherboard-Vergleich will man aber vermutlich einfach nur "vergleichbar" bleiben. So zumindest meine Auffassung.

Cool! Da hast du wohl zugeschlagen. Sehr interessant. Was heißt nicht so häufig Dateiänderungen haben? Denke, dass das bei mir auch so ist. Wie würde das denn funktionieren? Per Plugin oder muss das ein Script machen? Was ist, wenn es dann Unraid-Updates gibt?

Ich vermute, dass die Optionen bei Chipset/PCIe ASPM "Disabled und "Auto" dasselbe sind. Daher die Meldung "ASPM not suupported" und nur C-State 3. Ich habe ASRock gerade mal geschrieben, werde mich aber leider schon nach einer Alternative umschauen müssen. 🙄😒

Ich bekomme übrigens immer nach der Eingabe von powertop --quiet --auto-tune die nachfolgende Meldung. Sowohl in Unraid als auch Ubuntu. Ist das normal, bzw. bekommt das jeder? Unraid: Ubuntu:

Dabei aber schon immer die Gigabit Buchsen verwendet, oder? Die 10g habe ich bis jetzt da komplett außen vor gelassen.

Nur zum Verständnis: Ubuntu Desktop auf einen USB-Stick flashen, in das OS booten und dann per Terminal den ganzen Powertop Prozess wiederholen, oder? Habe ich gerade gemacht, allerdings (noch) ohne die Laufwerke auszustecken. Da wird nur bis C3 angezeigt: ASPM not supported bei den PCIe devices:

Ok, danke! Das teste ich nachher. ASPM auslesen geht dann vermutlich auch über den gleichen Befehl wie in Unraid, nehme ich an.

Ja, hat 2 x 10G. Bon habe ich aber über die zwei Gigabit-Ports aktiv. Ok, dann hau' ich das mal raus.

Ich habe nun die Test-Settings von @mgutt mit folgenden Abweichungen für den Test vorgenommen. Abweichungen: IPMI ist eingesteckt Es sind zwei LAN-Kabel verbunden, da die Unraid-Verbindung bei mir im Bond gesetzt ist Test 001: Ich bin jetzt im Wartungsmodus, habe das GUI geschlossen und per SSH alle Disks heruntergedreht. Powertop auto-tune erneut ausgeführt. Leider nur C3 (Screenshot). ASPM auslesen zeigt dann leider, dass die PCIe-Bridges alle "ASPM not supported" sind (siehe Screenshot). Das dürfte dann wohl den fixen C-State 3 erklären. Uffff! Kann ich noch was machen oder ist das dann endgültig? Noch kann ich das Board ja auch zurückgeben.

Das wäre dann fatal. Ich teste gleich ASPM & C-States.

Genau, ASRock hat die einzelnen C States für CPU aktivierbar gemacht und für PCIe kann man es aber nur auf "Disabled" oder "Auto" setzen. Unten führe ich gleich mal all meine bisherigen Bios-Einstellungen auf. Vielleicht fällt ja Jemandem noch was auf. OC Tweaker/CPU Configuration: Intel Turbo Boost Technology: Disabled Intel Turbo Boost Max Technology: Disabled Advanced/CPU Configuration: Enhance Halt State(C1E): enabled CPU C6 State Support: enabled CPU C7 State Support: enabled Package C State Support: enabled Advanced/Chipset Configuration: Onboard HDMI HD Audio: disabled OCU Mode Selection: SATA Advanced/Chipset Configuration/PCIE ASPM: PCIE7/OCU4 ASPM Support: Auto M.2_1 ASPM Support: Auto PCIE4 ASPM Support: Auto OCU2 ASPM Support: Auto OCU3 ASPM Support: Auto Onboard Debug Port LED: Disabled

Bei der Stromspareinstellung bin ich mir auch unsicher. SATA Aggressive Link Power Management. Vermutlich für Arrays, oder? Nur im AHCI Mode. Für Unraid dann Enabled oder Disabled?

Onboard Debug Port LED: Tendiere zu aus und wenn man ein Problem besteht, mache ich sie an. Spricht da was dagegen?

Noch zwei Einstellungen gefunden, die im Kontext Stromsparen sein könnten: CFG Lock: Wenn ich es richtig verstehe, erlaubt dies Betriebssystemen Änderungen an den C-States. Disabled oder enabled? C6DRAM: Im C6 state content im DRAM verschieben. Disabled oder enabled?

Mir ist gerade im Bios aufgefallen, dass es neben zwei Turbo-Boost-Einstellungen auch Speed Shift und SpeedStep gibt. Die beiden letzteren fasse ich eher als Strromspar-Funktionen auf, da damit der Wechsel der P-States granularer durch die CPU erfolgt. Ist das richtig?

Heute schaue ich mir die Einstellungsmöglichkeiten des Boards an, um es möglichst effizient zu bekommen. Hier aber schon mal ein paar Werte vor den Stromspar-Optimierungen, um dann später eine Referenz zu haben. Leider scheint der neue BMC Controller AST2600 im Vergleich zum Vorgänger nicht sparsamer zu sein. Der Verbrauch der IPMI: 7 Watt. Der Vorgänger zog sich bei mir 8 Watt. Im IDLE schwankt der Verbrauch zwischen 33 und 37 Watt. Wesentlich besser als mein alter Server (65 Watt). Während des Parity-Checks geht es so auf 44 Watt und ist damit immer noch niedriger als mein alter Server im IDLE Hier auch mal ein paar Eindrücke des Servers. Der Airflow hat sich massiv verbessert im Vergleich zu meinem alten Gehäuse (Silverstone CS381). Wahrscheinlich war darin der Airflow einfach richtig mies. Die fünf Noctuas (siehe Liste) sind dabei super leise und die Temperaturen waren noch nie so gut bei mir. Der CPU-Kühler kühlt passiv mehr als ausreichend gut und die M.2 war noch nie so kühl, obwohl ich sie nun ebenfalls "nur" passiv kühle. Bisher einfach ein krasser Unterschied! 😀 Die drei Lüfter verstärken den Airflow und lassen Luft durch die Lamellen des CPU-Kühlers (Noctua NH-D15S😞 Platz für 20 SSDs. SSDs werden ja eh kaum warm, vorne sind in den beiden Käfigen aber noch je ein Noctua NF-A12x25 um Luft in das Gehäuse zu bringen. Insgesamt kann man ev. später auch die Lüfterkurve noch optimieren.

Hmm - hoffe das ist normal - da die Parität noch nicht fertig ist, aber aktuell wird im Main Tab und im Dashboard eine Warnung "Parity is Invalid" und "Array has 1 failed device" angezeigt. Edit: Scheint dann wohl das oder was Ähnliches gewesen zu sein. Nach dem Parity-Sync sieht alles gut aus mit SSD-only Array:

@mgutt Ich hatte bisher meine HDDs als "XFS encrypted" Array und würde das gerne mit den 4 SSDs wieder so machen. Spricht da was bei SSDs dagegen oder hast du eine Empfehlung für das Dateisystem beim SSD Array?

Kleiner Spoiler vorab: 33 Watt, mit allem Default im Bios und nichts optimiert. Altes System lag bei 65 Watt.

Irgendwie halt krass und komisch zugleich, dass drei Platten gleichzeitig sterben. Hatte das vor ziemlich genau drei Jahren schon mal. Da waren es vier auf einmal. Ich fühle mich ein wenig cursed! Waren btw. alles "HDD shucking" Platten. Keine Ahnung, ob es damit was zu tun hat oder nur ein sehr, sehr unglücklicher Zufall ist.

Da bin ich sehr sicher, hatte alle Docker-Pfade .../cache/... anstatt .../user/... Ok, danke, dann mache ich wohl das mit der neuen Config!

Ich hatte die 3 HDDs mit dem OcuLink → SATA verbunden. Das Kabel scheint aber auch defekt zu sein. Zumindest wird eine SSD, die über normales SATA-Kabel erkannt wird, mit OcuLink nicht erkannt. Vielleicht sind die 3 Platten auch mit dem Kabel zusammen verreckt ... 🙄

So wie es aussieht, sind 3 von 3 meiner HDDs beim Umbau oder Einbau verreckt. Echt ärgerlich. Werden nicht mehr erkannt und sind komplett still. Ich wollte zwar eh zu SSDs wechseln, trotzdem sehr ärgerlich. Ich werde die 3 Platten mal noch separat prüfen. Wie kann ich abgesehen von den Daten/Parity aber mein System wie Shares, meine Docker und Einstellungen wie bisher fortführen? Vermutlich ja keine "new Config", oder macht das nur ein neues Array? Dann wäre es ja genau das Oder macht es Sinn, dass ich dem bisherigen Array die neuen SSDs zuordnen und die alten dann löschen? Natürlich werden so keine Daten wiederhergestellt, aber die sonstigen Konfigurationen müssten dann doch passen, oder?