August 19, 20232 yr Author Ich hatte die 3 HDDs mit dem OcuLink → SATA verbunden. Das Kabel scheint aber auch defekt zu sein. Zumindest wird eine SSD, die über normales SATA-Kabel erkannt wird, mit OcuLink nicht erkannt. Vielleicht sind die 3 Platten auch mit dem Kabel zusammen verreckt ... 🙄
August 19, 20232 yr 1 hour ago, Mor9oth said: Vermutlich ja keine "new Config", oder macht das nur ein neues Array? Wenn du sicher bist, dass auf den HDDs keine Dateien aus Docker, Appdata usw liegen, dann kannst du new config machen und auswählen, dass Pools erhalten bleiben sollen. Am besten über die Shares Ansicht mal alle Inhalte anzeigen lassen und über die Spalte LOCATION prüfen, dass nichts relevantes von Docker auf den Disks liegt.
August 19, 20232 yr On 8/17/2023 at 12:54 PM, DataCollector said: Ich bin seit den Mindfactory Angeboten mal zu den Lexar NM790 4TB gekommen. Die hatte ich auch schon ein paar Mal bei MyDealz gesehen. Vielleicht teste ich die auch mal. Wichtig ist ja, dass es keine AER / PCIe Fehler gibt. Aber so richtig tief schläft bei dir nichts oder?
August 19, 20232 yr 28 minutes ago, mgutt said: Wichtig ist ja, dass es keine AER / PCIe Fehler gibt. Aber so richtig tief schläft bei dir nichts oder? Nach dem ersten Test (ob es DOA Fälle sind) habe ich 3 MN790 4TB sie nun in meinen M910X eingebaut (und gedenke sie als flotten zfs Pool zu nutzen). Da in dem Lenovo aber auch eine Adata XPG-SX8100 4TB drin ist um mit einer Samsung 870 Evo 4TB zusammen ein Array zu bilden müßte ich bei Fehlern erst einmal rausbekommen, welches Device das ist und aktuell ist das Ding noch nicht in Betrieb, weshalb ich zu dem Thema noch gar nichts sagen kann.
August 19, 20232 yr Author 48 minutes ago, mgutt said: Wenn du sicher bist, dass auf den HDDs keine Dateien aus Docker, Appdata usw liegen, dann kannst du new config machen und auswählen, dass Pools erhalten bleiben sollen. Da bin ich sehr sicher, hatte alle Docker-Pfade .../cache/... anstatt .../user/... Ok, danke, dann mache ich wohl das mit der neuen Config! Edited August 19, 20232 yr by Mor9oth
August 19, 20232 yr Author Irgendwie halt krass und komisch zugleich, dass drei Platten gleichzeitig sterben. Hatte das vor ziemlich genau drei Jahren schon mal. Da waren es vier auf einmal. Ich fühle mich ein wenig cursed! Waren btw. alles "HDD shucking" Platten. Keine Ahnung, ob es damit was zu tun hat oder nur ein sehr, sehr unglücklicher Zufall ist.
August 19, 20232 yr Author Kleiner Spoiler vorab: 33 Watt, mit allem Default im Bios und nichts optimiert. Altes System lag bei 65 Watt.
August 19, 20232 yr Author @mgutt Ich hatte bisher meine HDDs als "XFS encrypted" Array und würde das gerne mit den 4 SSDs wieder so machen. Spricht da was bei SSDs dagegen oder hast du eine Empfehlung für das Dateisystem beim SSD Array?
August 19, 20232 yr 2 hours ago, Mor9oth said: Spricht da was bei SSDs dagegen oder hast du eine Empfehlung für das Dateisystem beim SSD Array? Würde ich vermutlich auch so machen.
August 19, 20232 yr Author Hmm - hoffe das ist normal - da die Parität noch nicht fertig ist, aber aktuell wird im Main Tab und im Dashboard eine Warnung "Parity is Invalid" und "Array has 1 failed device" angezeigt. Edit: Scheint dann wohl das oder was Ähnliches gewesen zu sein. Nach dem Parity-Sync sieht alles gut aus mit SSD-only Array: Edited August 20, 20232 yr by Mor9oth
August 20, 20232 yr Author Heute schaue ich mir die Einstellungsmöglichkeiten des Boards an, um es möglichst effizient zu bekommen. Hier aber schon mal ein paar Werte vor den Stromspar-Optimierungen, um dann später eine Referenz zu haben. Leider scheint der neue BMC Controller AST2600 im Vergleich zum Vorgänger nicht sparsamer zu sein. Der Verbrauch der IPMI: 7 Watt. Der Vorgänger zog sich bei mir 8 Watt. Im IDLE schwankt der Verbrauch zwischen 33 und 37 Watt. Wesentlich besser als mein alter Server (65 Watt). Während des Parity-Checks geht es so auf 44 Watt und ist damit immer noch niedriger als mein alter Server im IDLE Hier auch mal ein paar Eindrücke des Servers. Der Airflow hat sich massiv verbessert im Vergleich zu meinem alten Gehäuse (Silverstone CS381). Wahrscheinlich war darin der Airflow einfach richtig mies. Die fünf Noctuas (siehe Liste) sind dabei super leise und die Temperaturen waren noch nie so gut bei mir. Der CPU-Kühler kühlt passiv mehr als ausreichend gut und die M.2 war noch nie so kühl, obwohl ich sie nun ebenfalls "nur" passiv kühle. Bisher einfach ein krasser Unterschied! 😀 Die drei Lüfter verstärken den Airflow und lassen Luft durch die Lamellen des CPU-Kühlers (Noctua NH-D15S😞 Platz für 20 SSDs. SSDs werden ja eh kaum warm, vorne sind in den beiden Käfigen aber noch je ein Noctua NF-A12x25 um Luft in das Gehäuse zu bringen. Insgesamt kann man ev. später auch die Lüfterkurve noch optimieren.
August 20, 20232 yr Author Mir ist gerade im Bios aufgefallen, dass es neben zwei Turbo-Boost-Einstellungen auch Speed Shift und SpeedStep gibt. Die beiden letzteren fasse ich eher als Strromspar-Funktionen auf, da damit der Wechsel der P-States granularer durch die CPU erfolgt. Ist das richtig?
August 20, 20232 yr Author Noch zwei Einstellungen gefunden, die im Kontext Stromsparen sein könnten: CFG Lock: Wenn ich es richtig verstehe, erlaubt dies Betriebssystemen Änderungen an den C-States. Disabled oder enabled? C6DRAM: Im C6 state content im DRAM verschieben. Disabled oder enabled?
August 20, 20232 yr Author Onboard Debug Port LED: Tendiere zu aus und wenn man ein Problem besteht, mache ich sie an. Spricht da was dagegen?
August 20, 20232 yr Author Bei der Stromspareinstellung bin ich mir auch unsicher. SATA Aggressive Link Power Management. Vermutlich für Arrays, oder? Nur im AHCI Mode. Für Unraid dann Enabled oder Disabled?
August 20, 20232 yr Wichtig ist ASPM und C-States. Check auch mal, ob es neben Enabled auch bestimmte C-States als Maximum zur Auswahl gibt. Aber scheinbar hat ASRock das über die separaten Einstellungen zu Package und C7 State geregelt. Aggressives Power Management bei SATA hat keinen Nachteil. Tatsächlich konnte ich aber auch nie einen Vorteil dadurch wahrnehmen. Ansonsten ist powertop auto tune wichtig und dass du darüber die C-States mal checkst. Standardmäßig ist bei unRAID sonst alles ohne Stromspareinstellungen. Ach ja und niemals mit offener GUI oder dem Webterminal messen. unRAID läuft dann auf Hochtouren. Vorzugsweise auch das Array im Wartungsmodus starten. Dann sind Docker und VM außen vor und man kann besser vergleichen.
August 20, 20232 yr Author 2 hours ago, mgutt said: Check auch mal, ob es neben Enabled auch bestimmte C-States als Maximum zur Auswahl gibt. Aber scheinbar hat ASRock das über die separaten Einstellungen zu Package und C7 State geregelt. Genau, ASRock hat die einzelnen C States für CPU aktivierbar gemacht und für PCIe kann man es aber nur auf "Disabled" oder "Auto" setzen. Unten führe ich gleich mal all meine bisherigen Bios-Einstellungen auf. Vielleicht fällt ja Jemandem noch was auf. OC Tweaker/CPU Configuration: Intel Turbo Boost Technology: Disabled Intel Turbo Boost Max Technology: Disabled Advanced/CPU Configuration: Enhance Halt State(C1E): enabled CPU C6 State Support: enabled CPU C7 State Support: enabled Package C State Support: enabled Advanced/Chipset Configuration: Onboard HDMI HD Audio: disabled OCU Mode Selection: SATA Advanced/Chipset Configuration/PCIE ASPM: PCIE7/OCU4 ASPM Support: Auto M.2_1 ASPM Support: Auto PCIE4 ASPM Support: Auto OCU2 ASPM Support: Auto OCU3 ASPM Support: Auto Onboard Debug Port LED: Disabled
August 20, 20232 yr Author 2 minutes ago, mgutt said: ASPM könnte bei Auto deaktiviert sein. Das wäre dann fatal. Ich teste gleich ASPM & C-States.
August 20, 20232 yr Author Ich habe nun die Test-Settings von @mgutt mit folgenden Abweichungen für den Test vorgenommen. Abweichungen: IPMI ist eingesteckt Es sind zwei LAN-Kabel verbunden, da die Unraid-Verbindung bei mir im Bond gesetzt ist Test 001: Ich bin jetzt im Wartungsmodus, habe das GUI geschlossen und per SSH alle Disks heruntergedreht. Powertop auto-tune erneut ausgeführt. Leider nur C3 (Screenshot). ASPM auslesen zeigt dann leider, dass die PCIe-Bridges alle "ASPM not supported" sind (siehe Screenshot). Das dürfte dann wohl den fixen C-State 3 erklären. Uffff! Kann ich noch was machen oder ist das dann endgültig? Noch kann ich das Board ja auch zurückgeben.
August 20, 20232 yr 1 hour ago, Mor9oth said: Es sind zwei LAN-Kabel verbunden, da die Unraid-Verbindung bei mir im Bond gesetzt ist Hatte das Board 10G? In jedem Fall nur einen Port verwenden. Das Bond bringt dir eh nichts. Link Aggregate addiert keine Bandbreite, sondern ermöglicht nur etwas Load Balancing. Aber auch nur, wenn alle Komponenten den Bond verstehen. 1 hour ago, Mor9oth said: ASPM auslesen zeigt dann leider, dass die PCIe-Bridges alle "ASPM not supported" sind Alle Datenträger ausbauen, nur ein LAN Kabel verwenden und Ubuntu über USB booten. Dort ASPM ebenfalls prüfen und sollte es auch da nicht gehen ASRock kontaktieren.
August 20, 20232 yr Author 9 minutes ago, mgutt said: Hatte das Board 10G? Ja, hat 2 x 10G. Bon habe ich aber über die zwei Gigabit-Ports aktiv. 10 minutes ago, mgutt said: Das Bond bringt dir eh nichts Ok, dann hau' ich das mal raus.
August 20, 20232 yr Author 11 minutes ago, mgutt said: Alle Datenträger ausbauen, nur ein LAN Kabel verwenden und Ubuntu über USB booten. Dort ASPM ebenfalls prüfen und sollte es auch da nicht gehen ASRock kontaktieren. Ok, danke! Das teste ich nachher. ASPM auslesen geht dann vermutlich auch über den gleichen Befehl wie in Unraid, nehme ich an.
August 20, 20232 yr Genau ist gleich. Nur als Info. Mit mehreren von mir gemessenen Boards, hatte ich schon C9 oder C3, je nachdem welche LAN Buchse ich verwendet habe. Manchmal sind die Treiber scheinbar nicht so gut.
August 20, 20232 yr Author 3 hours ago, mgutt said: Alle Datenträger ausbauen, nur ein LAN Kabel verwenden und Ubuntu über USB booten. Dort ASPM ebenfalls prüfen und sollte es auch da nicht gehen ASRock kontaktieren. Nur zum Verständnis: Ubuntu Desktop auf einen USB-Stick flashen, in das OS booten und dann per Terminal den ganzen Powertop Prozess wiederholen, oder? Habe ich gerade gemacht, allerdings (noch) ohne die Laufwerke auszustecken. Da wird nur bis C3 angezeigt: ASPM not supported bei den PCIe devices:
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.