EdgarWallace

Thanks the @GraemeT and @Ledgem RAM prices are definitely an issue. 32GB for over CHF 1,000. That's just crazy.

This thread is now three years old, and after a brief foray into a Chinese motherboard that ended in a bad experience, I’d like to go back to relying on tried-and-true hardware. So far: Supermicro X11SSL-CF, Xeon E3-1260L v5, 64 GiB DDR4 single-bit ECC Planned: ASUS PRO WS W680M-ACE SE with the Intel Core i5-13500. The server contains 2x6TB data and parity disks. In addition, two 2TB Samsung 990 Pro NVMe drives are installed for cache and app data. I currently have these housed in an ICY-Dock in the PCI slots, so I’m very interested in moving these two drives directly onto the motherboard. Another advantage is the two 2.5G Ethernet ports. There are several Docker containers running: audiobookshelf, calibre, collabora, emby, mariadb, nextcloud, npm, paperless-ngx, PhotoPrism, readeck, redis, RustDeskServer, StirlingPDF, workout-tracker, and a few more.... VMs aren’t a factor; I only need to start a Windows VM every now and then. The current server’s performance is more than sufficient, so even the little i5-13500 might be overkill. However, a new project is planned: ollama and open-webui (thanks for the inspiring video by @SpaceInvaderOne). So I’d also like to follow the suggestion in the video and install an RTX 3060. There should be room for it in the PCIe slot. Now the question: Would you buy this motherboard again, and do you think it’s suitable for the requirements mentioned above? And what’s the experience like in terms of power consumption? Obviously, the server will draw more power with the new Docker containers, but most of the time it won’t be doing anything, so it would be nice if it didn’t draw too much power. Can you achieve anything with POWERTOP? I’ve read that there were some instability issues when using POWERTOP. Thanks in advance for sharing your experiences.

Thank you very much for your help @JorgeB Until now, after a reboot, the server would display numerous error messages on the degraded device. However, there was no data loss or issues with my Docker files. I've now adjusted the default boot options according to your advise and will see if it solves my issues.

@davze leider lässt sich das Board nicht mehr zum Leben erwecken und ich musste dem Verkäufer eben erklären, dass die 90 Tage seit Lieferung noch nicht um sind . Ich bin mir nicht sicher, ob ich mein Geld wiedersehe. Alles sehr ärgerlich ...

I keep getting the same error: the status has once again been shown as ‘DEGRADED’ in my cache pool. The SMART report for both NVMe drives looks fine. Can anyone tell me what’s causing this? The diagnostic report is attached. Thank you very much for your help. tower-diagnostics-20260529-2210.zip

@onotop vielen Dank für deine Rückmeldung. Ich hoffe, dass der Board-Tausch unkompliziert funktioniert. @davze ich hatte die Batterie schon abgeklemmt, allerdings nur für wenige Minuten. Ich werde das mal für einige Stunden abziehen und dann sehen, ob es sich wieder meldet. Erst einmal brauchte ich meinen Server und habe das alte Supermicro-Board wieder in Verwendung. Das China-Board kommt dann (wenn es wieder funktioniert oder wenn ich ein neues bekomme) in ein anderes Gehäuse, so dass ich eine "versicherung" gegen weitere Ausfälle habe.

Hallo Zusammen Ich habe den Rechner gestern runtergefahren (auch die USV aus, das Mainboard also ohne Spannung), heute morgen versucht einzuschalten und .... nichts. Kein Lebenszeichen, nur die eth1 blinkt munter vor sich her. Hat das jemand von den BKHD Board Besitzern auch schon erlebt?

@davze, mit den von dir geschilderten Modifikationen sind die Fehler im Log (can't disable ASPM; OS doesn't have ASPM control) weg. und die Befehle für das GO File erzeugen keine Fehlermeldung mehr. Auch alle anderen Themen scheinen in bester Ordnung zu sein: lspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM |Disabled;|Enabled;)' 00:1b.0 PCI bridge: Intel Corporation Cannon Lake PCH PCI Express Root Port #21 (rev f0) (prog-if 00 [Normal decode]) LnkCap: Port #21, Speed 8GT/s, Width x4, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us LnkCtl: ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+ 00:1c.0 PCI bridge: Intel Corporation Cannon Lake PCH PCI Express Root Port #1 (rev f0) (prog-if 00 [Normal decode]) LnkCap: Port #1, Speed 8GT/s, Width x4, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us LnkCtl: ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+ 00:1d.0 PCI bridge: Intel Corporation Cannon Lake PCH PCI Express Root Port #10 (rev f0) (prog-if 00 [Normal decode]) LnkCap: Port #10, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us LnkCtl: ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+ 00:1d.4 PCI bridge: Intel Corporation Cannon Lake PCH PCI Express Root Port #13 (rev f0) (prog-if 00 [Normal decode]) LnkCap: Port #13, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us LnkCtl: ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+ 00:1d.5 PCI bridge: Intel Corporation Cannon Lake PCH PCI Express Root Port #14 (rev f0) (prog-if 00 [Normal decode]) LnkCap: Port #14, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us LnkCtl: ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+ 01:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller S4LV008[Pascal] (prog-if 02 [NVM Express]) LnkCap: Port #0, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <64us LnkCtl: ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+ 02:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller S4LV008[Pascal] (prog-if 02 [NVM Express]) LnkCap: Port #0, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <64us LnkCtl: ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+ 03:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04) LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us LnkCtl: ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+ 04:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04) LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us LnkCtl: ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+ 05:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04) LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us LnkCtl: ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+dmesg | grep -i aspm [ 0.294283] acpi PNP0A08:00: _OSC: OS supports [ExtendedConfig ASPM ClockPM Segments MSI HPX-Type3]Dank an @MPC561 für den Hinweis zum Native ASPM und natürlich ab @davze für die BIOS Modifikationen. Bei Gelegenheit werde ich noch einmal den Energieverbrauch messen.

Das hat schon einmal gut geklappt, daher noch einmal DANKE @davze . ./FPT -D bios_backup.bin Intel (R) Flash Programming Tool Version: 12.0.85.1919 Copyright (C) 2005 - 2021, Intel Corporation. All rights reserved. Reading HSFSTS register... Flash Descriptor: Valid --- Flash Devices Found --- ID:0xC22019 Size: 32768KB (262144Kb) - Reading Flash [0x2000000] 32768KB of 32768KB - 100 percent complete. Writing flash contents to file "bios_backup.bin"... Memory Dump CompleteDas BIOS habe ich gesichert und sehe im AMIBCP die folgenden Fehler - geht das hier jemandem ebenso?

Vielen Dank @davze Mittlerweile hat sich der Händler gemeldet und kann weder Doku, noch Firmware liefern. Ich werde es einmal unter dem o.g. Link versuchen, vielleicht kann der Hersteller helfen. Ich habe übrigens das Board wie auf dem Foto ersichtlich. Laut Aufdruck ITX-C246 _VER13. BIOS Information: Vendor: American Megatrends Inc. Version: 5.13 Release Date: 10/11/2025 Entspricht das deinem Mobo? Auf jeden Fall danke ich sehr für deine Hilfe und würde das BIOS gerne verwenden. In die Vorgehensweise werde ich mich in der Zeit, in der ich nun weg bin, einlesen. Bin also erst wieder in einer Woche am Rechner. 2026-03-11 15-31-56.pdf

@extesy I am having similar issues since I installed a new mainboard. It's that one but I am having the new Version 1.3. My syslog is full of these messages: Mar 17 15:53:20 Tower kernel: igc 0000:06:00.0: can't disable ASPM; OS doesn't have ASPM control Mar 17 15:53:20 Tower kernel: igc 0000:05:00.0: can't disable ASPM; OS doesn't have ASPM controlI followed this guide: ASPM is on in BIOS powertop --auto-tune is executed at every startup of array (via User Scripts) CPU govenor is power save (Tips & Tweaks plugin) dmesg | grep -i aspm [ 0.103679] ACPI FADT declares the system doesn't support PCIe ASPM, so disable it [ 0.291036] acpi PNP0A08:00: _OSC: OS supports [ExtendedConfig ASPM ClockPM Segments MSI HPX-Type3] [ 0.291274] acpi PNP0A08:00: FADT indicates ASPM is unsupported, using BIOS configuration [ 36.450882] igc 0000:04:00.0: can't disable ASPM; OS doesn't have ASPM controllspci -vv | awk '/ASPM/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|ASPM )' 00:01.0 PCI bridge: Intel Corporation 6th-10th Gen Core Processor PCIe Controller (x16) (rev 07) (prog-if 00 [Normal decode]) LnkCap: Port #2, Speed 8GT/s, Width x16, ASPM L0s L1, Exit Latency L0s <1us, L1 <8us LnkCtl: ASPM Disabled; RCB 64 bytes, LnkDisable- CommClk- 00:1b.0 PCI bridge: Intel Corporation Cannon Lake PCH PCI Express Root Port #21 (rev f0) (prog-if 00 [Normal decode]) LnkCap: Port #21, Speed 8GT/s, Width x4, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us LnkCtl: ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+ 00:1c.0 PCI bridge: Intel Corporation Cannon Lake PCH PCI Express Root Port #1 (rev f0) (prog-if 00 [Normal decode]) LnkCap: Port #1, Speed 8GT/s, Width x4, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us LnkCtl: ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+ 00:1d.0 PCI bridge: Intel Corporation Cannon Lake PCH PCI Express Root Port #10 (rev f0) (prog-if 00 [Normal decode]) LnkCap: Port #10, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us LnkCtl: ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+ 00:1d.4 PCI bridge: Intel Corporation Cannon Lake PCH PCI Express Root Port #13 (rev f0) (prog-if 00 [Normal decode]) LnkCap: Port #13, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us LnkCtl: ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+ 00:1d.5 PCI bridge: Intel Corporation Cannon Lake PCH PCI Express Root Port #14 (rev f0) (prog-if 00 [Normal decode]) LnkCap: Port #14, Speed 8GT/s, Width x1, ASPM L0s L1, Exit Latency L0s <1us, L1 <16us LnkCtl: ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+ 02:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller S4LV008[Pascal] (prog-if 02 [NVM Express]) LnkCap: Port #0, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <64us LnkCtl: ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+ 03:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd NVMe SSD Controller S4LV008[Pascal] (prog-if 02 [NVM Express]) LnkCap: Port #0, Speed 16GT/s, Width x4, ASPM L1, Exit Latency L1 <64us LnkCtl: ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+ 04:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04) LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us LnkCtl: ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+ 05:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04) LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us LnkCtl: ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+ 06:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04) LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L1, Exit Latency L1 <4us LnkCtl: ASPM L1 Enabled; RCB 64 bytes, LnkDisable- CommClk+Have you found a solution? Thanks a lot.

Besten Dank @MPC561, aber leider kann ich keinen Eintrag wie beschrieben erkennen. Mittlerweile erreiche ich aber immerhin C3 und die Taktfrequenz der CPU wird reguliert. Dennoch steht das Messgerät bei ca. 37W wie festgenagelt. Das ist allerdings auch im Betrieb so, mit 16 aktiven Dockern. Damit ist das Board deutlich sparsamer, als mein X11SSL-CF. Zu den Meldungen im Syslog gäbe es hier noch eine Quelle: KLICK. Bei meinem Board sieht das dann so aus: dmesg | grep -i aspm [ 0.103679] ACPI FADT declares the system doesn't support PCIe ASPM, so disable it [ 0.291036] acpi PNP0A08:00: _OSC: OS supports [ExtendedConfig ASPM ClockPM Segments MSI HPX-Type3] [ 0.291274] acpi PNP0A08:00: FADT indicates ASPM is unsupported, using BIOS configuration [ 36.450882] igc 0000:04:00.0: can't disable ASPM; OS doesn't have ASPM control Die Meldungen beziehen sich auf 0000:06:00.0 und 0000:05:00.0, mit 04:00.0 scheint alles i. O. zu sein. Ich frage mich, wo der vierte Controller ist, denn das Board hat 4 Ethernet Anschlüsse. IOMMU group 17: [8086:125c] 04:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04) IOMMU group 18: [8086:125c] 05:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04) IOMMU group 19: [8086:125c] 06:00.0 Ethernet controller: Intel Corporation Ethernet Controller I226-V (rev 04) eth0 und eth1 sind beide im Gebrauch (bond0, Active Backup), eth2 und eth3 würde ich im BIOS gerne abschalten. Aber offensichtlich geht das nur bei den älteren Board-Versionen, ich habe die Möglichkeit nicht. Ich habe zwei Fehler im Go-File: for i in /sys/class/net/eth?; do ethtool -s $(basename $i) wol d; done netlink error: No such device und echo auto | tee /sys/bus/i2c/devices/i2c-*/device/power/control tee: '/sys/bus/i2c/devices/i2c-*/device/power/control': No such file or directory auto Daher habe ich den Befehl powertop --auto-tune mal ins User Scripts integriert und lasse es beim Start laufen.

Ich denke, dass ich das BIOS noch einmal checken muss. Da sind einige Einträge, die ich nicht verstehe. Was ich im Log gerade sehe: Mar 17 15:53:20 Tower kernel: igc 0000:06:00.0: can't disable ASPM; OS doesn't have ASPM control Mar 17 15:53:20 Tower kernel: igc 0000:05:00.0: can't disable ASPM; OS doesn't have ASPM control

Ich stimme dir zu @MPC561 37 W sind echt viel, daher schrieb ich auch " ... dass die Boards so wenig Energie verbrauchen, bei mir sind das im Idle ca. 37 Watt:". Ein "bei Euch" hätte ich sicher hinzufügen können. Es sollten alle Disks in Spindown gewesen sein: for dev in /dev/sd?; do /usr/local/sbin/emcmd cmdSpindown="$(grep -zoP "(?<=name=\")[a-z0-9]+(?=\"\ndevice=\"${dev: -3})" /var/local/emhttp/disks.ini | tr -d '\0')"; done Ich habe alle Empfehlungen von @mgutt von Seite 1 tatsächlich Zeile für Zeile umgesetzt. Ich denke auch nicht, dass mein Powermeter spinnt, das misst ziemlich gut.

Ich habe mich auf die Empfehlung von @mgutt hin auch mit einem dieser Boards versorgt. Es meldet sich bei mir als Intel cloudstar itx-c246, v1.3. Ich bin erstaunt, dass die Boards so wenig Energie verbrauchen, bei mir sind das im Idle ca. 37 Watt: Intel Xeon E-2274G BIOS Version 5.13 vom 10.11.2025 eth0: 2500 Mbps, full duplex, mtu 1500 eth1: Schnittstelle inaktiv eth2: Schnittstelle inaktiv eth3: Schnittstelle inaktiv 2x 8 GB DDR4 Single-bit ECC RAM 2 x Western Digital Red Pro 6TB (Daten) 2 x Seagate IronWolf 6 TB (Parität) 2 x Samsung 990 PRO 2TB (Cache Pool) 1 x Crucial CT500MX SATA Netzteil Seasonic Fanless 450W 80PLUS Platinum 3 x PWM Fans, die werden von diversen Plugins aber nicht erkannt. Ich habe alle Elemente von hier in das GO File kopiert. Damit gab es dann einen BAD Eintrag (siehe Screenshot). Mit powertop --auto-tune &>/dev/null ist diese Zeile dann verschwunden (auch Screenshot). Die Empfehlungen von @mgutt von Seite 1 sind alle umgesetzt (WebGUI geschlossen, intel_gpu_top installiert, VM & Docker Engine gestoppt, Array gestoppt, usw...). Den ASPM Status habe ich auch einmal gepostet, ebenso die CPU Frequenz. Ansonsten finde ich das Board super, ein guter Schritt weg vom alten Board X11-SSL-CF. Sogar ein wenig schneller ist es, bei Transcodierungen deutlich schneller. Vielleicht komme ich mit dem Verbrauch auch noch ein wenig weiter. Den ASPM Helper habe ich mal installiert, da muss ich mich noch einlesen. Ach ja, ich plane den Server 24h eingeschaltet zu lassen und habe s3_sleep version: 3.0.12 installiert. Das funktioniert auch gut, aber bei Zugriff kommt der Rechner nicht mehr hoch. Erst, wenn ich ihn von der FritzBox "Gerät starten" auslöse, wacht er auf (Powertop zeigt natürlich bei "Wake-on-lan status for device eth0" Enabled). @davze ich habe Dokumentation und Firmware beim Lieferanten angefragt, wenn ich was bekomme, dann stelle ich das hier ein.