_alo_

ja. klingt wirklich seltsam.... mach doch ruhig einen eigenen Thread dafür auf, oder hast du schon? kann ja auch viele Gründe haben: das Board, Bios, USB, verwendetes Messgerät, oder wird z.B. die USV mit gemessen? Aber das sollten wir bitte nicht hier in diesem Thread diskutieren, danke!

Um die hardware soweit es geht vergleichbar zu machen. Wir sind hier ja im "Eigenbau & Hardware" Bereich, da geht es den meisten Leuten darum zu sehen, mit welcher Hardware man so ein Gerät bauen kann und den meisten davon geht es wiederum um einen möglichst geringen Stromverbrauch. Ich gebe auch gerne Werte mit und ohne docker/VM mit an um das möglichst transparent darzustellen, aber die verwendeten virtuellen Systeme sind eben viel zu verschieden, dass kann man am ende nur schwer vergleichen. HomeAssistant als VM laufen zu lassen ist ja für viele hier ein no-go. Bei mir (s.o.) macht die VM zusammen mit ca. 20 docker-Containern nur 1,2W aus. Bei dir zusammen mit Deinem Frigate aber offenbar ganze 10-15W 🤷‍♂️

kurze Verwirrung: warum geht der Verbrauch gerade hoch und das System nicht mehr in C8/C10? mein MAC hat ein timemachine Backup gestartet und zusätzlich bin ich wieder im Webinterface eingeloggt:

zweite Änderung: 2x 4TB VP4300Lite NVMe zusätzlich (d.h. JA, ich habe jetzt 5 NVMes eingebaut und die CPU-angebundenen PCIe-Slots (M.2 + X16) sind noch frei!!) was sagt der Verbrauch dazu? letzte Stunde: letzte 10min (für einen vernünftigen min-Wert): Der ASPM Helper musste wieder angepasst werden, weil sich natürlich wieder die IDs verschoben haben: ah, wieder vergessen, sich aus dem Webinterface auszuloggen und den TAB zu schließen: Also die bisherigen Tests von heute bis hierhin zusammengefasst (ich hab hier jetzt immer die "Leistung aktuell"-Werte der Momentaufnahme genommen, nicht die Minimalwerte) Edit: letzte Tabelle ausgetauscht, die 19,3 W nachts sind ohne 10G link, da der Mac dann schläft

erste Änderung: 2x 32GB Mushkin Essentials zusätzlich --> 4 Module = 96GB RAM 👍 was sagt der (Mehr)Verbrauch dazu? wie ein einem anderen Thread vermutet (klingt ja auch logisch): "4 Module verbrauchen mehr als 2" naja, "Leistung aktuell" der Momentaufnahmen ist 0,07W höher, der Minimalverbrauch aber sogar 0,07W geringer 😲 ich bleibe dabei: der unterscheid von mehr oder weniger RAM-Modulen ist nicht wirklich messbar!

Beim Shutdown geht der Verbrauch auf >120W hoch. ausgeschaltet verbraucht er immer noch ca. 2W

So, neue Hardware ist da und bereit eingebaut zu werden, aber erst möchte ich nochmal den Status quo vorher darstellen: (sorry, es werden wieder viele Screenshots) Das System besteht aktuell aus: Fractal Design Meshify2 4x Arctic P14 PWM PST Lüfter BeQuiet BN341 PP12M 550W Intel i3 12100 mit boxed Kühler 2x 16GB Mushkin Essentials DDR4 3200 Asrock Z690 PG Riptide mit über SCEWIN aktiviertem "Low Power S0 IDLE Capability"-Feature Sandisk UltraFit 32GB USB3.2 Stick mit unraid 6.12.15 Netzwerk RTL8125 onboard mit aktivem 2,5GE Link zu Unifi Flex Mini 2,5g Fenvi AQC113C PCIe3.0x4 mit aktivem 10GE Direktlink zu Mac Studio M1 mit FW-Update für ASPM Support SATA (onboard) Array (5+P) xfs 6x Toshiba MG09 18TB Pool xfs 1x MX500 4TB NVME (alle über Adapter an PCIe3.0x1) Cache (btrfs RAID1) 2x 1TB Crucial P3 Pool zfs 1x 2TB Patriot Viper VP4300 Lite Es läuft der ASPM Helper (hier sind jetzt zwar zur Vollständigkeit alle devices eingetragen, aber ich bin sicher, dass das für die Fenvi Karte und die NVMe nicht nötig war) und "powertop --auto-tune" steht im go-file, ich erreiche C10. Im normalen Betrieb idled der Server nachts bei minimal 19,3W und tagsüber bei 22-25W mit einer Homeassistant-VM und ca. 20 docker-Containern (pihole, paperless, jellyfin, ...). 2W macht dabei alleine der 10G Link zu meinem Mac aus - wenn der schläft, spare ich nachts also 2W. Hier also mal eine Bestandsaufahme von heute morgen: Ich hab es noch etwas länger beobachtet, aber 18,09W war das Minimum mit aktivem 10G Link. Trennt man diesen, geht es wie erwartet nochmal ca. 2W runter:

Ich bin ja auch erst 1,5 Jahre dabei und hatte mir damals (09/23) einfach mal auf Verdacht (ohne das GUID-Thema gekannt zu haben) einen günstigen 3er Pack kleine Sandisks bestellt und hab davon jetzt mittlerweile zwei Stück unter unraid im Einsatz: die funktionieren. Ansonsten gibt's hier im Forum immer wieder mal Empfehlungen, ich hab allerdings noch keine anderen probiert... Ich hab aber hier auch schon gelesen, dass bestimmte Hersteller ihre Produktion umgestellt haben und bestimmte Typen die damals funktionierten, heute keine GUID mehr besitzen?! 3 Stk. für 15€ kann man m.M.n. aber eh gut mal da haben P.S.: 64GB mit FAT32 wird auch eher schwierig, ich würde max 32GB empfehlen. Es reicht ein USB2.0 Stick!

Mit MINT hab ich leider keine Erfahrung und weiß daher nicht, ob der "Systemverwalter" hier auch volle root-Rechte hat. Da bin ich leider überfragt. Ist ja auch erstmal nur (m)eine Vermutung, da hier ja offenbar nach erweiterten Rechten für das Formatieren verlangt wird. Kannst Du denn ansonsten mit den MINT-Boardmitteln den USB-Stick formatieren? d.h. reichen die Rechte dafür generell aus? Um das MINT auszuschließen würde ich das an Deiner Stelle lieber unter Windows probieren, da sollte der creator mit Adminrechten ziemlich sicher funktionieren... Ansonsten wäre halt interessant ob Du jetzt überhaupt passende (GUID) USB-Sticks hast oder nicht (und das evtl. nur eine falsche Fehlermeldung ist)...

hm, schade. ich mache die Tage mal die Gegenprobe mit meinem Server, ob sich der auch so verhält. Muss da eh noch RAM&NVMes nachstecken

Linux: Windows: was denn jetzt?

Ich habe die beiden Netzwerkkarten in verschiedenen Netzen, dafür habe ich sie ja Edit: also kein Bonding, sondern beide separat! Der ASPM Helper war für die AQC113C nach dem Firmware Update nicht mehr nötig (hatte ich so auch in meinem Post vermerkt!) Ich meinte das Kabel von der 10G Karte abziehen um zu schauen, ob dann die Aktivität dort runtergeht und das Package tiefer schlafen geht... (beim Ausbauen hast Du den Unterschied ja schon gesehen, aber bei Inaktivität würde mich halt interessieren)

naja, eigentlich ist das doch nur einbauen, windows booten, Batchdatei zum Flashen ausführen, fertig. Ich vermute halt ein Thema (z.B. PCIe Anbindung) mit deinem alten MSI Board... Das finde ich allerdings sehr merkwürdig. Ich hab ja auch die RTL8125 onboard + die Fenvi AQC113C parallel am laufen auf meinem z690 Riptide und aktuell zieht das System mit allem drum und dran idle 19-25W (im Spindown der 6 HDDs). Tagsüber, sieht man gut, wird die 10G Karte aktiv und ich bin eher bei 25W, abends/nachts geht die Kiste bis auf 19,3W runter. Bei den Peaks sind dann eben HDDs aktiv: Meine Vermutung weiterhin: dein CPU-angebundene Slot in dem die 10G Karte steckt, hält das Package wach, in C2 🤷‍♂️ macht es einen großen Unterschied, wenn Du das 10G Kabel abziehst? sind die HDDs wirklich im spindown?

versuch es mal als root

Was ist das denn für ein Board bzw ist das elektrisch überhaupt ein X4 Slot in dem Du testest? wie gesagt, das Thema Windows Treiber würde ich auslassen... Die Dateien für das FW-Update sollten die richtigen sein, der Ordner sieht bei mir genauso aus. Ansonsten mal mit dem ASPM-Helper das ASPM für die onboard Netzwerkkarte aktivieren, dann sollte schon mehr als C3 gehen...

Ich hatte nur ein lokales Windows10 installiert, ohne Netzwerkverbindung. Treiber hab ich nicht installiert, ich bin auch nicht sicher, wie die Karte im DeviceManager aufgeführt wurde, ich hab nur das FW-Update gemacht - das funktionierte... Dass ein Device als unbekannt (mit Ausrufezeichen?) im Device Manager angezeigt wird, ist ja völlig normal ohne Treiber. ich wollte die Karte ja auch gar nicht unter Windows nutzen, von daher hab ich auch keinen Treiber gesucht bzw. installiert. Wenn die Karte aber angezeigt wird (als unbekannt), so hat er doch ein Gerät erkannt (genauso wie unter unraid, d.h. hardwareseitig alles i.O.) und auch das FW-Update sollte dann ein Device erkennen.... Hast Du den von mir verlinkten Thread zu dem FW Update der Karte gelesen, verstanden, das Video gesehen und auch die richtige FW runtergeladen? Im Thread gibt es ja Berichte von einigen, die ihre Karte durch falsche FW-Updates gebricked haben.... Also mal die 10G Karte außen vor gelassen hast du so ziemlich die gleiche Hardware wie viele hier (allen voran @DataCollector) und erreichst trotzdem nur C3 bei 19W?? Ich denke hier fehlen noch BIOS Einstellungen...hast du alle relevanten ASPM-Settings gesetzt? Die sind im ja in seinem Thread zu diesem Board alle aufgelistet. Dann noch der ASPM-Helper für die 2,5G Karte... ICH vermute ja zudem auch einen Großteil der Pkg-C-State Probleme mit den CPU-angebundenen PCIe-Slots. Also würde ich wie gesagt erstmal ohne 10G Karte testen und auch die NVMe wenigstens testweise mal in den Chipsatz-M.2 umbauen... m.M.n. solltest du erstmal den status quo von data etc. versuchen zu erreichen und dann mit der 10G Karte weitermachen. warum so "kompliziert"? Du solltest im TAB "main" unter "Array Operations" den Button "Spin Down" finden oder auch oben unter deinen Array disks den kleinen Pfeil nach unten um einen SpinDown aller Platten zu erreichen. Zur Not wartest Du auch einfach die (15min) Standardzeit ab ("Settings - Disk Settings - Default spin down delay"). zeig das auch gerne nochmal als Screenshot, dann kann man vielleicht auch schon erkennen, ob/was fehlt ja, das kommt hin, bei mir senkt sich der Mehrverbrauch der 10G Karte von 2,57W auf 0,57W, wenn mein damit verbundener MAC sich schlafen legt (Link down ^= Kabel abziehen).

ja stimmt, ich bin dem Link nicht gefolgt und hab mir das "M" wohl eingebildet.... 🤣 Dann ja, bitte auch mal testen, dann haben wir ein weiteres Vergleichsboard👍 Leider hat diese ATX-Variante ja auch nur x1-Slots abgesehen vom CPU-angebundenen (hatte gehofft, einer der 4 Chipsatz-angebundenen X16 Slots hat wenigstens elektrisch X4 für eine 10G Karte o.ä.)

Dass auf solchen Blechdeckel Ram schlechtere Speicherchips verbaut sind, glaube ich auch eher nicht. Dass 4 mehr als 2 Riegel verbrauchen klingt auch logisch, bei mir konnte ich aber keinen Unterschied von 1 zu 2 Riegeln messen, dafür sind meine Messungen im Bereich von 10W zu ungenau und schwanken ja eh permanent etwas... Wie ich XMP verstanden habe, sind diese Profile notwendig um die angegebene Geschwindigkeit (z.B. 3200) bei den z.T. krassen Timings zu erreichen. Oft wird hierzu auch die Spannung erhöht und DAS wiederum führt auch zu höherem Stromverbrauch. Was natürlich machbar ist, diesen RAM ohne XMP mit einem Standard-JEDEC-Profil zu nutzen, dann ggf. mit weniger MHz oder anderen Timings als angegeben/verkauft.... Wie sieht das default Profil aber aus? Das wird eher selten angegeben... Beim Hersteller deute ich die Angabe so, dass diese Ripjaws ohne XPM nur mit 2133 bei 1,20V laufen. Ob noch andere JEDEC Profile gehen, weiß ich nicht. Dann ist aber die Empfehlung hier eher gleich auf 3200er RAM zu gehen bei schlechteren Standardtimings die dann aber auch ohne XMP-Profil erreicht werden, also z.B.: Ripjaws V 64GB (4x 16GB) XMP: 3200 16-18-18-38 bei 1,35V JEDEC: 2133 bei 1,2V Mushkin Essentials 64GB (2x32GB) XMP: n.v. JEDEC: 3200 22-22-22-52 bei 1,20V Grundsätzlich werden Dir die krassen Timings im Server nichts bringen. Wie groß der Unterschied zwischen 1,20V zu 1,35V im Stromverbrauch ist, wäre dagegen mal zu testen. Preislich tun sich beide Varianten nichts. Es gibt also keinen Vorteil für Blechdeckel-XMP-RAM, eher Nachteile. Aber wenn er schon vorhanden und "über" ist, würde ich ihn auch nutzen, mindestens zum Vergleichen wie oben bereits erwähnt... Grundsätzlich würde ich beim alten System aber erstmal versuchen zu eruieren, warum es häufig gecrasht ist? Du vermutest Board/CPU, aber hast Du den RAM (Inkompatibilität) ausgeschlossen? MEMTEST mal laufen lassen? Nicht, dass der RAM das Problem ist und dieses ggf. sogar mitwandert auf das neue System....

ja eben, das würde mich sehr interessieren.... das mit der M.2 lässt sich ja ändern aber für die 10G Karte wäre ein Chipsatz-angebundener Slot ggf. von Vorteil gewesen...

ich würde erstmal den vorhandenen testen (welcher ist das genau?) und die Ergebnisse mit denen der anderen User, die das gleiche Board mit anderem RAM betreiben, vergleichen

Ich bin auch eher AMD-Fan aber habe trotzdem für meinen neuen unraid-Server meinen ersten INTEL seit dem Pentium-II 350MHz gekauft, dazwischen hatte ich privat nur AMD Im oberen Lastbereich (z.B. Gaming) war AMD bislang iirc schon lange performanter bzw. stromsparender bei gleicher Performance, aber den stromsparenden idle-Modus, den wir für unsere Server anstreben haben sie nunmal bislang nicht so gut hinbekommen wie INTEL 🤷‍♂️ Dem stimme ich absolut zu! Die höheren Frequenzen brauchst Du im Server auch eh nicht. Zudem ist DDR5-RAM auch oft noch ca. 50% teurer (siehe auch deine Beispielkonfigs oben) und die Boards kosten auch gerne mal etwas mehr als das jeweilige DDR4-Pendant (gut, DAS ist jetzt im oberen MSI-Beispiel nicht wirklich der Fall).

Dann schau noch mal in meinen Riptide-Thread, da hab ich den gefundenen Thread zu der richtigen FW verlinkt... Original lief sie auch nur mit ASPM disabled und das System blieb in C3

Keine Ahnung, ob das für den Nachfolger AQC113C immer noch so gilt, aber erwähnen wollte ich ihn trotzdem: Meine Fenvi Karte von AliExpress hat mich ca. 55€ gekostet und verbraucht mit ASPM-fähiger Firmware nur 2,57W im idle (System in C10). Also Anforderung "stromsparend" schonmal erfüllt. Einen Vergleich zu Mellanox/Intel SFP+ Karten hab ich allerdings nicht! K.A. ob sie (un)zuverlässiger ist als eine alte INTEL/Mellanox-Karte, Probleme hatte ich mit ihr jedenfalls bislang noch keine. Allerdings nutze ich sie auch nur für eine Direktverbindung zur Workstation über ein 7,5m CAT7 Patchkabel, für den Rest hängt der Server parallel am 2,5G Hausnetz. Das mag ja so sein, dass die Marvell Chips eher für Arbeitsplätze/Hausgebrauch gedacht sind (im RZ haben wir iirc auch keine Marvell Chips) aber unklar ist ja, was in dem Netz bzw. auf dem Server von @chrowso läuft und wie dieser genutzt wird... M.M.n. ist das eine ähnliche Diskussion wie, ob man einen SAS-HBA oder einen ASM1166 Controller nutzen möchte zuhause. P.S.: Wenn es SFP+ sein soll, dann ist dann vielleicht auch der AQN100 einen Blick wert?

ich hab ja auch das NODE304 und kann das bestätigen Für einen leichten unhörbaren Durchzug auf kleinster Stufe ist die aber ok. i.d.R. liegen die den Lüftern bei. entweder das oder Du nutzt z.B. Arctic P*cm* PWM PST ("PWM Sharing Technology") Lüfter, die man schön kaskadieren kann, die haben auch Schrauben beiliegen bin sehr gespannt wie sich das Board dann damit verhält bzgl. Stromverbrauch/Pkg-C-States....

zum Thema mehr Bridges als PCIe Geräte: "Der" lspci Befehl listet nur die relevanten Zeilen zu ASPM, wenn hier zu einem Gerät keine solchen Infos kommen, kriegst du auch keine Ausgabe zu diesen Geräten obwohl sie da sind. Poste mal die Ausgaben folgender Befehle: "lspci" (listet alle Geräte) und "lspci -vv" (listet alle Geräte inkl. aller Details) da letzteres Befehl ziemlich viel Ausgabe produziert, kannst du hier vielleicht nur die Details extrahieren, die zu den Geräten gehören, die hier gerade fehlen....