Hallo ihr Lieben,

ich würde gerne meinen unRAID Server etwas stromsparender bekommen und will mich nun etwas vergewissern, dass das kein Quatsch ist, was ich hier tue

Ein paar harte Daten zur Hardware vorweg -
AMD Ryzen 5 PRO 5650GE (35W TDP), ASUS ROG STRIX B550-A GAMING Mainboard, 48GB DDR4 ECC RAM, Array mit 12 Disks, zwei SATA SSDs als je individueller Cache, LSI 9201-8i HBA
Keine weiteren PCIe Karten, nur Lüfter; beide M.2 Slots frei
Idle Verbrauch liegt bei etwa 75W (Spin-Down aller Disks ist so 60W, aber mindestens eine Disk plus die zwei Paritäten gehen sehr schnell wieder an); der Verbrauch bei gößrer Nutzung von zB Plex geht auf so max 110W hoch.

 

Zur Software: ich habe diverse Docker laufen, die aber auch nicht permanent genutzt werden. Zwei VMs, eine Windows und eine Home Assistant; Letztere sollte wohl immer laufen, das Windows könnte ich auch öfter aus machen (das dient mir hauptsächlich als Fernzugriff von unterwegs)

 

Ich habe vor Jahren mal diesen Artikel gelesen, und in Folge dessen eine gebrauchte LSI 9201-8i HBA gekauft; das war wohl damals, März '22, Stand der Dinge. Performance ist soweit super, aber nun habe ich gelernt dass die Karte selbst gut schluckt, ASPM verhindert, und die C-States meiner CPU ruiniert. Von dem was ich so verstehe sind niedrige C-States dabei, die CPU auch im Idle in höheren Leistungsklassen zu halten; ist zugegeben aber ein wenig Neuland für mich.

Ich habe mal Powertop installiert, der Server läuft nach dem Neustart wieder knapp eine halbe Stunde, einen Screenshot der C-States habe ich angehängt.

 

Erstmal ist für mich spannend dass meiner nur bis C3 geht, habe andere Screenshots bis C10 gesehen. Meine CPU hängt also anscheinend meistens in C3 ab, was vermutlich besser als C1 oder C0 ist (welches ebenfalls nicht in der Liste sitzt).

Ich habe beide SAS Anschlüsse der LSI voll belegt, sprich 8x SATA HDDs dran hängen, würde also entsprechend acht Ports brauchen. Der vierlorts empfohlene ASM1166 kann nun nur 6x, also davon dann wohl 2x? Die ASM1166 wären wohl was langsamer, aber im Grunde brauch ich ja selten mal mehr als 200MB/s, und ist selten dass alle Platten rennen müssen.

 

Ich habe auch schon das tolle FAQ von DataCollector gelesen, wie die PCIe Slots angebunden sind erschließt sich mir nicht so ganz; daher dachte ich, so eine auf M.2 Basis sei vielleicht gut. Auf Amazon habe ich diese Karte für den M.2 Port gefunden; nach einem Kommentar dort muss man auch nichts mehr flashen. Ich hab ja beide M.2 Slots frei, plane auch nicht auf eine NVME zu gehen. Wenn der zweie M.2 Port besetzt wird schalten sich aber zwei der SATA Ports auf dem Mainboard ab, sprich ich hätte dann nicht zwölf zusätzliche Ports, sondern nur 10 - ist natürlich absolut vertretbar, mehr als zwei zusätzliche Disks sehe ich im Server sowieso nicht (allein vom Platz her). Oder man nimmt eine solche in M.2, und eine zusätzliche PCIe-Karte, wenn die HBA raus ist sind ja alle Slots frei (und ich plane nicht, eine GPU zu kaufen, vorher würde ich wohl CPU+Mainboard für Intel QuickSync besorgen).

 

Aber, ergibt das Sinn? Die >70W im Idle find ich schon hoch, ich weiß dass ein Server mit so vielen Disks einen gewissen Verbrauch hat, aber Idle... ich hatte diese CPU extra wegen der niedrigen TDP gekauft, war auch nicht billig, irgendwie schade so, haha
Wenn ich den Idle zumindest so um 25W gedrückt bekäme, wären das aufs Jahr gerechnet so 75€ Ersparnis, da hätte sich das schon amortisiert.

Aber ja. Ergibt das Sinn?

1 hour ago, CameraRick said:

Ich habe vor Jahren mal diesen Artikel gelesen, und in Folge dessen eine gebrauchte LSI 9201-8i HBA gekauft;

 

Vor (doch einigen) Jahren, als man noch nicht so auf den Strompreis geschaut hat und es die ASM1166 noch nicht (so günstig und weit verfügbar) gab (da waren die ASM1064 verbreiteter) war das auch ein guter Rat.

Auch wenn man eine hohe Portzahl braucht oder gar (zu?) wenige PCIe Slots hat (was bei früheren Boards auch oft der Fall war) war ein SAS HBA eine wirklich gute Idee.

Wenn man heute nicht auf den Strompreis schaut und einem Energieeffizenz egal ist, ist das auch weiterhin ein guter Rat.

 

 

 

Falls man aber dann doch auf den Strompreis schaut ist ein HBA, der selber (je nach Modell) zwischen ca. 5 und 32 W benötigt und zusätzlich noch die C-States bei C2 oder C3 festnagelt nicht ungbedingt besser als ein (oder 2) ASM1166, welcher je 2W schluckt und (wenn Firmware und so alles super harmoniert) C-States bis C10 ermöglichen KANN.

Aber hier muß ich Dir gleich etwas Wind aus den Segeln nehmen:

1. Es ist auch einiges an Glück dabei, daß es mit einem (oder 2) ASM1166 so super läuft und

2. Bei Deinem Setup wird die Ersparnis nicht sehr groß sein.

 

1 hour ago, CameraRick said:

das war wohl damals, März '22, Stand der Dinge.

 

Naja, der Artikel ist mit "12 November 2021" beschriftet und findet sich im Archiv unter Dezember 2020.

Dazu sollte jan beachten. das Thema Stromsparen ist ein sehr "deutsches Thema", weil hier die Energiepreise eher..... ungünstig sind.

Im englischsprachigen Bereich wird dieses Thema etwas anders gesehen.

Im US Amerikanischen Bereich sowieso, wo eine Gallone "Gaslonie" zu Preisen zu haben ist, die bei uns vielleicht schon fast ein Kilo Butter kostet.

 

Weiterhin sollte man im Artikel auch nicht übersehen, daß er nicht alle SATA Kontroller verteufelt, sondern schreibt: "Most PCIe SATA expansion cards are as cheap as they are for good reason".

Und mal ganz grob gesagt stimme ich dem soweit zu: eigentlich empfielt sich aus aktueller Sicht nur eine SATA Kontrollerart, welche in aktuell 2 miteinander verwandte Chips mündet: ASM1166 und ASM1164.

Alles andere drum herum hat den einen oder anderen Pferdefuß oder ist unter unraid sogar zu meiden.

Und dann gibt es auch noch billige SATA kontroller, die zwr einen der beiden CHips verwendet, diesn aber dann mit PCIe Switchen oder SATA Multipliern so 'mißbrauct' daß auch diese Karten (meiner ganz persönlichen Meinung nach) nur in ganz speziellen Anwendungsszenarien überhaupt sinnvoll in unraid einzusetzen sind.

 

1 hour ago, CameraRick said:

Erstmal ist für mich spannend dass meiner nur bis C3 geht, habe andere Screenshots bis C10 gesehen.

 

Tja, Wenn Du Dein System von AMD auf Intel umstellst ist generell (nackt/idle) mit einem niedrigeren Verbrauch zu rechnen. Aber ob sich die Investition je rechnet ist fraglich. AUch ist "nackt/idle" eher etwas um Vergleioche zu erstellen. Auch wenn ein NAS meiste Zeit schläft halten Dpcker oder so das System vielleicht doch etwas unter Last, so daß die Werte "nackt/idle" eher selten eintreten.

 

Du hattest angedeutet, daß Deine Parity oft/schnell wieder anläuft. Bei einer Parity bestehend aus Festplatten wären das pro Festplatte dann schon mal 5-10 W unnötige Stromverschwendung. Ich vermute, daß Dein System falsch konfiguriert ist und Schreibzugriffe nicht in den Pool/Cache/SSD gehen, siondern von Festplatten im Array aufgefangen werden.

Vielleicht sollte man sich da s auch gleich mal mit anschauen.

 

 

1 hour ago, CameraRick said:

Ich habe beide SAS Anschlüsse der LSI voll belegt, sprich 8x SATA HDDs dran hängen, würde also entsprechend acht Ports brauchen.

 

Mit 2x ASM1166 hast Du 2x6 = 12 SATA Ports zusätzlich zu dem, was das Mainboard bietet. Solltest Du SAS Festplatten einsetzen sind diese aber nicht mit SATA Kontrollern  ansprechbar/kompatibel.

 

1 hour ago, CameraRick said:

Die ASM1166 wären wohl was langsamer,

 

Sehe ich (für Festplatten) nicht so:

Wenn Du ASM1166 an PCIe 3.0 x2 verwendest sind die mit rund 330 MByte/s pro Port gleichzeitig eigentlich schneller als jede heutige hier normal käufliche Festplatte.

Gute (und schnellere) SATA SSDs gehören dann eher an die SATA Onboardkontroller.

Falls Du ASM1166 an PCIe 3.0 x1 betreibst, sind immer noch 4x 250MByt/es gleichzeitig gut möglich. Ich sehe nicht, daß heutige Festplatten da im Normalbetrrieb drüber liegen (im kleinen Außenbereich sind sie zwar schneller, aber dafür in dem weiteren Bereich weitaus langsamer).

Je kleiner/älter die Festplatten sind, schaffen die nicht mal die 250MByte/s Peak.

 

1 hour ago, CameraRick said:

wie die PCIe Slots angebunden sind erschließt sich mir nicht so ganz;

 

Leider ist das Mainboard für Erweiterung eher "suboptimal"

ASUS ROG Strix B550-A Gaming (0MB15J0-M0EAY0)
Ich kenne mich mit AMD Ryzen nicht wirklich gut aus, aber wenn ich die techn.Specs richtig verstehe bietet das Mainboard bei Ryzen der 5xxx Serie
  1x PCIe 4.0 x16
  1x PCIe 3.0 x16 (elektrisch x4) am B550 scheint seine Bandbreite mit den 3x PCIe 3.0 x1 zu teilen. (Entweder x4 und die anderen bleiben leer oder alle bekommen nur je x1).
  3x PCIe 3.0 x1 (Siehe Bemerkung oben zu dem elektrisch x4 Slot)
  1x M.2/M-Key (PCIe 4.0 x4/SATA) an CPU
  1x M.2/M-Key (PCIe 3.0 x4/SATA) am B550; bei Bestückung (egal ob PCIe oder SATA) werden SATA 5+6 deaktiviert
  6x SATA 6Gb/s (B550)
im Manual

https://dlcdnets.asus.com/pub/ASUS/mb/SocketAM4/ROG_STRIX_B550-A_GAMING/E17120_ROG_STRIX_B550-A_GAMING_UM_v2_WEB.pdf?model=ROG STRIX B550-A GAMING

sehe ich dazu keine weiteren Einschrängungen.

 

Leider weiß ich nicht welche Festplatten Du einsetzt (um abschätzen zu könne ob die überhaupt flott sind), aber wenn Du 8x SATA zusätzlich einsetzen willst würde ich ASM1166 Steckkarten mit PCIe 3.0 x1 Anschlüssen nehmen und diese in die PCIe x1 Slots stecken. Jede dieser Karten wäre dann für 4 SATA Ports bei gleichzeitiger Nutzung mit Festplatten gut. Maximal 4 SATA SSDs kommen an die Mainboard Onboard Anschlüsse 1-4 und wenn Du noch flottere SSDs einsetzen willst, nimmst Du NVMe und steckst die in die beiden M.2 Slots rein.

Wenn es noch mehr Festplatten werden sollen hast DU dann noch den X4 und den letzten x1 Slot für je nochmal einen ASM1166 und somit zusammen 8 weitere SATA Festplatten.

Den CPU x16 Slot habe ich mit Absicht erst einmal noch frei gelassen, weil man irgendwann den vielleicht ja doch noch für etwas gebrauchen kann und es mir irgendwie verschwenderisch erscheint den x16 mit einer x2 Kontrollerkarte zu belegen.

Falls dieser x16 Slot Bifurcation beherrscht   würde er aber ggf. hoch interessant sein in Verbindung mit einer passenden Karte um darin 2x M.2 Karten zu betreiben (egal ob nun für NVMe SSD oder M.2 SATA Kontroller mit je einem ASM1166). Dahingehend habe ich aber bei dem Mainboard nicht nachgeforscht.

 

1 hour ago, CameraRick said:

Auf Amazon habe ich diese Karte für den M.2 Port gefunden; nach einem Kommentar dort muss man auch nichts mehr flashen.

Mit dieser Karte (oder sohgar 2 davon) würdest Du Dir die Aufrüstung mit NMVe SSD erschweren. Wenn Du mehr als 8 SATA Ports erstezen wolltest wäöre das interessent. Bei nur 8 SATA Ports würde ich eben eher zu 2 Stück PCIe x1 Karten mit je einem ASM1166 oder ASM1164 greifen.

 

1 hour ago, CameraRick said:

Aber, ergibt das Sinn? Die >70W im Idle find ich schon hoch,

 

ich auch, aber das wird (vermutlich auch) mit den wieder anlaufende Festplatten zusammen hängen.

 

1 hour ago, CameraRick said:

ich weiß dass ein Server mit so vielen Disks einen gewissen Verbrauch hat, aber Idle... ich hatte diese CPU extra wegen der niedrigen TDP gekauft, war auch nicht billig, irgendwie schade so, haha

 

Tja... AMD.

 

 

Ob das Ganze Sinn ergibt wirst Du erst sehen, wenn Du es gemacht hast und nachmisst.

Da das optimale Zusmamenspiel von vielen Faktoren anhängt ist mehr als eine Vermutung nicht drin.

SAS HBA gegen SATA Kontroller tauschen wird geschätzt 8-10W Eersaparnis durch den Kontroller bringen.

WENN Dein Mainbioard bessere C.-Staes ermöglichen würde und die Firmnwares dahingehend auch harmoinieren sollren nochmal 10-20W Ersaparnis durch CPU und Mainboard drin sein.

Dann noch mal schauen, warum die Festplatten schnell wieder anlaufen und dahingehend otimieren kann nochmal weas bringen.,

 

Aber ob das alles bei Dir zutrifft - Glückssache.

3 hours ago, DataCollector said:

Naja, der Artikel ist mit "12 November 2021" beschriftet und findet sich im Archiv unter Dezember 2020.

Das passiert wenn ich versuche mich kurz zu halten - im März '22 hatte ich die HBA gekauft, den Artikel vermutlich einen Monat früher. Damals hatte ich noch ein System mit einem i/ 2600K, da waren noch weniger HDDs im Spiel und das Board kam nur auf vier oder fünf SATA Ports, wenn ich mich recht entsinne

 

3 hours ago, DataCollector said:

Aber hier muß ich Dir gleich etwas Wind aus den Segeln nehmen:

1. Es ist auch einiges an Glück dabei, daß es mit einem (oder 2) ASM1166 so super läuft und

2. Bei Deinem Setup wird die Ersparnis nicht sehr groß sein.

Ah, verstehe. Nun, das höre ich freilich ungern aber gut

 

3 hours ago, DataCollector said:

Tja, Wenn Du Dein System von AMD auf Intel umstellst ist generell (nackt/idle) mit einem niedrigeren Verbrauch zu rechnen.

Ich habe mich damals für den AMD entschieden, weil der so eine niedrige TDP hatte und ich auf ECC RAM wollte. Im Setup vorher hatte ich ein paar lästige RAM Fehler und wollte die zumindest etwas eindämmen. Das war im späten Frühling 2022, wenn ich mich recht entsinne. Ist natürlich im Nachhinein etwas unglücklich, aber was will man machen.

Ok, also verstehe ich das richtig, dass mein AMD nur bis C3 kommt, und das sehr schlecht ist? Oder kann man da im BIOS noch was reißen? 

 

3 hours ago, DataCollector said:

Du hattest angedeutet, daß Deine Parity oft/schnell wieder anläuft. Bei einer Parity bestehend aus Festplatten wären das pro Festplatte dann schon mal 5-10 W unnötige Stromverschwendung. Ich vermute, daß Dein System falsch konfiguriert ist und Schreibzugriffe nicht in den Pool/Cache/SSD gehen, siondern von Festplatten im Array aufgefangen werden.

Vielleicht sollte man sich da s auch gleich mal mit anschauen.

Ich hab das eben nur wahrgenommen, als ich die Stromwerte auslesen wollte. Ich hab den Spin Down betätigt, und sehr kurz danach ging eine Platte, so wie beide Paritäten wieder an. Die Platte hat auch die meisten Reads und Writes, vermutlich ist es die neuste im System die dann das ganze aktuelle Zeug abbekommt.
Dass der Server nicht gut konfiguriert ist kaufe ich sofort - ich bin zwar sicher kein DAU, aber am Ende des Tages nur ein Hansel der von Servern und Linux nicht viel versteht; den Server habe ich hauptsächlich via Guides aufgesetzt.

Da die vielen Zugriffe direkt nach dem Neustart kamen bin ich auch nicht sicher, Docker das sein könnte; die Nextcloud so wie Plex werden da tendenziell nicht anspringen, Paperless hat noch nichts zu tun, und der Rest ist eigentlich nichts was groß Zugriff aufs Array hat.

Ich hatte dann (quasi während ich meinen Post hier aufsetzte) schon mal gegoogelt ob man schauen kann, was gerade den Spin-Up getriggert hat, aber da scheint es keine einfache Überwachung für zu geben

Aber ich schweife ab - das ist vermutlich ein eigenes Thema?

3 hours ago, DataCollector said:

Sehe ich (für Festplatten) nicht so:

Wenn Du ASM1166 an PCIe 3.0 x2 verwendest sind die mit rund 330 MByte/s pro Port gleichzeitig eigentlich schneller als jede heutige hier normal käufliche Festplatte.

Gute (und schnellere) SATA SSDs gehören dann eher an die SATA Onboardkontroller.

Langsamer als die HBA meinte ich. Ich glaube auch, dass die ASM1166 ausreichend schnell sind. Ich habe den Server nur via 2.5Gb angeschlossen (der ist am Server Onboard), sprich ich kann ohnehin nicht viel schneller drauf zugreifen. Aktuell bekomme ich beim herunterkopieren so stabile 230MB/s, das finde ich total in Ordnung. Aus dem Server direkt kopieren mache ich nie mit riesigen Daten, und wenn es mal ein 600GB Ordner ist, dann hat das auch keine Eile.

3 hours ago, DataCollector said:

Leider weiß ich nicht welche Festplatten Du einsetzt (um abschätzen zu könne ob die überhaupt flott sind), aber wenn Du 8x SATA zusätzlich einsetzen willst würde ich ASM1166 Steckkarten mit PCIe 3.0 x1 Anschlüssen nehmen und diese in die PCIe x1 Slots stecken. Jede dieser Karten wäre dann für 4 SATA Ports bei gleichzeitiger Nutzung mit Festplatten gut. Maximal 4 SATA SSDs kommen an die Mainboard Onboard Anschlüsse 1-4 und wenn Du noch flottere SSDs einsetzen willst, nimmst Du NVMe und steckst die in die beiden M.2 Slots rein.

Wenn es noch mehr Festplatten werden sollen hast DU dann noch den X4 und den letzten x1 Slot für je nochmal einen ASM1166 und somit zusammen 8 weitere SATA Festplatten.

Den CPU x16 Slot habe ich mit Absicht erst einmal noch frei gelassen, weil man irgendwann den vielleicht ja doch noch für etwas gebrauchen kann und es mir irgendwie verschwenderisch erscheint den x16 mit einer x2 Kontrollerkarte zu belegen.

Die Platten sind ein wilder Mix; sind Ironwolf, HGST, WD Red, was auch immer gerade im Angebot war. Das unRAID ist hauptsächlich ein NAS, an zweiter Stelle ein Plex Server, und an dritter Stelle für "Verwaltung" (Nextcloud, Immich, Paperless) und halt noch ein bissl Docker hier und da. Home Assistant VM, eine Windows VM; also will sagen, ich bin nicht auf übertriebene Geschwindigkeit aus oder angewiesen. Rein physikalisch würde ich vermuten noch zwei Festplatten ins Case zu kriegen, wobei ich da effektiv nur eine sehe. Sprich, mit zwei ASM1166 wäre das schon erfüllt (wenn man in Kauf nimmt, dass dann bei paralleler Nutzung etwas langsamer wird). Die zwei Cache SSDs hängen in den Internen Slots, ich glaub die Paritäten auch, so würde ich das auch lassen.

 

Wie gesagt will ich gar keine GPU oder sonstige Zusatzkarten haben, das verbraucht ja nur noch mehr Strom; da würde ich dann tendenziell auf Intel mit QuickSync gehen, das sollte für den Plex langen (wobei der auch nicht so gut besucht ist, dass es nicht aktuell schon gut geht).

3 hours ago, DataCollector said:

Mit dieser Karte (oder sohgar 2 davon) würdest Du Dir die Aufrüstung mit NMVe SSD erschweren. Wenn Du mehr als 8 SATA Ports erstezen wolltest wäöre das interessent. Bei nur 8 SATA Ports würde ich eben eher zu 2 Stück PCIe x1 Karten mit je einem ASM1166 oder ASM1164 greifen.

Der Witz ist, dass die PCIe Karten irgendwie auch teurer sind, haha  aber ich hab wie gesagt auch gar kein Interesse an einer NVME; dazu sind all die PCIe 3.0 ASM1166 Karten, die ich so sehe, immer 4x.

 

Sicher, den einen (oder beide) 16x Port, bzw beide M.2 Ports, mit so einer Karte zu verschwenden wirkt jetzt nicht so attraktiv - andererseits habe ich keine Pläne Karten oder NVMEs zu kaufen. Und wenn ich es täte, dann könnte ich ja noch immer umabuen, sprich zB ein M.2 Adapter raus, oder eine der Steckkarten, je nachdem. Also, ich hab nur das Gefühl, dass mit dem Gang zu PCIe 3.0 1x ich mir heute das Leben schwerer mache, damit ich vielleicht mal in Zukunft 40€ gespart habe, oder so? Ergibt das Sinn?

3 hours ago, DataCollector said:

Tja... AMD.

 

 

Ob das Ganze Sinn ergibt wirst Du erst sehen, wenn Du es gemacht hast und nachmisst.

Da das optimale Zusmamenspiel von vielen Faktoren anhängt ist mehr als eine Vermutung nicht drin.

SAS HBA gegen SATA Kontroller tauschen wird geschätzt 8-10W Eersaparnis durch den Kontroller bringen.

WENN Dein Mainbioard bessere C.-Staes ermöglichen würde und die Firmnwares dahingehend auch harmoinieren sollren nochmal 10-20W Ersaparnis durch CPU und Mainboard drin sein.

Wenn ich den Spin-Down mache, lange ich so bei 60W wenn ich das richtig gesehen habe. Die CPU will eine TDP von 35W haben, wenn wir jetzt mal sagen sie verbraucht 40W (die pumpt ja aber auch nicht immer 100%) - wo gehen die anderen 20W hin, wenn die HDDs nicht laufen? Zwei SATA SSDs, RAM, Lüfter, "Mainboard", HBA. Hm. Da könnten ja noch 15W in der HBA oder so liegen, würde sich zumindest mit Angaben Online decken (da spricht man von 8-15W).

Ich meine, das Risiko ist nicht sehr groß, müsste nur zwei dieser Karten kaufen; und SATA Kabel, die Zeiten wo ich damit um mich werfen kann sind vorbei, haha

Glaubst Du denn, dass sich das lohnen könnte? Selbst ohne HDDs im Betrieb finde ich die 60W a bissl hoch, also in Anbetracht des "kleinen" Systems

 

Beste Grüße, und Danke Dir herzlich für die ausführliche Antwort

55 minutes ago, CameraRick said:

Ich habe mich damals für den AMD entschieden, weil der so eine niedrige TDP hatte

 

Der TDP wirkt(e) sich nur bei Max Performance aus, doch die hat man in einem NAS eigentlich eher nie.

 

 

55 minutes ago, CameraRick said:

Ok, also verstehe ich das richtig, dass mein AMD nur bis C3 kommt, und das sehr schlecht ist? Oder kann man da im BIOS noch was reißen? 

 

Das kann ich Dir leider nicht beantworten.

a) müßte jemand mit dem Mainboard und genau der Firmware und ohne alle eingesteckten Zusatzkomponeneten das ausprobieren

b) gibt es auch Fälle in denen powertop falsch anzeigt.

 

55 minutes ago, CameraRick said:

...sehr kurz danach ging eine Platte, so wie beide Paritäten wieder an.

 

Und das deutet eben darauf hin, daß auf die Festplatte ins Array geschrieben wurde. Normale Schreibvorgänge sollten aber durch einen vogreschalteten Pool/SSD abgefangen werden, so daß Festplatten weiter schlafen können.

Irgendetwas will also direkt auf das Array schreben (= Veränderung von Daten im Array) oder oder man hat keinen vorgeschalteten Pool im Share eingestellt (=Konfigurationsfehler?).

 

55 minutes ago, CameraRick said:

Dass der Server nicht gut konfiguriert ist kaufe ich sofort - ich bin zwar sicher kein DAU, aber am Ende des Tages nur ein Hansel der von Servern und Linux nicht viel versteht; den Server habe ich hauptsächlich via Guides aufgesetzt.

 

DIe Defaultkonfiguration mit vorgeschaltetem Pool ist recht einfach. Aber es gibt eben Fälle in denen beispielsweise ein Docker auf bestehende Datenzurückgreifen und verändern will, die im Array liegen. In dem Fall laufen die lagernden Datenfestplatten und auch die Parity an.

Hier sollte man überlegen, genau diese Dateien zu identifizieren und dann eben nicht im Array zu lagern.

 

55 minutes ago, CameraRick said:

Ich hatte dann (quasi während ich meinen Post hier aufsetzte) schon mal gegoogelt ob man schauen kann, was gerade den Spin-Up getriggert hat, aber da scheint es keine einfache Überwachung für zu geben

 

Korrekt. Mit dem Plugin "File Activity" kann man versuchen zu sehen. welche Dateien angefasst wurden und daraus Rückschlüsse treffen.

Ansonstenm einfach alle Docker abschalten., Platten in Spindown schicken und etwas warten. dann einen Docker einschalten und scahuen ob es passiert. Dann einen anderen.... und dann iweder einen anderen... und vielleicht auch die eine oder andere VM...

So kann man auch nachschauen. welcher Docker/VM da aufweckt.

 

55 minutes ago, CameraRick said:

Aber ich schweife ab - das ist vermutlich ein eigenes Thema?

Ja.

 

55 minutes ago, CameraRick said:

Ich habe den Server nur via 2.5Gb angeschlossen (der ist am Server Onboard), sprich ich kann ohnehin nicht viel schneller drauf zugreifen.

 

Ich habe aktuell in 2 Systemen eine PCIe x1 Karte drin, die mit 5GBit/s LAN RJ45 arbeitet. Aber auch die kann die C-States und Stromverbrauch negativ beeinflussen.

 

55 minutes ago, CameraRick said:

Die Platten sind ein wilder Mix; sind Ironwolf, HGST, WD Red, was auch immer gerade im Angebot war.

 

Die Bemerkung bezog sich eher auf Alter und Größe der Festplatten. (Wobei geshuckte WD White Label oft etwas langsamer sind als normale WD Festplatten).

 

55 minutes ago, CameraRick said:

Der Witz ist, dass die PCIe Karten irgendwie auch teurer sind, haha  aber ich hab wie gesagt auch gar kein Interesse an einer NVME; dazu sind all die PCIe 3.0 ASM1166 Karten, die ich so sehe, immer 4x.

 

1. Es gibt ASM1166 mit PCIe x4 Kontakten (die aber elektrisch nur x2 nutzen = ca. 2GByte/s) und es gibt ASM1166 mit PCIe 3.0 x1 (=ca. 1GByte/s). Wenn man pr Konztroller eben nru 4 SATA Festplatten anschließt/gleichzeitig nutzt reichen die x1 Karten vollkommen aus.

2. Wenn Du willst kannst Du sogar M.2 PCIe Steckkarten auch per PCIe>M.2 Adapter verwenden. Aber ja auch dieses Konstrukt ist etwas teurer.

 

55 minutes ago, CameraRick said:

Also, ich hab nur das Gefühl, dass mit dem Gang zu PCIe 3.0 1x ich mir heute das Leben schwerer mache, damit ich vielleicht mal in Zukunft 40€ gespart habe, oder so? Ergibt das Sinn?

 

Es war nur mein Vorschlag und ist Deine Entscheidung.

 

55 minutes ago, CameraRick said:

Die CPU will eine TDP von 35W haben,

 

Im Spindown arbeitet die CPU mutmaßlich nicht an ihrer maximal benannten TDP Grenze. Auch überschreiten viele CPUs TDP gerne mal (wenn sie kurzzeitig unter Dampf stehen).

Ich habe über Weihnachten für jemand eine alte Gaming Maschine aufgerüstet. Die nun neu verwendete I5-14400 CPU hat TDP von 65W. Laut BIOS darf die in Defaulteinstellung auf >200W hoch gehen. Ich habe die im BIOS/IUEFI dann man auf 200W max eingegrenzt, weil die 550W PSU eher knapp bemessen ist und die dGPU auch (bei TDB 180W laut nVidia) eher unter max Last bei 210W liegt.

 

55 minutes ago, CameraRick said:

wenn wir jetzt mal sagen sie verbraucht 40W (die pumpt ja aber auch nicht immer 100%) - wo gehen die anderen 20W hin, wenn die HDDs nicht laufen?

 

AMD Chipsatz auf Mainboard, ECC Ram, (ineffizientes) Netzteil, Lüfter, ... und eben der SAS Kontroller.

 

 

55 minutes ago, CameraRick said:

Da könnten ja noch 15W in der HBA oder so liegen, würde sich zumindest mit Angaben Online decken (da spricht man von 8-15W).

 

Wie angedeutet: SAS HBA selber liegen (je nach Modell) zwischen 5-32W Peak.

Aber SAS Kontroller halten eben (eigentlich alle) die C-States hoch, so daß die CPU+Chipsatz auch immer eine gewisse höhere Grundlast haben.

Mein (öfters schon benanntes) Mainboard Gigabyte B760M ... mit I3-12100 liegt nackt/idle bei unter 10W. Sobald die C-States nicht mehr unter C3 gehen (wegen der Onboard Realtek 2,5 Gb LAN) sind es um die 30W.

 

55 minutes ago, CameraRick said:

Glaubst Du denn, dass sich das lohnen könnte?

Wie angedeutet kann ich zu AMD nicht viel sagen., aber ja, zumidnest der Stromverbrsauch des HBA würde ich um ein paar Watt reduzieren. Wenn man es dann noch das Glück hat die C-States höher zu bekommen (falls es mit dem Mainboard überhaupt geht) sind eben weitere Einsparungen möglich.

Aber das kannst nur Du ausprobieren.

 

55 minutes ago, CameraRick said:

Selbst ohne HDDs im Betrieb finde ich die 60W a bissl hoch, also in Anbetracht des "kleinen" Systems

 

Ich auch, aber es ist eben AMD mit einem SAS Kontroller.

 

Hi DataCollector,

 

erneut vielen Dank für Deine ausführliche Antwort!

 

Eine Tour durchs BIOS kann ich demnächst mal machen, genau wie den Spin-Up durch Docker beobachten. Wenn  ich wüsste welche Datei, könnte ich vermutlich schnell sagen welcher Docker es ist, also installiere ich mir das Plugin auch mal drauf  ich habe halt bis Mitte Januar Urlaub, und da kann ich mich mal um so etwas kümmern (neben anderen Dingen versteht sich).

 

Da mich das mit dem AMD auch ein wenig nervt und ich da einfach wohl zu sehr vom ECC geblendet war, spiele ich aber auch mit dem Gedanken den zu verkaufen und eine Intel Maschine aufzusetzen... im Idealfall kann ich den RAM (halt ohne die ECC Funktion) ja einfach weiter nutzen, und bräuchte daher nur Mainboard und CPU.

Das Gigabyte B760M klingt bei Dir toll, aber da komme ich mit den Anschlüssen dann nicht hin, wobei ich dann vermutlich sowieso der C-States wegen auf den ASM zusätzlich wechseln müsste (wobei ein geringerer Start-Verbrauch ja schon mal was nettes ist).

Mir ist bewusst dass Kosten einer neue Maschine die Ersparnis beim Strompreis erst auf mehrere Jahre amortisieren, aber mit QuickSync hätte ich zumindest noch einen anderen Benefit.

 

Hm. Dann schaue ich mal hier durch die empfohlenen Hardware-Setups durch; am Ende des Tages brauche ich ja nur mindestens gleich viele Kerne und gleich starke Leistung und die interne GPU, aber mit moderner Hardware sollte sich das ja nicht unendlich teuer realisieren lassen

 

Beste Grüße

Klitzekleines Update - 

 

Ich hab mal das Plugin installiert, steige aber nicht ganz durch die Funktion durch. Erst zeigt es gar nichts an, und auf einmal viel. Wie dem auch sei - mit dem Ausschalten der Docker hatte ich dann feststellen können, dass es die Nextcloud war. Und weil dann File Activity auf einmal ging, konnte ich auch sehen, dass es sich um das .log gehandelt hat. Was hat denn das auf dem Array zu suchen?

Scheint aber ein bekanntes Problem, bin dann dieser Anleitung gefolgt, und das schien auch geklappt zu haben. Disk und Parity blieben aus, und die Disk sprang dann erst an, als ich aktiv auf einen der Inhalte zugegriffen habe. So soll es doch sein; natürlich ernüchternd, dass ich vermutlich Jahre lang nun Dauerstress auf Parity gegeben habe, für ein blödes .log :')

 

Mit Spin-Down war ich dann sogar auf etwa 48W Idle, mit Containern und VMs am Laufen. Das doch schon mal was.

 

Ich habe aber auch ein wenig quer geschaut - ich hatte beim Gigabyte B760M die falsche Version gesehen, mit vier SATA Ports (in Verbindung mit zwei ASM1166) käme ich ja aus.

Dazu ein Intel Core i5-14400 (oder 13400, geben sich preislich nichts, müsste man schauen welcher effizienter läuft), zwei der M.2 Steckkarten kämen so 330€, dazu bessere Performance und vermutlich weniger Stromverbrauch. Hm Hm Hm.

29 minutes ago, CameraRick said:

Ich hab mal das Plugin installiert, steige aber nicht ganz durch die Funktion durch.

 

Das Plugin scheint nur in Intervallen die Aktivitäten anzuzeigen.

Aber für eine Analyse im Nachgang ist es ganz gut.

 

29 minutes ago, CameraRick said:

dass es die Nextcloud war. Und weil dann File Activity auf einmal ging, konnte ich auch sehen, dass es sich um das .log gehandelt hat.

 

Na das hilft doch schon mal. 👍

 

29 minutes ago, CameraRick said:

Was hat denn das auf dem Array zu suchen?

 

Da ich kein nextcloud nutze, kann ich dazu nichts sagen.

 

 

29 minutes ago, CameraRick said:

natürlich ernüchternd, dass ich vermutlich Jahre lang nun Dauerstress auf Parity gegeben habe, für ein blödes .log :')

 

Tja, kann passieren. 

 

29 minutes ago, CameraRick said:

Mit Spin-Down war ich dann sogar auf etwa 48W Idle, mit Containern und VMs am Laufen. Das doch schon mal was.

 

Das ist (ohne Geld zu investieren) doch schon mal sehr viel beser!

 

29 minutes ago, CameraRick said:

ich hatte beim Gigabyte B760M die falsche Version gesehen, mit vier SATA Ports (in Verbindung mit zwei ASM1166) käme ich ja aus.

 

Also ich habe von den B760 Mainboards nur das Gigabyte B760M DS3H DDR4 sehr umfangreich als Testplattform verwendet.

Jedes andere Mainboard kann sich da anders verhalten.

 

4 hours ago, DataCollector said:

Also ich habe von den B760 Mainboards nur das Gigabyte B760M DS3H DDR4 sehr umfangreich als Testplattform verwendet.

Jedes andere Mainboard kann sich da anders verhalten.

Ich hatte es nur in Google gehackt, und da wurde mir ein non-m in irgendeiner Gaming Variante als erstes ausgespuckt. Gibt von dem Board auch diverse Versionen, auf den ersten Blick natürlich nicht ersichtlich. Aber das ist ja auch egal. Es schluckt DDR4 (auch ECC im non-ECC Modus), alle SATA Ports gehen auch wenn die M.2 Ports genutzt werden, 2.5Gb Onboard (zwar nur ein Realtek aber gut), und QuickSync würde auch gehen. Mit 350€ wäre ich bei Neuware dabei, das ist ja im Grunde total im Rahmen. Auf die 20W Idle wird es da wohl auch nicht kommen, aber ich lasse das mal auf mich wirken.

 

4 hours ago, DataCollector said:

Das ist (ohne Geld zu investieren) doch schon mal sehr viel beser!

 

Ha, da sagste was. Ich hab quasi ~25W Idle raus geholt, und die Fehlersuche hat (nachdem Du mich drauf gestoßen hast) keine Stunde gedauert. Das hat sich durchaus schon gelohnt

Manchmal kommt halt so eins zum anderen...

Ich habe jetzt nochmal meinen Endjahresbonus wahrgenommen, da kann ich mir auch mal einen neuen Computer gönnen. Noch schön heute bestellt, damit ich das noch bei der nächsten Steuer geltend machen kann

 

Es ist das Gigabyte Board geworden, dazu zwei M.2 ASM1166 Module, und ein i5-13500. Der 13400 hätte wohl gereicht, aber ich lese hier im Forum auch viel darüber wie gut die E-Cores funktionieren, ich finde es freilich attraktiv die VMs auf denen laufen zu lassen (die Windows VM ist manchmal was träge, der Home Assistant ist da nicht so kritisch). RAM übernehme ich, und für den CPU Kühler musste ich ein (sehr unverschämt bepreistes) Mounting-Kit kaufen, damit er dann hoffentlich auf den 1700 geht.

Die CPU kommt leider über Amazon erst am 08.01., ich pokere dass sie früher kommt; hätte sie gern zusammen mit dem MoBo bestellt, aber 40€ im anderen Shop draufzahlen wollte ich dann auch nicht.

 

Ich hab noch etwas Bammel, dass der 2.5Gb Realtek nicht ganz so sauber läuft, aber mal schauen

 

//edit - übrigens, noch eine kleine Beobachtung. Ich hab den Tasmota Power Monitor im unRAID laufen, der mir immer den Stromverbrauch seiner Steckdose in Echtzeit ausliest und anzeigt. Ferner zeigt er auch die Kosten vom heutigen, als auch letzten Tag an (und die Gesamtkosten, die etwas weh tun, haha). Gestern lief er für 0,72€, heute sind es nur noch 0,48€. Da ich erst heute Mittag die Nextcloud gefixt habe, könnte ja ab Morgen dann vielleicht 40 Cent pro Tag drin sein (aktuelle Hardware), das wären immerhin knapp 60% vom Verbrauch der letzten Tage. Wow.

Edited December 30, 20241 yr by CameraRick

50 minutes ago, CameraRick said:

könnte ja ab Morgen dann vielleicht 40 Cent pro Tag drin sein

Ich will ja jetzt nicht negativ sein (oder doch?).

40 Cent sind ca. 1,25kWh Stromverbrauch am Tag. Das sind ca. 52W die das Teil im mittel zieht.

Das in Cent reden macht es auch nicht besser, verschleiert nur.

 

Also mal so als Vergleich. Mein dicker Server mit i5-10400 und 11 HDDs zieht so ca. 25W aus der Steckdose. Oder in deinen Worten (  ) so ca. 19 cent am Tag.

Wobei ich Home Assistant nicht als VM laufen lasse sondern als Docker Container.

 

Na ja warten wir mal ab wie sich deine Intel HW so verhält.

9 hours ago, MPC561 said:

40 Cent sind ca. 1,25kWh Stromverbrauch am Tag. Das sind ca. 52W die das Teil im mittel zieht.

Das in Cent reden macht es auch nicht besser, verschleiert nur.

Ich glaube Du missverstehst etwas meine Freude. Mir ist klar, dass das (zu) viel ist, wenn wir von absoluten Werten reden. Aber es ist eine Reduktion auf fast 60% von dem, was es vorher war - und das empfinde ich durchaus als positiv. In jedem Fall besser, nicht unbedingt gut.

 

9 hours ago, MPC561 said:

Oder in deinen Worten (  ) so ca. 19 cent am Tag.

Cooler Flex, aber ich weiß auch nicht wieso man mich jetzt verspotten muss  ich versuche hier aktiv meinen Stromverbrauch zu senken und freue mich halt über den (kleinen) Fortschritt.

 

9 hours ago, MPC561 said:

Wobei ich Home Assistant nicht als VM laufen lasse sondern als Docker Container.

 

Ich brauchte eben Addons, und auch wenn das im Docker wohl irgendwie anderweitig realisierbar zu sein scheint war mir das zu viel Gefrickel; HA treibt mich generell öfter mal etwas zur Verzweiflung, also war das vielleicht nicht die schlechteste Idee  aber vielleicht bekomme ich den ja auf einen Docker umgezogen, wenn er zu viel Strom frisst; wobei mir da durch die E-Kerne ja durchaus was verspreche

 

3 minutes ago, CameraRick said:

aber ich weiß auch nicht wieso man mich jetzt verspotten muss

Na verspotten kommt falsch rüber.

 

Ich hatte wie gesagt nur den Verdacht das Du Dir den Verbrauch schön reden willst und ich hoffe wirklich das dein Intel System wesentlich effizienter wird.

 

 

3 minutes ago, CameraRick said:

Ich brauchte eben Addons, und auch wenn das im Docker wohl irgendwie anderweitig realisierbar zu sein scheint war mir das zu viel Gefrickel;

Der HACS (Home Assistant Community Store) funktioniert in der Docker Version. Die VM Version wird halt wesentlich mehr Strom kosten.

 

 

2 hours ago, MPC561 said:

Ich hatte wie gesagt nur den Verdacht das Du Dir den Verbrauch schön reden willst und ich hoffe wirklich das dein Intel System wesentlich effizienter wird.

 

Ich will ihn schön reden, im Vergleich zu vorher. Für 0,- Euro eine satte Ersparnis  aber dann habe ich Dich falsch verstanden, ich wollte Dir freilich nicht vor den Karren fahren, verzeih

 

2 hours ago, MPC561 said:

Der HACS (Home Assistant Community Store) funktioniert in der Docker Version. Die VM Version wird halt wesentlich mehr Strom kosten.

 

Den habe ich erst seit kurzem Laufen, weiß natürlich nicht inwiefern der dann die Inhalte aus dem regulären Addon-Store installieren kann. Und wenn das alles klappt, ob ich alles problemlos umziehen kann; tatsächlich habe ich noch gar nicht so viel drin, es sind hauptsächlich Automatisierungen die natürlich recht leicht zu importieren sein sollten  

Aber das sehe ich dann, wenn ich soweit bin. Erstmal muss die Hardware ankommen und ich muss sehen ob sich das tatsächlich gut lohnt. Die 2.5Gb Realtek mit den ASPM Problemchen/C-State Geschichten machen mir noch etwas Bauchweh, aber mal gucken.

Edited December 31, 20241 yr by CameraRick

1 hour ago, CameraRick said:

Den habe ich erst seit kurzem Laufen, weiß natürlich nicht inwiefern der dann die Inhalte aus dem regulären Addon-Store installieren kann. Und wenn das alles klappt, ob ich alles problemlos umziehen kann; tatsächlich habe ich noch gar nicht so viel drin, es sind hauptsächlich Automatisierungen die natürlich recht leicht zu importieren sein sollten  

Kannst dann ja mal beides vergleichen. Meine HA-VM zieht eben nicht wesentlich mehr Strom als andere Docker-Container, daher war mir ein Umzug bislang zu aufwendig.

Kommt natürlich immer drauf an, was in HA alles läuft...und wieviel % Watt "wesentlich" ist.

Bei mir sind's nur 40 Integrationen und ne Handvoll Automatisierungen in der VM die auch nur auf max 2 Kernen läuft, das ist wohl zu wenig...