Conker Posted November 28, 2022 Share Posted November 28, 2022 Servus Hi, nachdem ich mit meinem Dell T630 harte Probleme hatte steige ich nun auf eine Eigenbau Lösung um. Durch @mgutt kam ich aufs HardwareLuxx Forum und einen Aufbau der nur 3~Watt verbrauchen soll: Klick Da das Board beim zweiten 16er Slot nur mit x1 angebunden ist, habe ich mich für das sehr ähnliche Board mit Q statt B Chipsatz entschieden. hier hat der 2. 16er Slot zumindest X4 Anbindung, was für meine LSI 9207 perfekt reicht und der Voll angebundene 16er steht für die Zukunft frei. Dazu kommt: - i5-12500 - 2x 16GB DDR5 (nur on-die ECC) - Corsair RM550x Netzteil - LSI 9207 Raid Karte im IT Mode - 2x Intel DC S3520 480GB Sata SSD - 1x Samsung 870 Evo 1TB NVME SSD mal sehen was für ein Stromverbrauch bei dieser Konstellation raus kommt, die LSI Karte alleine braucht 5 Watt. (an C-State 10 glaube ich nicht mit der LSI Karte..) Die LSI Karte performte bei mir schon immer deutlich besser als die onboard Sata Controller, weswegen ich schon lange eher zu dieser Lösung tendiere. Geplant war die 1TB als Schreibcache (wird ausschließlich benutzt wenn ich neue Blurays kaufe und wieder einen Stapel am Stück rip. Hier ist Ausfallsicherheit irrelevant. bei den 2 Intel SSD´s war ein Raid1/Mirror für Docker und meine eine Windows VM gedacht. Ich bin jedoch kein BTRFS Fan und ZFS wird bislang nicht nativ unterstützt. Mal sehen welchen weg ich hier gehen werde. Die Hardware kommt die Tage bei mir an, Messergebnisse werde ich dann hier posten. Vielleicht wird dann auch 12th Gen für stromsparende Setups empfohlen :), meißt lese ich nur von 9th, max 10th Gen Empfehlungen Cheers Quote Link to comment
mgutt Posted November 28, 2022 Share Posted November 28, 2022 38 minutes ago, Conker said: Dazu kommt: - i5-12500 Ich würde auf den i5-13400 oder 13500 oder 13600 warten. Die 13te Gen wirkt deutlich effizienter. Quote Link to comment
Conker Posted November 28, 2022 Author Share Posted November 28, 2022 (edited) 53 minutes ago, mgutt said: Ich würde auf den i5-13400 oder 13500 oder 13600 warten. Die 13te Gen wirkt deutlich effizienter. Da ich den Server zum laufen bekommen will und der Dell bereits verkauft ist, möchte ich nicht warten. Wenn da mit der Effizienz noch was geht, kann ich ja wechseln, Sockel ist der gleiche wie ich sehe. Den 12500 hab ich zu einem guten Preis bekommen und der Dell wurde mit guten Gewinn verkauft, hat effektiv die komplette neue Hardware gesponsered. Edited November 28, 2022 by Conker 1 Quote Link to comment
ullibelgie Posted November 29, 2022 Share Posted November 29, 2022 @Conker Hallo, Kontron hat ja offenbar Teile von Fujitsu übernommen, wodurch die Fujitsu MB's nun unter Kontron vermarktet werden. Nur wo kann man Kontron Mainboards kaufen ? Ich habe auf der Kontron Webseite gar keine Informationen gefunden, über welche Vertriebswege die Boards angeboten werden. Oder verkaufen die nur ab 500 stuck an die Industrie ? Gibt es Distributoren für Kleinunternehmer , wenn Kontron an Privatanfragen nicht interessiert ist. Wollte die Frage doch stellen, denn wenn ich sehe wie gross das Interesse hier im Forum für die Fujitsu boards ist/war, dann wären die Kontron Nachfolger vielleicht auch keine schlechte Wahl ... Bin gespannt wie Dein Projekt weitergeht und schliesslich realisiert ist. Quote Link to comment
DataCollector Posted November 29, 2022 Share Posted November 29, 2022 1 hour ago, ullibelgie said: @Conker Hallo, Kontron hat ja offenbar Teile von Fujitsu übernommen, wodurch die Fujitsu MB's nun unter Kontron vermarktet werden. Nur wo kann man Kontron Mainboards kaufen ? Heutzutage ist es schwierig von Kontron direkt zu beziehen. Ich habe mal 2009 ein Supermicro X7SLA-H dort gekauft. Aber da war Kontron sogar bei Geizhals gelistet. Als Businesspartner kann man dort mal direkt anfragen. Ansonsten einen Händler vor Ort (oder im Internet) fragen, ob er es für Dich übernehmen kann. Aber natürlich werden Zwischenhändler für ihren (Bestell)service auch ein bisschen Geld haben wollen. Nachgefragte Kontron Ware kann man auch immer noch bei Geizhals finden: https://geizhals.de/kontron-k3842-q-f5120-v191-a2845395.html https://geizhals.de/kontron-k3843-b-f5110-v190-a2845355.html Somit sollten die dort gelisteten Händler also zumindest eine Möglichkeut haben an Kontron-Produkte heran zu kommen. Fragen kannst Du da ja mal. Quote Link to comment
Conker Posted November 30, 2022 Author Share Posted November 30, 2022 @ullibelgie ich hab meins bei Mindfactory gekauft. Da wo ich meine Hardware normalerweise beziehe, bekomme ich die Hardware zum EK. Diesmal war Mindfactory preislich trotzdem leicht besser aufgestellt mit dem Midnight-Shopping einberechnet, Mindfactory bekommt halt nach X Jahren auf dem Markt bessere Preise. Fehlt nur noch der Ram der hoffentlich heute kommt. Gestern habe ich schon alles bis auf den Ram zusammengebaut und musste feststellen, dass mein Noctua NH-L12S keine passende backplate für Sockel 1700 hat. Hadere noch ob ich Noctua schreibe, da bekommt man diese kostenlos zugesandt oder ob ich mir den Passiv Kühler von Noctua kaufe. Verbaut ist alles in einem Fractal Design Define 7 und der hintere Lüfter würde perfekt hinter dem Kühler sitzen. (bzw. der würde hinten oben im Deckel angebracht werden. Quote Link to comment
Conker Posted November 30, 2022 Author Share Posted November 30, 2022 (edited) Server hatte ich nun in diversen Aufbauten am laufen: Aufbau 1: Max C3. 38 Watt .... LSI9207 4 Sata HDD 2 Sata SSD Onboard Sata Ports deaktiviert 2 NVME SSD Aufbau 2: Max C2. 25 Watt Onboard Sata Controller 4x Sata HDD PCIe ASMedia 1061 Karte 2x Sata SSD 2x NVME SSD Aufbau 3: Max C6, 12 Watt Onboard Sata Controller 4x Sata HDD 2x NVME SSD (keine Sata SSD´s, würde auch funktionieren, da nicht unbedingt nötig) Aufbau 4: Max C8, 11 Watt Onboard Sata Controller 4x Sata HDD (geht garnicht, da gar keine SSD für Cache und Docker etc.) Ich tendiere zu Aufbau 3, wenn mir aber jemand (@mgutt du vielleicht :D) einen Sata Controller empfehlen kann, der hier den C State nicht so stört, wäre es super. (M-Key Slot für Wlan/BT oder auf PCIe wäre als Anschluss möglich) Da ich einen eigentlich zum durchreichen des BR Laufwerks brauche.. Was etwas stört ist, dass die der Verbrauch immer wieder mal kurz für ne Sekunde 3-4 Watt springt, das hat mgutt ja bei unRaid nach 6.9.2 schon festgestellt. Und just for fun, C10 ~5Watt hatte ich ohne Laufwerke nur mit unraid Edited November 30, 2022 by Conker Quote Link to comment
mgutt Posted November 30, 2022 Share Posted November 30, 2022 1 hour ago, Conker said: Aufbau 2: Max C2. 25 Watt Onboard Sata Controller 4x Sata HDD PCIe ASMedia 1061 Karte 2x Sata SSD 2x NVME SSD Waren die in Pools zugeordnet? Ich bin unsicher, ob die schlafen, wenn man nur hochfährt. Powertop --auto-tune hattest du nicht angewendet? 1 hour ago, Conker said: Was etwas stört ist, dass die der Verbrauch immer wieder mal kurz für ne Sekunde 3-4 Watt springt, das hat mgutt ja bei unRaid nach 6.9.2 schon festgestellt. Das wurde aber behoben in der aktuellsten Version. Quote Link to comment
Conker Posted November 30, 2022 Author Share Posted November 30, 2022 5 minutes ago, mgutt said: Waren die in Pools zugeordnet Die Sata SSD´s waren als BTRFS Pool angelegt, ja. Die NVME waren in keinem Test in einem Pool 6 minutes ago, mgutt said: Powertop --auto-tune hattest du nicht angewendet? wurde nach jedem Boot neu ausgeführt 5 minutes ago, mgutt said: Das wurde aber behoben in der aktuellsten Version. Dann weiß ich auch nicht was da läuft, muss ich mal beobachten Welches ASPM soll eigentlich im Bios eingestellt werden? Habe die Auswahl zwischen Disabled/Auto/L0s/L1/LosL1 (L1 war konfiguriert) Quote Link to comment
mgutt Posted November 30, 2022 Share Posted November 30, 2022 11 minutes ago, Conker said: Disabled/Auto/L0s/L1/LosL1 Bei Auto entscheidet das OS Bei L0s ist nur eine Richtung stromsparend Bei L1 beide Richtungen Und bei L0sL1 darf das OS entscheiden. Daher vermute ich, dass Auto und L0sL1 das selbe sind. Oder bei letzterem ist "disabled" verboten?! Jedenfalls reicht eigentlich immer Auto. Quote Link to comment
mgutt Posted November 30, 2022 Share Posted November 30, 2022 1 hour ago, Conker said: Aufbau 1: Max C3. 38 Watt .... LSI9207 4 Sata HDD 2 Sata SSD Onboard Sata Ports deaktiviert 2 NVME SSD Aufbau 2: Max C2. 25 Watt Onboard Sata Controller 4x Sata HDD PCIe ASMedia 1061 Karte 2x Sata SSD 2x NVME SSD Das hier finde ich ja echt einen krassen Unterschied. Ich dachte wenn die nichts zu tun haben, wurden die so 5 bis 8W ausmachen, aber 13W ist schon hart. Quote Link to comment
Conker Posted December 1, 2022 Author Share Posted December 1, 2022 (edited) 9 hours ago, mgutt said: Das hier finde ich ja echt einen krassen Unterschied. Ich dachte wenn die nichts zu tun haben, wurden die so 5 bis 8W ausmachen, aber 13W ist schon hart. in meinem alten Server in dem die Karte zuletzt aktiv lief, war der Stromverbrauch auch nur um 5 Watt erhöht. Das war aber noch ein Server mit Intel E5 2690v2 von 2013. Ich hab mich jetzt bei ASMedia etwas schlau gemacht und Karten mit ASM1061 & 1062 sind noch Karten mit PCIe Gen2 und unterstüzen diverse Stromsparmodi etc nicht. (Links ASM1061 Rechts ASM1064) Quelle diese Power Savings fangen ab den 1064er an und sind bis zum 1166 enthalten. Ich werde mal eine 1166 ordern und schauen ob ich mit der den C6 State halten kann. Edited December 1, 2022 by Conker Quote Link to comment
mgutt Posted December 1, 2022 Share Posted December 1, 2022 7 hours ago, Conker said: Ich werde mal eine 1166 ordern und schauen ob ich mit der den C6 State halten kann. Kann sein, dass die Firmware aktualisiert werden muss: https://forums.unraid.net/topic/102010-recommended-controllers-for-unraid/page/9/#comment-1185707 1 Quote Link to comment
Conker Posted December 3, 2022 Author Share Posted December 3, 2022 On 12/1/2022 at 3:35 PM, mgutt said: Kann sein, dass die Firmware aktualisiert werden muss Der NVME Sata Controller kam heute an und das FW Update lief anhieb ohne Probleme durch. Zwecks der C-States kann ich erst testen wenn mein Backup durch ist, das sind aber noch ein paar TB bei knapp 50mbit/s upload. Fraglich ist wieso die Platine so ultra dünn ist.. nur um dann ein weiteres Board zum stabilisieren dran zu schrauben. Davon ab ist es echt beeindruckend wie gut und schick verpackt das kostenlose Sockel Kit von Noctua ist. Quote Link to comment
mgutt Posted December 3, 2022 Share Posted December 3, 2022 10 minutes ago, Conker said: Fraglich ist wieso die Platine so ultra dünn ist Wegen der Buchse. Sei froh, dass die stabilisiert ist. Die mit den 5 Buchsen ist es in der Regel nicht. Das biegt dann durch wie Papier. Quote Link to comment
Conker Posted December 4, 2022 Author Share Posted December 4, 2022 (edited) So.. die NVME Sata Karte läuft, und der Server geht weiterhin in den C6 State Stromverbrauch stieg im vergleich zu dem Aufbau 3 (12 Watt) um 1,5~2 Watt: Aufbau 4: Max C6. 13,5-14 Watt Onboard Sata Controller noch nichts wegen dem Vergleich, aber wird mit BR Laufwerk an Windows VM durchgereicht NVME ASMedia 1164 Karte (neueste FW Mai 2022) 4x Sata HDD 2x Sata SSD 2x NVME SSD ToDo: neue Sata Kabel.. das ist ein wilder Mix... BR Laufwerk anschließen sobald die neuen Kabel da sind CPU Kühler wechseln.. hab voller Tatendrang gemerkt dass meine Wärmeleitpaste leer ist 😕 Bilder zum Schluss noch von dem Aufbau Zum Ende habe ich noch gemerkt, sobald ich einen Sata controller oder eine NVME SSD via VFIO komplett durchreiche an eine VM, dann komme ich über C3 nicht hinaus. Durchreichen via /dev/disk/by-id/ata-.... behebt das Problem C6 + alles durchreichen was ich brauche Edited December 4, 2022 by Conker Quote Link to comment
mgutt Posted December 5, 2022 Share Posted December 5, 2022 16 hours ago, Conker said: Zum Ende habe ich noch gemerkt, sobald ich einen Sata controller oder eine NVME SSD via VFIO komplett durchreiche an eine VM, dann komme ich über C3 nicht hinaus. Durchreichen via /dev/disk/by-id/ata-.... behebt das Problem C6 + alles durchreichen was ich brauche Interessante Info. 16 hours ago, Conker said: BR Laufwerk Ist das schon bei der Messung dabei? Ich habe meins extern nur bei Bedarf dran. Quote Link to comment
Conker Posted December 5, 2022 Author Share Posted December 5, 2022 (edited) 9 hours ago, mgutt said: Ist das schon bei der Messung dabei noch nicht, die Sata Kabel sind unterwegs. BR Laufwerk hängt jetzt mit drin und der Stromverbrauch hat sich nicht geändert. schwankt zwischen 13,5-14 Watt: Ein Problem habe ich jetzt aber, da ich wegen dem C6 State keinen Controller durchreichen will.. Das durchreichen "by-id" sollte hier ja auch funktionieren, aber um etwas hinzuzufügen sehe ich in der GUI nur den Punkt mit für Platten: Aber hier laufe ich auf einen Fehler, da es natürlich keine HDD/SSD ist: Mit der XML bin ich jetzt nicht so bewandert, wie ich das hier umsetzen soll.. edit: so scheint es zu klappen: <hostdev mode='subsystem' type='scsi' managed='no'> <source> <adapter name='scsi_host10'/> <address bus='0' target='0' unit='0'/> </source> <readonly/> <address type='drive' controller='1' bus='0' target='0' unit='0'/> </hostdev> <memballoon model='virtio'> <address type='pci' domain='0x0000' bus='0x04' slot='0x00' function='0x0'/> Edited December 5, 2022 by Conker Quote Link to comment
Conker Posted December 6, 2022 Author Share Posted December 6, 2022 (edited) @mgutt ich hab zwar kein Screenshot von meinem alten Server, aber Powertop --auto-tune schaut für mich etwas komisch bei meinem neuen Server aus: Das lief bei meinem alten Server außerdem länger, jetzt dauert das nur 1~ Sekunde. Davon ab, ich habe weiterhin immer wieder Spitzen beim Stromverbrauch. Die meißte Zeit bleibt es bei 13,5-14 Watt jetzt mit allem angeschlossen inkl. BR Laufwerk. aber es springt immer wieder mal, so alle 10 Sekunden, auf 17-20~ Watt. Die Windows VM läuft nicht und Docker ist komplett deaktiviert. Wahnsinnig viele Plugins habe ich auch noch nicht am laufen: Edited December 7, 2022 by Conker Quote Link to comment
MPC561 Posted December 7, 2022 Share Posted December 7, 2022 Hab ich auch. Keine Ahnung was das System da kurz macht. Hab ich schon seit Jahren. PS: Bitte nicht auf die absoluten Werte schauen sondern nur auf die nahezu äquidistanten Lastspitzen. Da hängt temporär noch eine statische Last zusätzlich zum Server am Messgerät. Der Server mit 8 HDDs und einer NVME zieht so zwischen 17,5 und 19,5W gemittelt. Hab noch nicht genau messen können da die neue 18TB Thosiba HDD erst seit ein paar Tagen eigebaut ist. Aber wie gesagt, hab ich schon seit Jahren so. Bei mir ist nur ein Jellyfin Docker am laufen und keine VM. Der Lastpeak ist auch da wenn der Docker aus ist. Gruss, Joerg Quote Link to comment
jj1987 Posted December 7, 2022 Share Posted December 7, 2022 59 minutes ago, MPC561 said: Hab ich auch. Keine Ahnung was das System da kurz macht. Hab ich schon seit Jahren. Das sieht bei dir ja schon ziemlich gleichmäßig/rhythmisch aus. Alle 20(?) Datenpunkte ein Peak. Läuft da vielleicht im jellyfin irgendein cronjob in dem Rhythmus? Quote Link to comment
MPC561 Posted December 7, 2022 Share Posted December 7, 2022 Jellyfin ist da nicht dran schuld. Hier ist es aus (und auch allen anderen Docker) und sieht immer noch so aus: Wie gesagt ich hatte die Peaks schon mit 9.x.x Aber ist auch egal. Hab mich dran gewöhnt. Gruss, Joerg Quote Link to comment
Conker Posted December 12, 2022 Author Share Posted December 12, 2022 Ein Problem gibt es jetzt noch zu fixen. Das schreiben ins array liegt bei nur 50-55MB/s, egal ob vom Cache mit dem mover oder direkt aufs array. Ich sehe auch nichts, was ausgelastet wäre. Bei meinem alten System mit Hardware von 2013~ lagen hier um die 100MB/s an. Hat jemand eine Idee was ich hier checken könnte, was limitiert? Parity Check läuft auch deutlich schneller, fängt bei um die 200MB/s an und reduziert sich zum Ende des Checks runter bis auf 120MB/s ca. Quote Link to comment
DataCollector Posted December 12, 2022 Share Posted December 12, 2022 1 hour ago, Conker said: Ein Problem gibt es jetzt noch zu fixen. Ich habe die ganzen beiträge mal bis nach oben durchhescrollt, aber vermutlich habe ich es übersehen: Welche Festplatten verwendest Du (Typenbezeichnung)? 1 hour ago, Conker said: Das schreiben ins array liegt bei nur 50-55MB/s, egal ob vom Cache mit dem mover oder direkt aufs array. Das das beschreiben des Array mit Parity langsam ist, sollte bekannt sein. Dafür verwendet man ja die Cache(SSD)s. Die Geschrindigkeit liegt irgendwo bei 1/3 bis 1/4 der normalen Geschwindigkeit einer Festplatte. Sollten Deine Festplatten also im Spitzen/Außenbereich um 200MByte/s schaffen, kann es sein, dass sie im Array im Innebreich (= langsamerer Bereich) vielleicht bei 120MByte/s liegen. Und dann sind 50-55MByte/s an den Stellen nicht verwunderlich. Zusätzlich stellt sich die Frage ob Du SMR Festplatten verwendest. 1 hour ago, Conker said: Ich sehe auch nichts, was ausgelastet wäre. Ich schätze durch das normale Verhalten der Paritätsverwaltung wird da gebremst. Bei festplatten: Warten, bis die richtige STelle der Parität gelesen werden kann, Parität lesen, Datenblock anpassen, Warten bis die richtige Stelle wieder unter dem Schreib/Lesekopf ist, Parität und Daten an die richtieg Stelle der Festplatten scheiben. Das ist (leider) der 'Pferdefuß' von unraid: EIn Festplattenarray wird eben eher langsam beschreieben. 1 hour ago, Conker said: Bei meinem alten System mit Hardware von 2013~ lagen hier um die 100MB/s an. Auf welche Art von Festplatteverbund schribst Du denn da? 1 hour ago, Conker said: Hat jemand eine Idee was ich hier checken könnte, was limitiert? Das Array in seiner ureigensten FOrm mit Parität, bestehend aus Festplatten )ist zumindest meine Vermutung). Ich schätze, hier hat noch keine/r sein/ihr Festplattenarray mit Paritätsfestplatte(n) schneller als mit 80MByte/s beschrieben. Flotter wird das Beschreiben des Array nur durch ein SSD Array, doch ich glaube unraid benutzt auch weiterhin bei Festplatten im Array kein Trim. 1 hour ago, Conker said: Parity Check läuft auch deutlich schneller, fängt bei um die 200MB/s an und reduziert sich zum Ende des Checks runter bis auf 120MB/s ca. Paritycheck muß nur von allen Datenträgern die Daten stumpf in einem Rutsch durchgehend lesen. Natuerlich ist das einfache Lesen von Festplatten weitaus schneller, als "lesen + berechnen + warten bis Datenblock wieder da ist + schreiben". Quote Link to comment
Conker Posted December 12, 2022 Author Share Posted December 12, 2022 @DataCollector es sind Seagate Ironwolf 6TB, die waren auch schon in der alten Hardware zuletzt drin. Das mit dem Array etc. verstehe ich, aber wieso es mit der neuen Hardware plötzlich so viel langsamer ist, verstehe ich nicht. Gerade läuft der Mover auch wieder und ich sehe, dass er parallel liest und schreibt. Beim schreiben auf Platte X sollte der Mover aber nicht von der gleichen Platte lesen müssen. (das kann theoretisch auch nicht von einem anderen Prozess kommen, da Parity und Disc 3 durch den Mover aufgeweckt wurden und das so direkt los ging.) Quote Link to comment
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.