Neue Serverhardware (vielleicht sogar stromsparend)


Recommended Posts

Servus Hi,

 

nachdem ich mit meinem Dell T630 harte Probleme hatte steige ich nun auf eine Eigenbau Lösung um. 

 

Durch @mgutt kam ich aufs HardwareLuxx Forum und einen Aufbau der nur 3~Watt verbrauchen soll:

Klick

 

Da das Board beim zweiten 16er Slot nur mit x1 angebunden ist, habe ich mich für das sehr ähnliche Board mit Q statt B Chipsatz entschieden.

hier hat der 2. 16er Slot zumindest X4 Anbindung, was für meine LSI 9207 perfekt reicht und der Voll angebundene 16er steht für die Zukunft frei.

Dazu kommt:

- i5-12500

- 2x 16GB DDR5 (nur on-die ECC)

- Corsair RM550x Netzteil

- LSI 9207 Raid Karte im IT Mode

- 2x Intel DC S3520 480GB Sata SSD

- 1x Samsung 870 Evo 1TB NVME SSD

 

mal sehen was für ein Stromverbrauch bei dieser Konstellation raus kommt, die LSI Karte alleine braucht 5 Watt. (an C-State 10 glaube ich nicht mit der LSI Karte..)

Die LSI Karte performte bei mir schon immer deutlich besser als die onboard Sata Controller, weswegen ich schon lange eher zu dieser Lösung tendiere.

 

Geplant war die 1TB als Schreibcache (wird ausschließlich benutzt wenn ich neue Blurays kaufe und wieder einen Stapel am Stück rip.

Hier ist Ausfallsicherheit irrelevant.

 

bei den 2 Intel SSD´s war ein Raid1/Mirror für Docker und meine eine Windows VM gedacht. Ich bin jedoch kein BTRFS Fan und ZFS wird bislang nicht nativ unterstützt. Mal sehen welchen weg ich hier gehen werde.

 

Die Hardware kommt die Tage bei mir an, Messergebnisse werde ich dann hier posten.

Vielleicht wird dann auch 12th Gen für stromsparende Setups empfohlen :), meißt lese ich nur von 9th, max 10th Gen Empfehlungen

 

Cheers

Link to comment
53 minutes ago, mgutt said:

Ich würde auf den i5-13400 oder 13500 oder 13600 warten. Die 13te Gen wirkt deutlich effizienter.

Da ich den Server zum laufen bekommen will und der Dell bereits verkauft ist, möchte ich nicht warten.

Wenn da mit der Effizienz noch was geht, kann ich ja wechseln, Sockel ist der gleiche wie ich sehe.

Den 12500 hab ich zu einem guten Preis bekommen und der Dell wurde mit guten Gewinn verkauft, hat effektiv die komplette neue Hardware gesponsered.

Edited by Conker
  • Like 1
Link to comment

@Conker

Hallo, Kontron hat ja offenbar Teile von Fujitsu übernommen, wodurch die Fujitsu MB's nun unter Kontron vermarktet werden.

 

Nur wo kann man Kontron Mainboards kaufen ?

Ich habe auf der Kontron Webseite gar keine Informationen gefunden, über welche Vertriebswege die Boards angeboten werden. Oder verkaufen die nur ab 500 stuck an die Industrie ?

Gibt es Distributoren für Kleinunternehmer , wenn Kontron an Privatanfragen nicht interessiert ist.

 

Wollte die Frage doch stellen, denn wenn ich sehe wie gross das Interesse hier im Forum für die Fujitsu boards ist/war, dann wären die Kontron Nachfolger vielleicht auch keine schlechte Wahl ...

 

Bin gespannt wie Dein Projekt weitergeht und schliesslich realisiert ist.

 

Link to comment
1 hour ago, ullibelgie said:

@Conker

Hallo, Kontron hat ja offenbar Teile von Fujitsu übernommen, wodurch die Fujitsu MB's nun unter Kontron vermarktet werden.

 

Nur wo kann man Kontron Mainboards kaufen ?

Heutzutage ist es schwierig von Kontron direkt zu beziehen. Ich habe mal 2009 ein Supermicro X7SLA-H dort gekauft. Aber da war Kontron sogar bei Geizhals gelistet.

Als Businesspartner kann man dort mal direkt anfragen. Ansonsten einen Händler vor Ort (oder im Internet) fragen, ob er es für Dich übernehmen kann.

Aber natürlich werden Zwischenhändler für ihren (Bestell)service auch ein bisschen Geld haben wollen.

 

Nachgefragte Kontron Ware kann man auch immer noch bei Geizhals finden:

https://geizhals.de/kontron-k3842-q-f5120-v191-a2845395.html

https://geizhals.de/kontron-k3843-b-f5110-v190-a2845355.html

Somit sollten die dort gelisteten Händler also zumindest eine Möglichkeut haben an Kontron-Produkte heran zu kommen. Fragen kannst Du da ja mal.

 

Link to comment

@ullibelgie

ich hab meins bei Mindfactory gekauft. 

 

Da wo ich meine Hardware normalerweise beziehe, bekomme ich die Hardware zum EK.

Diesmal war Mindfactory preislich trotzdem leicht besser aufgestellt mit dem Midnight-Shopping einberechnet, Mindfactory bekommt halt nach X Jahren auf dem Markt bessere Preise.

Fehlt nur noch der Ram der hoffentlich heute kommt.

 

Gestern habe ich schon alles bis auf den Ram zusammengebaut und musste feststellen, dass mein Noctua NH-L12S keine passende backplate für Sockel 1700 hat.

Hadere noch ob ich Noctua schreibe, da bekommt man diese kostenlos zugesandt oder ob ich mir den Passiv Kühler von Noctua kaufe.

Verbaut ist alles in einem Fractal Design Define 7 und der hintere Lüfter würde perfekt hinter dem Kühler sitzen. (bzw. der würde hinten oben im Deckel angebracht werden.

 

 

Link to comment

Server hatte ich nun in diversen Aufbauten am laufen:

 

Aufbau 1: Max C3. 38 Watt ....

  • LSI9207
    • 4 Sata HDD
    • 2 Sata SSD
  • Onboard Sata Ports deaktiviert
  • 2 NVME SSD

Aufbau 2: Max C2. 25 Watt

  • Onboard Sata Controller
    • 4x Sata HDD
  • PCIe ASMedia 1061 Karte
    • 2x Sata SSD
  • 2x NVME SSD

Aufbau 3: Max C6, 12 Watt

  • Onboard Sata Controller
    • 4x Sata HDD
  • 2x NVME SSD

(keine Sata SSD´s, würde auch funktionieren, da nicht unbedingt nötig)

 

Aufbau 4: Max C8, 11 Watt

  • Onboard Sata Controller
    • 4x Sata HDD

(geht garnicht, da gar keine SSD für Cache und Docker etc.)

 

Ich tendiere zu Aufbau 3, wenn mir aber jemand (@mgutt du vielleicht :D) einen Sata Controller empfehlen kann, der hier den C State nicht so stört, wäre es super. (M-Key Slot für Wlan/BT oder auf PCIe wäre als Anschluss möglich)

Da ich einen eigentlich zum durchreichen des BR Laufwerks brauche..

 

Was etwas stört ist, dass die der Verbrauch immer wieder mal kurz für ne Sekunde 3-4 Watt springt, das hat mgutt ja bei unRaid nach 6.9.2 schon festgestellt.

 

Und just for fun, C10 ~5Watt hatte ich ohne Laufwerke nur mit unraid

Edited by Conker
Link to comment
1 hour ago, Conker said:

Aufbau 2: Max C2. 25 Watt

  • Onboard Sata Controller
    • 4x Sata HDD
  • PCIe ASMedia 1061 Karte
    • 2x Sata SSD
  • 2x NVME SSD

Waren die in Pools zugeordnet? Ich bin unsicher, ob die schlafen, wenn man nur hochfährt. Powertop --auto-tune hattest du nicht angewendet?

 

1 hour ago, Conker said:

Was etwas stört ist, dass die der Verbrauch immer wieder mal kurz für ne Sekunde 3-4 Watt springt, das hat mgutt ja bei unRaid nach 6.9.2 schon festgestellt.

Das wurde aber behoben in der aktuellsten Version.

Link to comment
5 minutes ago, mgutt said:

Waren die in Pools zugeordnet

Die Sata SSD´s waren als BTRFS Pool angelegt, ja.

Die NVME waren in keinem Test in einem Pool

6 minutes ago, mgutt said:

Powertop --auto-tune hattest du nicht angewendet?

wurde nach jedem Boot neu ausgeführt

5 minutes ago, mgutt said:

Das wurde aber behoben in der aktuellsten Version.

Dann weiß ich auch nicht was da läuft, muss ich mal beobachten

 

Welches ASPM soll eigentlich im Bios eingestellt werden? Habe die Auswahl zwischen Disabled/Auto/L0s/L1/LosL1 (L1 war konfiguriert)

Link to comment
11 minutes ago, Conker said:

Disabled/Auto/L0s/L1/LosL1

Bei Auto entscheidet das OS

 

Bei L0s ist nur eine Richtung stromsparend

 

Bei L1 beide Richtungen

 

Und bei L0sL1 darf das OS entscheiden.

 

Daher vermute ich, dass Auto und L0sL1 das selbe sind. Oder bei letzterem ist "disabled" verboten?! Jedenfalls reicht eigentlich immer Auto.

Link to comment
1 hour ago, Conker said:

Aufbau 1: Max C3. 38 Watt ....

  • LSI9207
    • 4 Sata HDD
    • 2 Sata SSD
  • Onboard Sata Ports deaktiviert
  • 2 NVME SSD

Aufbau 2: Max C2. 25 Watt

  • Onboard Sata Controller
    • 4x Sata HDD
  • PCIe ASMedia 1061 Karte
    • 2x Sata SSD
  • 2x NVME SSD

Das hier finde ich ja echt einen krassen Unterschied. Ich dachte wenn die nichts zu tun haben, wurden die so 5 bis 8W ausmachen, aber 13W ist schon hart.

Link to comment
9 hours ago, mgutt said:

Das hier finde ich ja echt einen krassen Unterschied. Ich dachte wenn die nichts zu tun haben, wurden die so 5 bis 8W ausmachen, aber 13W ist schon hart.

in meinem alten Server in dem die Karte zuletzt aktiv lief, war der Stromverbrauch auch nur um 5 Watt erhöht. Das war aber noch ein Server mit Intel E5 2690v2 von 2013.

 

Ich hab mich jetzt bei ASMedia etwas schlau gemacht und Karten mit ASM1061 & 1062 sind noch Karten mit PCIe Gen2 und unterstüzen diverse Stromsparmodi etc nicht. (Links ASM1061 Rechts ASM1064) Quelle

image.thumb.png.f494bb91a7a7ee6773e66d0afbffe144.png

 

diese Power Savings fangen ab den 1064er an und sind bis zum 1166 enthalten.

Ich werde mal eine 1166 ordern und schauen ob ich mit der den C6 State halten kann.

Edited by Conker
Link to comment
On 12/1/2022 at 3:35 PM, mgutt said:

Kann sein, dass die Firmware aktualisiert werden muss

Der NVME Sata Controller kam heute an und das FW Update lief anhieb ohne Probleme durch.

Zwecks der C-States kann ich erst testen wenn mein Backup durch ist, das sind aber noch ein paar TB bei knapp 50mbit/s upload.

 

Fraglich ist wieso die Platine so ultra dünn ist.. nur um dann ein weiteres Board zum stabilisieren dran zu schrauben.

IMG_3717.thumb.JPEG.f05cf1040a53f42adb25858aebc0e256.JPEGIMG_3718.thumb.JPEG.6034f675f3ce89e506c3e63da5b0d3c0.JPEGIMG_3719.thumb.JPEG.9ae64b2a518cfb0d243ccd0f829df188.JPEG

 

 

Davon ab ist es echt beeindruckend wie gut und schick verpackt das kostenlose Sockel Kit von Noctua ist.

IMG_3716.thumb.JPEG.f9b4ca366ccce89b06b0fee6465ef9b2.JPEG

Link to comment

So.. die NVME Sata Karte läuft, und der Server geht weiterhin in den C6 State :)

 

Stromverbrauch stieg im vergleich zu dem Aufbau 3 (12 Watt) um 1,5~2 Watt:

Aufbau 4: Max C6. 13,5-14 Watt

  • Onboard Sata Controller
    • noch nichts wegen dem Vergleich, aber wird mit BR Laufwerk an Windows VM durchgereicht
  • NVME ASMedia 1164 Karte (neueste FW Mai 2022)
    • 4x Sata HDD
    • 2x Sata SSD
  • 2x NVME SSD

IMG_3724.thumb.jpeg.8063c4c142fa9621489f6e9316b76da9.jpeg

ToDo:

  • neue Sata Kabel.. das ist ein wilder Mix...
  • BR Laufwerk anschließen sobald die neuen Kabel da sind
  • CPU Kühler wechseln.. hab voller Tatendrang gemerkt dass meine Wärmeleitpaste leer ist 😕
  • Bilder zum Schluss noch von dem Aufbau

 

Zum Ende habe ich noch gemerkt, sobald ich einen Sata controller oder eine NVME SSD via VFIO komplett durchreiche an eine VM, dann komme ich über C3 nicht hinaus.

Durchreichen via /dev/disk/by-id/ata-.... behebt das Problem :) C6 + alles durchreichen was ich brauche

Edited by Conker
Link to comment

 

16 hours ago, Conker said:

Zum Ende habe ich noch gemerkt, sobald ich einen Sata controller oder eine NVME SSD via VFIO komplett durchreiche an eine VM, dann komme ich über C3 nicht hinaus.

Durchreichen via /dev/disk/by-id/ata-.... behebt das Problem :) C6 + alles durchreichen was ich brauche

Interessante Info.

 

16 hours ago, Conker said:

BR Laufwerk

Ist das schon bei der Messung dabei? Ich habe meins extern nur bei Bedarf dran. 

Link to comment
9 hours ago, mgutt said:

Ist das schon bei der Messung dabei

noch nicht, die Sata Kabel sind unterwegs. 

 

BR Laufwerk hängt jetzt mit drin und der Stromverbrauch hat sich nicht geändert. schwankt zwischen 13,5-14 Watt:

IMG_3736.thumb.jpeg.bf55a66bb78fb66513a0b0380ef28ee5.jpeg

 

Ein Problem habe ich jetzt aber, da ich wegen dem C6 State keinen Controller durchreichen will..

Das durchreichen "by-id" sollte hier ja auch funktionieren, aber um etwas hinzuzufügen sehe ich in der GUI nur den Punkt mit für Platten:image.png.3e94689160936022c58c8c8a15945307.png

 

Aber hier laufe ich auf einen Fehler, da es natürlich keine HDD/SSD ist:

image.png.3fe55e41820b2f66889c0fac37c64fcb.png

 

Mit der XML bin ich jetzt nicht so bewandert, wie ich das hier umsetzen soll..

 

edit:

so scheint es zu klappen:

    <hostdev mode='subsystem' type='scsi' managed='no'>
      <source>
        <adapter name='scsi_host10'/>
        <address bus='0' target='0' unit='0'/>
      </source>
      <readonly/>
      <address type='drive' controller='1' bus='0' target='0' unit='0'/>
    </hostdev>
    <memballoon model='virtio'>
      <address type='pci' domain='0x0000' bus='0x04' slot='0x00' function='0x0'/>

 

Edited by Conker
Link to comment

@mgutt

ich hab zwar kein Screenshot von meinem alten Server, aber Powertop --auto-tune schaut für mich etwas komisch bei meinem neuen Server aus:

image.png.e3507ac4c16a42a9cc7632f9e3c989cd.png

Das lief bei meinem alten Server außerdem länger, jetzt dauert das nur 1~ Sekunde.

 

Davon ab, ich habe weiterhin immer wieder Spitzen beim Stromverbrauch.

Die meißte Zeit bleibt es bei 13,5-14 Watt jetzt mit allem angeschlossen inkl. BR Laufwerk.

aber es springt immer wieder mal, so alle 10 Sekunden, auf 17-20~ Watt.

Die Windows VM läuft nicht und Docker ist komplett deaktiviert.

Wahnsinnig viele Plugins habe ich auch noch nicht am laufen:

image.thumb.png.2a47df4a16cbfdf0cf50f720d76b025e.png

 

 

 

Edited by Conker
Link to comment

Hab ich auch. Keine Ahnung was das System da kurz macht.

 

1085970451_Bildschirmfoto2022-12-07um20_35_28.thumb.png.a29d552f0d08c9af13dac9dfb671b450.png

 

Hab ich schon seit Jahren. 

 

PS: Bitte nicht auf die absoluten Werte schauen sondern nur auf die nahezu äquidistanten Lastspitzen. Da hängt temporär noch eine statische Last zusätzlich zum Server am Messgerät. Der Server mit 8 HDDs und einer NVME zieht so zwischen 17,5 und 19,5W gemittelt. Hab noch nicht genau messen können da die neue 18TB Thosiba HDD erst seit ein paar Tagen eigebaut ist. Aber wie gesagt, hab ich schon seit Jahren so. Bei mir ist nur ein Jellyfin Docker am laufen und keine VM. Der Lastpeak ist auch da wenn der Docker aus ist.

 

 

Gruss,

Joerg

Link to comment
59 minutes ago, MPC561 said:

Hab ich auch. Keine Ahnung was das System da kurz macht.

 

1085970451_Bildschirmfoto2022-12-07um20_35_28.thumb.png.a29d552f0d08c9af13dac9dfb671b450.png

 

Hab ich schon seit Jahren. 

Das sieht bei dir ja schon ziemlich gleichmäßig/rhythmisch aus. Alle 20(?) Datenpunkte ein Peak.

Läuft da vielleicht im jellyfin irgendein cronjob in dem Rhythmus?

Link to comment

Ein Problem gibt es jetzt noch zu fixen.

Das schreiben ins array liegt bei nur 50-55MB/s, egal ob vom Cache mit dem mover oder direkt aufs array.

Ich sehe auch nichts, was ausgelastet wäre. Bei meinem alten System mit Hardware von 2013~ lagen hier um die 100MB/s an.

Hat jemand eine Idee was ich hier checken könnte, was limitiert?

 

Parity Check läuft auch deutlich schneller, fängt bei um die 200MB/s an und reduziert sich zum Ende des Checks runter bis auf 120MB/s ca.

Link to comment
1 hour ago, Conker said:

Ein Problem gibt es jetzt noch zu fixen.

Ich habe die ganzen beiträge mal bis nach oben durchhescrollt, aber vermutlich habe ich es übersehen: Welche Festplatten verwendest Du (Typenbezeichnung)?

 

1 hour ago, Conker said:

Das schreiben ins array liegt bei nur 50-55MB/s, egal ob vom Cache mit dem mover oder direkt aufs array.

Das das beschreiben des Array mit Parity langsam ist, sollte bekannt sein. Dafür verwendet man ja die Cache(SSD)s.

Die Geschrindigkeit liegt irgendwo bei 1/3 bis 1/4 der normalen Geschwindigkeit einer Festplatte.

Sollten Deine Festplatten also im Spitzen/Außenbereich um 200MByte/s schaffen, kann es sein, dass sie im Array im Innebreich (= langsamerer Bereich)  vielleicht bei 120MByte/s liegen. Und dann sind 50-55MByte/s an den Stellen nicht verwunderlich.

Zusätzlich stellt sich die Frage ob Du SMR Festplatten verwendest.

 

1 hour ago, Conker said:

Ich sehe auch nichts, was ausgelastet wäre.

Ich schätze durch das normale Verhalten der Paritätsverwaltung wird da gebremst.

Bei festplatten: Warten, bis die richtige STelle der Parität gelesen werden kann, Parität lesen, Datenblock anpassen, Warten bis die richtige Stelle wieder unter dem Schreib/Lesekopf ist, Parität und Daten an die richtieg Stelle der Festplatten scheiben.

Das ist (leider) der 'Pferdefuß' von unraid: EIn Festplattenarray wird eben eher langsam beschreieben.

 

1 hour ago, Conker said:

Bei meinem alten System mit Hardware von 2013~ lagen hier um die 100MB/s an.

Auf welche Art von Festplatteverbund schribst Du denn da?

 

1 hour ago, Conker said:

Hat jemand eine Idee was ich hier checken könnte, was limitiert?

Das Array in seiner ureigensten FOrm mit Parität, bestehend aus Festplatten )ist zumindest meine Vermutung).

Ich schätze, hier hat noch keine/r sein/ihr Festplattenarray mit Paritätsfestplatte(n) schneller als mit 80MByte/s beschrieben.

Flotter wird das Beschreiben des Array nur durch ein SSD Array, doch ich glaube unraid benutzt auch weiterhin bei Festplatten im Array kein Trim.

 

1 hour ago, Conker said:

Parity Check läuft auch deutlich schneller, fängt bei um die 200MB/s an und reduziert sich zum Ende des Checks runter bis auf 120MB/s ca.

Paritycheck muß nur von allen Datenträgern die Daten stumpf in einem Rutsch durchgehend lesen.

Natuerlich ist das einfache Lesen von Festplatten weitaus schneller, als "lesen + berechnen + warten bis Datenblock wieder da ist + schreiben".

Link to comment

@DataCollector

es sind Seagate Ironwolf 6TB, die waren auch schon in der alten Hardware zuletzt drin.

Das mit dem Array etc. verstehe ich, aber wieso es mit der neuen Hardware plötzlich so viel langsamer ist, verstehe ich nicht.

 

Gerade läuft der Mover auch wieder und ich sehe, dass er parallel liest und schreibt. Beim schreiben auf Platte X sollte der Mover aber nicht von der gleichen Platte lesen müssen.

(das kann theoretisch auch nicht von einem anderen Prozess kommen, da Parity und Disc 3 durch den Mover aufgeweckt wurden und das so direkt los ging.)

image.thumb.png.10f5a3d48c326c57b9c330cebdfe2c58.png

Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.