Nicht noch ein stromsparender Server …

[jj1987]

Einen wichtigen Punkt für die Ausgangsbasis der Messungen hab ich noch vergessen:

LAN Kabel eingesteckt

[mgutt]

Genau. So messe ich auch:

- Monitor dran

- Tastatur + Maus dran

- LAN Kabel dran

- CPU

- eine SSD

- ein RAM Modul

- powertop --auto-tune

- im BIOS alles mögliche Richtung Stromsparen einstellen (ASPM, C-States manuell auf C10 stellen, Turbo deaktivieren usw siehe den powertop Thread)

 

[Mor9oth]

Danke euch: @jj1987 & @mgutt!

Tastatur und Maus ist aber am Server eigentlich eher nicht dran, oder? Warum hat man sich dann darauf als Grundlage geeinigt? Aber geht klar, würde ich dann schon auch so machen, um die Vergleichbarkeit zu gewährleisten.

 

Ich habe dieses Messgerät: Gifort sowie einen Shelly Plug S mit Tasmota flash. Sollte ok sein, oder? Der Shelly steckt in der USV: APC Back BR900G, Server dann im Shelly. 

 

 

 

 

Edited August 10, 2023 by Mor9oth

[Mor9oth]

9 hours ago, DataCollector said:

Gen3 wäre auch irgendwie komisch. Aber wenn Gen13 fehlt, wäre das schon blöd.

Laut Support und laut dem Sticker auf dem Board ist es ausgeliefert mit einem BIOS, das nur mit Gen12 kompatibel ist. Aber solange man es über die IPMI upgraden kann, ist es ok.

[Mor9oth]

1 hour ago, mgutt said:

- LAN Kabel dran

Was, wenn man eine IPMI hat, wie in meinem Fall? 

[Mor9oth]

Gibt es eine Empfehlung, wie ich mit dem Umzug meiner Daten am besten umgehe?

Folgende Ausgangslage habe ich ja:

In meinem alten Server hatte ich ein Array mit 3 x 14 TB HDDs, eine davon ist Parity. Im neuen Server werde ich die HDDs nicht verwenden, benötige diese aber vermutlich, um die Daten auf die 4 x 8 TB SSDs (870 QVO) zu bekommen. Alternativ habe ich die Daten aber auch noch auf eine externe Festplatte gesichert. Ich bin mir nun unsicher, wie ich hier beim Umzug vorgehen sollte.

 

Folgende Möglichkeiten sehe ich:

1. Altes Array auf neues Array umziehen → bzw. Platten tauschen. Mit Unbalance auf die SSDs transferieren und der Reihe nach die HDDs durch SSDs ersetzen
2. Altes Array ablösen und die Daten in eine ZFS Pool bekommen → wie geht das dann am besten mit den ganzen Daten-Pfaden? Muss ich die neu anlegen oder gibt es eine elegante Lösung?
3. Manuell: Verzeichnisse/Shares im neuen Array/Pool anlegen und dann die Daten von der Festplatte in die Verzeichnisse/Shares kopieren. Vermutlich doof, wenn was beim Kopieren kaputtgeht und nicht auffällt

Vielleicht habt ihr mir da ein paar Tipps! Wäre sehr dankbar! 😇

 

 

 

[Mor9oth]

Kennt sich Jemand mit 19 Zoll Racks und den Cases dazu aus? Ich dachte, dass 19 Zoll in der Breite genormt ist und somit alle gleich breit sein müssen. Dennoch finde ich unterschiedlich breite Cases, die auch als 19 Zoll aufgelistet werden (Bsp siehe unten). Sind teils aber nur 440 mm oder weniger anstatt der 482,6 mm breit. Genau das Gehäuse aus dem Screenshot habe ich nun vermutlich unter falscher Annahme der 19 Zoll gekauft und befürchte, dass es nicht in ein 19 Zoll Rack passen wird. Der Hersteller meinte, auf meine Anfrage, dass es passt, allerdings sieht es im Screenshot des Herstellers eher so aus, als ob die Schienen nach innen versetzt wurden (Markiert in Screenshot 2). Sprich, passt dann ja eigentlich nicht und ist getrickst, oder übersehe ich was?

 

 

 

 

Edited August 14, 2023 by Mor9oth

[DataCollector]

28 minutes ago, Mor9oth said:

Kennt sich Jemand mit 19 Zoll Racks und den Cases dazu aus?

Ich dachte, dass 19 Zoll in der Breite genormt ist und somit alle gleich breit sein müssen.

19Zoll Racks und Einbauten ist an bestimmten Stellen genormt.

Aber die Gehäusebreite ist es nicht. Hauptsache es paßt in die Befestigungslöcher (ist also nicht breiter).

https://de.wikipedia.org/wiki/Rack

"eine Frontplatten-Breite von genau 48,26 Zentimetern (≙ 19″) aufweisen"

Es gibt auch ziemlich kleine Router oder Switche, die man mit großen Winkeln 19Zoll kompatibel machen kann.

 

Das RM44 wird auch erst durch Montage/Vorhandensein der seitlichen Haltebleche 19Zoll kompatibel.

 

Edited August 14, 2023 by DataCollector
Anleitungsbild zugefügt

[Mor9oth]

20 minutes ago, DataCollector said:

19Zoll Racks und Einbauten ist an bestimmten Stellen genormt.

Aber die Gehäusebreite ist es nicht. Hauptsache es paßt in die Befestigungslöcher (ist also nicht breiter)

Oh cool! Vielen Dank! 🙏 

Dann muss ich es ja nicht zwingend retournieren und kann die Tage mit dem Aufbau beginnen. Habe neben dem RM44 nun auch das 4U-4129L bestellt und muss dann halt abwägen welches in behalte. 

[DataCollector]

7 minutes ago, Mor9oth said:

Dann muss ich es ja nicht zwingend retournieren und kann die Tage mit dem Aufbau beginnen. Habe neben dem RM44 nun auch das 4U-4129L bestellt und muss dann halt abwägen welches in behalte. 

Das Rm44 ist vom internen Aufbau her eher für PCIe Steckkarten ausgelegt. Solltest Du da viele Festplatten rein puzzeln wollen wird es ziemliche Bastelei.

das Inter-tech hingegen ist eher für eine größere Anzahl von Festplatten ausgelegt (2 passende 5in3 Käfige sind in der regel im Lieferumfang dabei).

Es hängt also davon ab, was Du mit dem System am Ende machen willst.

Für ein großes NAS eignet sich das Inter-tech wohl besser.

Für einen Numbercruncher eher das RM44.

 

[Mor9oth]

8 hours ago, DataCollector said:

8 hours ago, DataCollector said:

Das Rm44 ist vom internen Aufbau her eher für PCIe Steckkarten ausgelegt. Solltest Du da viele Festplatten rein puzzeln wollen wird es ziemliche Bastelei.

Ja, genau. Ursprünglich hab ich mir das RM44 geholt um dann die Schiene für SSD-Befestigungen zu modifizierten. Auch weil es vom Air Flow und der Qualität stark auf mich wirkt. Allerdings ist der Preis ziemlich hoch. Vor allem wenn man es nun mit Inter-Tech, wie z.B. dem 4U-4129L vergleicht. Mein use-case passt natürlich viel besser zum Design des Inter-Tech, bzw. da kann ich mir die Modifikationen sparen. Ich tendiere daher schon auch zum Inter-Tech schaue mir die beiden aber mal noch ausgepackt nebeneinander an.
 

 

[DataCollector]

Inter-Tech hat gute aber sehr billig produzierte 19Zoll Gehäuse (Zumindest alle 6 die ich habe).

Irgendwo sind die immer etwas scharfkantig.

Ein bisschen basteln musste ich bei den Inter-Tech aber auch, bis es so war, wie ich wollte.

[Mor9oth]

1 hour ago, DataCollector said:

Inter-Tech hat gute aber sehr billig produzierte 19Zoll Gehäuse (Zumindest alle 6 die ich habe).

Irgendwo sind die immer etwas scharfkantig.

Ein bisschen basteln musste ich bei den Inter-Tech aber auch, bis es so war, wie ich wollte.

Das mit den scharfen Kanten habe ich tatsächlich auch schon öfters gelesen. Dann pass’ ich da besser auf.

Hast du dein System irgendwo vorgestellt? Würde mich ja schon auch interessieren! 😉

 

Kennst du oder nutzt du für deine Inter-Tech Cases gute HDD zu 2,5 SSD-Einbaurahmen?

Vielleicht geht auch sowas:

 

[Mor9oth]

Der SSD-Montagebügel müsste doch in den Inter-tech Käfig passen, oder?

 

Edit: Das passt sicherlich auch, allerdings passen auch zwei SSDs in ein 3,5 Rahmen, daher nehm ich den anderen.

 

 

Edited August 15, 2023 by Mor9oth

[Mor9oth]

Mit diesem Wechselrahmen kann man zwei SSDs in ein 3,5 Rahmen packen und somit doppelt so viele SSDs verbauen. So werde ich es daher auch machen.

 

 

Edit: Ja, der Käfig ist wirklich so krumm und keine optische Verzerrung. 😂

Edited August 15, 2023 by Mor9oth

[Mor9oth]

On 8/2/2023 at 1:39 PM, DataCollector said:

https://geizhals.de/arctic-p12-pwm-schwarz-acfan00119a-a1920124.html

Spannungsbereich 12V

Leistungsaufnahme 0.96W

 

https://www.arctic.de/P12-PWM/ACFAN00119A

Elektrische Eigenschaften
Typische Spannung: 12 V DC
Anlaufspannung: 3,9 V
Stromstärke | Spannung: 0,1 A | 12 V
Kabellänge: 400 mm

Ich bin gerade am Abwägen, ob ebenfalls den Arctic P12 oder Noctua's NF-A12x25 PWM. Spricht aus deiner Sicht was abgesehen vom Preis gegen den Noctua? Vermutlich hattest du die ja mal verglichen. Beim Stromverbrauch bin ich mir langsam unsicher, ob die ganzen Daten überhaupt stimmen, da die Lüfter ja im idle recht niedrig drehen können.

[DataCollector]

14 hours ago, Mor9oth said:

Hast du dein System irgendwo vorgestellt? Würde mich ja schon auch interessieren! 😉

 

Meine 6 Stück  19Zoll Gehäuse von Inter-Tech sind 1 Reserve (steht in der Ecke für die ansonsten nicht mehr lieferbaren Backplanes) und die restlichen 5 sind in 2 Windows-Systemen verbaut.

 

System 1 TESSA MAIN Windows 10:

2x Inter-Tech 4U-4324L zusammen geschraubt (mit einigen stabilen Scharnieren, damit man es aufklappen und an die untere Ebene gelangen kann). Da dort die neueren und größeren Festplatten rein kommen, braucht es auch nur 2x 4HE (51 x3,5inch Festplattenplatz + SSDs).

- In der oberen Ebene sind SAS-Expander, max. 24x Front 3,5inch, 3x Heck 3,5inch und max 8x 2,5inch Platz.

- In der unteren Ebene sind Mainboard, PSU, PCIE-Steckkarten, SAS Expander und die max. Front 3,5inch.

 

 (auf dem Bild sieht man das System ganz unten. Darauf steht mit Abstand durch Holzblöcke UR-Tessa (mein Unraid 1st System) und darauf steht UR-Shipon (mein Unraid 2nd System).

(Schön erkennbar sind die 3 Stück 12cm Lüfter, die ich unten/außen davor gestellt habe als Notmaßnahme, weil die internen Lüfter wohl nach Jahren im Sommer nicht mehr den nötigen Luftzug schaffen.

Da aktuell die Unraid Testsysteme drauf stehen komme ich unten zur Reparatur aktuell nicht dran. 😁)

 

 

 

System 2 TESSA BACKUP Windows 10:

2x Inter-Tech 4U-4324L und dazwischen ein Inter-Tech 4U-4424 (weil die anderen nicht mehr lieferbar waren) zusammen geschraubt (ebenfalls mit einigen stabilen Scharnieren, damit man es aufklappen und an die unteren Ebenen gelangen kann).

Da dort die alten un dkleineren Festplatten rein kommen, brauchte es vor einiger Zeit die Erweiterung um die Mittlere Ebene. Vorher bestand es auch nur aus 2x 4HE. Jetzt kann es zusammen 75 x 3m5inch Festplatten und einige SSDs aufnehmen.

- In der oberen Ebene sind SAS-Expander, max. 24x Front 3,5inch, 3x Heck 3,5inch und max 8x 2,5inch Platz.

- In der mittleren Ebene sind Mainboard, PSU, PCIe-Steckkarten, SAS Expander und die max. 24x Front 3,5inch.

- In der unteren Ebene sind SAS-Expander, max. 24 Front 3,5inch.

 

 

Aber da das alles Windowssysteme sind, gehört das hier wohl nicht hin.

Wenn Du eweitere Details haben willst kannst Du mich direkt anschreiben, dann kann ich gerne Bilder senden, die ich mal während der jeweiligen Umbauten im Laufe der Jahre gemacht hatte.

Edited August 15, 2023 by DataCollector

[DataCollector]

14 hours ago, Mor9oth said:

Kennst du oder nutzt du für deine Inter-Tech Cases gute HDD zu 2,5 SSD-Einbaurahmen?

Da mir meine 3,5inch Hotswap in beiden Win-Systemen zu wichtig für 3,5inch Festplatten sind, habe ich irgendwann 2020/2021 bei beiden Win-Systemen im Heck je ein Fantec MR-SA1082 eingebaut.

So kann ich zusätzlich bis zu 8x 7mm 2,5inch unter bringen. Funktioniert super für solche SSDs.

Im Bild das schwarze Viereck in der Mitte unten.

Edited August 15, 2023 by DataCollector

[DataCollector]

3 hours ago, Mor9oth said:

Ich bin gerade am Abwägen, ob ebenfalls den Arctic P12 oder Noctua's NF-A12x25 PWM. Spricht aus deiner Sicht was abgesehen vom Preis gegen den Noctua? Vermutlich hattest du die ja mal verglichen. Beim Stromverbrauch bin ich mir langsam unsicher, ob die ganzen Daten überhaupt stimmen, da die Lüfter ja im idle recht niedrig drehen können.

Dazu kann ich nichts sagen.

Wenn Du gute Qualität willst, nimm Noctua. Ich hatte die zwar noch nie, aber der Ruf ist gut.

Wenn man (wie ich) gleich mehrere braucht, schaue ich auch auf den Preis und da tun mir die Noctua zu sehr im Geldbeutel weh.

Wie an anderer Stelle schon mal angedeutet habe ich ein Auge auf die neueren Arctiv P12 Max geworfen.

Aber ich habe auch noch keinen davon in den Fingern gehabt und will die irgendwann mal ausprobieren.

Aber ich habe so viel vor... und diesen Monat meinen Geldbeutel schon wieder zu sehr strapaziert, deshalb kann das noch dauern.

Edited August 15, 2023 by DataCollector

[Mor9oth]

On 8/16/2023 at 12:28 AM, DataCollector said:

- In der oberen Ebene sind SAS-Expander, max. 24x Front 3,5inch, 3x Heck 3,5inch und max 8x 2,5inch Platz.

- In der mittleren Ebene sind Mainboard, PSU, PCIe-Steckkarten, SAS Expander und die max. 24x Front 3,5inch.

- In der unteren Ebene sind SAS-Expander, max. 24 Front 3,5inch.

WTF! 😮 Damit wirst du deinem Namen @DataCollector natürlich mehr als gerecht! Echt krass! Laufen deine Server dann 24/7 oder hast du dann um Strom zu sparen Konzepte damit die Nachts z.B. herunterfahren?

 

Vielen Dank auf jeden Fall für die detailreiche Darstellung!

[Mor9oth]

On 8/16/2023 at 12:46 AM, DataCollector said:

Dazu kann ich nichts sagen.

Wenn Du gute Qualität willst, nimm Noctua. Ich hatte die zwar noch nie, aber der Ruf ist gut.

Wenn man (wie ich) gleich mehrere braucht, schaue ich auch auf den Preis und da tun mir die Noctua zu sehr im Geldbeutel weh.

Ich habe nun tatsächlich 5 x den Noctua NF-A12x25 PWM gekauft. Einfach, weil der in den Reviews am leisesten gut performt. Bei uns steht der Server halt im Arbeitszimmer und da soll er eher sehr leise sein. Im Geldbeutel tut das in der Tat weh und beim Kauf musste ich auch jegliche Rationalität ausschalten. 🙈

[Mor9oth]

Die ganze Hardware ist nun da und ab morgen geht es los mit dem Aufbau. Das sind die Komponenten:

 

✅ Motherboard: W680D4U-2L2T/G5
✅ CPU: Intel i7-13700T gekühlt mit Noctua NH-D15S

✅ RAM: 64 GB ECC - KSM48E40BD8KM-32HM

✅ PSU: Corsair RM750x → RM550x unterwegs f. Tausch/Vergleich

✅ Case: Inter-Tech 4U-4129L

✅ SSD: 4 x 8 TB 870 QVO

✅ 120 mm: 5 x Noctua NF-A12x25

✅ 80 mm: 2 x  Noctua NF-A8

 

✅ M.2: Aktuell: 970 EVO Plus 1 TB → Wechsel zu?

(4 TB Suche offen)

 

Ich bin echt wegen meiner ASRock-Erfahrungen sehr aufgeregt, dass das W680D4U-2L2T/G5 auch ein Stromfresser sein könnte ...

Edited August 17, 2023 by Mor9oth

[DataCollector]

2 hours ago, Mor9oth said:

WTF! 😮 Damit wirst du deinem Namen @DataCollector natürlich mehr als gerecht! Echt krass! Laufen deine Server dann 24/7 oder hast du dann um Strom zu sparen Konzepte damit die Nachts z.B. herunterfahren?

Den Nick habe ich schon mit Absicht gewählt 😄

 

Wobei ich die Maximalbestückung angegeben habe. Wie man auf den Bildern sieht sind dazwischen noch vereinzelte Einschübe frei.

Tessa-Main läuft 24/7 und da dieses System Raid6 Hardwarekontroller benutzt laufen die Festplatten durchgehend und es schluckt sehr viel Strom. Deshaklb ja meien Experimente mit unraid. Eigentlich hatte ich vor mit UR-Tessa den Tessa-Main zu ersetzen (um eben Strom zu sparen), aber leider habe ich noch zu viele bremsende Faktoren in unraid, so daß ich Tesa-Main bisher nich nicht abschalten konnte, bzw.wollte.

 

Tessa-Backup fahre ich nur bei Bedarf hoch (wenn ich auf Tessa-Main defekte, bzw. durch Userfehler gekillte Dateien wieder holen will, ab und zu den Backupstand aktualisieren, einen Wartungslauf mchen um da auch die Datenintegrität zu prüfen oder wieder eine weitere Festplatte einzubinden).

[DataCollector]

6 hours ago, Mor9oth said:

✅ M.2: Aktuell: 970 EVO Plus 1 TB → Wechsel zu?

(4 TB Suche offen)

 

Ich bin seit den Mindfactory Angeboten mal zu den Lexar NM790 4TB gekommen.

Die technische Beschreibung liest sich nicht wirklich prickelnd (kein DRAM), aber Testlauf unter Win11 mit HDtunePro  5.75 durchlaufen lassen hat für mich einen sehr positiven Eindruck hinterlassen.

Überraschend Dauerschreibfest [knickte bei Erstbefüllung mit Random Bitfolgen sequentiell von anfangs 1,1xx GByte/s erst bei rund 50% auf die Hälfte (ca. 6xx Mbyte/s) der Schreibgeschwindigkeit ein und behielt die bis zum Ende bei.] 

Da bin ich von vielen anderen NVMe SSD schlechteres gewohnt.

Aber sie werden laut dem (stark veralteten) Lexar Tool (unter Win11 parallel betrieben) recht schnell ziemlich warm. Aber dem tool mvertraue ich nicht so ganz, da die NVMe SSD nie unter 40Grad Celsius runter ging. Das erscheint mir in meinem PCIe 3 Testsystem/Benchtable (komplett offen und mit einem Kupferkuehlkörper direkt auf der SSD drauf) sehr hoch.

Ich habe mal 3 Stück geholt und stopfe die (mit 1mm Kupferblechen drauf) in mein Lenovo Tiny rein (Siehe Bauvorschlag von mgutt zu dem Lenono Tiny (M920...)).

Dann kann ich sagen, was die SSDs auch unter Linux/unraid bieten.

 

Hier habe ich übrigens gerade einen Test der SSD gesehen:

https://www.techpowerup.com/review/lexar-nm790-4-tb/

Edited August 17, 2023 by DataCollector
Test zugefügt

[Mor9oth]

So wie es aussieht, sind 3 von 3 meiner HDDs beim Umbau oder Einbau verreckt. Echt ärgerlich. Werden nicht mehr erkannt und sind komplett still. Ich wollte zwar eh zu SSDs wechseln, trotzdem sehr ärgerlich. Ich werde die 3 Platten mal noch separat prüfen.

 

Wie kann ich abgesehen von den Daten/Parity aber mein System wie Shares, meine Docker und Einstellungen wie bisher fortführen?

Vermutlich ja keine "new Config", oder macht das nur ein neues Array? Dann wäre es ja genau das

 

Oder macht es Sinn, dass ich dem bisherigen Array die neuen SSDs zuordnen und die alten dann löschen? Natürlich werden so keine Daten wiederhergestellt, aber die sonstigen Konfigurationen müssten dann doch passen, oder? 

Edited August 19, 2023 by Mor9oth