Mein 10 Zoll Server


Recommended Posts

Hier habe ich noch eine Hürde gefunden:

https://www.linuxquestions.org/questions/linux-kernel-70/kernel-5-18-doesn't-detect-u-2-hot-swapping-4175714221/#post6365623

image.png.a48af18182b4566aec46224aebfe27b0.png

 

Es scheint als könnte nur eine PCI Bridge bei mir HotPlug:

root@Tower:~# lspci -vv | awk '/HotPlug/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|HotPlug)'

...

00:1d.0 PCI bridge: Intel Corporation Cannon Lake PCH PCI Express Root Port #9 (rev f0) (prog-if 00 [Normal decode])
                SltCap: AttnBtn- PwrCtrl- MRL- AttnInd- PwrInd- HotPlug+ Surprise+

 

 

Da ich wissen wollte welcher Slot das ist, habe ich mal überall was verbaut und es ist scheinbar der zweite NVMe Slot und komischerweise kann er jetzt kein HotPlug mehr 🤪

 

root@Tower:~# lspci -tv
-[0000:00]-+-00.0  Intel Corporation 8th Gen Core Processor Host Bridge/DRAM Registers
...
           +-1d.0-[07]----00.0  Sandisk Corp Device 501d
root@Tower:~# lspci -vv | awk '/HotPlug/{print $0}' RS= | grep --color -P '(^[a-z0-9:.]+|HotPlug)'
...
00:1d.0 PCI bridge: Intel Corporation Cannon Lake PCH PCI Express Root Port #9 (rev f0) (prog-if 00 [Normal decode])
                SltCap: AttnBtn- PwrCtrl- MRL- AttnInd- PwrInd- HotPlug- Surprise-

 

Also ich gebe auf. Ich messe jetzt noch eine GTX 1660 Ti, einfach aus Interesse und danach gehen die beiden Karten in den Verkauf.

 

EDIT: Mit der GTX 1660 Ti sinkt der Verbrauch auf 19W, wenn der Monitor ausgeht. Demnach verbraucht die Karte 11W und damit 2W mehr als die RTX 3050. Leider habe ich keine Karte ohne 6-Pin / 8-Pin Stromkabel. Solche Karten wie zB die T400 oder T600 sollten noch eine ganze Ecke sparsamer sein.

Link to comment
7 hours ago, mgutt said:

eider habe ich keine Karte ohne 6-Pin / 8-Pin Stromkabel. Solche Karten wie zB die T400 oder T600 sollten noch eine ganze Ecke sparsamer sein.

hierzu, ich hatte vorher immer eine GT1030 als Desktop Karte verbaut (jetzt eine GTX1050), das hat im idle keinen Unterschied gemacht, wenn dann max 1 W rauf oder runter ...

 

ansonsten, schade, Ansatz und Idee war hart, super interessant ;) nur leider chancenlos anscheinend, Danke für den Test.

Link to comment
  • 2 weeks later...

Hey @mgutt du sagtest ja, dass du keine Karte ohne 6/8 PIN Anschluss hast und diese sparsamer sein sollten. 

Nun ich habe eine Radeon Pro WX 4100 bei mir verbaut. Der einzige Grund war eigentlich nur wegen MacOS da dort ja nur noch Grafikkarten von AMD Supportet werden. Nun ist es aber so, dass die MacOS VM von mir schon lange nicht mehr angerührt wurde und so natürlich unnötig Strom verballert.

 

Klar wäre hier ausbauen eigentlich das vernünftigste, aber die möchte ich bei Gelegenheit auch mal wieder anfassen.

Deswegen kam dein Versuch mit dem PCI Hotplug mir gerade recht.

 

Aktuell sieht es mit C-States so aus:

6E79B907-0D83-4842-B21B-80B88820C2B2.thumb.jpeg.d8b25c46c96feea588daf055d626d574.jpeg

Dabei laufen aktuell 15 Docker und die kalibrierte Tasmota Steckdose zeigt mir schwankend zwischen 60 und 70W an. 

Wobei aber von diesen Wert noch die APC USV (schätze so 10W) abgezogen werden muss, da die Steckdose vor der USV hängt.

Die Verkabelung wird eh demnächst mal geändert.

 

Ich möchte auch garnicht deinen Thread großartig kapern, sondern nur nachfragen, ob es Sinn macht die obigen Befehle mal auszuprobieren?

 

 

 

Link to comment
1 hour ago, mgutt said:

Im Array? Warum? Der Kontroller geht schlafen und wacht nicht mehr auf. So ein Bug sollte eigentlich keine Daten zerlegen 🤨

Zu dem Zeitpunkt waren stück für Stück die Platten nicht mehr da. Als neuling in unraid (und weil es sowieso eien testinstallation war) hatte ioch dann neu aufgesetzt. ich berichtete hier im Forum.

Link to comment

Ich könnte günstig an mehrere gebrauchte Samsung Enterprise SSDs mit 7.68TB kommen. Dummerweise verhindert bereits eine alle C-States 😒

 

Ich hatte zB eine 8TB QVO, 4TB SanDisk und die Enterprise SSD angeschlossen und erreichte nur noch C2:

 

image.png.3ef63ab3efeb9c0c75cda78c648a3be7.png

 

Dann habe ich statt der Enterprise eine zweite 8TB QVO eingebaut und alles war wieder gut:

 

image.png.2db5c2ee1a01578459e64e6fb4481ea4.png

 

In den technischen Daten der SSD wird beschrieben, dass der beworbene Leerlaufverbrauch ohne Stromsparmodus gemessen wurde, aber man findet nichts dazu, dass dieses Feature einfach gar nicht unterstützt wird:

 

image.thumb.png.12eda6868ead53c16fcf7108be90a1b7.png

 

Dort gab es dann auch eine Liste mit den unterstützten ATA Kommandos und mit dabei auch die angebliche Unterstützung von STANDBY. Aber auch wenn ich in der Lage bin die SSD in den Standby zu versetzen, wirkt sich das nicht positiv auf die C-States aus. 🤨

 

root@Tower:~# smartctl -s standby,now /dev/sdb
smartctl 7.3 2022-02-28 r5338 [x86_64-linux-5.19.17-Unraid] (local build)
Copyright (C) 2002-22, Bruce Allen, Christian Franke, www.smartmontools.org

Device placed in STANDBY mode

 

Komischerweise brauchte dieser Befehl im Gegensatz zu allen anderen SSDs mehrere Sekunden, bis er ausgeführt wurde.

 

Ich kann den Standby danach auch erfolgreich prüfen:

root@Tower:~# smartctl -n standby -i /dev/sdb
smartctl 7.3 2022-02-28 r5338 [x86_64-linux-5.19.17-Unraid] (local build)
Copyright (C) 2002-22, Bruce Allen, Christian Franke, www.smartmontools.org

Device is in STANDBY mode, exit(2)

 

Sie wacht außerdem auch auf, wenn ich eine Datei darauf erstelle:

root@Tower:~# touch /mnt/disk2/test.txt
root@Tower:~# smartctl -n standby -i /dev/sdb

...

Power mode is:    ACTIVE or IDLE

 

Kann doch nicht sein, dass die mehr Strom als eine HDD verbraucht 😭

 

Es gibt noch die DCToolkit.exe bzw DC Toolkit von Samsung, aber da steht leider nichts zu Sleep, Standby, etc drin:

https://semiconductor.samsung.com/resources/user-manual/Samsung_DCToolkit_V2.1_User_Guide.pdf

 

 

Link to comment
  • 2 weeks later...

Ich habe ein wenig umgebaut. Jetzt nutze ich ebenfalls das Corsair RM550x (2021) und die AEG USV habe ich gegen eine Eaton Ellipse ECO 650 ersetzt (weil sparsamer):

image.thumb.png.ca4b1549103b28a0db8a811b5fc4826a.png

 

Von der rechten Seite:

image.thumb.png.6eae4e99f6ae245707229c2f5cb5b31b.png

 

Durch die Aktion habe ich 10,5W eingespart:

 

Vorher:

image.png.0c24a3e8219cb686c3192efa8c4acde3.png

 

Nachher:

image.png.cda54b27b8d8f479ce5bce54f1882be7.png

 

Ich denke beim 10G Switch habe ich noch Potential. Das werde ich als nächstes angehen. Geplant hatte ich ja schon mal eine 10G Direktverbindung zwischen PC und Server und damit komplett auf einen 10G Switch zu verzichten. Aktuell tendiere ich zu dem Setup:

- Dual SFP Karte in den Server

- 2.5G Modul in die Karte

- 10G Direktverbindung zwischen Server und Office PC

- 2.5G Verbindung zu (hoffentlich sparsameren) 2.5G Switch

 

Dh das Heimnetz läuft maximal mit 2.5G und die Direktverbindung ist nur aktiv, wenn mein Office PC eingeschaltet wurde.

 

Die Tage schalte ich erst mal jede Komponente im Netzwerkschrank einzeln aus und schaue mal was sie jeweils an Strom verbraucht. Der Server liegt aktuell bei 22 Watt (Juhu, 1 bis 2 W mit dem Netzteil gespart ^^). Damit verbrauchen also USV, Fritz!Box und zwei Switche 37W 😱

 

Link to comment
9 hours ago, mgutt said:

Damit verbrauchen also USV, Fritz!Box und zwei Switche 37W 😱

Die FB Oberfläche (7.xx) zeigt ja in Prozent an, wieviel sie verbraucht (natürlich eine eher grobe Anzeige).

Ich hatte bei meiner FB 7590 (pre AX) immer so 33-38% was bei dem 12V 3A Netzteil schon etwas über 12W wären.

Dann habe ich mal meine beiden (eigentlich ungenutzen) USB Speichersticks rausgezogen und seit dem liegt die Anzeite bei 22-24%.

 

Vieleicht Einsparpotential: Nutzt Du die USB Anschlüsse der FB (um AB oder Faxempfangsspeicher zu vergrößern)?

Link to comment
On 1/26/2023 at 11:24 AM, mgutt said:

Ich könnte günstig an mehrere gebrauchte Samsung Enterprise SSDs mit 7.68TB kommen. Dummerweise verhindert bereits eine alle C-States 😒

 

Ich hatte zB eine 8TB QVO, 4TB SanDisk und die Enterprise SSD angeschlossen und erreichte nur noch C2:

 

Kann doch nicht sein, dass die mehr Strom als eine HDD verbraucht 😭

Ich habe selbst 2x 8TB QVO und habe mich die Tage etwa geärgert, dass der Aufpreiss aktuell nur etwa 200€ zur Enterprise beträgt. Jetzt muss ich von dir höhren, dass diese nur noch C2 erreicht und der Stromverbrauch auch nicht wirklich sparsam ist. Jetzt bin ich tatsächlich am überlegen, ob ich die mir noch 2 weitere 8TB kaufen soll (TBW und Schreibgeschwindidkeit mal außen vor gelassen). Das könnte ein nettes und teures Raid5 oder Raidz1 werden. Wie verfährst du hier weiter? QVC oder Enterprise?

Edited by Dexter84
Link to comment
18 minutes ago, Dexter84 said:

QVC oder Enterprise?

QVC ist auch gut ^^

 

Ja ich bleib bei QVO. Ganz klar. Was will ich mit SSDs, die mehr als HDDs verbrauchen.

 

 

Ansonsten habe ich noch die Mushkin Source HC gefunden, die einen niedrigen Leerlaufverbrauch haben soll:

https://www.poweredbymushkin.com/Home/index.php/products2/item/8-solid-state-drives/1645-source-hc-8tb-mknssdhc8tb

https://www.poweredbymushkin.com/Home/index.php/catalog/solid-state-drives/source-hc/item/1646-source-hc-16tb-mknssdhc16tb

 

Laut Beschreibung nutzt die sogar TLC. Aber leider noch jenseits der 100 € pro TB. Auch die Frage was man von der Marke halten soll. Das ist ja kein Hersteller, sondern der gibt die ja irgendwo in China in Auftrag und packt sein Logo drauf.

 

 

 

 

 

  • Haha 1
Link to comment
  • 1 month later...

Mal ein anderer Rechner: Mein Gaming PC. Das meiner Ansicht nach weltweit kleinste mATX Case (Mechanic Master C28, 18 Liter), wo ein mATX Board und Noctua NH-D15S reinpasst (den Griff könnte man abmachen, aber irgendwie finde ich den cool, erinnert an frühere LAN-Sessions ^^):

 

image.thumb.png.e6128abea17202f260e667e1a36bd7e6.png

 

Im Alltag unhörbar dank Fan Control:

image.thumb.png.11ec9d19351dacecdddbba2532314a5e.png

 

Das Blu-Ray Laufwerk schließe ich nur bei Bedarf an. Dafür habe ich mir mit dem 3D-Drucker eine Halterung gemacht (Vorteil gegenüber USB: kein Netzteil und man kann auch die Firmware aktualisieren):

image.thumb.png.3db2d6d19a59982b71d9c9ab5b361900.png

 

image.thumb.png.5d7cff0058b357023f791dffa2829340.png

 

Gespielt wird auf einem 42 Zoll LG C2 OLED mit 120 Hz (hochkant daneben ist noch ein 24 Zoll):

image.thumb.png.3b4de1e3c59e243047de40d94412fdca.png

 

Wegen der riesigen GPU (Noctua RTX 3070 mit über 4 Slots) musste ich auf 10G verzichten. Ich nutze daher die 2.5G vom Board.

  • Like 1
Link to comment
  • 1 month later...

Für meinen zukünftigen Server habe ich ziemlich unvernünftig das iStarUSA S-915 für knapp 300 € importiert. Die Stabilität ist über jeden Zweifel erhaben. Meiner Ansicht nach könnte man die Bleche auch dünner ausführen und hätte immer noch ein stabiles Case.

 

Beim Airflow bin ich allerdings noch nicht so sicher, was man sich da gedacht hat. Vom Prinzip gibt es nur eine (sehr kleine) Abluft oben, denn die Löcher an der Seitenwand sind ausschließlich für das Netzteil (innen ist Schaumstoff aufgeklebt, damit das Netzteil perfekt anliegt):

image.png.e16c3352a4e7b8db3a2efc0d68a95bce.png

 

Und wenn man bedenkt, dass man vorne sogar die Tür schließen kann, wird es noch konfuser. Man muss vorne auf jeden Fall ordentlich Druck machen, damit da genug Luft durchgeht.

 

Aus China habe ich mir dann billige HDD Käfige geholt und probeweise verbaut, muss aber feststellen, dass deren Bohrungen total falsch sind. Auf dem Foto sieht man unten einen Halter für 3 HDDs, der etwas absteht. Das ist von dem Case auch so vorgesehen. Oben der größere 5er Käfig ist dagegen total falsch positioniert. Knapp 5mm nach innen versetzt:

image.thumb.png.38d5cf514f8e3c849a9448955fef3594.png

 

Wobei mir jetzt erst klar ist wie unkomfortabel diese Käfige sind, denn die schwarze Abdeckung, wo man später innen ein Lüfter draufschraubt, kann man von vorne gar nicht entfernen. Die ist seitlich verschraubt. Dh man müsste den kompletten Käfig demontieren, nach vorne rausziehen und erst jetzt könnte die schwarze Abdeckung entfernt werden. Allerdings nützt auch das nichts, denn von vorne kann man die Platten gar nicht wechseln, da dort ein Blech im Weg steht:

image.png.372e6852b0e8d3f7e6bd09e92ccdb29a.png

 

Und die HDDs nach innen rausziehen, kann ich bei dem Case vergessen. Viel zu eng:

image.thumb.png.21dbb89fb00550956b3b5839b7158b80.png

 

Aber zumindest hat sich meine Hoffnung erfüllt, dass dort ein Deep Mini ITX Board reinpasst (8.2 Zoll = 20.83 cm). Steht also dem W680D4ID-2T nichts im Weg.

 

Ich denke ich muss doch mal meinen Plan verwirklichen und einen eigenen HDD Halter konstruieren. Aber mit meinem aktuellen 3D Drucker ist das echt vergebene lebensmüh. Ich spare daher aktuell auf den Bambu Lab X1 😁

Link to comment
1 hour ago, mgutt said:

Für meinen zukünftigen Server habe ich ziemlich unvernünftig das iStarUSA S-915 für knapp 300 € importiert.

...

Und wenn man bedenkt, dass man vorne sogar die Tür schließen kann, wird es noch konfuser.

Ja, ich habe auch bei solchen Aufbauten entweder die Tür entfernt oder gelöchert.

Ich verstehe den Trend zu abgeschlossenen Türen oder gar stabilen Glasfronten irgendwie aus technischer Sicht nicht.

 

1 hour ago, mgutt said:

Aus China habe ich mir dann billige HDD Käfige geholt und probeweise verbaut, muss aber feststellen, dass deren Bohrungen total falsch sind.

Naja, wenn man mal von diesem Gehäuse absieht haben PC 5,25inch Einschübe eher selten nur fixe Bochungen zum verschrauben sondern oft auch Langlöcher.

Da ich viel mit Wechselrahmen mit Multibackplanes arbeite ist das sehr hilfreich.

 

1 hour ago, mgutt said:

Wobei mir jetzt erst klar ist wie unkomfortabel diese Käfige sind, denn die schwarze Abdeckung, wo man später innen ein Lüfter draufschraubt, kann man von vorne gar nicht entfernen. Die ist seitlich verschraubt. Dh man müsste den kompletten Käfig demontieren, nach vorne rausziehen und erst jetzt könnte die schwarze Abdeckung entfernt werden.

Deshalb habe ich vor längerem, als hier im Forum diese Käfige erwähnt wurden und jemand unbedingt Frontzugriff wollte ja geschrieben, daß man wie vielleicht verdreht einbauen sollte.

Ich habe ja auch ein paar dieser billigen China Rahmen und die sind nicht für Hotswap oder Frontaustausch gedacht.

Wenn man sie aber umdreht, ggf. das Gitter vor dem Lüfter (welches ja an den Seiten weitaus größer als der einzubauende 12cm Lüfter ist) etwas beschneidet und die Kabel irgendwie seitlich vorbei gefummelt bekommt, kann man bis zu 4 normale Festplatten rein bekommen und diese auch frontseitig manuell abstoepseln und wechseön. Natürlich nicht so bequem wie bei einer Hotswap Backplane, aber dafür sind di erahmen ja auch nru einen Bruchteil so teuer.. Nur sind mir beim wechseln schon einuige der Seitlichen Kunstoffuehrungen abhanden gekommen. Ich muss mal wieder azufräumen udn die zusmmensuchen :)

 

Wenn Man übrigend in dem 5er Rahmen eine Festplatte mit nur halber (heute üblicher) Bauhöhe oder gar eine adaptierte 2,5 inch SSD/Festplatte mit 3,5inch Adapter einsteckt, hat man sogar noch Platz um die 5 SATA- und 5 Powerversrogungen durch den Einschlubplatz nach vorne zu führen.

Nur sollte man die SATA-Datenstecker/-Kabel nicht zu sehr knicken. Das hat mi einen rapide ansteigenden UDMA CRC Errorzähler bei einer Festplatte eingebracht. Kabeltausch und alles war wieder okay.

 

 

1 hour ago, mgutt said:

Und die HDDs nach innen rausziehen, kann ich bei dem Case vergessen. Viel zu eng:

Ja, das sieht mir zwar wuchtig aber uch sehr kompakt aus.

 

1 hour ago, mgutt said:

Ich denke ich muss doch mal meinen Plan verwirklichen und einen eigenen HDD Halter konstruieren. Aber mit meinem aktuellen 3D Drucker ist das echt vergebene lebensmüh. Ich spare daher aktuell auf den Bambu Lab X1 😁

... oder Du probierst einfach mal die Chinarahmen umzudrehen und ggf. mit einem Dremel etwas nachzuhelfen.

Dann sollten 7 normalformatige Festplatten frontzeitig wechselbar sein.

 

Aktuell nutze ich bei einem meiner Testsysteme einen der Chinarahmen senkrecht auf einem (ca. 30? Euro) Miningrack (weil mir ein Benchtable zu teuer war). Der Lüfter nach unten im Gitter montiert und die Kabelage von oben einfach draufgesteckt. Die Festplatten lasse ich dann einfach von oben nach unten in den Chinarahmen rein rutschen und stöpsel die Kabel drauf.

Edited by DataCollector
Link to comment
  • 2 months later...
On 5/11/2023 at 11:43 PM, mgutt said:

Wobei mir jetzt erst klar ist wie unkomfortabel diese Käfige sind, denn die schwarze Abdeckung, wo man später innen ein Lüfter draufschraubt, kann man von vorne gar nicht entfernen. Die ist seitlich verschraubt. Dh man müsste den kompletten Käfig demontieren, nach vorne rausziehen und erst jetzt könnte die schwarze Abdeckung entfernt werden. Allerdings nützt auch das nichts, denn von vorne kann man die Platten gar nicht wechseln, da dort ein Blech im Weg steht:

Vermutlich weißt du das ja, aber was spricht denn gegen die angebotenen Hot-swap Käfige direkt bei iStarUSA für das S-915? Die machen das Gehäuse nun tatsächlich recht interessant, finde ich.

 

https://www.istarusa.com/en/istarusa/products.php?model=BPN-DE350SS&showmenu=1

chrome_T4sYv87d8u.png.48540252eb32cfb43156457871c3714b.png

chrome_kGkwH1oGJF.png.5dc1d6acc821d9501daffb02a6cc4914.png

Link to comment
11 minutes ago, Mor9oth said:

was spricht denn gegen die angebotenen Hot-swap Käfige

Die gibt es ja von verschiedenen Herstellern, aber:

- 10x teuer

- erhöhen den Stromverbrauch (integrierte Backplane mit Kondensatoren usw)

- vermutlich zu lang (20 cm vs 15 cm nur die HDD)

 

Die SSD-Only Halter sind kürzer, aber auch pervers teuer.

 

Ich muss mal wie vorgeschlagen testen, ob ich die Billig-Halter auch umgekehrt eingebaut bekomme und die schwarzen Abdeckungen dann eben weglasse. Da das Case selbst ja eine Tür hat, sieht man das ja nicht.

 

Link to comment
7 minutes ago, mgutt said:

Die gibt es ja von verschiedenen Herstellern, aber:

- 10x teuer

- erhöhen den Stromverbrauch (integrierte Backplane mit Kondensatoren usw)

- vermutlich zu lang (20 cm vs 15 cm nur die HDD)

 

Die SSD-Only Halter sind kürzer, aber auch pervers teuer.

 

Ich muss mal wie vorgeschlagen testen, ob ich die Billig-Halter auch umgekehrt eingebaut bekomme und die schwarzen Abdeckungen dann eben weglasse. Da das Case selbst ja eine Tür hat, sieht man das ja nicht.

 

Good Points! Bisher habe ich weder das Gehäuse noch die Accessoires zum Kaufen gesehen. Darf man fragen, wo du das Case herhast? Wobei ich beim Airflow auch noch skeptisch bin bei der Tür. Aber vielleicht kann man dann ja in die Tür ein Loch für einen großen Lüfter machen - bzw. eine neue Tür inkl. Loch für Lüfter drucken.

 

So:

chrome_HOQl6kTMUi.thumb.png.5bb7dfb4f5685aa6a64fccba783e3ff6.png

 

 

Link to comment
3 hours ago, i-B4se said:

Cloud only Drucker? 

Habe das hier gerade gelesen und danke für den Hinweis. Ist ja gruselig. Erinnert mich gleich an das Vanmoof Cloud Disaster durch die Insolvenz. Und die können das Geschäftsmodell niemals halten. Wie wollen die den Traffic von 100.000 Drucker-Kameras langfristig bezahlen. Also werden sie über kurz oder lang mit Abos anfangen und das ist dann der Anfang vom Ende.

Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.