Nicht noch ein stromsparender Server …

[MPC561]

22 hours ago, Mor9oth said:

Hat halt kaum SATA Anschlüsse, dafür aber drei M.2 an die man ja einen M.2 zu SATA Adapter machen kann.

Schau in dein eigenes Bild. Zwei von den M.2 haben Typ A und B und nur 1x PCIe. Ich weis nichtmal ob es dafür überhaupt SATA Adapter gibt. Und wenn ja wird es wieder interessant bzw. ein Glückspiel ob dann ASPM funktioniert und ob das Board jemals weiter als bis C3 bei den Package states kommt.

[Mor9oth]

12 hours ago, MPC561 said:

Schau in dein eigenes Bild. Zwei von den M.2 haben Typ A und B und nur 1x PCIe. Ich weis nichtmal ob es dafür überhaupt SATA Adapter gibt. Und wenn ja wird es wieder interessant bzw. ein Glückspiel ob dann ASPM funktioniert und ob das Board jemals weiter als bis C3 bei den Package states kommt.

Gebe ich dir recht! Ist dann wohl zu experimentell bei den wenigen Features. 

Edited July 2, 2023 by Mor9oth

[Mor9oth]

8 hours ago, mgutt said:

Ist bei jedem Board anders. Egal was verbaut ist. Da hilft nur kaufen, messen und vergleichen.

Wenn der Kauf ansteht und beide verfügbar sind, wäre das messen und vergleichen schon echt eine Überlegung wert.

[Mor9oth]

Ich überlege auch aktuell ob ich entweder die HDDs komplett skippe und auf 4 x 8 TB SSDs setze (Samsung SSD 870 QVO 8TB) oder ob ich einen zweiten SSD Pool parallel zu wenigen HDDs betreiben soll.

 

Macht bei einem SSD-Pool dann überhaupt ein M.2 NVME-Cache noch groß Sinn? Von RAM auf die SSDs müsste dann doch auch sehr schnell sein, oder?

[Mor9oth]

Die Preise gehen zumindest in die richtige Richtung ☺️

Bei 320 Euro pro SSD würde ich mir 4 Stück gönnen. 😁

Edited July 2, 2023 by Mor9oth

[Mor9oth]

Der Leerlauf ist halt auch geil! 🥰

 

HDD im Vergleich:

Edited July 2, 2023 by Mor9oth

[i-B4se]

Wäre für mich kein Grund um eine SSD in der Größenordnung zu kaufen.

Rechne mal die Mehrkosten von einer SSD zu einer HDD aus. Das dauert Jahre bis das wieder drin ist. 

Bei der Geschwindigkeit sieht es ganz klar wieder anders aus.

[Mor9oth]

58 minutes ago, i-B4se said:

Wäre für mich kein Grund um eine SSD in der Größenordnung zu kaufen.

Rechne mal die Mehrkosten von einer SSD zu einer HDD aus. Das dauert Jahre bis das wieder drin ist. 

Bei der Geschwindigkeit sieht es ganz klar wieder anders aus.

Klar, sind HDDs die bessere Preisleistung. Muss denke ich einfach jeder selber für sich entschieden, was einem die Vorteile von SSDs wert sind.

Edited July 2, 2023 by Mor9oth

[Mor9oth]

On 6/29/2023 at 10:38 PM, mgutt said:

Ich kann dann aktuell leider keine Empfehlung aussprechen. Ich suche selbst auch.

Eventuell habe ich eine 4 TB NVME gefunden, die sparsamer im unteren Bereich als die EVO Plus ist. Zumindest, wenn die Produkteigenschaften stimmen.

Die Variante mit 2 TB ist noch sparsamer.

 

Corsair MP400 (4 TB)

 

Corsair MP400 (2 TB)

 

EVO Plus (2 TB)

 

 

 

 

[Mor9oth]

On 7/2/2023 at 12:17 PM, Mor9oth said:

Ich überlege auch aktuell ob ich entweder die HDDs komplett skippe und auf 4 x 8 TB SSDs setze (Samsung SSD 870 QVO 8TB) oder ob ich einen zweiten SSD Pool parallel zu wenigen HDDs betreiben soll.

Gibt es Empfehlungen, wie man SSD Only betreibt?

 

1️⃣ Als Array mit Parity

2️⃣ Array ohne Parity

3️⃣ ZFS pool

 

Vermutlich funktioniert TRIM nicht im Array und auch Wiederherstellung aus dem Parity stelle ich mir problematisch vor. Zudem dürfte die Parity auch ausbremsen. Das schließt dann wohl 1️⃣ aus.

 

[mgutt]

1 hour ago, Mor9oth said:

Corsair MP400

Hat leider QLC. Ansonsten sind in der Theorie alle NVMe sparsam:

https://www.anandtech.com/show/16635/the-adata-gammix-s50-lite-ssd-review-mainstream-pcie-gen4/5

 

Das heißt nur eben nicht, dass sie den Schlafzustand stabil halten und sonst keinen negativen Einfluss haben.

 

Am effizientesten ist wohl SK Hynix, aber die sind selten im Angebot:

https://www.tomshardware.com/reviews/sk-hynix-platinum-p41-ssd-review/2

 

Bei Geizhals finde ich nur ein Angebot über Amazon von SK Hynix selbst. Während die Evo schon für deutlich unter 100 € für 2 TB zu haben war, liegt die SK Hynix bei 130 €. Da bringt dann auch die Effizienz nichts mehr. Wobei ich selbst auch nach SSDs ab 4TB suche.

[DataCollector]

On 7/2/2023 at 1:08 PM, i-B4se said:

Wäre für mich kein Grund um eine SSD in der Größenordnung zu kaufen.

Rechne mal die Mehrkosten von einer SSD zu einer HDD aus. Das dauert Jahre bis das wieder drin ist. 

Bei der Geschwindigkeit sieht es ganz klar wieder anders aus.

Ich möchte die 3 Punkte nur kommentieren und meine persönliche Meinung beitragen:

 

Ich sehe schon den Reiz einer 8TB SATA SSD (Samsung 870 QVO): allein schon, weil es sehr viel Platz in geringer Bauform und aktuell ziemlich preisgünstig ist. Ganz davon abgesehen, daß man dafür einen vielleicht noch vorhandenen SATA Anschluß nutzen udn keien PCIe Lane verwenden muß. Deswegen habe ich auch 2 davon und wenn der Preis weiter fällt mag ich auch erweitern (ich strebe ein Raid5 Verbund (oder genauer das Pendant unter zfs in unraid) an).

 

Allein vom Kostenfaktor gesehen hast Du vollkommen recht: Festplatte 8TB sind weitaus billiger als SSD 8TB. Leider aber auch größer & lauter.

 

Bei der Geschwindigkeit gibt es mehreres zu beachten: Die IOPS bei SSD (auch SATA) sind (etwas) besser/höher als bei Festplatten und die Peaktransfergeschwindigkeit schreibend in kurzen Zeiten auch. Aber gerade die (8TB) QVO haben da ein gemischtes Bild bei Dauerschreibtransfer. Kurze Peaks werden durch SLC und Verteilung gut abgefangen und sind schneller als eine Festplatte, aber im Dauertransfer schreibend sackt die dann doch auf rund 150-160MByte/s ab.

Das ist mehr als die größten 2,5inch Festplatten in der Situation schaffen (vor allem, weil die größten 2,5ich 15mm Bauhöhe aktuell wohl 5TB mit SMR sind), andererseits ist es weitaus weniger als die 180-270MByte/s die große 3,5inch Festplatten (beispiel 20TB) in den äußeren (bis zu 50% der Kapazität) schaffen. (Aktuell teste ich eine neue ST20000NM007D, die bei 74% sequentiellem Beschreiben immer noch 187MByte/s schafft).

 

Und hier stelle ich die Annahme (aus eigenen Beweggründen) in den Raum: wenn man eine 8TB SATA SSD kauft, geht es einem wohl weniger um kurze schnelle Peaks (denn dann wäre eine 2TB NVMe weitaus sinnvoller), sondern eben genau die Features einer 8TB SSD zu dem Preis.

Es ist einfach als normales Hobbby in meinen Augen aktuell viel zu teuer diese Features in Kombination zu übertreffen.

 

Wenn man eine 8TB (oder größere) Festplatte verbauen kann und aus persönlicher Sicht nichts dagegen spricht; ja: sofort. Dann nehme ich auch lieber sofort etwas in der Bauform mit mehr Kapazität.

Aber die 8TB QVO haben ihre (in meinen Augen) hoch interessante Daseinsberechtigung in unraid.

Und da ich mir flottere 8TB NVMe SSD (etwas unter 1000 Euro) nicht leisten will und in der Bauraum für weitere 3,5inch Festplatten nicht wirklich vorhanden ist (und auch keine freien PCIe Lanes mehr) wird es wohl in Kürze noch eine 3te 8TB QVO bei mir werden. (Vor allem, wenn dei Preise noch weiter absacken *lechz* ).

 

[Mor9oth]

8 hours ago, mgutt said:

Hat leider QLC. Ansonsten sind in der Theorie alle NVMe sparsam:

Verdammt! Dachte, ich hab was Gutes gefunden. 😅

[Mor9oth]

8 hours ago, mgutt said:

Am effizientesten ist wohl SK Hynix, aber die sind selten im Angebot:

https://www.tomshardware.com/reviews/sk-hynix-platinum-p41-ssd-review/2

Wow, und das bei Gen4! Dachte, dass Gen3 effizienter ist ... Da wäre dann ja sogar 10 GB-Ethernet der Flaschenhals.

Vermutlich ist SK hynix Platinum P41 dann auch wegen PCIe Gen4 so viel teurer.

[Mor9oth]

8 hours ago, mgutt said:

Wobei ich selbst auch nach SSDs ab 4TB suche.

Vielleicht kommt ja Samsung endlich mal mit einer EVO Plus 4 TB ums Eck! Wäre wünschenswert. 

[Mor9oth]

8 hours ago, DataCollector said:

Ich möchte die 3 Punkte nur kommentieren und meine persönliche Meinung beitragen:

 

Ich sehe schon den Reiz einer 8TB SATA SSD (Samsung 870 QVO): allein schon, weil es sehr viel Platz in geringer Bauform und aktuell ziemlich preisgünstig ist. Ganz davon abgesehen, daß man dafür einen vielleicht noch vorhandenen SATA Anschluß nutzen udn keien PCIe Lane verwenden muß. Deswegen habe ich auch 2 davon und wenn der Preis weiter fällt mag ich auch erweitern (ich strebe ein Raid5 Verbund (oder genauer das Pendant unter zfs in unraid) an).

 

Allein vom Kostenfaktor gesehen hast Du vollkommen recht: Festplatte 8TB sind weitaus billiger als SSD 8TB. Leider aber auch größer & lauter.

 

Bei der Geschwindigkeit gibt es mehreres zu beachten: Die IOPS bei SSD (auch SATA) sind (etwas) besser/höher als bei Festplatten und die Peaktransfergeschwindigkeit schreibend in kurzen Zeiten auch. Aber gerade die (8TB) QVO haben da ein gemischtes Bild bei Dauerschreibtransfer. Kurze Peaks werden durch SLC und Verteilung gut abgefangen und sind schneller als eine Festplatte, aber im Dauertransfer schreibend sackt die dann doch auf rund 150-160MByte/s ab.

Das ist mehr als die größten 2,5inch Festplatten in der Situation schaffen (vor allem, weil die größten 2,5ich 15mm Bauhöhe aktuell wohl 5TB mit SMR sind), andererseits ist es weitaus weniger als die 180-270MByte/s die große 3,5inch Festplatten (beispiel 20TB) in den äußeren (bis zu 50% der Kapazität) schaffen. (Aktuell teste ich eine neue ST20000NM007D, die bei 74% sequentiellem Beschreiben immer noch 187MByte/s schafft).

 

Und hier stelle ich die Annahme (aus eigenen Beweggründen) in den Raum: wenn man eine 8TB SATA SSD kauft, geht es einem wohl weniger um kurze schnelle Peaks (denn dann wäre eine 2TB NVMe weitaus sinnvoller), sondern eben genau die Features einer 8TB SSD zu dem Preis.

Es ist einfach als normales Hobbby in meinen Augen aktuell viel zu teuer diese Features in Kombination zu übertreffen.

 

Wenn man eine 8TB (oder größere) Festplatte verbauen kann und aus persönlicher Sicht nichts dagegen spricht; ja: sofort. Dann nehme ich auch lieber sofort etwas in der Bauform mit mehr Kapazität.

Aber die 8TB QVO haben ihre (in meinen Augen) hoch interessante Daseinsberechtigung in unraid.

Und da ich mir flottere 8TB NVMe SSD (etwas unter 1000 Euro) nicht leisten will und in der Bauraum für weitere 3,5inch Festplatten nicht wirklich vorhanden ist (und auch keine freien PCIe Lanes mehr) wird es wohl in Kürze noch eine 3te 8TB QVO bei mir werden. (Vor allem, wenn dei Preise noch weiter absacken *lechz* ).

Hey, vielen lieben Dank @DataCollector für die ausführliche Darstellung! Auf jeden Fall gute Punkte! Das mit der absackenden Transferrate ist dann ja schon irgendwie ein "abturner". Wäre dann ja sogar unter der Transferrate einer schnellen HDD. Könnte man das aber nicht in einem SSD Array mit einem NVME Cache umgehen?

 

Darf ich fragen wie du die zwei 8 TB 870 QVOs nutzt? Also als Cache-Pool, unassigned devices, etc.

Eine Überlegung von mir war auch, dass ich eben schon ein HDD Array habe, dort aber eben wenige große HDDs verbaue, um die Media-Bibliothek versorgt zu haben. Dann aber noch parallel SSDs als Dokumenten-Speicherplatz der Nextcloud (sprich PC -> Cloud).

[DataCollector]

On 7/6/2023 at 10:52 AM, Mor9oth said:

Das mit der absackenden Transferrate ist dann ja schon irgendwie ein "abturner".

...

Wäre dann ja sogar unter der Transferrate einer schnellen HDD. Könnte man das aber nicht in einem SSD Array mit einem NVME Cache umgehen?

Zuerst: eigentlich sind alle billigen SSD mit einer absackenden Transferrate bei kontinuierlichem Schreiben gesegnet.

Die Frage ist eben nur ob man überhaupt soviel am Stück schreibt und wieviel Aufwand man in dem Fall für die Kompensation betreiben will.

 

In einem Array aus SATA SSD kann ein flottererNVME SSD Cache natürlich einiges Kompensieren.

Aber auch NVMe SSD haben dieses Geschwindigkeitsproblem.

Meine Tests mit den Kingstin Nv2 4TB NVME SSD (SNV2S4000G) ergab, daß die nach 72GB kontinuierlichem Schreiben auf einen fabrik neu geliefertzen Datentraeger ruckzu bei 1320GB/s abgesunken ist und bei ca. 1,5TB auf einmal mit 118MByte/s sogar langsamer als die Samsung 870QVO 8TB wurde.

Selbst die hier oft (und auch von mir) gelobten Samsung 970 Evo Plus 2TB sacken bei Dauerbeschreiben ein (auch wenn nicht so stark).

Deswegen habe ich mir zwischenzeitlich auch die dritte Adata Legend 960 (max) gekauft, die das Problem weniger stark zu haben scheint.

 

Aber ich bin dahingehend auch etwas extremer unterwegs. Einerseits langweilt sich mein Unraid die eine oder ander Woche komplett, andererseits will ich dann an einem Wochenende mal eben schnell 3,x TB an Daten schnell auf den Server bringen.

 

On 7/6/2023 at 10:52 AM, Mor9oth said:

Darf ich fragen wie du die zwei 8 TB 870 QVOs nutzt? Also als Cache-Pool, unassigned devices, etc.

Aktuell liegen sie noch neben dem System, weil ich mein 4x 2TB SATA SSD (Raid5 = 6TB Nutzkapazität) Konstrukt (Pool mit zfs) damit ersetzen will:

Zitat: "ich strebe ein Raid5 Verbund (oder genauer das Pendant unter zfs in unraid) an"

 

[Mor9oth]

18 hours ago, DataCollector said:

Zuerst: eigentlich sind alle billigen SSD mit einer absackenden Transferrate bei kontinuierlichem Schreiben gesegnet.

Die Frage ist eben nur ob man überhaupt soviel am Stück schreibt und wieviel Aufwand man in dem Fall für die Kompensation betreiben will.

 

In einem Array aus SATA SSD kann ein flottererNVME SSD Cache natürlich einiges Kompensieren.

Aber auch NVMe SSD haben dieses Geschwindigkeitsproblem.

Meine Tests mit den Kingstin Nv2 4TB NVME SSD (SNV2S4000G) ergab, daß die nach 72GB kontinuierlichem Schreiben auf einen fabrik neu geliefertzen Datentraeger ruckzu bei 1320GB/s abgesunken ist und bei ca. 1,5TB auf einmal mit 118MByte/s sogar langsamer als die Samsung 870QVO 8TB wurde.

Selbst die hier oft (und auch von mir) gelobten Samsung 970 Evo Plus 2TB sacken bei Dauerbeschreiben ein (auch wenn nicht so stark).

Deswegen habe ich mir zwischenzeitlich auch die dritte Adata Legend 960 (max) gekauft, die das Problem weniger stark zu haben scheint.

 

Aber ich bin dahingehend auch etwas extremer unterwegs. Einerseits langweilt sich mein Unraid die eine oder ander Woche komplett, andererseits will ich dann an einem Wochenende mal eben schnell 3,x TB an Daten schnell auf den Server bringen.

 

Aktuell liegen sie noch neben dem System, weil ich mein 4x 2TB SATA SSD (Raid5 = 6TB Nutzkapazität) Konstrukt (Pool mit zfs) damit ersetzen will:

Zitat: "ich strebe ein Raid5 Verbund (oder genauer das Pendant unter zfs in unraid) an"

 

Sehr interessanter Vergleich! Weißt du, wie es bei der ADATA Legend 960 mit dem Stromverbrauch und der Effizienz aussieht? 

Dein angestrebtes Raid5 Pendant geht dann aber nicht als Array, sondern nur als Pool, oder?

[DataCollector]

2 hours ago, Mor9oth said:

Weißt du, wie es bei der ADATA Legend 960 mit dem Stromverbrauch und der Effizienz aussieht? 

Dein angestrebtes Raid5 Pendant geht dann aber nicht als Array, sondern nur als Pool, oder?

AData Legend 960 Stromverbrauch: Nein, ich habe mich damit noch nicht beschäftigt.

 

Zu dem SATA SSD Konstrukt: ja, Pool, es ist jetzt ein Pool und es wird dann auch zukünftig ein Pool. Ich dachte ich hätte das mit "(Pool mit zfs)" klargestellt

[jj1987]

On 7/6/2023 at 1:25 AM, mgutt said:

Am effizientesten ist wohl SK Hynix, aber die sind selten im Angebot:

Jetzt im Primeday Angebot für 99,99 (2TB)

Der Vorgänger P31 Gold (Pcie3) für 86,93

[Mor9oth]

Was haltet ihr denn hiervon?

• 96 GB RAM
• 10 GBe
• 8 TB (2x 4 TB) M.2
• i7 127000T

11 Watt idle. Wobei man ja auch durch die modularen Elemente den Stromverbrauch noch optimieren könnte, indem man z.B. 10 GBe weglässt bzw. 2,5 GBe verbaut.  SATA für Storage könnte man ja ev. über ASM1166 ergänzen.

 

 

 

Edited July 20, 2023 by Mor9oth

[Mor9oth]

Mit dem 13700T wäre er vermutlich noch sparsamer. Scheint aber bisher kaum verfügbar.

 

 

[Mor9oth]

Bei dem Tiefpreis von 329,99 Euro habe ich mir nun 4-mal die 870 QVO 8 TB gegönnt. Dann kann es ja bald mit SSD-only starten. 😁

Jetzt müsste es nur noch ein vernünftiges W680 Board kaufbar geben 😏

 

 

[DataCollector]

7 hours ago, Mor9oth said:

Bei dem Tiefpreis von 329,99 Euro habe ich mir nun 4-mal die 870 QVO 8 TB gegönnt. Dann kann es ja bald mit SSD-only starten. 😁

 

Solltest Du Die SSDs ins Array hängen: ich weiß nicht, ob unraid im Array nun endlich TRIM korrekt beherrscht oder nicht.

Vielleicht einen Dummy USB Stick ins Array und die SSDs als Raid5 in einen Pool stecken.

 

Sowas werde ich machen. Habe mir jetzt auch eine der 8TB SSDs gekauft (soll Freitag geliefert werden) und dann habe ich wohl genug für einen großen zfs Pool zusammen (dann werden 4x2TB Raid5 gegen 3x 8TB Raid5 ausgetauscht).

Ist zwar dann nicht unbedingt flott (nach dem SLC Cache schreiben die einzeln nur so 150-160MByte/s, aber das passt bei mir (hoffentlich) schon (Wenn sich das im Raid5 addiert sollten rund 250-300 MByte/s machbar sein).

 

Edited July 25, 2023 by DataCollector
Typos und Ergänzungen

[Mor9oth]

4 hours ago, DataCollector said:

Solltest Du Die SSDs ins Array hängen: ich weiß nicht, ob unraid im Array nun endlich TRIM korrekt beherrscht oder nicht.

Vielleicht einen DUmmy USB Stick ins Array und die SSDs als RAid5 in einen Pool stecken.

 

(sowas werde uich machen. Habe mir jetzt auch eine der 8TB SSDs gekauft (soll Freitag geliefert werden) und dann ahbe ich wohl genug für einen großen zfs Pool zusammen (dann werden 4x2TB Raid5 gegen 3x 8TB Raid5 ausgetauscht. Ist zwar dann nicht unbedingt flott (nafch dem SLCV Cahe schreiben die einzeln nur so 150-160MByte/s, aber das passt bei mir (hoffentlich) schon.

 

Im Array wäre schon cool! Habe mich damit aber noch nicht beschäftigt, bzw. auch schon paar mal gelesen, dass es da Probleme mit dem TRIM gibt. 

Das mit dem Dummy USB-Stick verstehe ich leider nicht ... als pseudo Parität?

 

Raid5 bedeutet dann, dass du bei insgesamt 3 SSDs eine Parität hast und zwei nutzbar? Warum macht TRIM im ZFS Pool dann kein Problem?