July 25, 20232 yr 53 minutes ago, Mor9oth said: Das mit dem Dummy USB-Stick verstehe ich leider nicht ... als pseudo Parität? Ne als pseudo Array. UNRAID benötigt zwingend ein Array. Will man das nicht muss man halt "irgendwas" ins Array packen um dann nur mit dem Cache/Pool zu arbeiten
July 25, 20232 yr 12 hours ago, Mor9oth said: Im Array wäre schon cool! Habe mich damit aber noch nicht beschäftigt, bzw. auch schon paar mal gelesen, dass es da Probleme mit dem TRIM gibt. Das mit dem Dummy USB-Stick verstehe ich leider nicht ... als pseudo Parität? Raid5 bedeutet dann, dass du bei insgesamt 3 SSDs eine Parität hast und zwei nutzbar? Warum macht TRIM im ZFS Pool dann kein Problem? Dummy USB Stick: Dieser Stick ist dann das gesamte Array und wird nicht benutzt. Weil unraid ohne ein Array eben (aktuell) nicht funktioniert. Alles spielt sich auf den SSD im Pool ab. Nachteil bei Benutzung laufen alle 3 SSD an, aber da SSD ein etwas ausgeklügelteres Powermanagement als Festplatten haben, schlucken die Idle weitaus weniger Strom, als eine nachdrehende Festplatte. Deshalb sind SSD im Pool in der Regel auch beim Anlaufen aller Datenträger immer noch ziemlich sinnvoll. Alle SSDs als zfs Raid5 zusammenfassen: ja, bei 3 gleich großen SSD bedeutet es, das die Kapazität einer der SSD für die Parität benutzt wird und die Nutzkapazität dann eben nur noch 2 der SSD groß ist. 3x 8TB in zfs (Raid5 artigem) Pool: ca. 16TB Nutzkapazitär und wenn eine der SSD ausfällt fängt die dritte das mit ab. Edited July 26, 20232 yr by DataCollector Typo
July 25, 20232 yr Author 5 hours ago, jj1987 said: Ne als pseudo Array. UNRAID benötigt zwingend ein Array. Will man das nicht muss man halt "irgendwas" ins Array packen um dann nur mit dem Cache/Pool zu arbeiten 5 hours ago, DataCollector said: Weil unraid ohne ein Array eben (aktuell) nicht funktioniert. Ah, jetzt macht das Sinn. Danke euch zwei!
July 25, 20232 yr Author 5 hours ago, DataCollector said: Alle SSDs als zfs Raid5 zusammenfassen: ja, bei 3 gleich großen SSD bedeutet es, das die Kapazität einer der SSD für die Parität benutzt wird und die Nutzkapazität dann eben nur noch 2 der SSD groß ist. 3x 8TB in zfs (Raid5 artigem) Pool: ca. 16TB Nutzkapazitär und wenn eine der SSD ausfällt fängt die dritte das mit ab. Bei 4 SSDs mit je 8 TB, wie in meinem Fall, sind es laut RAIDZ Calculator dann 24 nutzbare TB und ebenfalls eine 8 TB Parität. https://raidz-calculator.com/default.aspx
July 25, 20232 yr Author Die SSDs sind da 😍 Der alte Server ist auch verkauft. Jetzt kann es losgehen mit dem neuen Server. Jetzt brauche ich "nur" noch ein kleineres W680 Mainboard, um starten zu können. Das scheint das größte Problem überhaupt zu sein. Leider ja nur ASRock Rack mit zwar vielen interessanten Boards auf der Website, allerdings kaum was zum Verkauf. Bei den Preisen und der seltenen Listung frage ich mich langsam auch, ob die extrem geringe Stückzahlen produzieren. Echt frustrierend. Das W680D4ID-2T scheint nach bald einem Jahr immer noch nirgends verfügbar zu sein und die X550 Variante kostet fast 800 Euro! 😑
July 25, 20232 yr Author Vielleicht dann das: W680D4U-2L2T/G5. Zu den 760 Euro würden dann noch OCuLink-Kabel hinzukommen, wenn man mehr als 4 SATA möchte. Zudem nur einmal M.2. Geht OCULink zu M.2? Aber auch dann wieder ein Kabel.
July 25, 20232 yr Author An das W680D4ID-2T/G5/X550 denke ich aufgrund der Situation auch schon - wobei mir da halt X550 bzgl. C-States Sorgen bereitet.
July 26, 20232 yr 5 hours ago, Mor9oth said: Bei 4 SSDs mit je 8 TB, wie in meinem Fall, sind es laut RAIDZ Calculator dann 24 nutzbare TB und ebenfalls eine 8 TB Parität. https://raidz-calculator.com/default.aspx Ich frage mich immer wieder warum es diesen Calculator gibt. Bei 4 gleich großen Disks (8TB) und single Parity (=1Diskkapazität für Sicherungsdaten abziehen) bleiben eben 3 Disks für Nutzkapazität übrig. 3x8 = 24. Das Raidz1 (also Single Parity) ist von der Kapazität her vergleichbar mit Raid5 und bei Raid5 ist es ebenfalls so, daß die Kapazität eines Datenträgers (Single Parity) eben für die Ausfallsicherheit bei drauf geht. Genauso, wie bei zfs mit gleich großen Disks im Raid6 vergleichbaren Modus "double Parity" eben die Kapazität von 2 Datenrträgern benutzt wird und nur der Rest als Nutzkapazität zur Verfügung steht. Wenn man gleich große Disks bei sowas wie "tripple Parity" verwendet fällt eben die Kapazität von 3 Disks weg. Leichte Toleranzen durch Filesystem und so sollten dennoch anfallen, weshalb alles nur "ca." Angaben sind. Und wenn man unteschiedlich große Disks kombiniert wird es schon etwas komplizierter.
July 26, 20232 yr Im RAID würden die SSDs durchgehend laufen. Das ist kontraproduktiv für den Stromverbrauch. Ich würde mit der Situation ohne TRIM leben. Ich denke damit würde es eh erst Nachteile geben, wenn man die über 90% belegt. Wobei man beim Array ja normalerweise die niedrigere Geschwindigkeit kennt und die QVO drosseln beim dauerhaften Schreiben ja eh schon auf 160 MB/s.
July 26, 20232 yr Author 3 hours ago, mgutt said: Im RAID würden die SSDs durchgehend laufen. Das ist kontraproduktiv für den Stromverbrauch. Ich würde mit der Situation ohne TRIM leben. Ich denke damit würde es eh erst Nachteile geben, wenn man die über 90% belegt. Wobei man beim Array ja normalerweise die niedrigere Geschwindigkeit kennt und die QVO drosseln beim dauerhaften Schreiben ja eh schon auf 160 MB/s. Danke dir! Ich probiere, das denke ich tatsächlich mit dem neuen Server aus. Habe mir gestern spontan noch das ASRock W680D4U-2L2T/G5 gekauft und werde das mal austesten. Nicht meine erste Wahl, ein Versuch ist es denke ich Wert. Viel Auswahl bei kleineren W680 Boards gibt es ja eh (leider) nicht. Vielleicht gibt das W680D4U-2L2T/G5 ja eine grobe Richtung, wohin das W680D4ID-2T bzgl. Verbrauch und ASPM-Fähigkeit gehen wird. Vielleicht tausche ich es ja dann mit dem Deep Mini-ITX aus, sollte das jemals in den Verkauf gehen.
July 26, 20232 yr Author So sieht meine Auswahl in der Zwischenzeit aus: MB: W680D4U-2L2T/G5 ev. Tausch zu W680D4ID-2T CPU: Intel i7-13700T RAM: 2x Kingston 32 GB 4800MT/s DDR5 ECC (KSM48E40BD8KM-32HM) SSD: 4 x 8 TB 870 QVO (SSD-Only Array) Cache: 4 TB M.2 PSU: Corsair RM550x (2021) Fans: Noctua Redux PWM 1300 Case bin ich mir noch unsicher. Wenn das Define 7 dann vermutlich mit passiver CPU-Kühlung: Noctua NH-P1. Vielleicht aber auch eher ein kleineres Case, dann natürlich ein kleinerer CPU-Kühler. Edited July 27, 20232 yr by Mor9oth
July 29, 20232 yr On 7/26/2023 at 3:17 PM, mgutt said: Im RAID würden die SSDs durchgehend laufen. Ich würde mit der Situation ohne TRIM leben. So, ich habe heute meinen Pool aus 3x 8TB Samsung 870 QVO zusammengebaut (und dafür den Pool aus 4x2TB SSD zfs (raid5) entfernt). Und ich möchte mit einem Bild belegen, daß die SSDs wohl auch im zfs (raid5 ähnlichen) Verbund bei 'nicht Benutzung' sehr wohl schlafen. Genau so, wie ich wollte. Natürlich wachen sie alle 3 auf, denn mit dem Pool schreibendes etwas passiert, dafür habe ich aber auch dann fast 2x160MByte/s Schreibgeschwindigkeit wenn der SLC Cache ausgereizt ist. Genau das strebte ich an: Viel+schneller Speicherplatz, der auf Dauer flotter als meine Festplatten ist und nach der Arbeit sich (genau wie Arrayfestplatten) nach der eingestellten Zeit schlafen legt. Wie ich aber bei meinem zfs Festplattenpool (raid0 ähnliche Einstellung) schon feststellte und auch hier akzeptiere: zfs scheint ab und zu Wartungsarbeiten durchzuführen, wofür dann einzelne oder alle Datenträger auch ohne Zugriff mal zwischenzeitlich aufgeweckt werden. Edited July 29, 20232 yr by DataCollector Screenshot beschnitten
July 30, 20232 yr Author 23 hours ago, DataCollector said: Und ich möchte mit einem Bild belegen, daß die SSDs wohl auch im zfs (raid5 ähnlichen) Verbund bei 'nicht Benutzung' sehr wohl schlafen. Vielen Dank für die interessanten Informationen! Wie ist es hier aber mit Trim? Im Array wäre es ja ev. problematisch und daher der einzige negative Aspekt.
July 30, 20232 yr 6 minutes ago, Mor9oth said: Vielen Dank für die interessanten Informationen! Wie ist es hier aber mit Trim? Im Array wäre es ja ev. problematisch und daher der einzige negative Aspekt. Ich gehe mal davon aus, daß der Eintrag "Autotrim" in den Pooleinstellungen beachtet wird.
July 30, 20232 yr Author On 7/6/2023 at 1:25 AM, mgutt said: Am effizientesten ist wohl SK Hynix, aber die sind selten im Angebot: https://www.tomshardware.com/reviews/sk-hynix-platinum-p41-ssd-review/2 Bei Geizhals finde ich nur ein Angebot über Amazon von SK Hynix selbst. Während die Evo schon für deutlich unter 100 € für 2 TB zu haben war, liegt die SK Hynix bei 130 €. Da bringt dann auch die Effizienz nichts mehr. Wobei ich selbst auch nach SSDs ab 4TB suche. Ableitend wären dann ja die WD_Black SN850 sowie die SK hynix Gold P31 ebenfalls noch sehr effizient. Die WD_Black SN850 mit "X" gibt es auch als 4 TB. Ist es denn aus Stromsparsicht ein Vorteil auf PCIE 3.0 statt 4.0 zu setzen?
July 30, 20232 yr Author 9 minutes ago, DataCollector said: Ich gehe mal davon aus, daß der Eintrag "Autotrim" in den Pooleinstellungen beachtet wird. Danke! Da war ich wohl noch nie drin 🙈
July 30, 20232 yr 6 minutes ago, Mor9oth said: Ist es denn aus Stromsparsicht ein Vorteil auf PCIE 3.0 statt 4.0 zu setzen? Ja, denn aktive PCIe 4.0 Lanes benötigen doppelt so viel Strom. Das würde sich lohnen, wenn man doppelt so schnell die Daten verarbeiten würde, aber gerade bei einem NAS kommt man ja selten an das Limit der NVMe um die Zeiträume zu reduzieren, wo die Lanes aktiv sind. Soll heißen, egal ob PCIe 3.0, 4.0 oder 5.0, die NVMe ist überall quasi gleich lange aktiv, verbraucht dann aber je nach Version mehr Strom. Siehe auch: https://www.anandtech.com/show/16087/the-samsung-980-pro-pcie-4-ssd-review/8 Also sogar eine PCIe 4.0 NVMe ist mit 3.0 sparsamer, eben weil PCIe abwärtskompatibel ist. Ich halte das übrigens für gelogen, dass NVMe ohne DRAM sparsamer sind. Man misst nämlich nur den Verbrauch der NVMe. Dass die Nutzung des HMB aber durch den Rest des Boards ganz sicher auch Strom verbraucht, wird einfach ausgeblendet. Und ich bezweifle, dass die "lange Leitung" zum RAM, der außerhalb der NVMe liegt, weniger Strom verbraucht als RAM, der direkt am NVMe Controller hängt.
July 30, 20232 yr 19 minutes ago, Mor9oth said: Ist es denn aus Stromsparsicht ein Vorteil auf PCIE 3.0 statt 4.0 zu setzen? Sehr allgemein gesprochen (denn es mag Ausnahmen geben) ist das wohl so. Irgendwo war auch letztens mal in einem Artikel getestet worden, da wurde per UEFI einfahc der Slot auf pcie3 begrenzt und der Stromverbrauch (im Idle wohlgemerkt!) ist deutlich gesunken. Ich meine bei Golem?!
July 30, 20232 yr Author Spricht was abgesehen vom Preis gegen die? Western Digital WD_BLACK SN750 NVMe SSD 4TB, M.2 -> 142 Euro / TB https://geizhals.de/western-digital-wd-black-sn750-nvme-ssd-4tb-wds400t3x0c-00sjg0-dbrpg0040bnc-wrsn-a2473936.html?hloc=at&hloc=de Mushkin Element NVMe SSD 4TB, M.2 -> wäre deutlich günstiger 78 Euro / TB https://geizhals.de/mushkin-element-nvme-ssd-4tb-mknssdev4tb-d8-a2849955.html?hloc=at&hloc=de
July 30, 20232 yr 2 minutes ago, Mor9oth said: Western Digital WD_BLACK SN750 NVMe SSD 4TB, M.2 -> 142 Euro / TB Die hat hier schon "erfolgreich" Probleme bereitet, es müssen niedrigere Stromsparmodi deaktiviert werden damit die vernünftig läuft.
July 30, 20232 yr Author Das bestellt Board W680D4U-2L2T/G5 kann eh nur PCIe 3.0. daher habe ich mal so gefiltert: https://geizhals.de/?cat=hdssd&sort=-r&xf=252_3840~4643_SLC-Cache~4836_7~7127_30.04 Habe dann mal eben Platz 2 (bzw. eine Generation drunter) aus der Liste (Tom's Hardware von mgutt verlinkt) mit einer günstigen aus dem Filter-Ergebnis versucht zu vergleichen. Edited July 30, 20232 yr by Mor9oth
July 30, 20232 yr Author 17 minutes ago, mgutt said: Ja, denn aktive PCIe 4.0 Lanes benötigen doppelt so viel Strom. Das würde sich lohnen, wenn man doppelt so schnell die Daten verarbeiten würde, aber gerade bei einem NAS kommt man ja selten an das Limit der NVMe um die Zeiträume zu reduzieren, wo die Lanes aktiv sind. Soll heißen, egal ob PCIe 3.0, 4.0 oder 5.0, die NVMe ist überall quasi gleich lange aktiv, verbraucht dann aber je nach Version mehr Strom. Siehe auch: https://www.anandtech.com/show/16087/the-samsung-980-pro-pcie-4-ssd-review/8 Also sogar eine PCIe 4.0 NVMe ist mit 3.0 sparsamer, eben weil PCIe abwärtskompatibel ist. Ich halte das übrigens für gelogen, dass NVMe ohne DRAM sparsamer sind. Man misst nämlich nur den Verbrauch der NVMe. Dass die Nutzung des HMB aber durch den Rest des Boards ganz sicher auch Strom verbraucht, wird einfach ausgeblendet. Und ich bezweifle, dass die "lange Leitung" zum RAM, der außerhalb der NVMe liegt, weniger Strom verbraucht als RAM, der direkt am NVMe Controller hängt. Wow, sehr detailreich! Vielen Dank!
July 30, 20232 yr Author 21 minutes ago, mgutt said: Ja, denn aktive PCIe 4.0 Lanes benötigen doppelt so viel Strom. Da ist ja auch wieder SK hynix bei PCIe 3.0 ganz vorne. Vielleicht muss ich dann halt auf 4 TB verzichten und einfach die SK hynix Gold P31 mit "nur" 2 TB nehmen. Allerdings wäre dann unter 100 Euro schon gut.
July 30, 20232 yr On 6/29/2023 at 10:21 PM, jj1987 said: Gerade diese Serie ist leider als nicht so optimal bekannt. Die geht selbst nicht in Stromsparmodi Hast du dazu was näheres? Ich hatte vorher zwei Transcend PCIe M.2 SSDs drinne, die ca 5W mehr machten, als zwei SN700 sorry für den off-topic
July 30, 20232 yr 2 minutes ago, sonic6 said: Hast du dazu was näheres Ua (es gab noch mehr Threads):
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.