Moin Leute,

Hintergrund:

Ich bin vor kurzem von der Synology DS2116+ auf das Terramaster F8 SSD Plus mit UnRaid gewechselt.

Config:

7 der 8 NVME-Steckplätze sind belegt,

1 und 2 -> Raid 1 für Docker

3 bis 7 -> Array mit 2 Paritäten

Problem:

Ich musste das Array einmal fast komplett voll schreiben und jetzt habe ich das Problem, das zwischen zeitlich die Datenübertragung auf einen einstelligen MB Bereich fällt.

Frage:

Hat jemand eine Idee, wie ich die Geschwindigkeit wieder herstellen kann oder soll ich lieber das Array auf Raid 6 umbauen? Es soll auch noch möglich sein, den letzten Platz auch noch zu belegen.

LG

Cram

Was sind das für NVMe? Sind auch welche ohne DRAM dabei, dh die sind auf HMB angewiesen? Richtig "billige" Modelle, zb QLC ohne nennenswerte TLC Cache?

Denk dran, dass Trim / Garbage Collection bei dem Array nicht funktioniert. Man sollte also zumindest bei der Parität sehr hochwertige NVMe verwenden, die auch ohne Trim schnell bleiben.

Wie sind die NVMe von den Lanes her zur CPU angebunden?

Hast du Last auf dem RAID, wenn die Geschwindigkeit mies ist? Sind deren Lanes die gleichen wie die von Array?

Grundsätzlich hat das Array folgende Begrenzungen:

• Single Core CPU Berechnung der Parity, erlaubt je nach CPU aber immer noch 100 MB/s aufwärts (bei NVMe, genug freien Lanes und starker CPU auch 1000 MB/s aufwärts)

• Paralleles Lesen und Schreiben von einem Datenträger beim Schreiben von Daten, häufig bei der Parität (was verträgt die parallel, hat die exklusive Lanes, usw.)

• Wenn man zwei Parity hat, sollten die nicht auf den selben Lanes hängen bzw Parity sollte immer getrennt von allem anderen angebunden sein.

• Die langsamste, bei einem Transfer aktive, Disk/Parity beeinflusst die maximale Schreib-Rate

Bei SATA kann zb schon ein rsync von disk1 auf disk2 die komplette disk2 unbenutzbar machen, weil SATA kein paralleles Lesen/Schreiben mag. Bei NVMe ist das normalerweise deutlich weniger ein Problem, da dort JEDE Lane einen Kanal zum Lesen und einen zum Schreiben hat. Dh 4 Lanes pro NVMe erlauben 8 parallele Transfers.

Evtl kannst du mit dem Kommando schon mal herausfinden, welche der NVMe bei der Auslastung (Utilization) während dem Transfer voll ausgelastet sind:

iostat -xm -y 1 2 | awk '{print $1, $2, $3, $4, $5, $6, $7, $8, $9, $10, $11, $12, $13, $22, $23}' | grep -v "0.00$" | column -t

Und zu deiner Frage nach dem RAID:

Hier verteilt sich alles parallel auf alle Datenträger. Also selbst bei weniger Lanes, ist der Durchsatz deutlich höher als beim Array.

Moin,

entschuldigt erstmal die verspätete Reaktion, ich bin auf Geschäftsreise.

On 10/22/2025 at 4:38 PM, mgutt said:

Was sind das für NVMe? Sind auch welche ohne DRAM dabei, dh die sind auf HMB angewiesen? Richtig "billige" Modelle, zb QLC ohne nennenswerte TLC Cache?

Das sind 5 Crucial P3 Plus (CT4000P3PSSD801) https://www.techpowerup.com/ssd-specs/crucial-p3-plus-4-tb.d826

On 10/22/2025 at 4:38 PM, mgutt said:

Denk dran, dass Trim / Garbage Collection bei dem Array nicht funktioniert. Man sollte also zumindest bei der Parität sehr hochwertige NVMe verwenden, die auch ohne Trim schnell bleiben.

Das Trim beim Array nicht funktioniert, weiß ich mitlerweile auch schon.

On 10/22/2025 at 4:38 PM, mgutt said:

Wie sind die NVMe von den Lanes her zur CPU angebunden?

Die NVME sind auf Vorder- und Rückseite es Mainboard in einer Gruppe von 4 angeordnet, die Gruppen sind mit jeweils 4x Lanes an den Intel i3-N305 angebunden, also für jede NVME eine Lane.

Slot 1 und 2 ist mit zwei WD Black SN850x belegt und in einem Raid Verbund, der für Docker und Dokumente gedacht ist.

Slot 3 und 4 auf der Vorderseite und Slot 5, 6 und 7 auf der Rückseite sind mit den Crucial P3 Plus belegt und in einem Array, wobei Slot 3 und 4 die Paritäten sind.

On 10/22/2025 at 4:38 PM, mgutt said:

Hier verteilt sich alles parallel auf alle Datenträger. Also selbst bei weniger Lanes, ist der Durchsatz deutlich höher als beim Array.

Das wäre der Grund warum eine Umstellung auf Raid 6 eine mögliche Lösung wäre.

On 10/22/2025 at 4:38 PM, mgutt said:

Evtl kannst du mit dem Kommando schon mal herausfinden, welche der NVMe bei der Auslastung (Utilization) während dem Transfer voll ausgelastet sind:

iostat -xm -y 1 2 | awk '{print $1, $2, $3, $4, $5, $6, $7, $8, $9, $10, $11, $12, $13, $22, $23}' | grep -v "0.00$" | column -t

Habe ich mal gemacht, vielleicht sagen euch die Daten etwas:

Beim verschieben von 20GB innerhalb des Arrays -- kein Drop unter 60 MB/s

root@Homelab:~# iostat -xm -y 1 2 | awk '{print $1, $2, $3, $4, $5, $6, $7, $8, $9, $10, $11, $12, $13, $22, $23}' | grep -v "0.00$" | column -t

Linux 6.12.24-Unraid (Homelab) 10/27/2025 x8664_ (8 CPU)

avg-cpu: %user %nice %system %iowait %steal %idle

1.53 0.00 11.32 17.43 0.00 69.72

Device r/s rMB/s rrqm/s %rrqm r_await rareq-sz w/s wMB/s wrqm/s %wrqm w_await wareq-sz aqu-sz %util

nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 2.00 0.10 5.00 71.43 14.50 50.00 0.03 1.40

nvme1n1 7001.00 148.16 31810.00 81.96 7.63 21.67 1723.00 73.38 17189.00 90.89 3.24 43.61 58.98 87.50

nvme2n1 0.00 0.00 0.00 0.00 0.00 0.00 2.00 0.10 5.00 71.43 14.50 50.00 0.03 1.40

nvme3n1 728.00 74.38 19070.00 96.32 9.32 104.63 1700.00 73.38 17212.00 91.01 3.87 44.20 13.36 80.20

nvme4n1 739.00 77.38 19071.00 96.27 7.76 107.23 1665.00 73.63 17248.00 91.20 2.77 45.29 10.36 73.50

avg-cpu: %user %nice %system %iowait %steal %idle

2.55 0.00 11.59 20.64 0.00 65.22

Device r/s rMB/s rrqm/s %rrqm r_await rareq-sz w/s wMB/s wrqm/s %wrqm w_await wareq-sz aqu-sz %util

nvme1n1 8920.79 106.94 17775.25 66.58 12.42 12.28 2114.85 62.08 13735.64 86.66 7.05 30.06 125.71 82.28

nvme3n1 1221.78 63.22 14212.87 92.08 11.64 52.98 2020.79 62.02 13826.73 87.25 6.49 31.43 27.34 83.76

nvme4n1 1209.90 60.25 14212.87 92.16 7.01 50.99 2012.87 62.18 13843.56 87.31 2.75 31.63 14.02 73.07

root@Homelab:~# iostat -xm -y 1 2 | awk '{print $1, $2, $3, $4, $5, $6, $7, $8, $9, $10, $11, $12, $13, $22, $23}' | grep -v "0.00$" | column -t

Linux 6.12.24-Unraid (Homelab) 10/27/2025 x8664_ (8 CPU)

avg-cpu: %user %nice %system %iowait %steal %idle

1.40 0.00 10.47 17.62 0.00 70.50

Device r/s rMB/s rrqm/s %rrqm r_await rareq-sz w/s wMB/s wrqm/s %wrqm w_await wareq-sz aqu-sz %util

nvme1n1 9881.00 134.56 24708.00 71.43 10.25 13.94 1873.00 68.00 16139.00 89.60 3.06 37.17 106.97 91.20

nvme3n1 1069.00 71.63 16986.00 94.08 8.09 68.61 1852.00 70.91 16207.00 89.74 3.53 39.21 15.18 70.90

nvme4n1 1054.00 71.12 16989.00 94.16 7.84 69.10 1859.00 72.38 16247.00 89.73 4.28 39.87 16.21 69.00

avg-cpu: %user %nice %system %iowait %steal %idle

2.42 0.00 9.31 17.86 0.00 70.41

Device r/s rMB/s rrqm/s %rrqm r_await rareq-sz w/s wMB/s wrqm/s %wrqm w_await wareq-sz aqu-sz %util

loop0 2.00 0.05 0.00 0.00 1.00 28.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.20

nvme0n1 135.00 1.03 0.00 0.00 3.50 7.79 0.00 0.00 0.00 0.00 0.00 0.00 0.47 1.70

nvme1n1 9014.00 87.98 13600.00 60.14 14.82 9.99 2441.00 54.84 10992.00 81.83 21.77 23.00 186.70 93.10

nvme3n1 1215.00 51.41 12481.00 91.13 4.38 43.33 2356.00 52.88 11055.00 82.43 2.65 22.98 11.57 45.50

nvme4n1 1209.00 51.20 12486.00 91.17 12.06 43.37 2321.00 52.37 11085.00 82.69 6.80 23.10 30.36 74.10

sdb 2.00 0.02 0.00 0.00 1.00 10.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.20

Beim kopieren von 115GB innerhalb des Arrays -- Drop auf 5 MB/s

root@Homelab:~# iostat -xm -y 1 2 | awk '{print $1, $2, $3, $4, $5, $6, $7, $8, $9, $10, $11, $12, $13, $22, $23}' | grep -v "0.00$" | column -t

Linux 6.12.24-Unraid (Homelab) 10/27/2025 x8664_ (8 CPU)

avg-cpu: %user %nice %system %iowait %steal %idle

2.05 0.00 21.87 12.40 0.00 63.68

Device r/s rMB/s rrqm/s %rrqm r_await rareq-sz w/s wMB/s wrqm/s %wrqm w_await wareq-sz aqu-sz %util

nvme0n1 3.00 0.01 0.00 0.00 5.33 4.00 0.00 0.00 0.00 0.00 0.00 0.00 0.01 1.60

nvme1n1 1262.00 175.34 43641.00 97.19 5.26 142.27 1324.00 173.91 43265.00 97.03 2.90 134.50 10.48 68.20

nvme3n1 1261.00 175.34 43642.00 97.19 5.23 142.39 1304.00 173.91 43280.00 97.08 3.00 136.56 10.51 68.60

nvme4n1 1261.00 175.34 43642.00 97.19 5.23 142.39 1302.00 173.91 43289.00 97.08 2.95 136.77 10.44 68.10

nvme6n1 757.00 176.31 43692.00 98.30 10.64 238.50 0.00 0.00 0.00 0.00 0.00 0.00 8.05 89.70

avg-cpu: %user %nice %system %iowait %steal %idle

2.05 0.00 25.35 7.17 0.00 65.43

Device r/s rMB/s rrqm/s %rrqm r_await rareq-sz w/s wMB/s wrqm/s %wrqm w_await wareq-sz aqu-sz %util

nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 1.00 0.09 5.00 83.33 7.00 96.00 0.02 1.20

nvme1n1 1353.00 205.76 52123.00 97.47 6.20 155.73 1508.00 206.66 51327.00 97.15 3.67 140.33 13.92 79.40

nvme2n1 0.00 0.00 0.00 0.00 0.00 0.00 1.00 0.09 5.00 83.33 15.00 96.00 0.05 1.80

nvme3n1 1342.00 205.48 52125.00 97.49 6.33 156.79 1502.00 206.41 51338.00 97.16 3.82 140.72 14.24 80.30

nvme4n1 1341.00 205.23 52125.00 97.49 6.18 156.71 1488.00 206.66 51345.00 97.18 3.75 142.22 13.88 79.70

nvme6n1 982.00 224.45 56283.00 98.29 6.29 234.05 0.00 0.00 0.00 0.00 0.00 0.00 6.17 84.90

root@Homelab:~# iostat -xm -y 1 2 | awk '{print $1, $2, $3, $4, $5, $6, $7, $8, $9, $10, $11, $12, $13, $22, $23}' | grep -v "0.00$" | column -t

Linux 6.12.24-Unraid (Homelab) 10/27/2025 x8664_ (8 CPU)

avg-cpu: %user %nice %system %iowait %steal %idle

0.76 0.00 2.53 23.36 0.00 73.36

Device r/s rMB/s rrqm/s %rrqm r_await rareq-sz w/s wMB/s wrqm/s %wrqm w_await wareq-sz aqu-sz %util

nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 3.00 0.10 4.00 57.14 5.00 33.33 0.02 1.50

nvme1n1 440.00 11.48 2499.00 85.03 3.38 26.72 346.00 8.33 1787.00 83.78 1.03 24.65 1.85 31.70

nvme2n1 0.00 0.00 0.00 0.00 0.00 0.00 3.00 0.10 4.00 57.14 5.00 33.33 0.01 1.50

nvme3n1 438.00 11.46 2497.00 85.08 0.83 26.80 343.00 8.33 1790.00 83.92 0.94 24.86 0.69 9.10

nvme4n1 438.00 11.46 2497.00 85.08 30.11 26.80 419.00 12.07 1795.00 81.07 242.70 29.51 115.19 100.10

nvme6n1 47.00 8.02 2005.00 97.71 4.91 174.64 0.00 0.00 0.00 0.00 0.00 0.00 0.23 4.60

avg-cpu: %user %nice %system %iowait %steal %idle

1.64 0.00 3.41 26.39 0.00 68.56

Device r/s rMB/s rrqm/s %rrqm r_await rareq-sz w/s wMB/s wrqm/s %wrqm w_await wareq-sz aqu-sz %util

nvme1n1 58.00 12.11 3042.00 98.13 8.09 213.79 155.00 12.54 3056.00 95.17 2.45 82.86 0.85 13.90

nvme3n1 58.00 12.11 3042.00 98.13 7.36 213.79 155.00 12.54 3056.00 95.17 1.42 82.86 0.65 9.10

nvme4n1 58.00 12.11 3042.00 98.13 31.50 213.79 129.00 11.79 3079.00 95.98 34.55 93.61 6.28 99.90

nvme6n1 16.00 4.00 1008.00 98.44 5.00 256.00 0.00 0.00 0.00 0.00 0.00 0.00 0.08 2.00

root@Homelab:~# iostat -xm -y 1 2 | awk '{print $1, $2, $3, $4, $5, $6, $7, $8, $9, $10, $11, $12, $13, $22, $23}' | grep -v "0.00$" | column -t

Linux 6.12.24-Unraid (Homelab) 10/27/2025 x8664_ (8 CPU)

avg-cpu: %user %nice %system %iowait %steal %idle

2.65 0.00 6.19 25.54 0.00 65.61

Device r/s rMB/s rrqm/s %rrqm r_await rareq-sz w/s wMB/s wrqm/s %wrqm w_await wareq-sz aqu-sz %util

nvme1n1 46.53 9.46 2375.25 98.08 11.26 208.17 69.31 10.39 2709.90 97.51 2.93 153.49 0.73 10.20

nvme3n1 46.53 9.46 2375.25 98.08 11.30 208.17 69.31 10.39 2670.30 97.47 3.27 153.49 0.75 10.30

nvme4n1 47.52 9.71 2375.25 98.04 7.92 209.17 56.44 11.14 2732.67 97.98 59.79 202.11 3.75 98.81

nvme6n1 35.64 7.92 1992.08 98.24 4.39 227.56 0.00 0.00 0.00 0.00 0.00 0.00 0.16 4.36

avg-cpu: %user %nice %system %iowait %steal %idle

1.77 0.00 3.53 22.07 0.00 72.64

Device r/s rMB/s rrqm/s %rrqm r_await rareq-sz w/s wMB/s wrqm/s %wrqm w_await wareq-sz aqu-sz %util

nvme1n1 55.00 12.74 3207.00 98.31 8.47 237.24 66.00 12.79 3086.00 97.91 5.70 198.36 0.84 13.40

nvme3n1 55.00 12.74 3207.00 98.31 7.62 237.24 65.00 12.79 3127.00 97.96 5.22 201.42 0.76 14.00

nvme4n1 55.00 12.74 3207.00 98.31 9.15 237.24 52.00 12.17 3091.00 98.35 97.00 239.69 5.55 99.90

nvme6n1 35.00 8.02 2017.00 98.29 5.14 234.51 0.00 0.00 0.00 0.00 0.00 0.00 0.18 5.20

root@Homelab:~# iostat -xm -y 1 2 | awk '{print $1, $2, $3, $4, $5, $6, $7, $8, $9, $10, $11, $12, $13, $22, $23}' | grep -v "0.00$" | column -t

Linux 6.12.24-Unraid (Homelab) 10/27/2025 x8664_ (8 CPU)

avg-cpu: %user %nice %system %iowait %steal %idle

1.51 0.00 2.77 20.65 0.00 75.06

Device r/s rMB/s rrqm/s %rrqm r_await rareq-sz w/s wMB/s wrqm/s %wrqm w_await wareq-sz aqu-sz %util

nvme1n1 64.00 13.59 3415.00 98.16 9.06 217.44 69.00 12.42 3110.00 97.83 2.78 184.29 0.77 15.00

nvme3n1 64.00 13.59 3415.00 98.16 8.16 217.44 65.00 12.42 3114.00 97.96 2.78 195.63 0.70 16.20

nvme4n1 46.00 10.08 3415.00 98.67 8.00 224.35 57.00 12.38 3124.00 98.21 88.09 222.39 5.39 100.10

avg-cpu: %user %nice %system %iowait %steal %idle

1.64 0.00 4.55 29.71 0.00 64.10

Device r/s rMB/s rrqm/s %rrqm r_await rareq-sz w/s wMB/s wrqm/s %wrqm w_await wareq-sz aqu-sz %util

nvme0n1 0.00 0.00 0.00 0.00 0.00 0.00 3.00 0.13 7.00 70.00 9.67 45.33 0.03 1.50

nvme1n1 48.00 10.50 2640.00 98.21 5.60 224.00 66.00 11.98 3000.00 97.85 3.14 185.82 0.48 12.60

nvme2n1 0.00 0.00 0.00 0.00 0.00 0.00 3.00 0.13 7.00 70.00 0.33 45.33 0.00 0.10

nvme3n1 48.00 10.50 2640.00 98.21 4.79 224.00 66.00 11.98 3000.00 97.85 3.48 185.82 0.46 12.00

nvme4n1 66.00 14.01 2640.00 97.56 64.89 217.39 51.00 11.21 3010.00 98.33 79.61 225.10 8.34 100.10

nvme6n1 32.00 8.00 2016.00 98.44 5.91 256.00 0.00 0.00 0.00 0.00 0.00 0.00 0.19 5.40

nvme3n1 -> Parität

nvme4n1 -> Parität

nvme5n1 -> Array

nvme6n1 -> Array

nvme1n1 -> Array

Die hoffe die Infos und Daten helfen dir weiter.

4 hours ago, crammaster said:

Das sind 5 Crucial P3 Plus (CT4000P3PSSD801) https://www.techpowerup.com/ssd-specs/crucial-p3-plus-4-tb.d826

Crucial P3 (und auch die nur minimal veränderten P3 Pro) sind sowieso sehr enttäuschend, was die Dauerschreibfestigkeit angeht.

Damit, daß diese einmal komplett vollgeschrieben wurden wurde auch der SLC Cache Bereich "deaktiviert", da er sich an dem freien Speicher orientiert.

Ich geben zu, daß die erwähnte Geschwindigkeit im einstelligen MB Bereich schon sehr überraschend niedrig ist, aber mit den P3 (und auch den nicht wirklich veränderten P3 Pro) würde ich in der Situation nur wenig mehr erwarten.

Nachdem ich ein paar P3 bestellt und dann auch vereinzelte getestet hatte, wurden die von mir sofort per Widerruf zurückgegeben.

Billig: ja.

Für normale PC-Dektopverwendung: gut.

Im NAS mit ggf. hoher Schreiblast: nahezu unbrauchbar. Und das erlebst Du gerade, bei steigendem/hohen Füllstand und dem Wunsch viel Volumen schnell zu schreiben.

Im Array kannst Du minimal verbessern. wenn Du die Schreiblast auf alle SSDs verteilst, indem DU mit Most Free immer eine andere NVME SSD verwendest.

Im Pool mit einem Raid (0/5/6) verteilt man zwar die Schreiblast auch (aber anders), aber dadurch, daß eben alle immer benötigt werden um zu schreiben, erwarte ich da auch nur eine minimale Steigerung.

Ich hatte das auch beispielsweise schon mal hier geschrieben:

https://forums.unraid.net/topic/186797-ssds-f%C3%BCr-cache-bei-ugreen-dxp4800-plus/#findComment-1524969

https://forums.unraid.net/topic/173719-stromsparende-hardware-gesucht/page/2/#comment-1471641

und so weiter...

4 hours ago, crammaster said:

Die NVME sind auf Vorder- und Rückseite es Mainboard in einer Gruppe von 4 angeordnet, die Gruppen sind mit jeweils 4x Lanes an den Intel i3-N305 angebunden, also für jede NVME eine Lane.

1x PCIe 3.0 Lane ist für ca. 1GBit/s gut. Hier bremsen eben die Crucial P3 (pro) NVMe SSDs.

4 hours ago, crammaster said:

Slot 1 und 2 ist mit zwei WD Black SN850x belegt und in einem Raid Verbund, der für Docker und Dokumente gedacht ist.

Dort sollte sich normal schnell schreiben lassen.

4 hours ago, crammaster said:

Slot 3 und 4 auf der Vorderseite und Slot 5, 6 und 7 auf der Rückseite sind mit den Crucial P3 Plus belegt und in einem Array, wobei Slot 3 und 4 die Paritäten sind.

Unter hoher Schreiblast (= Parity) bremsen die Cruicial P3 (pro) massiv. das erlebst Du hier.

Wenn Du die Parity gegen bessere NVMe SSD austauschst (selbst gute SATA SSD schaffen das) wird das Array voraussichtlich zwischen 33 und 50% schneller schreiben (was aber bei den SSDs immer noch keine rasante Geschwindigkeit ist). Gleiches auch, wenn Du Parity mal entfernst.

4 hours ago, crammaster said:

Das wäre der Grund warum eine Umstellung auf Raid 6 eine mögliche Lösung wäre.

Es wäre Möglich, aber nur eine eher geringe Verbesserung unter den selben Bedingungen.

Solange auf den SSDs viel freier Platz ist oder wenn man nur wenig schreibt sind die halbwegs flott. Wenn man viel und voll schreibt, brechen die SDs auch ein, aber durch den Raid5/6 Modus wird es immer noch etwas mehr Schreibgeschwindigkeit sein, als bei dem Schreiben auf nur einen Datenträger (+ Parity) im Array.