Hallo,
ich hatte vor einiger Zeit mein Unraid NAS mit meinem PC direkt über 5GBit verbunden.
Der Realtek USB Adapter steckt im 5GBit USB Port, daher max. ~3,4GBit/s.

Mit Iperf3 kann ich ohne Ende laufen lassen und erhalte meine ~3,4GBit/s konstant.
Per SMB vom NAS lesen geht auch konstant mit 370-400MB/s - mehr will ich ja gar nicht.

Aber wenn ich schreibe sinkt die Datenrate nach etwa 8GB runter auf 1-1,2GBit/s und bleibt dort konstant.

Also direkt auf Unraid eine 30GB Datei erstellt:

dd if=/dev/zero of=/mnt/disk1/testfile bs=1G count=30 oflag=direct status=progress

32212254720 bytes (32 GB, 30 GiB) copied, 35 s, 915 MB/s

=> Dort schreibt er konstant mit über 7GBit/s - also liegt es nicht an der SSD oder CPU würde ich vermuten.

Im Unraid ist bloß eine Evo Plus 970 2TB als Array verbaut, xfs, kein Paritätsdatenträger.

Hardware:
Lenovo ThinkCentre M720Q mit i5-8400T und 32GB Ram.
SSD wird kaum 50°C warm und CPU 50-55°C bei Last.

Jemand eine Idee was hier drosselt oder was ich noch testen könnte ?

Edited August 24, 2025Aug 24 by Avenga

On 8/24/2025 at 9:42 PM, Avenga said:

Jemand eine Idee was hier drosselt oder was ich noch testen könnte ?

schwer, du hast vernünftig getestet ...

der "drop" deutet ja stark auf 1G hin (~113 MB/s), daher würde ich am ehesten die USB Karte in Betracht ziehen ...

SLC cache der nvme wären zwar 8 GB, aber das schätze ich jetzt nicht da die performance für ne ~ 3.5G Verbindung bequem reicht, was du auch beim write Test gesehen hast, solltest nur bei mehreren Tests auch vm dirty immer leeren, aber wie erwähnt, das wird es nicht sein.

sieht stark nach drop auf 1G aus (Netzwerk)

"EVO Plus"... tscha... da hast Du deine Amsel, äääh Drossel. :-)

Diese billigen SSDs haben nur eine sehr überschaubare Menge SLC Cache (schnell), danach geht es dann direkt in den lahmen QLC Speicher über.

Und da Du immer weiterschreibst, schafft er es auch nie den Cache wieder freizukriegen (bis die Datei fertig ist).

Wenn Du bessere Schreibraten haben willst, musst Du auf Platten mit Dauerschreibfähigkeit achten (Bei den Tests in der CT wird das mit angeführt, die Hersteller sagen es Dir nie).

Aber wenn es bei Samsung bleiben soll, musst Du zur "PRO" Serie greifen.

(Selbst da gibt es nach (mehr) MB kurze Einbrüche, die erholen sich aber recht schnell und es geht flott weiter, aber in zyklischen Wellen)

Bei den Plattenbewerbungsdaten werden immer nur die maximale Schreib- und Leserate angegeben, man verrät Dir nicht, WIE LANG (wie viel) die Platte das durchhält. Bei den billigen meist nur wenige MB (Sekunden). Hinzu kommt, dass NVMe SSD bei Überhitzung die Raten zusätzlich dramatisch drosseln.

(deshalb immer genau die Tests lesen und auf "sustained writes" achten)

Edited August 26, 2025Aug 26 by MAM59

1 hour ago, MAM59 said:

"EVO Plus"... tscha... da hast Du deine Amsel, äääh Drossel. :-)

Die Samsung 970 Evo Plus schafft problemlos schreibend mehr als den hier benannten Wert (113).

Die ist für eine Drosselung auf nru 113MBit/s bestimmt nicht verantwortlich.

Ich habe davon einige in Benutzung und selbst nach dem Füllen des SLC sind sie sequentiell schreibend mindestens oberhalb 600MByte/s.

Screenshots unten.

1 hour ago, MAM59 said:

Diese billigen SSDs haben nur eine sehr überschaubare Menge SLC Cache (schnell), danach geht es dann direkt in den lahmen QLC Speicher über.

Und da Du immer weiterschreibst, schafft er es auch nie den Cache wieder freizukriegen (bis die Datei fertig ist).

Samsung 970 Evo Plus hat kein QLC Speicher

https://geizhals.de/samsung-ssd-970-evo-plus-2tb-mz-v7s2t0bw-a1972736.html

Speichermodule: 3D-NAND TLC, Samsung, 96 Layer (V-NAND v5)

1 hour ago, MAM59 said:

Wenn Du bessere Schreibraten haben willst, musst Du auf Platten mit Dauerschreibfähigkeit achten

Meine Samsung 970 Evo Plus 2TB schaffen Dauerschreibend meist >1000MByte/s.

Wenn sie kurzzeitig einbrechen, dann sind es immer noch 600MByte/s.

Screenshots unten.

Edited August 26, 2025Aug 26 by DataCollector

Zitat CT:

"Die hohen Werte beim Schreiben erreicht Samsung über einen SLC-Cache, der bei der 1-TByte-Version 42 GByte groß ist. Ist dieser voll, sinkt die Geschwindigkeit auf 1,7 GByte/s. In der Praxis wird man davon jedoch nur in speziellen Anwendungsfällen etwas bemerken, etwa beim Kopieren großer Datenmengen. Die von Samsung aufgerufenen Preise liegen zwischen den Straßenpreisen der 970 Evo und der 970 Pro. Sollten sie etwas sinken, kann Samsung die Evo-Modelle ausmustern – aber auch der Kauf einer 970 Pro lohnt sich nur noch in wenigen Fällen."

Genau diese "speziellen Anwendungsfälle" hat er ja hier...

(Mag sein, dass die 2Tb Version mehr Cache hat, aber glaube ich nicht wirklich. Also sind nach etwa 42Gb immer Einbrüche zu erwarten)

(Quelle: https://www.heise.de/tests/Samsung-970-Evo-Plus-Zwischen-Evo-und-Pro-aber-besser-4283375.html)

Nachtrag: bei der 2Tb Version kann der Cache "bis zu 80Gb" groß sein. Seine Datei sollte also locker weggeschnupft werden können, der Singvogel liegt also woanders.

Edited August 26, 2025Aug 26 by MAM59

1 hour ago, MAM59 said:

Zitat CT:

"Die hohen Werte beim Schreiben erreicht Samsung über einen SLC-Cache, der bei der 1-TByte-Version 42 GByte groß ist. Ist dieser voll, sinkt die Geschwindigkeit auf 1,7 GByte/s.

und 1,7GByte/s sorgen dafür, daß nur noch mit 133MByte/s geschrieben wird?

Das ist mehr als 15 mal so schnell.

Du hast verstanden, dass diese 1,7TB erreicht werden, wenn der SLC voll ist? Also das ist der niedrige Wert und immer noch xx-fach so schnell, wie von Avenga gemesseen.

1 hour ago, MAM59 said:

In der Praxis wird man davon jedoch nur in speziellen Anwendungsfällen etwas bemerken, etwa beim Kopieren großer Datenmengen.

Die dann ja immer noch mit den 1,7GByte/s laufen.

Bei mir laufen die auch nach dem SLC Cache bereich immer noch > 1GByte/s.

Avenga hat aber 113MByte/s.

1 hour ago, MAM59 said:

Genau diese "speziellen Anwendungsfälle" hat er ja hier...

Schreiben einer sequentiell übertragenen Datei ist weder speziell, noch für diese Art von SSD (Samsung 970 Evo Plus) ein Problem.

Diese Datenmenge mit jeweils 12 Byte grossen Dateien wäre ein Problem wegen der Anzahl, aber das ist ja hier nicht der Fall.

1 hour ago, MAM59 said:

(Mag sein, dass die 2Tb Version mehr Cache hat, aber glaube ich nicht wirklich. Also sind nach etwa 42Gb immer Einbrüche zu erwarten)

Erstens haben Avenga und ich die 2TB Variante und um die geht es hier bei der Prpblemsuche

und zweitens: Lies nochmal, was Du aus der CT zitiert hast: außerhalb des SLC schafft die dort immer noch 1,7GByte/s. Im Bereich des SLC liegt die noch höher.

Die Schreibgeschwindigket der Samsung 970 Evo Plus liegt beiweitem oberhalb dessen, was Avenga hier geschrieben hat.

1 hour ago, MAM59 said:

(Quelle: https://www.heise.de/tests/Samsung-970-Evo-Plus-Zwischen-Evo-und-Pro-aber-besser-4283375.html)

Und wo hast Du dann die Aussage mit dem Quad (QLC) Speichermodulen her?

Zitat aus dem Link: "Samsung verwendet sein etabliertes 3D-NAND mit 64 Lagen in TLC-Bauweise und einen gegenüber der 970 Evo verbesserten Phoenix-Controller"

Die 970 Evo Plus ist also besser als die normale 970 Evo.

Weiteres Zitat: "Beim Lesen sequenzieller Daten liegt die 970 Evo Plus mit 3,5 GByte/s auf dem Niveau der 970 Evo, aber beim Schreiben drehen die neuen SSDs noch einmal gewaltig auf: Bis zu 3,3 GByte/s verspricht Samsung, im Test konnten wir bei beiden Modellen sogar fast 3,5 GByte/s messen (970 Evo: 2,9 GByte/s). Auch bei den IOPS übertreffen die neuen SSDs die alten: Beim Schreiben erreicht das 1-TByte-Modell über 650.000 IOPS – neuer Rekord für eine mit vier PCIe-Lanes angebundene SSD..."

Die 970 Evo Plus schafft also sogar Rekordwerte (wenn man bedenkt, dass es eine PCIE 3.0 SSD ist).

Und jetzt der Teil, den Du auch zitiert hast: "SLC-Cache... Ist dieser voll, sinkt die Geschwindigkeit auf 1,7 GByte/s."

1700MByte/s : 113MByte/s = 15,0442.... faches von dem, was Avenga gemessen hat.

1 hour ago, MAM59 said:

Nachtrag: bei der 2Tb Version kann der Cache "bis zu 80Gb" groß sein. Seine Datei sollte also locker weggeschnupft werden können, der Singvogel liegt also woanders.

Und selbst außerhalb des SLC-Caches sind 113MByte/s lächerlich wenig für diese SSD.

Edited August 26, 2025Aug 26 by DataCollector
Typos und kleine ERgänzungen

@MAM59 ich hatte auch gedanklich auch kurz den SLC im verdacht, aber bei der "kleinen" Menge und der "langsamen" Zufuhr ...

er schreibt ja mit max ~ 350 - 400 MB/s rüber, mehr ist es ja nicht ... und da die 133 MB/s sehr sehr nach 1 Gbit/s aussehen, tippe ich stark auf die USB NIC ...

ps. auch ich habe ne 970 evo hier und die ist echt flott und beständig, daher tippe ich da nicht wirklich drauf ....

wenn der jetzt mit 10G ++ da schieben würde ... ja, da könnte ggf. intern was bremsen, aber bei der lächerlichen Rate eher nicht, meiner Meinung nach.

@DataCollector kann ich auch nur bestätigen, 970 evo ist Top

Ich glaube nicht, dass es die Evo ist, sieht nach Rückfall auf 1Gb der Netzwerkkarte aus. Bitte mal von „auto“ auf fest im Switch und im Server umstellen. Sind noch andere Netzwerk ports in Unraid aktiv?

Edited September 4, 2025Sep 4 by b52

Es ist eine direkt Verbindung, andersrum also beim Lesen gibt es keinerlei Einbrüche.

Gestern wieder getestet, da sank es dann auf etwa 150-200MB/s, also nicht genau 1GBit.

Wenn es nicht so viel Arbeit wäre, würde ich sie mal im PC testen.

Hier eine 60GB Datei:

Die SSD zeigt mir mit einem Sensor 62°C an -> drosseln auf 1,2GBit?

Netzwerkkarte kann ich ausschließen, da es nach der Hälfte der Übertragung noch mal einen Peak gibt.

Außerdem sind 1,2GBit > 1,0GBit.

Echt ärgerlich, kann ich die 5GBit Karten entsorgen.

7 hours ago, Avenga said:

Außerdem sind 1,2GBit > 1,0GBit.

das ist so nicht ganz richtig ;) daher tippe ich ja auch Netzwerk Thema, wo oder warum auch immer ...

da es sehr auffällig nah am 1G Limit ist

ich kann es nicht kontrollieren, nur ergibt es Sinn dass beim Lesen die Datenrate nie nicht abfällt über die Netzwerkkarte? Ausschließlich beim Schreiben?

An Fuse kann es nicht liegen ?

1. /mnt/user/...

   • ist der FUSE-Layer („User Shares“).

   • Vorteile: du kannst über mehrere Disks hinweg einen Share sehen, Unraid entscheidet dann, wo die Daten landen.

   • Nachteile: zusätzlicher Overhead → langsamer, gerade bei vielen kleinen Dateien oder hohen IOPS.

2. /mnt/disk1/..., /mnt/cache/... usw.

   • ist der direkte Zugriff auf die physische Disk.

   • Vorteil: keine FUSE-Verzögerung, direkter Speed der SSD/HDD.

23 hours ago, Avenga said:

An Fuse kann es nicht liegen ?

du siehst ja wann FUSE eine Auswirkung hat, bei einem single transfer ... normal nicht, aber ...

teste es doch einfach aus, nutze /mnt/cache/... anstelle /mnt/user/... oder wie auch immer der nvme ssd pool heißt.

wie kriege ich denn /mnt/disk1 explizit über SMB ?

24 minutes ago, Avenga said:

wie kriege ich denn /mnt/disk1 explizit über SMB ?

Shares | Unraid Docs

A key feature of Unraid is the management of shares. Shares are folders or drives on your Unraid server that can be accessed over a network. You can create as many shares as you want on your Unraid se

ich wollte nun folgendes probieren: meine SSD statt als Array als Cache Pool einbinden.

dafür muss sie zwangsweise formatiert werden durch Unraid richtig ?

ich kann Unraid ohne Array nutzen richtig ?

Meine VMs / Docker kann ich am besten per USB Laufwerk sichern (ext4) und nacher zurück spielen, da über WebUI -> Windows die Dateirechte futsch sind, richtig ?

Zur Erinnerung: ich habe nur eine SSD im Unraid.

5 hours ago, Avenga said:

dafür muss sie zwangsweise formatiert werden durch Unraid richtig ?

Nein

5 hours ago, Avenga said:

ich kann Unraid ohne Array nutzen richtig ?

Seit v7, ja

5 hours ago, Avenga said:

Meine VMs / Docker kann ich am besten per USB Laufwerk sichern (ext4) und nacher zurück spielen, da über WebUI -> Windows die Dateirechte futsch sind, richtig ?

Auch OK, auch xfs OK

Davon ab, du hast dir schon den Link durchgelesen ... ?

Dann braucht es das alles nicht, aber OK.

Ich hab ihn gelesen, nicht verstanden, auf DE übersetzt, immer noch nicht verstanden. Kannst du mir das in 3 Sätzen erklären was mir das sagen soll?

3 hours ago, Avenga said:

Ich hab ihn gelesen, nicht verstanden, auf DE übersetzt, immer noch nicht verstanden. Kannst du mir das in 3 Sätzen erklären was mir das sagen soll?

das die disk/s direkt als Share verfügbar sind ohne Umweg über FUSE ... muss man nur aktivieren, global und die disk halt ... wie da beschrieben ...

Bsp., erstmal generell aktivieren

dann in den Shares unten die disk anklicken und export freigeben

dann hast du per smb Direktzugriff auf die disk ohne FUSE

ACHTUNG, NICHT innerhalb von /mnt/user/... auf /mnt/disk1/... kopieren, verschieben, .... wenn man nicht GENAU weiß was man macht, daher ist die auch per default OFF, aber für den Test ohne FUSE wäre das die einfachste Lösung jetzt.

Zu der anderen Frage, du kannst beispielsweise auch aus der array disk simpel eine pool disk machen ... aber egal, du fragst ja hier, in CB, ... such dir eine passende Antwort raus, oder lies mal die docs, oder die Hilfe wenn man per mouse over klickt (siehe ersten screen).

ich lege mich immernoch fest, es ist nicht FUSE, aber ich drück dir die Daumen ;)

DANKE!

du hattest Recht, es bricht immer noch genauso ein.

Als nächstes werde ich mal eine 2TB 860Evo (Sata) in den Lenovo bauen, die NVMe raus, dazu einen anderen USB Stick mit einer Trial Unraid und dann bloß mal testen ob es genau das Gleiche ist.

Vorteil: alles bleibt vollständig unberührt

Habe von der NVMe -> externen SSD kopiert = 600-1000MB/s.

danach zurück:

exakt das gleiche, bricht nach paar GB ein, somit kann ich die LAN Karten endgültig ausschließen.

Ich beobachte dieses Verhalten seit unraid 7.0

Meine 10GBit-Verbindung überträgt (anfangs) nur sehr lahme 300-400MB/s - wenn das File nur wenige GB hat, dann kommt das nicht in die Puschen.

Allerdings passiert das nicht immer - nur von Zeit zu Zeit - und immer nur dann, wenn ich von Win 11 auf den unraid Server kopiere - niemals in der anderen Richtung...

Wenn das File aber sehr groß ist - sagen wir 20-30GB - dann fängt es zuerst langsam an und steigert sich ab ca. der Hälfte der Filegröße dann langsam bis der Tranfer bei ca. 75% dann den vollen Speed von ca. 1180MB/s erreicht.

Das liegt am unraid... warum auch immer... da wurde "irgendetwas" verändert und seitdem ist das so.

Edited September 13, 2025Sep 13 by Zonediver

Habe heute morgen erst mal das Bios geupdated und dann einen Trial USB Stick gebaut.

NVMe raus, SATA 860 Evo 2TB rein => frisches Unraid mit SSD als Cache mit btrfs.

=> keine Einbrüche mehr.

Werde nun noch testen ob es am Bios Update lag und dann vermutlich umziehen.

edit: lag nicht am Bios Update

Oder ich hole mir ein neues ThinkCentre mit 2x NVMe als ZFS Raid.

Edited September 14, 2025Sep 14 by Avenga

On 8/26/2025 at 7:33 AM, MAM59 said:

"EVO Plus"... tscha... da hast Du deine Amsel, äääh Drossel. :-)

Diese billigen SSDs haben nur eine sehr überschaubare Menge SLC Cache (schnell), danach geht es dann direkt in den lahmen QLC Speicher über.

Und da Du immer weiterschreibst, schafft er es auch nie den Cache wieder freizukriegen (bis die Datei fertig ist).

so läuft sie in meinem PC übrigens (65GB Datei), etwas mehr als 125MB/s würde ich sagen 🫡

habe die beiden getauscht: win win

PC: statt 530MB/s nun 2,5GB/s

NAS: statt 113MB/s nun 400MB/s

👍

Edited September 15, 2025Sep 15 by Avenga

Habe ein neues NAS gebaut (C246M) und am 10GBit USB Port erreicht der Realtek 5GBit NIC nun:

👍