Minion Posted November 13, 2022 Share Posted November 13, 2022 (edited) Ich baue gerade meinen ersten UNRAID Server auf und bin noch beim Erfahrungen sammeln mit der eingesezten Hardware (siehe Signatur). System ist noch im Test-Betrieb, alle Daten liegen noch auf einer Synology DS918+. Als einen meiner ersten Docker Container habe ich DiskSpeed installiert. Hierbei habe ich festgestellt, das beide verbauten WB RED SN700 1TB sehr langsam sind: Jeweils eine soll als Cache für Docker/VMs und Shares genutzt werden. Erstmal kein Weltuntergang, da alles nur über 1GBit Netzwerk laufen wird und auch die Anzahl an VMs/Docker überschaubar bleiben wird. Jedoch verwundert es mich, dass ich nur knapp über 1/3 der Lese- und SChreibgeschwindigkeit sehe, welche die WD NVME bringen sollen. Eine über PCIe Riser verbaute Samsung NVME schafft ~3GByte/s im System. Im BIOS sind beide NVMEs auch sauber erkannt. Also FS hatte ich zunächst btrfs verschlüsselt genutzt, aber auch ein Wechsel zu btfrs und xfs hat keine Änderung gebracht. Für Ideen zu einer möglichen Ursachen wäre ich dankbar. Hardware oder Software? Edited November 15, 2022 by Minion Quote Link to comment
mgutt Posted November 13, 2022 Share Posted November 13, 2022 Welches Board? Mal einen SSD Trim versucht? Gibt es für die NVMe ein Firmware Update? Quote Link to comment
hawihoney Posted November 13, 2022 Share Posted November 13, 2022 (edited) Wofür steht "250M". Sind das Meter? Dem Hover nach interpretiere ich MB/s. Stimmt das? Und an anderer Stelle werden 3 GBit/s gelobt - was wiederum ~ 375 MB/s entspricht. Edited November 13, 2022 by hawihoney Quote Link to comment
Minion Posted November 13, 2022 Author Share Posted November 13, 2022 (edited) @mgutt MB wie in Signatur: Gigabyte C246M-WU4 System ist vor 4 Tagen zusammengesteckt worden und aus den Speedtests quasi nichts geschrieben. NVMEs sind auch neu. Firmware beide 111130WD Ob dies die aktuelle ist, lässt sich aber so nicht googeln. Und für das WD Tool fehlt mir gerade das Windows Update 1: Trim gerade manuell durchgeführt. Leider keine Änderung danach. Update 2: Zu der SN750 (Black) finden sich bei der gleichen FW Berichte zu verlangsamtem Schreiben, wenn diese über den Chipsatz und nicht direkt am CPU angeschlossen sind. Wird jedoch von AMD Chipsätzen gesprochen. @hawihoney Genau, alles in Byte/s. Die Gbit oben sind in Gbyte gefixed. Edited November 13, 2022 by Minion Quote Link to comment
mgutt Posted November 14, 2022 Share Posted November 14, 2022 Die Ironwolf SSDs sind (oder waren zumindest mal) inkompatibel zu C246. Vielleicht liegt es ja wirklich daran. Installiere am besten mal Windows und teste dann noch mal. Danach Gigabyte und danach WD fragen. Quote Link to comment
Minion Posted November 14, 2022 Author Share Posted November 14, 2022 (edited) Windows ist installiert, aber keine neuen Erkenntnisse über das "fantastische" Dashboard. FW Update steht keines zur Verfügung. CrystalDiskInfo hmm, jetzt wird es interessant. CrystalDiskMark : Liegt demnach wohl nicht an der Hardware. Macht der Diskspeed Docker eventuell etwas nicht richtig?! muss ich mich mal in Alternative Speedtest unter unRAID einlesen. Update1: Kopieren von einer NVME zur anderen: Das deckt sich mit den Ergebnissen vom Diskspeed Docker. Edited November 14, 2022 by Minion Quote Link to comment
mgutt Posted November 14, 2022 Share Posted November 14, 2022 Mach mal das: dd if=/dev/zero of=/mnt/cache_shares/10GB.bin bs=128k iflag=count_bytes oflag=direct count=10G Und dann wieder lesen: dd if=/mnt/cache_shares/10GB.bin of=/dev/null bs=128k iflag=nocache oflag=nocache Quote Link to comment
Minion Posted November 14, 2022 Author Share Posted November 14, 2022 (edited) Das wäre jetzt zu gut Was dazwischen reicht mir doch schon. RAM scheint zu gehen Beim erstellen einer 100GB Datei 1,2-1,6 werden angezeigt Dann machen wir mal 100GB Hier nochmal mein 15GB RAR Edited November 14, 2022 by Minion Quote Link to comment
mgutt Posted November 14, 2022 Share Posted November 14, 2022 Damit sollte man auch beim Lesen den RAM Zugriff verhindern: dd if=/mnt/cache_shares/10GB.bin of=/dev/null bs=128k iflag=nocache oflag=nocache Das Problem ist, dass Linux nach dem ersten Lesen sonst nur noch aus dem RAM liest Mit einer sehr großen Datei umgehst du das teilweise, aber je nachdem reicht dann der SSD Cache nicht mehr und man hat wieder nicht das Ergebnis was man eigentlich haben wollte. Wobei man den RAM Cache auch temporär verkleinern kann: sysctl vm.dirty_ratio=1 Und nach dem Benchmark wieder auf normal: sysctl vm.dirty_ratio=20 Aber irgendwie hilft das auch nicht so recht, wenn die Daten nur aus Nullen bestehen. Hatte gerade 10GB/s ohne nocache flag ^^ Quote Link to comment
Minion Posted November 14, 2022 Author Share Posted November 14, 2022 (edited) Genau, daher auch das RAR Der Erste Durchlauf wäre ja eine Punktlandung. Eine der NVMEs mal aus dem Cache raus und als unassigned device testen? Update 1: Hilft auch nicht Update 2: Habe die NVMEs durchgewechseln, so das einer der SN700 in dem externen Riser im PCIx16 steckt. Diese ist nun mit ~2GB/s schneller - 1GB/s fehlt noch Die Samsung dafür nun langsamer Update 3: Gerade einmal ohne Plugins gebootet. Bringt leider auch keine Änderung: 1,5/1,6GB/s Edited November 14, 2022 by Minion Quote Link to comment
mgutt Posted November 15, 2022 Share Posted November 15, 2022 12 hours ago, Minion said: Bringt leider auch keine Änderung: 1,5/1,6GB/s Limitiert der Chipsatz nicht grundsätzlich? Bei SATA ist das jedenfalls so. Da bekommt man auch nicht mehr mit 8 Buchsen, selbst wenn alles SSDs sind. Quote Link to comment
Minion Posted November 15, 2022 Author Share Posted November 15, 2022 (edited) Unter Windows geht es ja... Und es ist nur ein microATX Board, da sind doch mehr als genug PCI-Lanes frei, zumal in den Slots aktuell nichts steckt. Ich kann ja auch auf beiden NVMEs parallel testen, dann sind es auch jeweils ~1,5GB/s. Hast du in deinem MB keine NVME verbaut? Wundert mich auch, dass es sonst noch keiner beobachtet hat, das MB war/ist ja wohl recht beliebt. Deinen Beitrag zu SATA habe ich auch schon gelesen, aber ist das nicht gerade der Witz an NVME, das die immer direkt über PCI-Lanes angeschlossen sind? Edited November 15, 2022 by Minion Quote Link to comment
mgutt Posted November 15, 2022 Share Posted November 15, 2022 23 minutes ago, Minion said: Deinen Beitrag zu SATA habe ich auch schon gelesen, aber ist das nicht gerade der Witz an NVME, das die immer direkt über PCI-Lanes angeschlossen sind? PCIe ja, aber nicht an der CPU, sondern am PCIe Switch des Chipsatzes, der selbst nur mit ~4 GB/s angebunden ist. Die neuen Chipsätze sind schneller angebunden. Also auch in Windows geht es von einer Chipsatz NVMe zur anderen Chipsatz NVMe nicht mit Maximum. Quote Link to comment
Minion Posted November 15, 2022 Author Share Posted November 15, 2022 (edited) Damit hätte ich jetzt nicht gerechnet… Ich werde das in Windows heute Abend einmal testen. Das lässt mir jetzt keine Ruhe. Hast du zu dem Thema der internen Anbindung eine offizielle Doku gesehen? Aus dem Manual geht sowas nicht hervor. Edited November 15, 2022 by Minion Quote Link to comment
hawihoney Posted November 15, 2022 Share Posted November 15, 2022 25 minutes ago, Minion said: Hast du zu dem Thema der internen Anbindung eine offizielle Doku gesehen? Was bedeutet SATA Mode in dem Zusammenhang? Quote Link to comment
Minion Posted November 15, 2022 Author Share Posted November 15, 2022 (edited) In den oberen m.2 kann man auch eine SSD mit SATA Anschluss einbauen. Es ist häufig so, dass diese Doppelnutzung möglich ist. die Abbildung ist mir natürlich auch geläufig. Es stellt sich gerade die Frage, ob die 2x Gen3 x4 intern irgendwo durch einen „Flaschenhals“ laufen und somit begrenzt sind. Edited November 15, 2022 by Minion Quote Link to comment
hawihoney Posted November 15, 2022 Share Posted November 15, 2022 (edited) 11 minutes ago, Minion said: In den oberen m.2 kann man auch eine SSD mit SATA Anschluss einbauen. Ist SATA Slot 1 belegt (die Zählung beginnt bei 0)? Edited November 15, 2022 by hawihoney Quote Link to comment
jj1987 Posted November 15, 2022 Share Posted November 15, 2022 7 minutes ago, Minion said: Es stellt sich gerade die Frage, ob die 2x Gen3 x4 intern irgendwo durch einen „Flaschenhals“ laufen und somit begrenzt sind. Ere obere m2 slot ist direkt an die CPU angebunden und somit "unlimitiert" Der untere läuft über den Chipsatz, der seinerseits nur mit x4 an die CPU angebunden ist und der ggfs noch USB, Netzwerk (LAN2) etc bereitstellt. Da kann eventuell ein Flaschenhals entstehen Quote Link to comment
Minion Posted November 15, 2022 Author Share Posted November 15, 2022 (edited) Vielen Dank für den guten Input! Ich werde heute Abend mal aufmalen, wie aktuell alles angeschlossen ist und auch beide NVMEs unter Windows testen. Aktuell sehe ich ja an beiden NVME unter UNRAID Max. 1,6GB/s. Egal ob parallel oder einzeln getestet. USB ist nur der OS Stick dran. LAN Max die Verbindung zum GUI. Netzwerkshares und Co läuft noch nichts. Würde also auch an dem geteilten unteren MVME mehr erwarten. SATA 0 ist aktuell mit einer 12TB WD belegt. Dort wird aber auch nicht dauerhaft drauf geschrieben und wenn mit Max 0,25 GB/s, stecke ich heute Abend auch mal um. Update 1: Beide NVME unter Windows. Alle anderen Geräte - SATA, USB sind belegt wie zuvor auch. Einzeln: Testlauf gleichzeitig: 16GB Datei von NVME zu NVME kopiert (beide Richtungen): Demnach laufen wohl eher beide NVMEs über den selben Flaschenhals Komisch ist nur, dass ich unter UNRAID nie über 1,6GB/s komme Update 2: Eine m.2 SSD in M2A deaktiviert übrigens SATA Port 1 Update 3: EIne Schematic für die Anbindung von CPU und Chip ist leider nirgends zu finden. 24 PCI-Lines soll der C246 haben. 16+4+4 würde also grundsätzlich passen. Dafür das es jetzt aber so aussieht, als ob sich beide NVMEs einmal 4x PCIe teilen. Ist schon ne komische Nummer. Aus Manual/technischen Daten geht dies nicht hervor und es wird immer von PCIe Gen3 4x für jeden m.2 gesprochen. Update 4: Ich habe dann mal eine Anfrage bei Gigabyte eröffnet. Edited November 15, 2022 by Minion Quote Link to comment
mgutt Posted November 17, 2022 Share Posted November 17, 2022 On 11/15/2022 at 10:49 AM, Minion said: Eine m.2 SSD in M2A deaktiviert übrigens SATA Port 1 Nein, nur eine M.2 SATA SSD. Die wird ja wohl hoffentlich keiner kaufen On 11/15/2022 at 10:49 AM, Minion said: als ob sich beide NVMEs einmal 4x PCIe teilen. Ist schon ne komische Nummer. Ich hatte doch geschrieben, dass der Chipsatz mit X4 angebunden ist und dass die NVMe wiederrum am Chipsatz hängen. Intel nennt das DMI: https://en.wikipedia.org/wiki/Direct_Media_Interface Ab den 6xx Chipsätzen ist es dann PCIe 4.0 und dadurch 8 GB/s total. On 11/15/2022 at 10:49 AM, Minion said: Komisch ist nur, dass ich unter UNRAID nie über 1,6GB/s komme Das ist das einzige Problem, was du hast. Ich vermute, dass dd nicht genug parallele Zugriffe generiert, um das Maximum aus der NVMe rauszuholen. Auf die Art erreiche ich 2.2 GB/s: # SSD trimmen fstrim /mnt/cache # ram cache auf 100MB reduzieren sysctl vm.dirty_bytes=100000000 # Zufallsdatei im RAM erstellen (sehr langsam) dd if=/dev/random of=/tmp/10GB.bin bs=128k iflag=count_bytes count=10G # Datei von RAM auf SSD kopieren dd if=/tmp/10GB.bin of=/mnt/cache/10GB.bin bs=1M # Dateien löschen rm /mnt/cache/10GB.bin /tmp/10GB.bin # RAM Cache wieder auf 20% stellen sysctl vm.dirty_ratio=20 Quote Link to comment
mgutt Posted November 17, 2022 Share Posted November 17, 2022 Wobei ich so, also mit 8 parallen rsyncs auch wieder nur 8x 200 MB/s, also 1.6 GB/s erreiche: for i in {1..8}; do rsync --progress /tmp/10GB.bin /mnt/cache/10GB$i.bin & done 🤷 Vielleicht sollten wir mal mit Ubuntu booten und da die selben Befehle ausführen. Vielleicht ja doch ein Treiberproblem von Unraid. Quote Link to comment
Minion Posted November 17, 2022 Author Share Posted November 17, 2022 (edited) 1 hour ago, mgutt said: Nein, nur eine M.2 SATA SSD. Die wird ja wohl hoffentlich keiner kaufen Etwas unglücklich ausgedrückt SSD = SATA meinte ich. 1 hour ago, mgutt said: Ich hatte doch geschrieben, dass der Chipsatz mit X4 angebunden ist und dass die NVMe wiederrum am Chipsatz hängen. Intel nennt das DMI: https://en.wikipedia.org/wiki/Direct_Media_Interface Ab den 6xx Chipsätzen ist es dann PCIe 4.0 und dadurch 8 GB/s total. Es gibt leider keine Schematics direkt von Gigabyte. Es finden sich jedoch welche von anderen Systemen und die Anbindung zwischen Chipsatz und CPU muss ja überall gleich sein. Wie du auch schon schreibst: DMI 3.0, released in August 2015, allows the 8 GT/s transfer rate per lane, for a total of four lanes https://en.wikipedia.org/wiki/Direct_Media_Interface We know that a PCIe 3.0 1x can handle up to 8GT/s (985 MB/s), so, in an x8 format (8 lanes), it can handle up to 64 GT/s (7880 MB/s) per card. https://paolozaino.wordpress.com/2013/05/21/converting-gts-to-gbps/ Ok, da kommen dann die ~4GB/s her Warum den CPU–PCH link mit nur knapp 4 GB/s designed ist schon krass, selbst für 2018. Schau mal in die Schematic von dem Supermicro Board. Dort ist z.b. der PCIe 1x an PCHPE3 P8 anschlossen. Jeweils 4 dieser Ports versorgen dort die m.2 Anschlüsse. Würde nach der Logic ja zu PCIe 4x passen Insgesamt sind 24 ports gelistet. Ok, die Ports sind nur innerhalb vom Chipsatz... zur CPU hin es dann langsam... Für den NAS-Betrieb, insbesondere an 1GB Ethernet-Anschlüssen jetzt kein Weltuntergang, es wurmt mich aber trotzdem Vorallem, das man die 4GB/s nicht wirklich ausgereizt bekommt. Ganz schöne Augenwischerei bei der Spezifikation und Werbung für diese Boards! Das ist ja fast so, als ob man ein Auto mit 200 km/h Spitze bewirbt, wenn es dann aber mit 4 Reifen fährt nur max 50km/h erreicht! Sind ja 50km/h pro Reifen, also in Summe 200km/h 🤣 Werde damit dann erstmal leben Wieder was dazu gelernt! 1 hour ago, mgutt said: Wobei ich so, also mit 8 parallen rsyncs auch wieder nur 8x 200 MB/s, also 1.6 GB/s erreiche: Es ist auch beruhigend, dass du grundsätzlich zum selben Test-Ergebnis kommst. Quote We already covered that the PCIe x16 slots have 16 PCIe 3.0 lanes to use among the two of them. Beyond this, the PCIe 3.0 x4, both M.2, and U.2 slots all share PCIe lanes as described above. That means that using both M.2 slots limits your use of the U.2 and PCIe x4 slot. This array of opportunity gets its PCIe 3.0 lanes from the Intel C246 PCH. That means that the lanes have an additional DMI 8GT/s hop to reach the CPU. https://www.servethehome.com/supermicro-x11sca-f-review-for-intel-xeon-e-2100-and-core-i3-8300/2/ Edited November 17, 2022 by Minion Quote Link to comment
mgutt Posted November 17, 2022 Share Posted November 17, 2022 33 minutes ago, Minion said: Warum den CPU–PCH link mit nur knapp 4 GB/s designed ist schon krass, selbst für 2018. Bereits beide Lan-Anschlüsse nutzen die Bandbreite zur Hälfte, mal ganz abgesehen von den ganzen USB 3.0, weiteren PCIe Ports und die 8x SATA Anschlüsse. Jo, AMD hatte deutlich früher als Intel auf PCIe 4.0 beim Chipsatz gesetzt und könnte so früher 8GB/s. Bei den ganz aktuellen CPUs hat man neben 2x X8 nun auch noch 1x X4 für eine NVMe. Dadurch also quasi 4 Lanes mehr. Aus dem Grund haben viele aktuelle Boards 3x M.2 (zwei davon dann über den Chipsatz). 33 minutes ago, Minion said: Ganz schöne Augenwischerei bei der Spezifikation und Werbung für diese Boards! Jo. Viele ATX Boards haben sogar Shared Slots. Zb PCIe X4 ist nicht mehr nutzbar, wenn ein bestimmter M.2 Slot belegt wird. Das war früher ganz "normal" und haben die wenigsten bemerkt, weil sie selten mehr als eine dGPU verbaut haben. Fand ich damals aber auch ziemlich frech. Wie gesagt heute aber zum Glück kein Thema mehr. Der Chipsatz erlaubt jetzt scheinbar auch eine deutlich umfangreichere Aufteilung. Die ganz neuen AMD Doppel-Chipsätze sogar noch viel mehr. Hilft uns nur jetzt natürlich nicht beim Heimserverbau. Auch bin ich noch nicht so sicher, wie es mit PCIe 5.0 und Doppel-Chipsatz in Sachen Stromverbrauch so werden soll. Hier das Blockdiagramm vom Z690: https://forums.unraid.net/topic/130299-intel-kann-wieder-effizient-i5-13400-i5-13600-i5-13600k/?do=findComment&comment=1186003 Und hier ein gutes Beispiel warum selbst beim X670E dank zu vieler USB 3 Buchsen, nicht mal 8x SATA ohne weiteres möglich ist: 1 Quote Link to comment
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.