Daten auf unRaid Array aufspielen - langsam

[Fuxdom]

Hey Forum,

ich habe mir in den letzten Tagen ein unRaid NAS auf neuer Hardware aufgesetzt.

(Und bin völlig angefressen und begeistert)

Vor allem Dank der vielen guten Infos hier und dem entspannten/sachlichem Umgang der Gemeinde miteinander konnte ich als Newbee  schon einige Probleme bei Bau/Installation/Einrichtung lösen.

Jetzt läufts…und ich fange an mich mit VMs, Docker usw. zu beschäftigen (noch nie mit NAS, Linux…gearbeitet).

 

Augenblicklich schaffe ich meine vorhandenen Daten auf das Array – sind so um die 45 TB.

 

-die Platten sind (mounted) als unassigned Devices direkt am NAS angebunden

-Parity und Cache sind (erst mal) aus

-ich kopiere alles über den Krusader auf die 1. NAS Platte (will zb. Mediaordner auf Disk1, Eigene Dateien dann von der nächsten alten Platte auf Disk2 usw.)

-die Array Platten sind Seagate Exos 18TB (CMR)

-die alten Platten sind Seagate Skyhawk 8TB (SMR)

- beide direkt am Mainboard

- die sonstige Hardware: 8 Core Intel Rocket Lake und 32 GB Ram

 

Sollte also eigentlich „flott“ gehen.

Tatsächlich erreiche ich allerdings gerade mal um die 23-30 MB/s (read) und das kommt mir, gerade bei den großen Dateien ziemlich lahm vor. (wegen SMR?)

 

Wäre dankbar für eine Einschätzung und gegebenen Falls ein paar Tipps wie ich es besser machen kann

Edited September 30, 2021 by Fuxdom

[mgutt]

6 hours ago, Fuxdom said:

Tatsächlich erreiche ich allerdings gerade mal um die 23-30 MB/s (read

Kleinere Dateien?

 

6 hours ago, Fuxdom said:

wegen SMR?)

Bei Read irrelevant

 

6 hours ago, Fuxdom said:

Array Platten

Verschlüsselt?

 

6 hours ago, Fuxdom said:

alten Platten

NTFS?

[Fuxdom]

Quote

Kleinere Dateien?

Nein Serien, Kino

Quote

[SMR ]Bei Read irrelevant

Ja dachte ich auch - aber ich war mir nicht wirklich sicher und wusste sons nicht woran es liegen könnte.

Quote

Verschlüsselt? NTFS?

Nein, ja.

 

 /mnt/unassigned/media/xxxxx    --->  /mnt/disk1/xxxxx

(i installed/configured the unassigned Devices Plugin and Docker binhex krusader)       > aus dem entprechenem englischen Post

 

Ich vermute dass die einzelnen Dateien physisch an unterschiedlichen Stellen auf der unassignet HDD liegen, Krusader hat angefangen alles gleichzeitig zu kopieren. Das heißt der Lesekopf dar HDD musste ständig hin und her springen.

So ging das den ganzen Tag. Jetzt nach 15 Stunden wird nur noch ein Ordner mit ca. 200 media files (je ca. 2-4 GB) kopiert:

Ergebnis:

unassigned Disk read:  189 MB/s

Array Disk1 write  199MB/s

 

Zusätzlich denke ich dass der Krusader mit den vielen gleichzeitigen Prozessen überfordert war…(Bedienung wurde ziemlich zäh).

Und dann läuft das auch noch alles überwiegend auf nur einem (wechselnden) Kern.

Da zeigt sich dann ähnlich wie in dem YT Video (dass Du am 12 April verlinkt hast (Danke dafür - ist das von Dir?) in dem die Performance eines Xeons mit dem früheren Atom bezüglich der Single Thread Leistung verglichen wird, worauf man bei der Zusammenstellung der Hardware achten sollte…

Na ja, aber ich bin Anfänger und hatte vor 2 Wochen noch nie von unraid, XFS usw. gehört – was weis ich schon…

Edited September 30, 2021 by Fuxdom

[alturismo]

3 hours ago, Fuxdom said:

Zusätzlich denke ich dass der Krusader mit den vielen gleichzeitigen Prozessen überfordert war…

 

yep, wenn du mehrere Kopiervorgänge parallel gestartet hast dann wird das der Grund gewesen sein, ist übrigens egal auf welchem System ... auch Windows geht dann in die Knie

[MPC561]

Davon mal abgesehen mag Ich den Krusader gar nicht, der legt auch irgendwelche Temp Dateien/Verzeichnisse an. 
 

Keep it Small and Simple: Remote einloggen via SSH, Midnight Commander starten und kopieren. Der MC ist einfacher.