Jump to content

Wie am schnellsten Dateien verschieden - selbe HDDs, anderes Verzeichnis?


undone
Go to solution Solved by alturismo,

Recommended Posts

Hallo,

ich habe eine große Menge an Dateien in einem Pfad (1) liegen, welche auf ein anderes Pfad (2) verschieben möchte.

Mit dem "move" command dauert das bis zu zwei Wochen, weshalb ich nach einer schnelleren Lösung suche.

 

 

Die Daten welche liegen aktuell hier (1):

/mnt/user/media/...

verschoben werden sollen die Daten hier her (2):

/mnt/user/data/media/...

In den "Shares" sind beide Verzeichnisse ohne Cache eingestellt, dieser hätte ca 500GB zur Verfügung.

Beim RAM könnte ich gute 32GB zur Verfügung stellen, sollte das etwas helfen. 

 

Mit dem "Dynamix File Manager" habe ich in den Shares den zu verschiebenden Ordner ausgewählt und via move angefangen die  Daten zu verschieben. Anfänglich erreichten die Platten Geschwindigkeiten von >200MB/s, doch zeigte sich nach wenigen Minuten schon das es auch mal bis in den KB/s Bereich abrutschen kann, was die anfänglichen ~8h um ein vielfaches erhöht.

 

 

Es würde mich freuen wenn jemand einen Tipp hat wodurch ich die Dauer verringern kann.

Link to comment
  • Solution
5 hours ago, undone said:

Es würde mich freuen wenn jemand einen Tipp hat wodurch ich die Dauer verringern kann.

wenn es auf der selben disk ist ...

 

cli oder krusader sollte das auch instant machen

 

cd /mnt/disk2
mkdir NEU
mv blabla/ NEU/

 

5 hours ago, undone said:
/mnt/user/media/...

 

ist allerdings auch ein share ... sprich, die Daten liegen da ggf. verstreut ? und mit 

 

5 hours ago, undone said:
/mnt/user/data/media/...

 

hast du dann den share data ...

 

hoffe das ist verständlich ... warum das so lange mit dem file manager dauert liegt daran dass dieser kopiert und danach löschen würde, sprich, kpl. Lesen/Schreiben ... dies nur als Info

  • Like 1
Link to comment
3 hours ago, alturismo said:

ist allerdings auch ein share ... sprich, die Daten liegen da ggf. verstreut ? und mit 

Genau, die Daten sind auf drei HDDs verstreut samt einer Parity.

3 hours ago, alturismo said:

wenn es auf der selben disk ist ...

 

cli oder krusader sollte das auch instant machen

Gibt es dazu eine gute Anleitung für Anfänger?

 

Auch wenn die Daten verstreut liegen, könnte ich doch einfach zum Beispiel disk1/media/ zu disk1/data/media/ "verschieben"?

 

Gibt es hinsichtlich der Partiy was zu beachten?

 

3 hours ago, alturismo said:

hoffe das ist verständlich ... warum das so lange mit dem file manager dauert liegt daran dass dieser kopiert und danach löschen würde, sprich, kpl. Lesen/Schreiben ... dies nur als Info

Das war mir bekannt. Hatte ja gehofft das Linux so schlau ist und einfach das Verzeichnis der Datei anpassen kann.

 

_______________

 

Ich habe mir das gerade nochmal genauer angeschaut, die Daten sind wie folgt verteilt:

/mnt/disk1/media/
/mnt/disk2/media/
/mnt/disk3/media/

Ich würde also auf allen Disks folgende Verzeichnisse erstellen:

/mnt/disk1/data/media/
/mnt/disk2/data/media/
/mnt/disk3/data/media/

Wenn ich nun über das webterminal den mv Befehl ausführe sollte das instant klappen (Alle Docker die darauf zugreifen beendet)?

mv /mnt/disk1/media/ /mnt/disk1/data/media/

 

Edited by undone
details
Link to comment
2 hours ago, undone said:

Ich würde also auf allen Disks folgende Verzeichnisse erstellen:

 

nur data, media wird ja hierher verschoben

 

2 hours ago, undone said:

Wenn ich nun über das webterminal den mv Befehl ausführe sollte das instant klappen (Alle Docker die darauf zugreifen beendet)?

 

yep, wenn du dir nicht ganz sicher bist, beende kurz den docker dienst ..

  • Like 1
Link to comment
On 5/7/2023 at 5:58 PM, alturismo said:

nur data, media wird ja hierher verschoben

mach natürlich sinn

 

Werde das mal in einer ruhigen Minute testen, danke dir.

 

EDIT
Es hat wie bei der Lösung beschrieben funktioniert, selbst tausende Dateien waren so binnen weniger Sekunden umbenannt. Danke nochmal.

Edited by undone
funktioniert
Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

×
×
  • Create New...