Kopieren sehr langsam... / intern


Go to solution Solved by cz13,

Recommended Posts

Hallo zusammen, 

 

ich habe seit ca 1 Woche einen Server mit Unraid laufen (bin also ganz neu) und gerade noch in der Lernphase :)

ich hatte vorher eine Syno DS918+ am laufen wovon ich die Daten jetzt auf den Server kopieren möchte. Ich habe vom DS alle Daten auf eine Externe festplatte kopiert, dann die DS Platten umgebaut und Unraid aufgestzt. 

Verbaut sind 4x8tb Ironwolf (Pro und Exos) und eine WD Red NVME für den Cache. 

Ich habe jetzt die Parity platte noch nicht synchroniseren lassen, da ich erstmal alle Daten rüber spielen wollte und genau hier kommen wir zum Problem. Ich hatte die Externe erst per USB 3.1 direkt angeschlossen und inzwischen ist sie intern verbau. 

Übertragung sieht ungefähr so aus....

 

image.png.2e8871502347e035908e88e77f2888fa.png

 

Wenn man den Kopiervorgang startet steht da etwas von 215mb/sec und alles ist gut. es dauert aber nicht lange und es geht direkt wieder runter. Egal ob ich direkt aufs Array kopiere oder mit Cache dazwischen.... Egal ob große Dateien (Images) oder kleine Dateien.

 

Ziehe ich aber im Gegenzug was vom Server, bin ich stabil bei >100mb/sec....

 

Ich hoffe jemand hat eine Idee und kann mir einen Tip geben.

 

Grüße

Nils

 

 

 

Edited by Nils83
Link to comment

Kannst du mal einen Screenshot vom Main Tab machen? 

Und auch beschreiben wie du kopierst. Über die GUI?

Du könntest mal testen über das Terminal zu kopieren oder mit mc (MidnightCommander) im Terminal.

50 minutes ago, Nils83 said:

Wenn man den Kopiervorgang startet steht da etwas von 215mb/sec

Das ist bei Linux normal, da zuerst in den RAM geschrieben wird.

Link to comment
Posted (edited)

Hier ist die Übersicht:

image.thumb.png.75d02288d82d87934e3352047b0025ab.png

 

also kopiert habe ich so.

- unten Backup geklickt

- alle Ordner ausgewählt die kopiert werden sollen

- dann auf kopieren nach mnt/User/daten. so heißt die Freigabe. 

Edited by Nils83
Link to comment
  • Solution
37 minutes ago, Nils83 said:

dann auf kopieren nach mnt/User/daten. so heißt die Freigabe. 

Ok, also über die GUI. Hier evtl. Mal die anderen Varianten testen.

3 hours ago, Nils83 said:

Parity platte noch nicht synchroniseren lassen

Aber die Parity HDD ist bereits im Array und wir auch beschrieben siehe deinen Screenshot.

Und das „bremst“ natürlich auch. Im Screenshot waren es um die 66MB/s die geschrieben werden.

 

Link to comment
4 hours ago, Nils83 said:

Ich habe jetzt die Parity platte noch nicht synchroniseren lassen

 

In Deinem Screenshot synchronisiert die Parity aber. Das solltest Du pausieren/abbrechen, wenn Du zum jetzigen Zeitpunk nicht willst daß die Deinen Kopiervorgang bremst.

 

Wenn meine Parity maximal arbeitet (hatte die Tage erst das Problem, daß ich die Parity neu habe aufbauen lassen) schreibt mein Array teilweise auch nur noch im Schneckentempo. Ich habe das System dann denn ca. 1 Tag in Ruhe gelassen und als die Parity wieder fertig war, fluppte es wieder wie gewohnt.

 

 

PARScreenshot 2024-03-10 192153.png

Edited by DataCollector
  • Like 2
Link to comment
1 hour ago, cz13 said:

Ok, also über die GUI. Hier evtl. Mal die anderen Varianten testen.

Aber die Parity HDD ist bereits im Array und wir auch beschrieben siehe deinen Screenshot.

Und das „bremst“ natürlich auch. Im Screenshot waren es um die 66MB/s die geschrieben werden.

 

 

Also den anderen Weg hatte ich vorher schon einmal angestoßen und da komme ich gleich zu einer Frage. Hab über den MC den Kopiervorgang gestartet und er hat auch losgelegt und hab das Fenster dann geschlossen.... Also ich sehe, dass er was macht (es werden Daten gelesen und geschrieben) aber wie sehe ich den Fortschritt wieder?

 

 

Ich hatte Parity Sync aus und er hats mir auch als pausiert angezeigt. Aber anscheinend dennoch was gemacht... Ich hab den Sync jetzt gestartet und lasse das Ganze einfach mal durchlaufen. Vll wirds dann echt besser. 

Würde aber gern den Kopiervorgang dafür wieder beenden. Nur sehe ich nicht wo.

 

Link to comment
10 hours ago, Nils83 said:

aber wie sehe ich den Fortschritt wieder?

@DataCollector du arbeitest doch viel mit dem mc, kann man die aktuellen Vorgänge irgendwo sehen?
 

 

10 hours ago, Nils83 said:

Würde aber gern den Kopiervorgang dafür wieder beenden. Nur sehe ich nicht wo.

Gute Frage. In der Unraid GUI, dort wo du copy gewählt hast gibts „Jobs“. Ist dort was zu finden?

Link to comment
13 hours ago, Nils83 said:

Also den anderen Weg hatte ich vorher schon einmal angestoßen und da komme ich gleich zu einer Frage. Hab über den MC den Kopiervorgang gestartet und er hat auch losgelegt und hab das Fenster dann geschlossen

 

Welches Fenster?

 

Eine SSH Session aus z.B. Putty heraus? Mit Schließen des Fensters wird die Session mit dem laufenden Programm abgeschossen. Es sei denn man arbeitet mit screen o.ä.

 

Mit dem DFM? Der Fortschritt steht dann unten links in der Unraid GUI und kann auch wieder als Fenster dargestellt werden.

 

Über die Unraid Konsole? Keine Ahnung - nie verwendet. Vermute sie verhält sich wie eine Putty Session. Kann mich aber auch irren. Muss ich mal ausprobieren.

 

Nachlaufende Plattenaktivitäten kommen auf jeden Fall aus dem Linux RAM Cache.

 

Nachtrag: Schließen der Unraid GUI Konsole schießt ebenfalls alle laufenden Programme in der Session ab:

 

#
# Unraid Konsole geöffnet, MC gestartet
#
root@Tower:~# ps -ef | grep mc
root      2005     1  0 Feb16 ?        00:00:00 /usr/sbin/mcelog --daemon
root     27188 26969  0 07:33 pts/2    00:00:00 /usr/bin/mc -P /tmp/mc-root/mc.pwd.26969
root     29256 27586  0 07:34 pts/4    00:00:00 grep mc

#
# Konsolenfenster geschlossen
# -> MC wurde abgeschossen
#
root@Tower:~# ps -ef | grep mc
root      2005     1  0 Feb16 ?        00:00:00 /usr/sbin/mcelog --daemon
root     29869 27586  0 07:34 pts/4    00:00:00 grep mc

 

Edited by hawihoney
  • Like 1
Link to comment
Posted (edited)
4 hours ago, hawihoney said:

Über die Unraid Konsole? Keine Ahnung - nie verwendet. Vermute sie verhält sich wie eine Putty Session. Kann mich aber auch irren. Muss ich mal ausprobieren.

ja genau so hatte ich es gemacht. 

 

 

also ich habe dann gestern noch den Server neu gesatarte und hab dann nur den Sync durchführen lassen. Leider hat er dann heute morgen bei ca 80% einfach neu gestartet... kA warum. 

Wenn ich jetzt den Kopiervorgang (per GUI) wieder starte bin ich bei ca 55mb/s. aber egal wie er schreibt IMMER wieder mit in die Parity. obwohl Sync aus ist. 

 

image.thumb.png.f4f17e8601384fd26470914f6f59e1c9.png

image.thumb.png.74d28e99ef2041c8326f3e14f7105f04.png

 

Edited by Nils83
Link to comment
1 hour ago, hawihoney said:

 

Kann ich zumindest für Putty SSH Sessions nicht bestätigen. Arbeitest Du mit der Unraid GUI Konsole?

 

 

Ich arbeite mit mc im Terminalfenster per Firefox per Web von einem (verschiedenen) Win PC eingeloggt über WebGui.

 

 

Edited by DataCollector
Link to comment
3 hours ago, Nils83 said:

Wenn ich jetzt den Kopiervorgang (per GUI) wieder starte bin ich bei ca 55mb/s. aber egal wie er schreibt IMMER wieder mit in die Parity. obwohl Sync aus ist.

 

Häh? Was verstehst Du unter "Sync ist aus"?

 

Du hast ein Parity-Protected Array. immer wenn Du schreibst, dann wird auch die Parity beschrieben.

 

  • Like 1
Link to comment
3 hours ago, DataCollector said:

Ich arbeite mit mc im Terminalfenster per Firefox per Web von einem (verschiedenen) Win PC eingeloggt über WebGui.

 

Ok, dachte ich mir. Scheint dann ausschließlich die Unraid GUI Konsole zu betreffen. Hab alle Server in Putty hinterlegt, ein Knopfdruck reicht. In Putty ist das allerdings auch kein Problem mit dem Balken:

 

image.png.79e2243579a5102cec1a3c0e9f1e755b.png

 

Link to comment
3 hours ago, Nils83 said:

Wenn ich jetzt den Kopiervorgang (per GUI) wieder starte bin ich bei ca 55mb/s. aber egal wie er schreibt IMMER wieder mit in die Parity. obwohl Sync aus ist. 

 

wie @hawihoney auch anmerkt, du vermischst gerade 2 Dinge.

 

Parity Check was von Zeit zu Zeit erneuert werden sollte (oder nach Fehlern) und Parity sync (was immer aktiv ist wenn Parity setup vorhanden ist)

 

die Schreibrate ist "je nach disks" mehr oder weniger normal im auto mode ... grobe Richtung, Speed HDD geteilt / 3 ... mit reconstruct (turbo) geht das normal schneller, aber auch hier je nach disks ... smr, cmr, ... Befüllung, ...

Link to comment

ah okay dann habe ich das falsch verstanden. der Parity check schreibt aber auch auf der Disk. Also den Sync, der bei mir ca. 10Std dauern sollte habe ich aktuell deaktiviert. Dies wollte ich erst starten, wenn alles kopiert ist. 

 

was mir aber noch aufgefallen ist (gibt bestimmt auch eine einfache Erklärung).

warum habe ich 2 verschiedene Schreibwerte?

image.png

Link to comment
26 minutes ago, Nils83 said:

Dies wollte ich erst starten, wenn alles kopiert ist. 

das macht auch Sinn ... weil dann wird es wirklich "slow" ... ;)

 

26 minutes ago, Nils83 said:

warum habe ich 2 verschiedene Schreibwerte?

 

du vergleichst jetzt

 

HDD Write Speed

rsync Copy Speed

 

der HDD Write Speed ist entscheidender, der Rsync wird brutaler schwanken ...

  • Like 1
Link to comment

ahhh okay, wieder was gelernt. bedeutet der Wert auf der Main Seite ist der "relevante". In dem Fall 74,1mb/s. damit könnte ich leben. 

und das was im Copy Fenster steht ignorier ich Ann einfach mal. dennoch dauert das kopieren AUF den server bei weitem Länger als von der NAS (SHR) runter auf die externe HD

Link to comment
31 minutes ago, Nils83 said:

bedeutet der Wert auf der Main Seite ist der "relevante".

 

Was heißt relevant? Das kommt auf die Betrachtungsweise an. In jedem Fall ist das der jeweilige aktuelle Wert. Keine Durchschnittsgeschwindigkeit oder so.

 

Edited by hawihoney
Link to comment
4 hours ago, hawihoney said:

 

Was heißt relevant? Das kommt auf die Betrachtungsweise an. In jedem Fall ist das der jeweilige aktuelle Wert. Keine Durchschnittsgeschwindigkeit oder so.

 

 

okay aber als indikator, dass es gut läuft passt es ja. dann muss ich jetzt halt warten bis es durch ist und dann werd ich den Sync starten.

 

 

Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.