1. Versuch, Performance leider ungenügend.

[yasirrisay]

Hallo zusammen,

 

ich habe performance Problem, vielleicht hat einer eine Idee.

 

(Die Serverhardware: 12-Kern 3900XT, 64 GByte ECC Ram, Toshiba 18 TB HDDs.)

 

Ich habe zwei 18 TB Festplatten im Array ohne Parity und ohne Cache eingerichtet (jeweils zfs und verschlüsselt) und auf diese Daten kopiert, die ich auf einer anderen verschlüsselten 18 TB Festplatte habe. Das sind alles Bilder und Videos von meinen Kameras. Dabei habe ich die Daten auf beide 18 TB Festplatten verteilt, sodass sie jeweils nur ca. 50 % des Speicherplatzes belegen.

 

Wenn ich beispielsweise mit WinDirStat die Festplatten scanne, gibt es einen riesigen Unterschied bei der Einlesezeit zwischen dem beiden Systemen:

 

Einlesen unter Win11, von der Truecrypt verschlüsselten Festlatte:

• 7 Minuten 7 Sekunden.

Einlesen des selben Laufwerkes über ein 2,5 Gbit Netzwerk:

• 14 Minuten 56 Sekunden. (Denke das zeigt, mein Netzwerk hat Potential noch oben)

Einlesen des von Unraid geteilten neuen Laufwerkes über 2,5 Gbit Netzwerk:

• 1 Stunde, 23 Minuten !!!

 

Was läuft hier falsch? Ich erwarte zumindest die Geschwindigkeit vom zweiten Fall, wenn nicht besser, da die Daten von zwei Platten gelesen werden statt einer. Das durchsuchen des Arrays dauert extrem lange. Die Übertragungsgeschwindigkeit großer Daten unterscheidet sich dabei nicht, geht mit 180 - 270MB/s, wenn dann ist Unraid sogar im Vorteil.

 

(bitte ignoriert, dass das Unraid share etwas mehr Daten hat, das sollte sich vergleichsweise wenig auswirken)

Edited March 28 by yasirrisay

[DataCollector]

1 hour ago, yasirrisay said:

Ich habe zwei 18 TB Festplatten im Array ohne Parity und ohne Cache eingerichtet (jeweils zfs und verschlüsselt)

 

Der Grund aktuell zfs im Array zu verwenden --- das erschließt sich mir nicht.

 

1 hour ago, yasirrisay said:

Einlesen des selben Laufwerkes über ein 2,5 Gbit Netzwerk:

• 14 Minuten 56 Sekunden. (Denke das zeigt, mein Netzwerk hat Potential noch oben)

Einlesen des von Unraid geteilten neuen Laufwerkes über 2,5 Gbit Netzwerk:

• 1 Stunde, 23 Minuten !!!

 

Ich kann Dir jetzt nicht sagen, warum der performanceunterschied so groß ist, aber unraid ist eben kein sehr flottes System, dafür aber stromsparender (wenn man es richtig anwendet).

 

1 hour ago, yasirrisay said:

Was läuft hier falsch? Ich erwarte zumindest die Geschwindigkeit vom zweiten Fall, wenn nicht besser, da die Daten von zwei Platten gelesen werden statt einer.

 

unraid ist kein Raid und kann deswegen auch mit 2 Disks nicht schneller lesen, weil sie (wenn überhaupt) nacheinander gelesen werden.

 

1 hour ago, yasirrisay said:

Das durchsuchen des Arrays dauert extrem lange.

 

Deshalb nehme ich das Plugin "Cache Dirs" zu Hilfe. Das puffert die Ordnerstruktur sehr weitgehend zwischen, so daß die wirklichen Zugriffe nur minimal sein müssen (solange der Zwischenspeicher ausreichend groß ist).

 

[yasirrisay]

10 hours ago, DataCollector said:

 

Der Grund aktuell zfs im Array zu verwenden --- das erschließt sich mir nicht.

Wenn es keine Nachteile hat, warum nicht auf das neuere setzen dachte ich mir.

10 hours ago, DataCollector said:

 

unraid ist kein Raid und kann deswegen auch mit 2 Disks nicht schneller lesen, weil sie (wenn überhaupt) nacheinander gelesen werden.

Wenn zwei Festplatten gleichzeitig arbeiten müsste das auch ohne Raid schneller gehen, dies ist aber jetzt nicht von Relevanz.

10 hours ago, DataCollector said:

 

Deshalb nehme ich das Plugin "Cache Dirs" zu Hilfe. Das puffert die Ordnerstruktur sehr weitgehend zwischen, so daß die wirklichen Zugriffe nur minimal sein müssen (solange der Zwischenspeicher ausreichend groß ist).

Werde ich Mal probieren,

 

Danke

[DataCollector]

2 hours ago, yasirrisay said:

Wenn es keine Nachteile hat, warum nicht auf das neuere setzen dachte ich mir.

 

zfs hat einen größeren RAM Bedarf und Lime ist noch nicht so ganz final fertig mit der Integration von zfs.

 

2 hours ago, yasirrisay said:

Wenn zwei Festplatten gleichzeitig arbeiten müsste das auch ohne Raid schneller gehen, dies ist aber jetzt nicht von Relevanz.

 

Es arbeiten bei unraid aber eben nicht 2 Festplatten gleichzeitig an der selben Operation.

 

Edited March 29 by DataCollector