[SOLVED] Verschüsselung entfernen


Snuups

Recommended Posts

On 8/25/2020 at 11:22 PM, Snuups said:

Ist es möglich die Verschlüsselung zu entfernen? Eventuell ist das der Grund für mein massives Performance Problem.

Was hast du für ein Problem?

Kannst mal zum original post verlinken?

 

EDIT: ich hab mir mal ein paar deiner posts durchgelesen, ich glaub unraid ist einfach falsch konfiguriert für deine bedürfnisse.

Welche cache platten hast du, wie hast du die shares eingerichtet, verwendest du noch immer den raid controller, für was benutzt du oder besser was ist der anwendungszweck für unraid in deinem fall?

EDIT2: @Snuups bist du schon zu einem Ergebnis gekommen?

Link to comment
  • 2 weeks later...

Hi, 

 

Nein, nach wie vor läuft es nicht rund oder gar nicht. Je nach reboot werden auch meist nicht alle Platten erkannt.

 

Unraid soll nichts anderes machen als Files bereit zu stellen für Diverse Anwendungen im LAN.

 

Die letzten Logs von heute mit dem Supercontroller der keine einzige HD erkennt. Der hat möglicherweise ein Problem mit der backplane. Ich muss zugeben, beim Testing war alles super. Jetzt läuft es unbrauchbar bis gar nicht.

Archiv.zip

Link to comment
  • 2 weeks later...

Nur zum Verständnis. Wenn das Array gestoppt wurde, siehst du manchmal nicht alle Platten? Das klingt mir eher nach reinen Hardware-Problemen. Entweder geht ein Treiber oder er geht nicht. Dass er mitten im Betrieb aussteigt, halte ich für unwahrscheinlich. Die Erkennung der Platten dürfte außerdem direkt vom darunter liegenden Betriebssystem, also Slackware (wenn man jetzt von den Treibern für die Controller absieht).

 

Wenn die Platten aussteigen, sind das dann eigentlich immer alle Platten, die an einem Controller hängen bzw hängen alle Platten da dran? Hast du es mal getestet eine oder mehrere Platten per SATA direkt mit dem Board zu verbinden oder vielleicht sogar über USB? Worüber ist Unraid vom Prinzip egal.

 

Eventuell hast du aber auch gar keine Probleme beim Controller, sondern mit dem Netzteil. Bedenke, dass die Platten je nach Zugriff unterschiedlich viel Strom aufnehmen. Vielleicht verursachen bestimmte Spitzen, dass der Controller aussteigt.

 

 

  • Thanks 1
Link to comment

Das HD Problem hat sich mit einem anderen Controller gelöst. Es  sind ja auch nicht die HDs die fehlen sondern das die Shares weg sind. Das ganze ich trotz Cache sehr langsam. Ich habe einen Kopiervorgang am laufen, seit 4 Tagen. er hat jetzt von 1.3 Mio Dateien noch 1.15 Mio zu kopieren, aber 30 % fertig. Wenn das so weiter geht dauert das noch 1 - 2 Monate. Mehr als eine Dateil pro Sekunde ist das nicht, eher weniger.

Bildschirmfoto 2020-09-18 um 21.48.59.png

Edited by Snuups
Link to comment

1.) Passen die Dateien denn noch auf den Cache?

2.) Hast du eine hochwertige SSD mit DRAM und SLC Cache verbaut?

3.) Hast du Trim aktiv und passt dein Interval zu deinem Mover Interval (also wenn leer dann Trim)?

 

Falls das alles passt, könnten es noch diese zwei Bugs sein:

 

4.) Unraid skaliert extrem schlecht, wenn zu viele offene SMB Sessions vorhanden sind. Teste es wie folgt: Starte auf dem Windows Client, der gerade läuft, Powershell als Admin. Dann führe "Get-SmbConnection" aus. Dann siehst du bei NumOpens wie viele Sessions gerade offen sind. Das Problem diskutiere ich gerade hier. Dieses Problem kannst du umgehen, in dem du eine zusätzliche Verbindung zu //server.ip.adresse/sharename aufbaust und dort einen Teil der Dateien hinkopierst Du kannst auch mehrere zu //tower1, //tower2, //tower3, usw aufbauen. Einfach in der hosts Datei von Windows mehrere Einträge anlegen. Danach kopierst du dann einfach verschiedene Ordner auf die "verschiedenen" Server.

 

5.) Das Kopieren auf einen Share produziert einen massiven Overhead. Man kann diesen Overhead umgehen, in dem man in Unraid die Disk-Shares aktiviert und nur die Cache-Disk freigibt. Wenn du nun auf \\tower\cache\sharename statt \\tower\sharename kopierst, umgehst du diesen Overhead. Das Problem wird hier diskutiert.

 

Zuletzt noch ein Hinweis:

6.) Wenn man sehr viele Dateien auf ein Intranet- oder Internetziel übertragen möchte, sollte man sie vorher in eine Archivdatei (ZIP) packen. Der Overhead jeder Dateiübertragung macht sonst viel aus.

  • Thanks 1
Link to comment
11 hours ago, mgutt said:

1.) Passen die Dateien denn noch auf den Cache?

Nein, sicher nicht. der Cache ist nur eine 1 TB SSD.

11 hours ago, mgutt said:

2.) Hast du eine hochwertige SSD mit DRAM und SLC Cache verbaut?

Es ist eine KINGSTON A400 960 GB, das sollte aktuell sein.

11 hours ago, mgutt said:

3.) Hast du Trim aktiv und passt dein Interval zu deinem Mover Interval (also wenn leer dann Trim)?

Der Mover läuft jede Stunde. Mit Trim kann ich nichts anfangen, darüber weis ist nichts. Es ist also noch in der Default Einstellung. Der langsame Kopiervorgang geht nicht über den Cache.

11 hours ago, mgutt said:

4.) Unraid skaliert extrem schlecht, wenn zu viele offene SMB Sessions vorhanden sind. Teste es wie folgt: Starte auf dem Windows Client, der gerade läuft, Powershell als Admin. Dann führe "Get-SmbConnection" aus. Dann siehst du bei NumOpens wie viele Sessions gerade offen sind. Das Problem diskutiere ich gerade hier. Dieses Problem kannst du umgehen, in dem du eine zusätzliche Verbindung zu //server.ip.adresse/sharename aufbaust und dort einen Teil der Dateien hinkopierst Du kannst auch mehrere zu //tower1, //tower2, //tower3, usw aufbauen. Einfach in der hosts Datei von Windows mehrere Einträge anlegen. Danach kopierst du dann einfach verschiedene Ordner auf die "verschiedenen" Server.

 

5.) Das Kopieren auf einen Share produziert einen massiven Overhead. Man kann diesen Overhead umgehen, in dem man in Unraid die Disk-Shares aktiviert und nur die Cache-Disk freigibt. Wenn du nun auf \\tower\cache\sharename statt \\tower\sharename kopierst, umgehst du diesen Overhead. Das Problem wird hier diskutiert.

Ich werde das aufmerksam lesen.

11 hours ago, mgutt said:

 

Zuletzt noch ein Hinweis:

6.) Wenn man sehr viele Dateien auf ein Intranet- oder Internetziel übertragen möchte, sollte man sie vorher in eine Archivdatei (ZIP) packen. Der Overhead jeder Dateiübertragung macht sonst viel aus.

Das Archiv kann ich ja dann an dem Ort entpacken. Schlaue Idee.

Link to comment
18 minutes ago, Snuups said:

Nein, sicher nicht. der Cache ist nur eine 1 TB SSD.

Das ist egal, wenn der Mover einen schnelleren Intervall besitzt, als du neue Dateien drauf schiebst.

 

19 minutes ago, Snuups said:

KINGSTON A400 960 GB

Das ist eine besagte Billig-SSD (sorry ^^). Ohne DRAM und ohne SLC Cache werden die Zellen gerade als Cache schnell verbraucht (TLC hat ca 1000 Schreibzyklen, dann ist die SSD kaputt). Für größere Datenmengen ist sie als Cache quasi ungeeignet, da sie mit 100 MB/s nicht mal 1G auslasten kann. Außerdem hat diese SSD sogar einen Bug, der aber mit einem Firmware Update behoben werden kann.

 

38 minutes ago, Snuups said:

Mit Trim kann ich nichts anfangen

Jede SSD muss regelmäßig mit dem Trim Kommando bereinigt werden. In Windows passiert das automatisch. In Unraid benötigt man dazu ein Plugin und muss dieses mit einem entsprechenden Intervall versehen (zB täglich). Das Plugin findest du unter "Apps", sofern du die Community Applications installiert hast (jedem Unraid Nutzer empfohlen).

1653482414_2020-09-1912_26_12.png.ae56f8fdaec35a24566e219b4996adad.png

 

42 minutes ago, Snuups said:

Der langsame Kopiervorgang geht nicht über den Cache.

Also direkt auf die HDD. Das ist natürlich gut für die Lebenszeit der SSD, aber widerspricht natürlich dem Sinn eines Caches (die Langsamkeit einer HDD zu umgehen). Was für eine HDD ist das genau?

 

Beim ersten Befüllen des NAS habe ich übrigens auch den Cache deaktiviert. Einfach um die SSD zu schonen. Aber danach ist sie nun überall als Cache aktiv, damit ich eben die höchste Geschwindigkeit nutzen kann.

Link to comment

Die HD die gerade beschrieben wird ist eine 8TB WD RED. Die anderen sind 12 TB Seagate Exos. Eine 12 und 16 TB Exos ist Parity.

 

Die SSD werde ich bei Gelegenheit austauschen. Das Dynamix SSD Trim installiere ich (Erledigt).

 

Hmm, die Auswahl an SSDs ist etwas üppig. Was ist denn da so ideal für unRAID? Sowas wie WD RED?

Edited by Snuups
Link to comment
25 minutes ago, Snuups said:

8TB WD RED

Dann sollte es auch keine Probleme geben. Die Platte ist bei einem sequentiellen Transfer schnell genug, auch wenn es viele kleine Dateien betrifft (trotzdem ist natürlich ein großes ZIP bei so vielen kleinen Dateien besser). Muss also einer der anderen oben genannten Punkte sein oder etwas, was ich selbst noch nicht kenne.

26 minutes ago, Snuups said:

Was ist denn da so ideal für unRAID? Sowas wie WD RED?

SSDs, die angeblich speziell für NAS sind, sind einfach nur teuer. Möchtest du irgendwann 10G verbauen? Dann müsstest du evtl eine NVMe einplanen (oder ein RAID1 aus zwei SATA SSDs). Wenn dir 1G LAN reicht, dann kannst du quasi jede SSD mit "3D NAND" aussuchen. Also zB WD Blue, SanDisk Ultra, Samsung Evo/Pro, Crucial MX500 usw. Vorzugsweise was mit 1TB oder mehr, da größere SSDs bekanntlich einen größeren SLC Cache besitzen. Die Samsung QVO, Crucial BX/MX100, Sandisk Plus, usw solltest du meiden.

Link to comment

WD Blue 3D NAND (2000GB, 2.5")

 

Die bestelle ich mal. Der Preis erscheint mir sehr fair. 10 Gbit ist schon verbaut, wobei es weniger um die Geschwindigkeit geht. (Der Controller war übrig).

 

Vielen Dank. diese Informationen sind extrem Hilfreich.

Edited by Snuups
Link to comment

Mit der machst du nichts falsch. Hier ab 4:50 siehst du die durchgehende Schreibrate von 480 MB/s

 

Mit 10 Gbit/s kannst du die je nach CPU Leistung deines NAS auch erreichen.

 

Bei 115 MB/s (1G LAN) reicht es dann übrigens den Mover Interval auf 4 Stunden zu verlängern, weil 2TB / 115 MB/s = 4,8 Std Kopierzeit bis die SSD voll ist. Wobei du auch einen noch längeren Intervall nehmen kannst, wenn es dir egal ist, wenn es nach sehr vielen Daten auf die HDD Array-Geschwindigkeit sinkt. Weil der kopiert dann ja automatisch auf die HDDs, wenn die SSD voll ist. Man sollte nur in den Einstellungen 50-100GB auf dem Cache freilassen. Ich habe 100GB eingestellt, da ich häufiger Filme rippe und wenn parallel große Dateien geschrieben werden, kann es sonst sein, dass der Cache vollläuft und es zum Fehler kommt. Seitdem ich 100GB eingestellt habe, passiert das nicht mehr.

Edited by mgutt
Link to comment

Wenn deine einzelnen Dateien größer sind als 2TB, dann ja. Nicht wenn sie aus vielen kleinen Dateien bestehen. Nachdem die Datei auf dem Cache gelandet ist und der Mover startet, wird sie ja auf das HDD Array verschoben. Der Platz auf der SSD ist dann logischerweise wieder frei. Der Rest ist dann ein Rechenbeispiel. Wie schnell kannst du die SSD voll machen und wie oft startet der Mover, um sie parallel wieder leer zu machen

 

Ich nutze den Cache sowohl zur Beschleunigung des Transfers als auch um bestimmte Daten permanent auf dem Cache zu lassen. zB meine MP3s, Docker und VMs. Auf die Art sind diese Daten sehr schnell verfügbar und das HDD Array kann noch länger schlafen.

Edited by mgutt
Link to comment
  • 1 month later...

Soweit so gut. Die 2 TB Cache mit entsprechenden Einstellungen funktionieren gut. Läuft der Mover jedoch ist das System unglaublich langsam. Schreibzugriffe aus das unRAID belasten den Rechner wesentlich mehr als ich mir das vorgestellt habe.

 

Danke für deine Hilfe!

Edited by Snuups
Link to comment

Dein Xeon E5520 besitzt eine relativ geringe Single Thread Performance:

https://www.cpubenchmark.net/cpu.php?cpu=Intel+Xeon+E5520+%40+2.27GHz&id=1243

 

Meine Empfehlung sind mindestens 1400 Passmark Punkte:

https://forums.unraid.net/topic/97165-smb-performance-tuning/

 

 

Was genau ist denn langsam, wenn der Mover aktiv ist? Dateien vom Client auf den Server laden oder die GUI oder was meinst du?

Link to comment

Meine Konfiguration hat sich mittlerweile geändert. (Siehe Bild)

 

Das System ist so langsam das beim Mac die Shares einen Timeout bekommen und man sie neu mounten muss. Am PC kommt es vor das beim Aufruf eines Directories mehr als eine Minute vergeht bis das unRAID sich bequemt überhaupt eine Antwort zu senden. Obwohl noch genügend Kerne nichts zu tun haben.

Bildschirmfoto 2020-10-29 um 13.59.12.png

Link to comment

Das ist komisch, weil der Load im Dashboard enthält auch I/O Wait. Soll heißen, dass da scheinbar auch kein Prozess auf eine Festplatte oder ähnliches wartet. Sehr ungewöhnlich. Wenn das wieder vorkommt, prüf man mit htop was da für Prozesse so aktiv sind und ob es doch irgendwelche Spitzen gibt.

Link to comment
  • ich777 changed the title to [SOLVED] Verschüsselung entfernen

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.