Jump to content
Snuups

Verschüsselung entfernen

14 posts in this topic Last Reply

Recommended Posts

Ist es möglich die Verschlüsselung zu entfernen? Eventuell ist das der Grund für mein massives Performance Problem.

Share this post


Link to post
On 8/25/2020 at 11:22 PM, Snuups said:

Ist es möglich die Verschlüsselung zu entfernen? Eventuell ist das der Grund für mein massives Performance Problem.

Was hast du für ein Problem?

Kannst mal zum original post verlinken?

 

EDIT: ich hab mir mal ein paar deiner posts durchgelesen, ich glaub unraid ist einfach falsch konfiguriert für deine bedürfnisse.

Welche cache platten hast du, wie hast du die shares eingerichtet, verwendest du noch immer den raid controller, für was benutzt du oder besser was ist der anwendungszweck für unraid in deinem fall?

EDIT2: @Snuups bist du schon zu einem Ergebnis gekommen?

Share this post


Link to post

Hi, 

 

Nein, nach wie vor läuft es nicht rund oder gar nicht. Je nach reboot werden auch meist nicht alle Platten erkannt.

 

Unraid soll nichts anderes machen als Files bereit zu stellen für Diverse Anwendungen im LAN.

 

Die letzten Logs von heute mit dem Supercontroller der keine einzige HD erkennt. Der hat möglicherweise ein Problem mit der backplane. Ich muss zugeben, beim Testing war alles super. Jetzt läuft es unbrauchbar bis gar nicht.

Archiv.zip

Share this post


Link to post

Nur zum Verständnis. Wenn das Array gestoppt wurde, siehst du manchmal nicht alle Platten? Das klingt mir eher nach reinen Hardware-Problemen. Entweder geht ein Treiber oder er geht nicht. Dass er mitten im Betrieb aussteigt, halte ich für unwahrscheinlich. Die Erkennung der Platten dürfte außerdem direkt vom darunter liegenden Betriebssystem, also Slackware (wenn man jetzt von den Treibern für die Controller absieht).

 

Wenn die Platten aussteigen, sind das dann eigentlich immer alle Platten, die an einem Controller hängen bzw hängen alle Platten da dran? Hast du es mal getestet eine oder mehrere Platten per SATA direkt mit dem Board zu verbinden oder vielleicht sogar über USB? Worüber ist Unraid vom Prinzip egal.

 

Eventuell hast du aber auch gar keine Probleme beim Controller, sondern mit dem Netzteil. Bedenke, dass die Platten je nach Zugriff unterschiedlich viel Strom aufnehmen. Vielleicht verursachen bestimmte Spitzen, dass der Controller aussteigt.

 

 

Share this post


Link to post

Das HD Problem hat sich mit einem anderen Controller gelöst. Es  sind ja auch nicht die HDs die fehlen sondern das die Shares weg sind. Das ganze ich trotz Cache sehr langsam. Ich habe einen Kopiervorgang am laufen, seit 4 Tagen. er hat jetzt von 1.3 Mio Dateien noch 1.15 Mio zu kopieren, aber 30 % fertig. Wenn das so weiter geht dauert das noch 1 - 2 Monate. Mehr als eine Dateil pro Sekunde ist das nicht, eher weniger.

Bildschirmfoto 2020-09-18 um 21.48.59.png

Edited by Snuups

Share this post


Link to post

1.) Passen die Dateien denn noch auf den Cache?

2.) Hast du eine hochwertige SSD mit DRAM und SLC Cache verbaut?

3.) Hast du Trim aktiv und passt dein Interval zu deinem Mover Interval (also wenn leer dann Trim)?

 

Falls das alles passt, könnten es noch diese zwei Bugs sein:

 

4.) Unraid skaliert extrem schlecht, wenn zu viele offene SMB Sessions vorhanden sind. Teste es wie folgt: Starte auf dem Windows Client, der gerade läuft, Powershell als Admin. Dann führe "Get-SmbConnection" aus. Dann siehst du bei NumOpens wie viele Sessions gerade offen sind. Das Problem diskutiere ich gerade hier. Dieses Problem kannst du umgehen, in dem du eine zusätzliche Verbindung zu //server.ip.adresse/sharename aufbaust und dort einen Teil der Dateien hinkopierst Du kannst auch mehrere zu //tower1, //tower2, //tower3, usw aufbauen. Einfach in der hosts Datei von Windows mehrere Einträge anlegen. Danach kopierst du dann einfach verschiedene Ordner auf die "verschiedenen" Server.

 

5.) Das Kopieren auf einen Share produziert einen massiven Overhead. Man kann diesen Overhead umgehen, in dem man in Unraid die Disk-Shares aktiviert und nur die Cache-Disk freigibt. Wenn du nun auf \\tower\cache\sharename statt \\tower\sharename kopierst, umgehst du diesen Overhead. Das Problem wird hier diskutiert.

 

Zuletzt noch ein Hinweis:

6.) Wenn man sehr viele Dateien auf ein Intranet- oder Internetziel übertragen möchte, sollte man sie vorher in eine Archivdatei (ZIP) packen. Der Overhead jeder Dateiübertragung macht sonst viel aus.

Share this post


Link to post
11 hours ago, mgutt said:

1.) Passen die Dateien denn noch auf den Cache?

Nein, sicher nicht. der Cache ist nur eine 1 TB SSD.

11 hours ago, mgutt said:

2.) Hast du eine hochwertige SSD mit DRAM und SLC Cache verbaut?

Es ist eine KINGSTON A400 960 GB, das sollte aktuell sein.

11 hours ago, mgutt said:

3.) Hast du Trim aktiv und passt dein Interval zu deinem Mover Interval (also wenn leer dann Trim)?

Der Mover läuft jede Stunde. Mit Trim kann ich nichts anfangen, darüber weis ist nichts. Es ist also noch in der Default Einstellung. Der langsame Kopiervorgang geht nicht über den Cache.

11 hours ago, mgutt said:

4.) Unraid skaliert extrem schlecht, wenn zu viele offene SMB Sessions vorhanden sind. Teste es wie folgt: Starte auf dem Windows Client, der gerade läuft, Powershell als Admin. Dann führe "Get-SmbConnection" aus. Dann siehst du bei NumOpens wie viele Sessions gerade offen sind. Das Problem diskutiere ich gerade hier. Dieses Problem kannst du umgehen, in dem du eine zusätzliche Verbindung zu //server.ip.adresse/sharename aufbaust und dort einen Teil der Dateien hinkopierst Du kannst auch mehrere zu //tower1, //tower2, //tower3, usw aufbauen. Einfach in der hosts Datei von Windows mehrere Einträge anlegen. Danach kopierst du dann einfach verschiedene Ordner auf die "verschiedenen" Server.

 

5.) Das Kopieren auf einen Share produziert einen massiven Overhead. Man kann diesen Overhead umgehen, in dem man in Unraid die Disk-Shares aktiviert und nur die Cache-Disk freigibt. Wenn du nun auf \\tower\cache\sharename statt \\tower\sharename kopierst, umgehst du diesen Overhead. Das Problem wird hier diskutiert.

Ich werde das aufmerksam lesen.

11 hours ago, mgutt said:

 

Zuletzt noch ein Hinweis:

6.) Wenn man sehr viele Dateien auf ein Intranet- oder Internetziel übertragen möchte, sollte man sie vorher in eine Archivdatei (ZIP) packen. Der Overhead jeder Dateiübertragung macht sonst viel aus.

Das Archiv kann ich ja dann an dem Ort entpacken. Schlaue Idee.

Share this post


Link to post
18 minutes ago, Snuups said:

Nein, sicher nicht. der Cache ist nur eine 1 TB SSD.

Das ist egal, wenn der Mover einen schnelleren Intervall besitzt, als du neue Dateien drauf schiebst.

 

19 minutes ago, Snuups said:

KINGSTON A400 960 GB

Das ist eine besagte Billig-SSD (sorry ^^). Ohne DRAM und ohne SLC Cache werden die Zellen gerade als Cache schnell verbraucht (TLC hat ca 1000 Schreibzyklen, dann ist die SSD kaputt). Für größere Datenmengen ist sie als Cache quasi ungeeignet, da sie mit 100 MB/s nicht mal 1G auslasten kann. Außerdem hat diese SSD sogar einen Bug, der aber mit einem Firmware Update behoben werden kann.

 

38 minutes ago, Snuups said:

Mit Trim kann ich nichts anfangen

Jede SSD muss regelmäßig mit dem Trim Kommando bereinigt werden. In Windows passiert das automatisch. In Unraid benötigt man dazu ein Plugin und muss dieses mit einem entsprechenden Intervall versehen (zB täglich). Das Plugin findest du unter "Apps", sofern du die Community Applications installiert hast (jedem Unraid Nutzer empfohlen).

1653482414_2020-09-1912_26_12.png.ae56f8fdaec35a24566e219b4996adad.png

 

42 minutes ago, Snuups said:

Der langsame Kopiervorgang geht nicht über den Cache.

Also direkt auf die HDD. Das ist natürlich gut für die Lebenszeit der SSD, aber widerspricht natürlich dem Sinn eines Caches (die Langsamkeit einer HDD zu umgehen). Was für eine HDD ist das genau?

 

Beim ersten Befüllen des NAS habe ich übrigens auch den Cache deaktiviert. Einfach um die SSD zu schonen. Aber danach ist sie nun überall als Cache aktiv, damit ich eben die höchste Geschwindigkeit nutzen kann.

Share this post


Link to post

Die HD die gerade beschrieben wird ist eine 8TB WD RED. Die anderen sind 12 TB Seagate Exos. Eine 12 und 16 TB Exos ist Parity.

 

Die SSD werde ich bei Gelegenheit austauschen. Das Dynamix SSD Trim installiere ich (Erledigt).

 

Hmm, die Auswahl an SSDs ist etwas üppig. Was ist denn da so ideal für unRAID? Sowas wie WD RED?

Edited by Snuups

Share this post


Link to post
25 minutes ago, Snuups said:

8TB WD RED

Dann sollte es auch keine Probleme geben. Die Platte ist bei einem sequentiellen Transfer schnell genug, auch wenn es viele kleine Dateien betrifft (trotzdem ist natürlich ein großes ZIP bei so vielen kleinen Dateien besser). Muss also einer der anderen oben genannten Punkte sein oder etwas, was ich selbst noch nicht kenne.

26 minutes ago, Snuups said:

Was ist denn da so ideal für unRAID? Sowas wie WD RED?

SSDs, die angeblich speziell für NAS sind, sind einfach nur teuer. Möchtest du irgendwann 10G verbauen? Dann müsstest du evtl eine NVMe einplanen (oder ein RAID1 aus zwei SATA SSDs). Wenn dir 1G LAN reicht, dann kannst du quasi jede SSD mit "3D NAND" aussuchen. Also zB WD Blue, SanDisk Ultra, Samsung Evo/Pro, Crucial MX500 usw. Vorzugsweise was mit 1TB oder mehr, da größere SSDs bekanntlich einen größeren SLC Cache besitzen. Die Samsung QVO, Crucial BX/MX100, Sandisk Plus, usw solltest du meiden.

Share this post


Link to post

WD Blue 3D NAND (2000GB, 2.5")

 

Die bestelle ich mal. Der Preis erscheint mir sehr fair. 10 Gbit ist schon verbaut, wobei es weniger um die Geschwindigkeit geht. (Der Controller war übrig).

 

Vielen Dank. diese Informationen sind extrem Hilfreich.

Edited by Snuups

Share this post


Link to post

Mit der machst du nichts falsch. Hier ab 4:50 siehst du die durchgehende Schreibrate von 480 MB/s

 

Mit 10 Gbit/s kannst du die je nach CPU Leistung deines NAS auch erreichen.

 

Bei 115 MB/s (1G LAN) reicht es dann übrigens den Mover Interval auf 4 Stunden zu verlängern, weil 2TB / 115 MB/s = 4,8 Std Kopierzeit bis die SSD voll ist. Wobei du auch einen noch längeren Intervall nehmen kannst, wenn es dir egal ist, wenn es nach sehr vielen Daten auf die HDD Array-Geschwindigkeit sinkt. Weil der kopiert dann ja automatisch auf die HDDs, wenn die SSD voll ist. Man sollte nur in den Einstellungen 50-100GB auf dem Cache freilassen. Ich habe 100GB eingestellt, da ich häufiger Filme rippe und wenn parallel große Dateien geschrieben werden, kann es sonst sein, dass der Cache vollläuft und es zum Fehler kommt. Seitdem ich 100GB eingestellt habe, passiert das nicht mehr.

Edited by mgutt

Share this post


Link to post

Die meisten meiner Kopiervorgänge sind grösser als der Cache von 2 TB. Da kann man den Cache wohl eher vergessen.

Share this post


Link to post

Wenn deine einzelnen Dateien größer sind als 2TB, dann ja. Nicht wenn sie aus vielen kleinen Dateien bestehen. Nachdem die Datei auf dem Cache gelandet ist und der Mover startet, wird sie ja auf das HDD Array verschoben. Der Platz auf der SSD ist dann logischerweise wieder frei. Der Rest ist dann ein Rechenbeispiel. Wie schnell kannst du die SSD voll machen und wie oft startet der Mover, um sie parallel wieder leer zu machen

 

Ich nutze den Cache sowohl zur Beschleunigung des Transfers als auch um bestimmte Daten permanent auf dem Cache zu lassen. zB meine MP3s, Docker und VMs. Auf die Art sind diese Daten sehr schnell verfügbar und das HDD Array kann noch länger schlafen.

Edited by mgutt

Share this post


Link to post

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.