Snuups Posted August 25, 2020 Share Posted August 25, 2020 Ist es möglich die Verschlüsselung zu entfernen? Eventuell ist das der Grund für mein massives Performance Problem. Quote Link to comment
ich777 Posted August 26, 2020 Share Posted August 26, 2020 On 8/25/2020 at 11:22 PM, Snuups said: Ist es möglich die Verschlüsselung zu entfernen? Eventuell ist das der Grund für mein massives Performance Problem. Was hast du für ein Problem? Kannst mal zum original post verlinken? EDIT: ich hab mir mal ein paar deiner posts durchgelesen, ich glaub unraid ist einfach falsch konfiguriert für deine bedürfnisse. Welche cache platten hast du, wie hast du die shares eingerichtet, verwendest du noch immer den raid controller, für was benutzt du oder besser was ist der anwendungszweck für unraid in deinem fall? EDIT2: @Snuups bist du schon zu einem Ergebnis gekommen? Quote Link to comment
Snuups Posted September 8, 2020 Author Share Posted September 8, 2020 Hi, Nein, nach wie vor läuft es nicht rund oder gar nicht. Je nach reboot werden auch meist nicht alle Platten erkannt. Unraid soll nichts anderes machen als Files bereit zu stellen für Diverse Anwendungen im LAN. Die letzten Logs von heute mit dem Supercontroller der keine einzige HD erkennt. Der hat möglicherweise ein Problem mit der backplane. Ich muss zugeben, beim Testing war alles super. Jetzt läuft es unbrauchbar bis gar nicht. Archiv.zip Quote Link to comment
mgutt Posted September 16, 2020 Share Posted September 16, 2020 Nur zum Verständnis. Wenn das Array gestoppt wurde, siehst du manchmal nicht alle Platten? Das klingt mir eher nach reinen Hardware-Problemen. Entweder geht ein Treiber oder er geht nicht. Dass er mitten im Betrieb aussteigt, halte ich für unwahrscheinlich. Die Erkennung der Platten dürfte außerdem direkt vom darunter liegenden Betriebssystem, also Slackware (wenn man jetzt von den Treibern für die Controller absieht). Wenn die Platten aussteigen, sind das dann eigentlich immer alle Platten, die an einem Controller hängen bzw hängen alle Platten da dran? Hast du es mal getestet eine oder mehrere Platten per SATA direkt mit dem Board zu verbinden oder vielleicht sogar über USB? Worüber ist Unraid vom Prinzip egal. Eventuell hast du aber auch gar keine Probleme beim Controller, sondern mit dem Netzteil. Bedenke, dass die Platten je nach Zugriff unterschiedlich viel Strom aufnehmen. Vielleicht verursachen bestimmte Spitzen, dass der Controller aussteigt. 1 Quote Link to comment
Snuups Posted September 18, 2020 Author Share Posted September 18, 2020 (edited) Das HD Problem hat sich mit einem anderen Controller gelöst. Es sind ja auch nicht die HDs die fehlen sondern das die Shares weg sind. Das ganze ich trotz Cache sehr langsam. Ich habe einen Kopiervorgang am laufen, seit 4 Tagen. er hat jetzt von 1.3 Mio Dateien noch 1.15 Mio zu kopieren, aber 30 % fertig. Wenn das so weiter geht dauert das noch 1 - 2 Monate. Mehr als eine Dateil pro Sekunde ist das nicht, eher weniger. Edited September 18, 2020 by Snuups Quote Link to comment
mgutt Posted September 18, 2020 Share Posted September 18, 2020 1.) Passen die Dateien denn noch auf den Cache? 2.) Hast du eine hochwertige SSD mit DRAM und SLC Cache verbaut? 3.) Hast du Trim aktiv und passt dein Interval zu deinem Mover Interval (also wenn leer dann Trim)? Falls das alles passt, könnten es noch diese zwei Bugs sein: 4.) Unraid skaliert extrem schlecht, wenn zu viele offene SMB Sessions vorhanden sind. Teste es wie folgt: Starte auf dem Windows Client, der gerade läuft, Powershell als Admin. Dann führe "Get-SmbConnection" aus. Dann siehst du bei NumOpens wie viele Sessions gerade offen sind. Das Problem diskutiere ich gerade hier. Dieses Problem kannst du umgehen, in dem du eine zusätzliche Verbindung zu //server.ip.adresse/sharename aufbaust und dort einen Teil der Dateien hinkopierst Du kannst auch mehrere zu //tower1, //tower2, //tower3, usw aufbauen. Einfach in der hosts Datei von Windows mehrere Einträge anlegen. Danach kopierst du dann einfach verschiedene Ordner auf die "verschiedenen" Server. 5.) Das Kopieren auf einen Share produziert einen massiven Overhead. Man kann diesen Overhead umgehen, in dem man in Unraid die Disk-Shares aktiviert und nur die Cache-Disk freigibt. Wenn du nun auf \\tower\cache\sharename statt \\tower\sharename kopierst, umgehst du diesen Overhead. Das Problem wird hier diskutiert. Zuletzt noch ein Hinweis: 6.) Wenn man sehr viele Dateien auf ein Intranet- oder Internetziel übertragen möchte, sollte man sie vorher in eine Archivdatei (ZIP) packen. Der Overhead jeder Dateiübertragung macht sonst viel aus. 1 Quote Link to comment
Snuups Posted September 19, 2020 Author Share Posted September 19, 2020 11 hours ago, mgutt said: 1.) Passen die Dateien denn noch auf den Cache? Nein, sicher nicht. der Cache ist nur eine 1 TB SSD. 11 hours ago, mgutt said: 2.) Hast du eine hochwertige SSD mit DRAM und SLC Cache verbaut? Es ist eine KINGSTON A400 960 GB, das sollte aktuell sein. 11 hours ago, mgutt said: 3.) Hast du Trim aktiv und passt dein Interval zu deinem Mover Interval (also wenn leer dann Trim)? Der Mover läuft jede Stunde. Mit Trim kann ich nichts anfangen, darüber weis ist nichts. Es ist also noch in der Default Einstellung. Der langsame Kopiervorgang geht nicht über den Cache. 11 hours ago, mgutt said: 4.) Unraid skaliert extrem schlecht, wenn zu viele offene SMB Sessions vorhanden sind. Teste es wie folgt: Starte auf dem Windows Client, der gerade läuft, Powershell als Admin. Dann führe "Get-SmbConnection" aus. Dann siehst du bei NumOpens wie viele Sessions gerade offen sind. Das Problem diskutiere ich gerade hier. Dieses Problem kannst du umgehen, in dem du eine zusätzliche Verbindung zu //server.ip.adresse/sharename aufbaust und dort einen Teil der Dateien hinkopierst Du kannst auch mehrere zu //tower1, //tower2, //tower3, usw aufbauen. Einfach in der hosts Datei von Windows mehrere Einträge anlegen. Danach kopierst du dann einfach verschiedene Ordner auf die "verschiedenen" Server. 5.) Das Kopieren auf einen Share produziert einen massiven Overhead. Man kann diesen Overhead umgehen, in dem man in Unraid die Disk-Shares aktiviert und nur die Cache-Disk freigibt. Wenn du nun auf \\tower\cache\sharename statt \\tower\sharename kopierst, umgehst du diesen Overhead. Das Problem wird hier diskutiert. Ich werde das aufmerksam lesen. 11 hours ago, mgutt said: Zuletzt noch ein Hinweis: 6.) Wenn man sehr viele Dateien auf ein Intranet- oder Internetziel übertragen möchte, sollte man sie vorher in eine Archivdatei (ZIP) packen. Der Overhead jeder Dateiübertragung macht sonst viel aus. Das Archiv kann ich ja dann an dem Ort entpacken. Schlaue Idee. Quote Link to comment
mgutt Posted September 19, 2020 Share Posted September 19, 2020 18 minutes ago, Snuups said: Nein, sicher nicht. der Cache ist nur eine 1 TB SSD. Das ist egal, wenn der Mover einen schnelleren Intervall besitzt, als du neue Dateien drauf schiebst. 19 minutes ago, Snuups said: KINGSTON A400 960 GB Das ist eine besagte Billig-SSD (sorry ^^). Ohne DRAM und ohne SLC Cache werden die Zellen gerade als Cache schnell verbraucht (TLC hat ca 1000 Schreibzyklen, dann ist die SSD kaputt). Für größere Datenmengen ist sie als Cache quasi ungeeignet, da sie mit 100 MB/s nicht mal 1G auslasten kann. Außerdem hat diese SSD sogar einen Bug, der aber mit einem Firmware Update behoben werden kann. 38 minutes ago, Snuups said: Mit Trim kann ich nichts anfangen Jede SSD muss regelmäßig mit dem Trim Kommando bereinigt werden. In Windows passiert das automatisch. In Unraid benötigt man dazu ein Plugin und muss dieses mit einem entsprechenden Intervall versehen (zB täglich). Das Plugin findest du unter "Apps", sofern du die Community Applications installiert hast (jedem Unraid Nutzer empfohlen). 42 minutes ago, Snuups said: Der langsame Kopiervorgang geht nicht über den Cache. Also direkt auf die HDD. Das ist natürlich gut für die Lebenszeit der SSD, aber widerspricht natürlich dem Sinn eines Caches (die Langsamkeit einer HDD zu umgehen). Was für eine HDD ist das genau? Beim ersten Befüllen des NAS habe ich übrigens auch den Cache deaktiviert. Einfach um die SSD zu schonen. Aber danach ist sie nun überall als Cache aktiv, damit ich eben die höchste Geschwindigkeit nutzen kann. Quote Link to comment
Snuups Posted September 19, 2020 Author Share Posted September 19, 2020 (edited) Die HD die gerade beschrieben wird ist eine 8TB WD RED. Die anderen sind 12 TB Seagate Exos. Eine 12 und 16 TB Exos ist Parity. Die SSD werde ich bei Gelegenheit austauschen. Das Dynamix SSD Trim installiere ich (Erledigt). Hmm, die Auswahl an SSDs ist etwas üppig. Was ist denn da so ideal für unRAID? Sowas wie WD RED? Edited September 19, 2020 by Snuups Quote Link to comment
mgutt Posted September 19, 2020 Share Posted September 19, 2020 25 minutes ago, Snuups said: 8TB WD RED Dann sollte es auch keine Probleme geben. Die Platte ist bei einem sequentiellen Transfer schnell genug, auch wenn es viele kleine Dateien betrifft (trotzdem ist natürlich ein großes ZIP bei so vielen kleinen Dateien besser). Muss also einer der anderen oben genannten Punkte sein oder etwas, was ich selbst noch nicht kenne. 26 minutes ago, Snuups said: Was ist denn da so ideal für unRAID? Sowas wie WD RED? SSDs, die angeblich speziell für NAS sind, sind einfach nur teuer. Möchtest du irgendwann 10G verbauen? Dann müsstest du evtl eine NVMe einplanen (oder ein RAID1 aus zwei SATA SSDs). Wenn dir 1G LAN reicht, dann kannst du quasi jede SSD mit "3D NAND" aussuchen. Also zB WD Blue, SanDisk Ultra, Samsung Evo/Pro, Crucial MX500 usw. Vorzugsweise was mit 1TB oder mehr, da größere SSDs bekanntlich einen größeren SLC Cache besitzen. Die Samsung QVO, Crucial BX/MX100, Sandisk Plus, usw solltest du meiden. Quote Link to comment
Snuups Posted September 19, 2020 Author Share Posted September 19, 2020 (edited) WD Blue 3D NAND (2000GB, 2.5") Die bestelle ich mal. Der Preis erscheint mir sehr fair. 10 Gbit ist schon verbaut, wobei es weniger um die Geschwindigkeit geht. (Der Controller war übrig). Vielen Dank. diese Informationen sind extrem Hilfreich. Edited September 19, 2020 by Snuups Quote Link to comment
mgutt Posted September 19, 2020 Share Posted September 19, 2020 (edited) Mit der machst du nichts falsch. Hier ab 4:50 siehst du die durchgehende Schreibrate von 480 MB/s Mit 10 Gbit/s kannst du die je nach CPU Leistung deines NAS auch erreichen. Bei 115 MB/s (1G LAN) reicht es dann übrigens den Mover Interval auf 4 Stunden zu verlängern, weil 2TB / 115 MB/s = 4,8 Std Kopierzeit bis die SSD voll ist. Wobei du auch einen noch längeren Intervall nehmen kannst, wenn es dir egal ist, wenn es nach sehr vielen Daten auf die HDD Array-Geschwindigkeit sinkt. Weil der kopiert dann ja automatisch auf die HDDs, wenn die SSD voll ist. Man sollte nur in den Einstellungen 50-100GB auf dem Cache freilassen. Ich habe 100GB eingestellt, da ich häufiger Filme rippe und wenn parallel große Dateien geschrieben werden, kann es sonst sein, dass der Cache vollläuft und es zum Fehler kommt. Seitdem ich 100GB eingestellt habe, passiert das nicht mehr. Edited September 19, 2020 by mgutt Quote Link to comment
Snuups Posted September 19, 2020 Author Share Posted September 19, 2020 Die meisten meiner Kopiervorgänge sind grösser als der Cache von 2 TB. Da kann man den Cache wohl eher vergessen. Quote Link to comment
mgutt Posted September 19, 2020 Share Posted September 19, 2020 (edited) Wenn deine einzelnen Dateien größer sind als 2TB, dann ja. Nicht wenn sie aus vielen kleinen Dateien bestehen. Nachdem die Datei auf dem Cache gelandet ist und der Mover startet, wird sie ja auf das HDD Array verschoben. Der Platz auf der SSD ist dann logischerweise wieder frei. Der Rest ist dann ein Rechenbeispiel. Wie schnell kannst du die SSD voll machen und wie oft startet der Mover, um sie parallel wieder leer zu machen Ich nutze den Cache sowohl zur Beschleunigung des Transfers als auch um bestimmte Daten permanent auf dem Cache zu lassen. zB meine MP3s, Docker und VMs. Auf die Art sind diese Daten sehr schnell verfügbar und das HDD Array kann noch länger schlafen. Edited September 19, 2020 by mgutt Quote Link to comment
Snuups Posted October 29, 2020 Author Share Posted October 29, 2020 (edited) Soweit so gut. Die 2 TB Cache mit entsprechenden Einstellungen funktionieren gut. Läuft der Mover jedoch ist das System unglaublich langsam. Schreibzugriffe aus das unRAID belasten den Rechner wesentlich mehr als ich mir das vorgestellt habe. Danke für deine Hilfe! Edited October 29, 2020 by Snuups Quote Link to comment
mgutt Posted October 29, 2020 Share Posted October 29, 2020 Dein Xeon E5520 besitzt eine relativ geringe Single Thread Performance: https://www.cpubenchmark.net/cpu.php?cpu=Intel+Xeon+E5520+%40+2.27GHz&id=1243 Meine Empfehlung sind mindestens 1400 Passmark Punkte: https://forums.unraid.net/topic/97165-smb-performance-tuning/ Was genau ist denn langsam, wenn der Mover aktiv ist? Dateien vom Client auf den Server laden oder die GUI oder was meinst du? Quote Link to comment
Snuups Posted October 29, 2020 Author Share Posted October 29, 2020 Meine Konfiguration hat sich mittlerweile geändert. (Siehe Bild) Das System ist so langsam das beim Mac die Shares einen Timeout bekommen und man sie neu mounten muss. Am PC kommt es vor das beim Aufruf eines Directories mehr als eine Minute vergeht bis das unRAID sich bequemt überhaupt eine Antwort zu senden. Obwohl noch genügend Kerne nichts zu tun haben. Quote Link to comment
mgutt Posted October 29, 2020 Share Posted October 29, 2020 Das ist komisch, weil der Load im Dashboard enthält auch I/O Wait. Soll heißen, dass da scheinbar auch kein Prozess auf eine Festplatte oder ähnliches wartet. Sehr ungewöhnlich. Wenn das wieder vorkommt, prüf man mit htop was da für Prozesse so aktiv sind und ob es doch irgendwelche Spitzen gibt. Quote Link to comment
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.