EliteGroup Posted January 15, 2022 Share Posted January 15, 2022 Hey Leute, ich habe einige Leistungsprobleme und verstehe nicht wieso... Alle Server Daten hier: Forum Link Ich habe 2 Cache Pools: - Cache (Nur für Temporäre Datein & Transcoding) - Data (Für "appdata" der Docker und VMs) Beide sind M.2 Samsung SSDs Vorallem das Arbeiten auf der Cache SSD oder kopieren von Datein auf der selben Platte ist extrem langsam... Auch ein Beispiel: Wenn ich mit SABnzbd etwas runterlade und er zum entpacken anfängt, dann droppt dogar der Downloadspeed ein: Links konstant 400 MBit/s dann habe ich pausiert und gestartet wärend dem entpacken und der dropt hin und her. Das selbe wenn nichts entpackt wird aber auf der Platte eine kleine Datei Transcodiert wird (2GB), dann schrankt es auch stark. Wenn auf der Cache gearbeitet wird sehe nie mehr als 120 MB/s lesen/schreiben in Unraid. (Nein ich arbeite nicht unabsichtlich auf den HDDs des Arrays) Egal welche Arbeiten auf dem Cache statt finden sind extrem langsam sodas sogar Downloads einbrechen. Das dürfte bei einer Samsung 980 nicht sein. Die CPU (Ryzen 5950X) wird nie mehr als 30% belastet. Mir kommt es so vor immer wenn auf der Platte gleichzeitig gelesen und geschrieben werden muss kommt überhaupt keine Leistung rüber... Wie entpacken, transcoding etc. DiskSpeed test ist nicht schlecht: Ich verstehe nicht wieso sich manche Docker so plagen auf der Platte... Am anfang hat SABnzbd mit 500 MBit/s gezocken und schneller entpackt als er runterladet. Quote Link to comment
EliteGroup Posted January 15, 2022 Author Share Posted January 15, 2022 (edited) Ich habe noch einen Test gemacht. DiskSpeed wärend entpacken dropt massiv ein: Wenn 2 Archive entpacken geht garnichts mehr... Dann ist nicht mal mehr ein Download möglich Edited January 15, 2022 by EliteGroup Quote Link to comment
EliteGroup Posted January 15, 2022 Author Share Posted January 15, 2022 1 hour ago, mgutt said: Trim? Habe ich schon durchgeführt. Verbesserung ist minimal. Die warteschlange fürs entpacken ist jetzt extrem lang... Im Dashboard unter der SDD steht konstant "Lesen: 23.7 MB/s" mehr nicht. Alle paar Sekunden schreibt er dann für 1 Sekunde auf die Platte mit 120 MB/s+ Was mir jetzt auffällt ist dem Docker stehen eigentlich 9 Cores und 9 Theards zur verfügung. Die Schwanken stark zwischen 0-20% aber einer geht immer auf anschlag 100% Der letzte Core und der letzte Theard wechseln alle paar sekunden hin her auf 100% Vilt wird nur 1 Core verwendet und das ist zu langsam? Ich habe für den Docker eigentlich keine fixen Cores ausgewählt da dann sowieso nur 1 Core verwendet werden kann. Anfangs erinnere ich mich hat der Docker nicht ein Core auf 100% gebracht, eher mehere auf 50% und entpacken war in sekunden fertig. Aber es gab inzwischenzeit auch 2 Docker Updates vom SABnzbd Quote Link to comment
mgutt Posted January 15, 2022 Share Posted January 15, 2022 14 minutes ago, EliteGroup said: Vilt wird nur 1 Core verwendet und das ist zu langsam? Durchaus möglich. Sehr viele Programme sind nur Single Thread fähig. Gerade Entpacken ist ausschließlich Single Thread: https://stackoverflow.com/a/48823516/318765 Zumindest sehe ich auch hier keinen Vorschlag für ein Programm was Multi Thread Decompress kann: https://askubuntu.com/questions/258202/multi-core-compression-tools Unterstützt der Container das Kommando top? Dann könntest du den Prozess einsehen, der entpackt. Außerdem könntest du sehen ob i/o wait vorhanden ist, also ob der Prozess auf die SSD warten muss. Erfolgt das Entpacken auf den selben Datenträger von der die Datei gelesen wird? Dann wäre auch der Datenträger ein limitierender Faktor. Kannst du Quelle und Ziel unterschiedlich definieren bzw hast du noch eine SSD als Ziel verfügbar? Hast du beim Container den Pfad /mnt/user verwendet? Dann wäre unRAID's Fuse (SSHFS) ein limitierender Faktor. Stell dann mal auf /mnt/cache um. Quote Link to comment
EliteGroup Posted January 15, 2022 Author Share Posted January 15, 2022 (edited) 2 hours ago, mgutt said: Durchaus möglich. Sehr viele Programme sind nur Single Thread fähig. Gerade Entpacken ist ausschließlich Single Thread: https://stackoverflow.com/a/48823516/318765 Zumindest sehe ich auch hier keinen Vorschlag für ein Programm was Multi Thread Decompress kann: https://askubuntu.com/questions/258202/multi-core-compression-tools Unterstützt der Container das Kommando top? Dann könntest du den Prozess einsehen, der entpackt. Außerdem könntest du sehen ob i/o wait vorhanden ist, also ob der Prozess auf die SSD warten muss. Erfolgt das Entpacken auf den selben Datenträger von der die Datei gelesen wird? Dann wäre auch der Datenträger ein limitierender Faktor. Kannst du Quelle und Ziel unterschiedlich definieren bzw hast du noch eine SSD als Ziel verfügbar? Hast du beim Container den Pfad /mnt/user verwendet? Dann wäre unRAID's Fuse (SSHFS) ein limitierender Faktor. Stell dann mal auf /mnt/cache um. In den Settings habe ich Multi-Thred Extract ausgewählt. Mal ein Update, ich probiere seit Tagen einiges herum... Natürlich habe ich den Container auch mal neuinstalliert. Jetzt eben habe ich einen anderen Container installiert. Der alte war von Binhex, jetzt probiere ich @ich777 Container. Und alles funktioniert jetzt? Also es gibt keinen Drop im Download obwohl der mit 500 MBit/s drüber fährt und das entpacken ist nach paar Sekunden erledigt... Echt Strange. Kann ein fehlerhafter Container so schwere Probleme aufs ganze System ziehn? Die Settings in Docker und der App sind identisch gewählt von Binhex zu ich777 Da sogar die Unraid-GUI beim entpacken hängt und andere Apps auch einbrechen wärend entpackt wird dachte ich an eine limitierung im System. Erklären kann ich mir das nicht? Kann das echt sein das ein ganzes System leidet wegen einen fehlerhaften Container. Dabei macht die App ja nichts anderes als die App jetzt... Downloaden -> Entpacken. Eben eine 40 GB Datei geladen und entpackt, das System wird praktisch 0 belastet und entpacken ist 5 sekunden nach dem Download fertig und kein drop. Ich verstehs nicht 😄 Ist seit den letzten 2 Binhex Updates so. Ich weis das es bei der Installation diese Version alles in Ordnung war Edited January 15, 2022 by EliteGroup Quote Link to comment
ich777 Posted January 15, 2022 Share Posted January 15, 2022 3 hours ago, EliteGroup said: Die Settings in Docker und der App sind identisch gewählt von Binhex zu ich777 Das hab ich schon öfter gehört. Meine container basieren all auf Debian u für SABnzbd kompilier ich par2-multicore und unrar selbst dediziert und nehm nicht die von den offiziellen repos, vielleicht liegts daran? 1 Quote Link to comment
ich777 Posted January 15, 2022 Share Posted January 15, 2022 3 hours ago, EliteGroup said: Dabei macht die App ja nichts anderes als die App jetzt... Das würd ich so echt nicht behaupten... Die meisten meiner Container funktionieren Grundlegend anders, fängt bei den updates schon an. 3 hours ago, EliteGroup said: Da sogar die Unraid-GUI beim entpacken hängt Deine beschriebenen Probleme hatte ich früher auch teilweisr. 3 hours ago, EliteGroup said: Ist seit den letzten 2 Binhex Updates so. Ich weis das es bei der Installation diese Version alles in Ordnung war Bist du dir da 100%ig sicher? Kommt auch auf die Größe der einzelnen Pakete, ob sie Passwortgeschützt usw. sind. 1 Quote Link to comment
EliteGroup Posted January 15, 2022 Author Share Posted January 15, 2022 Danke für die Aufklärung @ich777 Ich betreibe noch nicht lange Unraid Server und dachte bei diesen Verhalten eher an Probleme im System. 1 hour ago, ich777 said: Bist du dir da 100%ig sicher? Kommt auch auf die Größe der einzelnen Pakete, ob sie Passwortgeschützt usw. sind. Ja zu 100%, alle meine nzb's landen in einem Backup-Ordner und ich habe alte genommen von denen ich genau wuste die sind schnell durchgelaufen. Ich weis auch das es die letzten 2 Updates betreffen da ich das Problem schon länger versuche zu verstehen, und dann kam ein neues Binhex Update und ich habe gehofft es ist jetzt besser, dem war nicht so Dein ich777 Container läuft erst seit heute Mittag und es sind bereits 70 Downloads durch gerattert und alle werden so schnell "Direkt Entpackt" das wenn der nächste startet der fertige schon komplett beendet ist. Gestern Nacht hatte ich 20 Downloads im Binhex und heute Morgen hatte ich in der Warteschlange immer noch 7 in der nachbearbeitung am Warten aufs entpacken... Auch cool bei deiner Version ist die CPU belastung um ein vielfaches geringer 🙂 3% maximale CPU Auslastung (einzelner Core maximal 26%) beim entpacken zu vorher 11% gesamt und einzelne Cores springen 100% 👍 Ich bin zufrieden das es kein Problem im OS war, und deiner gut läuft Quote Link to comment
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.