Leistungsprobleme mit Cache


EliteGroup

Recommended Posts

Hey Leute, ich habe einige Leistungsprobleme und verstehe nicht wieso...
Alle Server Daten hier: Forum Link

 

Ich habe 2 Cache Pools:
- Cache (Nur für Temporäre Datein & Transcoding)
- Data (Für "appdata" der Docker und VMs)
Beide sind M.2 Samsung SSDs

Vorallem das Arbeiten auf der Cache SSD oder kopieren von Datein auf der selben Platte ist extrem langsam...
Auch ein Beispiel:
Wenn ich mit SABnzbd etwas runterlade und er zum entpacken anfängt, dann droppt dogar der Downloadspeed ein:
sab.JPG.a7b7ea7a483b028eb2b307a63bef19a6.JPG

Links konstant 400 MBit/s dann habe ich pausiert und gestartet wärend dem entpacken und der dropt hin und her.
Das selbe wenn nichts entpackt wird aber auf der Platte eine kleine Datei Transcodiert wird (2GB), dann schrankt es auch stark.
Wenn auf der Cache gearbeitet wird sehe nie mehr als 120 MB/s lesen/schreiben in Unraid. (Nein ich arbeite nicht unabsichtlich auf den HDDs des Arrays)
Egal welche Arbeiten auf dem Cache statt finden sind extrem langsam sodas sogar Downloads einbrechen. Das dürfte bei einer Samsung 980 nicht sein.

Die CPU (Ryzen 5950X) wird nie mehr als 30% belastet.
Mir kommt es so vor immer wenn auf der Platte gleichzeitig gelesen und geschrieben werden muss kommt überhaupt keine Leistung rüber... Wie entpacken, transcoding etc.

DiskSpeed test ist nicht schlecht:
benchmark-speeds.thumb.jpeg.9dffaf8ad1cd9ac45662e1290ca803c9.jpeg


Ich verstehe nicht wieso sich manche Docker so plagen auf der Platte... Am anfang hat SABnzbd mit 500 MBit/s gezocken und schneller entpackt als er runterladet.

Link to comment
1 hour ago, mgutt said:

Trim?

Habe ich schon durchgeführt. Verbesserung ist minimal.
Die warteschlange fürs entpacken ist jetzt extrem lang... Im Dashboard unter der SDD steht konstant "Lesen: 23.7 MB/s" mehr nicht. Alle paar Sekunden schreibt er dann für 1 Sekunde auf die Platte mit 120 MB/s+

Was mir jetzt auffällt ist dem Docker stehen eigentlich 9 Cores und 9 Theards zur verfügung.
Die Schwanken stark zwischen 0-20% aber einer geht immer auf anschlag 100%
Der letzte Core und der letzte Theard wechseln alle paar sekunden hin her auf 100%

Vilt wird nur 1 Core verwendet und das ist zu langsam?
Ich habe für den Docker eigentlich keine fixen Cores ausgewählt da dann sowieso nur 1 Core verwendet werden kann. Anfangs erinnere ich mich hat der Docker nicht ein Core auf 100% gebracht, eher mehere auf 50% und entpacken war in sekunden fertig. Aber es gab inzwischenzeit auch 2 Docker Updates vom SABnzbd

Link to comment
14 minutes ago, EliteGroup said:

Vilt wird nur 1 Core verwendet und das ist zu langsam?

Durchaus möglich. Sehr viele Programme sind nur Single Thread fähig. Gerade Entpacken ist ausschließlich Single Thread:

https://stackoverflow.com/a/48823516/318765

 

Zumindest sehe ich auch hier keinen Vorschlag für ein Programm was Multi Thread Decompress kann:

https://askubuntu.com/questions/258202/multi-core-compression-tools

 

Unterstützt der Container das Kommando top? Dann könntest du den Prozess einsehen, der entpackt. Außerdem könntest du sehen ob i/o wait vorhanden ist, also ob der Prozess auf die SSD warten muss. 

 

Erfolgt das Entpacken auf den selben Datenträger von der die Datei gelesen wird? Dann wäre auch der Datenträger ein limitierender Faktor. Kannst du Quelle und Ziel unterschiedlich definieren bzw hast du noch eine SSD als Ziel verfügbar?

 

Hast du beim Container den Pfad /mnt/user verwendet? Dann wäre unRAID's Fuse (SSHFS) ein limitierender Faktor. Stell dann mal auf /mnt/cache um.

 

 

Link to comment
2 hours ago, mgutt said:

Durchaus möglich. Sehr viele Programme sind nur Single Thread fähig. Gerade Entpacken ist ausschließlich Single Thread:

https://stackoverflow.com/a/48823516/318765

 

Zumindest sehe ich auch hier keinen Vorschlag für ein Programm was Multi Thread Decompress kann:

https://askubuntu.com/questions/258202/multi-core-compression-tools

 

Unterstützt der Container das Kommando top? Dann könntest du den Prozess einsehen, der entpackt. Außerdem könntest du sehen ob i/o wait vorhanden ist, also ob der Prozess auf die SSD warten muss. 

 

Erfolgt das Entpacken auf den selben Datenträger von der die Datei gelesen wird? Dann wäre auch der Datenträger ein limitierender Faktor. Kannst du Quelle und Ziel unterschiedlich definieren bzw hast du noch eine SSD als Ziel verfügbar?

 

Hast du beim Container den Pfad /mnt/user verwendet? Dann wäre unRAID's Fuse (SSHFS) ein limitierender Faktor. Stell dann mal auf /mnt/cache um.

 

 

In den Settings habe ich Multi-Thred Extract ausgewählt.

Mal ein Update, ich probiere seit Tagen einiges herum... Natürlich habe ich den Container auch mal neuinstalliert.
Jetzt eben habe ich einen anderen Container installiert. Der alte war von Binhex, jetzt probiere ich @ich777 Container.

Und alles funktioniert jetzt? Also es gibt keinen Drop im Download obwohl der mit 500 MBit/s drüber fährt und das entpacken ist nach paar Sekunden erledigt... Echt Strange.
Kann ein fehlerhafter Container so schwere Probleme aufs ganze System ziehn? Die Settings in Docker und der App sind identisch gewählt von Binhex zu ich777

Da sogar die Unraid-GUI beim entpacken hängt und andere Apps auch einbrechen wärend entpackt wird dachte ich an eine limitierung im System. Erklären kann ich mir das nicht? Kann das echt sein das ein ganzes System leidet wegen einen fehlerhaften Container. Dabei macht die App ja nichts anderes als die App jetzt... Downloaden -> Entpacken.
Eben eine 40 GB Datei geladen und entpackt, das System wird praktisch 0 belastet und entpacken ist 5 sekunden nach dem Download fertig und kein drop.
Ich verstehs nicht 😄

Ist seit den letzten 2 Binhex Updates so. Ich weis das es bei der Installation diese Version alles in Ordnung war

Edited by EliteGroup
Link to comment
3 hours ago, EliteGroup said:

Die Settings in Docker und der App sind identisch gewählt von Binhex zu ich777

Das hab ich schon öfter gehört.

Meine container basieren all auf Debian u für SABnzbd kompilier ich par2-multicore und unrar selbst dediziert und nehm nicht die von den offiziellen repos, vielleicht liegts daran?

  • Like 1
Link to comment
3 hours ago, EliteGroup said:

Dabei macht die App ja nichts anderes als die App jetzt...

Das würd ich so echt nicht behaupten...

Die meisten meiner Container funktionieren Grundlegend anders, fängt bei den updates schon an.

 

3 hours ago, EliteGroup said:

Da sogar die Unraid-GUI beim entpacken hängt

Deine beschriebenen Probleme hatte ich früher auch teilweisr.

 

3 hours ago, EliteGroup said:

Ist seit den letzten 2 Binhex Updates so. Ich weis das es bei der Installation diese Version alles in Ordnung war

Bist du dir da 100%ig sicher?

Kommt auch auf die Größe der einzelnen Pakete, ob sie Passwortgeschützt usw. sind.

  • Like 1
Link to comment

Danke für die Aufklärung @ich777

Ich betreibe noch nicht lange Unraid Server und dachte bei diesen Verhalten eher an Probleme im System.
 

1 hour ago, ich777 said:

Bist du dir da 100%ig sicher?

Kommt auch auf die Größe der einzelnen Pakete, ob sie Passwortgeschützt usw. sind.

Ja zu 100%, alle meine nzb's landen in einem Backup-Ordner und ich habe alte genommen von denen ich genau wuste die sind schnell durchgelaufen.
Ich weis auch das es die letzten 2 Updates betreffen da ich das Problem schon länger versuche zu verstehen, und dann kam ein neues Binhex Update und ich habe gehofft es ist jetzt besser, dem war nicht so

Dein ich777 Container läuft erst seit heute Mittag und es sind bereits 70 Downloads durch gerattert und alle werden so schnell "Direkt Entpackt" das wenn der nächste startet der fertige schon komplett beendet ist.
Gestern Nacht hatte ich 20 Downloads im Binhex und heute Morgen hatte ich in der Warteschlange immer noch 7 in der nachbearbeitung am Warten aufs entpacken...

Auch cool bei deiner Version ist die CPU belastung um ein vielfaches geringer 🙂 3% maximale CPU Auslastung (einzelner Core maximal 26%) beim entpacken zu vorher 11% gesamt und einzelne Cores springen 100%
👍

Ich bin zufrieden das es kein Problem im OS war, und deiner gut läuft

Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.