Hallo,

 

merkwürdigerweise habe ich ne Out of Memory Meldung bekommen.

Dabei ist das System kaum ausgelastet.

 

Wem kann ich die Diagnostik schicken?

 

Vielen Dank!

 

Viele Grüße

 

Revan335

21 minutes ago, Revan335 said:

Wem kann ich die Diagnostik schicken?

 

einfach hier posten wenn sich das jemand ansehen soll ... 

 

vielleicht mal vorab einen screen hiervon machen

 

2 hours ago, alturismo said:

vielleicht mal vorab einen screen hiervon machen

Ich würde als größten Verbraucher auf Docker tippen. Aktuell laufen wegen des Backups aber keine Docker. Schaue danach noch mal rein. Hier oder beim Backup System war der Docker Verbrauch sehr hoch gewesen im Roten Bereich.

 

Könnte man den Grund dann in einem Docker Log finden?

 

Gibt es eine RAM Begrenzung für Docker wie bspw. fürs Log die ebenfalls nur einen Bruchteil des RAMs ist?

 

Edit: Docker wieder online. Keine Veränderung am RAM und die Out of Memory Meldung ist auch wieder weg.

Edited September 15, 20223 yr by Revan335

6 hours ago, Revan335 said:

Gibt es eine RAM Begrenzung für Docker wie

Bei den meisten leider nicht. Aus dem Grund stelle ich den überall ein.

 

 

Meist nehme ich 1G. Kommt auf den Docker an. Plex hatte jetzt mehr, weil ich da RAM Transcoding hinterlegt hatte. Aber das geht nicht mehr. Müsste ich mal wieder ändern.

On 9/16/2022 at 7:03 AM, mgutt said:

Plex hatte jetzt mehr, weil ich da RAM Transcoding hinterlegt hatte. Aber das geht nicht mehr. Müsste ich mal wieder ändern.

Also bei mir funktioniert das RAM Transcoding weiterhin:

 

14 hours ago, Enks said:

Also bei mir funktioniert das RAM Transcoding weiterhin:

Dann lad dir mal einen Film runter. Das Problem ist, dass Plex den Download neuerdings ins Transcoding Verzeichnis packt. Dadurch reichten bei mir 1 bis 2 Downloads und der RAM war voll und der Download brach ab. 😑

Ja gut, das liegt dann aber am Download-Feasture selbst und nicht am eigentlichen RAM Transcoding. In Zukunft wird man das hoffentlich trennen können, sodass das Transcoding Verzeichnis wieder nur für Streams genutzt wird.

Das war vorher getrennt. Daher befürchte ich, dass sie es so lassen. Und Download ist auch Transcoding. Wird ja denke ich keiner hingehen und für den Urlaub x Staffeln von einer Serie in Original 4K Qualität auf das Smartphone laden. Das macht man ja in der Regel mit 720p oder so 

Das ist schon ein Grund, Plex und Unraid nicht mehr für Downloads zu verwenden. Sämtliche Versuche, mit /transcode -> /tmp einen Download auf das iPad durchzuführen, scheiterten hier kläglich. Der Server erzeugt riesige Dateien im /tmp (von einem 2.5 GB H265 codierten Film bis zu 12 GB "output.mkv") und bricht dann ab - die Dateien werden durch den Plex-Server danach gelöscht. Gemerkt habe ich den Mist nur, weil 

• Download im Plex nicht mehr möglich war und
• mein Unmanic Docker nicht mehr konvertieren konnte (/tmp war voll) 

Und Transcodierung in ein SSD Verzeichnis, z.B. /mnt/user/cache/Transcode ist auch keine Alternative, wenn man sich mal anguckt, wie viele und teilweise auch große Dateien Plex nur beim Streamen oder gar beim Download erzeugt. Das ganze Zeug möchte ich echt nicht dauerhaft auf die SSDs geschrieben haben.

 

Edit: Habe es hinbekommen. Im Plex-Client auf dem iPad Settings->Downloads->Videoqualität 720p (Hoch), Ton 128 kbps und auf dem Server (Plex) -> Einstellung -> Mediathek -> erzeuge Kapitel-Thumbnails und Vorschau-Thumbnails = NIE. Wenn dann noch HW-Encoding funktioniert, geht es. Dauert etwa 15 Minuten für einen Download und erzeugt eine Datei auf dem iPad, die ca. 70 % vom Original umfasst.

Edited September 30, 20223 yr by azche24

36 minutes ago, azche24 said:

Habe es hinbekommen

 

Super. Hätte mich aber auch schwer gewundert. Hier transkodiert Plex seinen Content seit Jahren über /tmp ohne eine einziges Problem. Jedes mal wenn jemand aus der Familie in den Urlaub fliegt werden ganze Serien, Filme, über Plex heruntergeladen (und dabei transkodiert). Und Plex ist nicht der einzige Container. Hier sind alle /tmp Verzeichnisse (z.B. Nextcloud) auf das RAM umgebogen.

 

Das möchte ich nicht mehr missen.

 

1 hour ago, hawihoney said:

Das möchte ich nicht mehr missen.

 

ebenso

 

und ich nutze dass ja auch für alles mögliche ... eigenes encoding ffmpeg, plex, tvheadend, xteve

root@AlsServer:~# ls -la /dev/shm/
total 36
drwxrwxrwt  7 root   root    200 Sep 30 13:40 ./
drwxr-xr-x 17 root   root   3640 Sep 29 13:42 ../
drwxrwxrwx  2 nobody users    40 Sep 29 08:42 ffmpeg/
-rw-r--r--  1 root   root    156 Sep 30 13:40 hdds.json
drwxrwxrwx  4 nobody users    80 Sep 30 10:01 plex/
-rw-r--r--  1 root   root  12506 Sep 30 13:40 sensors.json
-rw-r--r--  1 root   root  12561 Sep 30 13:40 sensorstemp.json
drwxrwxrwx  2 nobody users    40 Sep 24 06:05 tvheadend/
drwxrwxrwx  3 nobody users    60 Sep 24 06:05 xteve/
root@AlsServer:~#

 

4 hours ago, alturismo said:

ls -la /dev/shm/

 

Ich nehme /tmp - nicht /dev/shm. @mgutt hatte das mit shm mal empfohlen, ich hatte das auch ausprobiert und dabei direkt irgendetwas gehimmelt. Bin dann wieder zurück zu /tmp und alles war wieder gut.

 

49 minutes ago, hawihoney said:

Ich nehme /tmp - nicht /dev/shm. @mgutt hatte das mit shm mal empfohlen, ich hatte das auch ausprobiert und dabei direkt irgendetwas gehimmelt. Bin dann wieder zurück zu /tmp und alles war wieder gut.

 

der Unterschied ist recht simpel, /dev/shm ist immer nur im RAM (meist limitiert auf die 1/2)

 

/tmp sollte normal auch im RAM sein und könnte auch im Filesystem enden ... wobei es normal beim RAM Limit crasht (bei Unraid zumindest )

 

┌───────────┬──────────────┬────────────────┐
│ /dev/shm  │ always tmpfs │ Linux specific │
├───────────┼──────────────┼────────────────┤
│ /tmp      │ can be tmpfs │ FHS 1.0        │
├───────────┼──────────────┼────────────────┤
│ /var/tmp  │ never tmpfs  │ FHS 1.0        │
└───────────┴──────────────┴────────────────┘

 

so mein old school Stand

So sieht das aus. shm nutzt nur 50% vom RAM, verhindert entsprechend das Volllaufen des RAM. Man kann aber auch eigene tmpfs RAM Disks zb mit 80 oder 90% erstellen und dahin schreiben. Nur tmp und damit 100% vom RAM nehmen, ist riskant.

 

 

OK, hab's begriffen und geändert. Die *.tmp Dateien gehen jetzt in /dev/shm. Habe genug Platz mit 64 GB RAM. Ist immer ärgerlich: RAM ist schnell und oft zu knapp 🤔

Gibt es nen speziellen Bereich oder log in der Diagnostik wo was zu den Out of Memory steht?

Bspw. im syslog unter nem bestimmten Suchbegriff?

 

Dann kann ich ggf. künftig selbstständig was aus den Diagnostiks lesen, falls es nochmal auftritt wie zur Zeit wieder.

Wenn ich das richtig im syslog deute ist es der rsync-server Docker Container. @mgutt Ne Idee, wieso und wie man es beheben kann?

 

Oct 17 13:26:21 UnraidServer kernel: out_of_memory+0x3e8/0x41a
Oct 17 13:26:21 UnraidServer kernel: mem_cgroup_out_of_memory+0x7c/0xb2

Oct 17 13:26:21 UnraidServer kernel: memory: usage 1048576kB, limit 1048576kB, failcnt 71555977
Oct 17 13:26:21 UnraidServer kernel: memory+swap: usage 1048576kB, limit 2097152kB, failcnt 0
Oct 17 13:26:21 UnraidServer kernel: kmem: usage 33140kB, limit 9007199254740988kB, failcnt 0
Oct 17 13:26:21 UnraidServer kernel: Memory cgroup stats for /docker/a7602feb72debf8d11928cd4dfd13967b474b5b77a8ddd84110c2ae586cd753c:

Oct 17 13:26:21 UnraidServer kernel: Tasks state (memory values in pages):
Oct 17 13:26:21 UnraidServer kernel: [  pid  ]   uid  tgid total_vm      rss pgtables_bytes swapents oom_score_adj name
Oct 17 13:26:21 UnraidServer kernel: [   7161]     0  7161     1098      136    40960        0             0 sshd
Oct 17 13:26:21 UnraidServer kernel: [    997]     0   997     1124      161    40960        0             0 sshd
Oct 17 13:26:21 UnraidServer kernel: [   1000]     0  1000   264304   253257  2072576        0             0 rsync
Oct 17 13:26:21 UnraidServer kernel: oom-kill:constraint=CONSTRAINT_MEMCG,nodemask=(null),cpuset=a7602feb72debf8d11928cd4dfd13967b474b5b77a8ddd84110c2ae586cd753c,mems_allowed=0,oom_memcg=/docker/a7602feb72debf8d11928cd4dfd13967b474b5b77a8ddd84110c2ae586cd753c,task_memcg=/docker/a7602feb72debf8d11928cd4dfd13967b474b5b77a8ddd84110c2ae586cd753c,task=rsync,pid=1000,uid=0
Oct 17 13:26:21 UnraidServer kernel: Memory cgroup out of memory: Killed process 1000 (rsync) total-vm:1057216kB, anon-rss:1013028kB, file-rss:0kB, shmem-rss:0kB, UID:0 pgtables:2024kB oom_score_adj:0


Oct 18 12:12:57 UnraidServer kernel: out_of_memory+0x3e8/0x41a
Oct 18 12:12:57 UnraidServer kernel: mem_cgroup_out_of_memory+0x7c/0xb2

Oct 18 12:12:57 UnraidServer kernel: memory: usage 1048576kB, limit 1048576kB, failcnt 5072653
Oct 18 12:12:57 UnraidServer kernel: memory+swap: usage 1048576kB, limit 2097152kB, failcnt 0
Oct 18 12:12:57 UnraidServer kernel: kmem: usage 29760kB, limit 9007199254740988kB, failcnt 0
Oct 18 12:12:57 UnraidServer kernel: Memory cgroup stats for /docker/a7602feb72debf8d11928cd4dfd13967b474b5b77a8ddd84110c2ae586cd753c:

Oct 18 12:12:57 UnraidServer kernel: Tasks state (memory values in pages):
Oct 18 12:12:57 UnraidServer kernel: [  pid  ]   uid  tgid total_vm      rss pgtables_bytes swapents oom_score_adj name
Oct 18 12:12:57 UnraidServer kernel: [  31901]     0 31901     1099      137    49152        0             0 sshd
Oct 18 12:12:57 UnraidServer kernel: [  28722]     0 28722     1124      160    49152        0             0 sshd
Oct 18 12:12:57 UnraidServer kernel: [  28727]     0 28727   265044   254133  2084864        0             0 rsync
Oct 18 12:12:57 UnraidServer kernel: oom-kill:constraint=CONSTRAINT_MEMCG,nodemask=(null),cpuset=a7602feb72debf8d11928cd4dfd13967b474b5b77a8ddd84110c2ae586cd753c,mems_allowed=0,oom_memcg=/docker/a7602feb72debf8d11928cd4dfd13967b474b5b77a8ddd84110c2ae586cd753c,task_memcg=/docker/a7602feb72debf8d11928cd4dfd13967b474b5b77a8ddd84110c2ae586cd753c,task=rsync,pid=28727,uid=0
Oct 18 12:12:57 UnraidServer kernel: Memory cgroup out of memory: Killed process 28727 (rsync) total-vm:1060176kB, anon-rss:1016504kB, file-rss:28kB, shmem-rss:0kB, UID:0 pgtables:2036kB oom_score_adj:0

 

Edited October 18, 20223 yr by Revan335

On 10/18/2022 at 8:16 PM, Revan335 said:

Wenn ich das richtig im syslog deute ist es der rsync-server Docker Container. @mgutt Ne Idee, wieso und wie man es beheben kann?

Ich habe bei allen meinen Container-Templates ein memorylimit hinterlegt, damit ein Container niemals den kompletten RAM von unRAID nutzen kann. Container bearbeiten, advanced View und dann das Limit erhöhen. Standard ist 1G. Wobei es mich wundert, dass rsync mehr braucht.

1 hour ago, mgutt said:

Standard ist 1G. Wobei es mich wundert, dass rsync mehr braucht.

Vielen Dank!

 

Kann ich vielleicht wo nach schauen um dieses mysterium zu lüften?

 

Hab es jetzt mal auf 3 GB gesetzt, was bei 64 GB kein Problem ist.

10 minutes ago, Revan335 said:

Kann ich vielleicht wo nach schauen um dieses mysterium zu lüften?

Du kannst die erweiterte Ansicht bei den Containern aktivieren. Dann siehst du den RAM Verbrauch. Wenn der dauerhaft hoch ist, müsste man die Console des Containers öffnen und innerhalb dessen schauen welche Prozesse da den RAM belegen.

On 10/20/2022 at 10:42 PM, mgutt said:

Du kannst die erweiterte Ansicht bei den Containern aktivieren. Dann siehst du den RAM Verbrauch. Wenn der dauerhaft hoch ist, müsste man die Console des Containers öffnen und innerhalb dessen schauen welche Prozesse da den RAM belegen.

Sieht für mich so aus, als ob der viel brauch.

Top im Webterminal ist aber nicht so aussagekräftig wie bspw. htop, was nicht installiert ist.

 

Mem: 60561092K used, 4654604K free, 1026588K shrd, 284K buff, 35911756K cached
CPU:   2% usr   4% sys   0% nic  93% idle   0% io   0% irq   0% sirq
Load average: 1.30 1.71 1.83 2/1119 38
  PID  PPID USER     STAT   VSZ %VSZ CPU %CPU COMMAND
   31    29 root     S    1037m   2%  14   0% rsync --server --sender -sblogDtpre.LsfxCIvu
   29     1 root     S     4476   0%  13   0% sshd: root@notty
    1     0 root     S     4392   0%   5   0% sshd: /usr/sbin/sshd -D -D -e -p 22 [listener] 0 of 10-100 startups
   32     0 root     S     1652   0%  15   0% sh
   38    32 root     R     1588   0%   0   0% top

 

Geht davon was?

https://unix.stackexchange.com/a/5001/101920

 

20 hours ago, mgutt said:

Geht davon was?

https://unix.stackexchange.com/a/5001/101920

 

Hab mal was davon probiert.

Sieht bis auf Swap nicht danach aus.

 

Ich könnte es noch auf Bash statt Shell im Template stellen und dann nochmal prüfen.

Edit: OK, Bash hat der Docker Container scheinbar nicht.

 

Edited October 23, 20223 yr by Revan335