High load on server


Recommended Posts

I'm constantly having a high load on my server as of late. It is constantly aroud 3.75 to 4.15. When doing the top command, I see that a python process is causing the high load. How can I further investigate what keeps the python process so highly active?

 

top - 20:43:51 up 10 days,  3:27,  1 user,  load average: 3.85, 3.74, 3.70
Tasks:  86 total,   1 running,  85 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.6%us,  1.2%sy,  0.0%ni, 70.6%id, 26.8%wa,  0.0%hi,  0.8%si,  0.0%st
Mem:   7980664k total,  7722860k used,   257804k free,   235528k buffers
Swap:        0k total,        0k used,        0k free,  7048828k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND            
8581 nobody    20   0  231m  59m 3332 S    6  0.8 345:40.73 python             
9821 root      20   0     0    0    0 S    2  0.0 160:39.17 unraidd            
23699 root      20   0     0    0    0 D    2  0.0  45:26.38 flush-9:1          
    1 root      20   0   828  304  264 S    0  0.0   0:08.79 init               
    2 root      20   0     0    0    0 S    0  0.0   0:00.06 kthreadd           
    3 root      20   0     0    0    0 S    0  0.0   0:00.63 ksoftirqd/0        
    6 root      RT   0     0    0    0 S    0  0.0   0:00.00 migration/0        
    7 root      RT   0     0    0    0 S    0  0.0   0:00.00 migration/1        
    9 root      20   0     0    0    0 S    0  0.0   0:00.21 ksoftirqd/1        
   11 root       0 -20     0    0    0 S    0  0.0   0:00.00 khelper            
  153 root      20   0     0    0    0 D    0  0.0  18:42.20 sync_supers        
  155 root      20   0     0    0    0 S    0  0.0   0:00.03 bdi-default        
  157 root       0 -20     0    0    0 S    0  0.0   0:00.00 kblockd            
  319 root       0 -20     0    0    0 S    0  0.0   0:00.00 ata_sff            
  329 root      20   0     0    0    0 S    0  0.0   0:00.00 khubd              
  438 root       0 -20     0    0    0 S    0  0.0   0:00.00 rpciod             
  459 root      20   0     0    0    0 S    0  0.0  20:59.13 kswapd0            
  490 root      20   0 15924 3364 2624 S    0  0.0   0:01.13 smbd               
  520 root      20   0     0    0    0 S    0  0.0   0:00.00 fsnotify_mark      
  540 root       0 -20     0    0    0 S    0  0.0   0:00.00 nfsiod             
  543 root       0 -20     0    0    0 S    0  0.0   0:00.00 cifsiod            
  549 root       0 -20     0    0    0 S    0  0.0   0:00.00 crypto             
  713 root       0 -20     0    0    0 S    0  0.0   0:00.00 deferwq            
  741 root      16  -4  2508 1108  496 S    0  0.0   0:00.10 udevd              
  933 root      20   0     0    0    0 S    0  0.0   0:00.00 scsi_eh_0          
  934 root      20   0     0    0    0 S    0  0.0   0:00.01 scsi_eh_1          
  935 root      20   0     0    0    0 S    0  0.0   0:00.00 kworker/u:2        
  936 root      20   0     0    0    0 S    0  0.0   0:00.10 kworker/u:3        
  937 root      20   0     0    0    0 S    0  0.0   0:00.00 scsi_eh_2          
  938 root      20   0     0    0    0 S    0  0.0   0:00.00 scsi_eh_3          
  952 root      20   0     0    0    0 S    0  0.0   0:00.00 scsi_eh_4          
  953 root      20   0     0    0    0 S    0  0.0   0:00.03 usb-storage        
  963 root      18  -2  2504 1120  496 S    0  0.0   0:00.00 udevd              
  964 root      18  -2  2504 1060  448 S    0  0.0   0:00.00 udevd              
1040 root      20   0  1908  608  524 S    0  0.0   0:00.78 syslogd            
1044 root      20   0  1856  384  320 S    0  0.0   0:00.00 klogd              
1070 root      20   0  2044  548  444 S    0  0.0   0:00.01 dhcpcd             
1160 bin       20   0  1960  476  396 S    0  0.0   0:00.00 rpc.portmap        
1164 root      20   0  2108  788  660 S    0  0.0   0:00.00 rpc.statd          
1174 root      20   0  1900  556  484 S    0  0.0   0:00.00 inetd              
1183 root      20   0  1864  636  536 S    0  0.0   0:00.00 acpid              
1193 messageb  20   0  2476  360  212 S    0  0.0   0:00.00 dbus-daemon        
1198 root      20   0  1908  584  504 S    0  0.0   0:00.95 crond              
1200 daemon    20   0  1900  288  220 S    0  0.0   0:00.00 atd                
6988 nobody    20   0  105m  37m 3896 S    0  0.5  36:51.98 python             
7970 root      20   0     0    0    0 S    0  0.0   0:02.83 kworker/1:0        
8143 root      20   0 12920 1624 1168 S    0  0.0   0:54.33 emhttp             
8149 root      20   0  2644  496  320 S    0  0.0   0:00.00 uu                 
8150 root      20   0  1840  244  204 S    0  0.0   0:00.00 logger             
8160 root      20   0  4504 3332  940 S    0  0.0   0:00.13 awk                
8282 root      20   0     0    0    0 S    0  0.0   0:02.77 kworker/1:3        
9156 root      20   0  9188 1916 1368 S    0  0.0   0:05.47 nmbd               
9158 root      20   0 15804 3816 3092 S    0  0.0   0:00.88 smbd               
9163 root      20   0 15812 1772 1048 S    0  0.0   0:00.04 smbd               
9411 root      20   0  3036 1340  784 S    0  0.0   0:00.00 go                 
9412 root      20   0  3024 1336  784 S    0  0.0   0:00.00 go                 
9413 root      20   0  1856  536  472 S    0  0.0   0:00.00 agetty             
9414 root      20   0  1856  532  472 S    0  0.0   0:00.00 agetty             
9415 root      20   0  1856  532  472 S    0  0.0   0:00.00 agetty             
9416 root      20   0  1856  536  472 S    0  0.0   0:00.00 agetty             
9417 root      20   0  1856  536  472 S    0  0.0   0:00.00 agetty             
9418 root      20   0  1856  532  472 S    0  0.0   0:00.00 agetty             
9755 root      20   0  1952  560  484 S    0  0.0   0:00.00 inotifywait        
9756 root      20   0  3036  744  180 S    0  0.0   0:00.00 go                 
9758 root      20   0  1952  556  484 S    0  0.0   0:00.00 inotifywait        
9759 root      20   0  3024  736  184 S    0  0.0   0:00.00 go                 
9798 root      20   0     0    0    0 S    0  0.0   0:00.00 mdrecoveryd        
9801 root      20   0     0    0    0 S    0  0.0   0:00.00 spinupd            
9802 root      20   0     0    0    0 S    0  0.0   0:00.00 spinupd            
9832 root       0 -20     0    0    0 S    0  0.0   0:00.00 reiserfs           
9841 root      20   0     0    0    0 S    0  0.0   2:45.12 flush-8:32         
9851 root      20   0 28700 1292  560 S    0  0.0   0:09.49 shfs               
9858 root      20   0 38344 1716  616 S    0  0.0   1:51.43 shfs               
10919 root      20   0 16924 4592 3712 S    0  0.1   0:43.23 smbd               
17089 root      20   0     0    0    0 S    0  0.0   0:01.14 kworker/0:0        
19320 root      20   0     0    0    0 D    0  0.0   0:00.82 kworker/0:3        
21211 root      20   0  2096  820  684 S    0  0.0   0:00.10 in.telnetd         
21212 root      20   0  4316 1724 1292 S    0  0.0   0:00.00 bash               
21335 root      20   0  2340 1036  820 S    0  0.0   0:01.51 top                
21509 root      20   0     0    0    0 S    0  0.0   0:00.40 kworker/1:1        
21583 root      20   0     0    0    0 S    0  0.0   0:00.15 kworker/0:1        
23037 root      20   0     0    0    0 S    0  0.0   0:00.00 kworker/1:2        
23165 root      20   0  2324  948  768 S    0  0.0   0:00.00 gawk               
23168 root      20   0  2608 1096  960 S    0  0.0   0:00.00 sh                 
23169 root      20   0  2336  932  728 R    0  0.0   0:00.00 top                
23201 nobody    20   0  450m 213m 4632 S    0  2.7  75:05.03 python             

Link to comment

List the add-ons you are actively using and your system hardware specs.  A recent syslog would be nice as well.  Just a guess from what I am seeing is something is using the disk heavily at the time you took the top capture which causes the %wa to shoot up which also causes the sysload numbers to go up.  Need hardware info and what you were doing at the time (like writing a file via smb while processing a Sabnzbd downlod) to complete the picture.

Link to comment

I'm actively using Sab, sickbeard, couchpotato and unmenu.

 

The hardware is the following:

Asus P8B74-M LE motherboard

Intel Pentium G850 CPU

Corsair 2x4GB 1600 RAM

 

The strange thing is that now the load has returned to normal. At the moment I experienced the high load there wasn't any file transfer or download or a download processing. Syslog is attached, and a top output from right now below:

 

top - 15:32:51 up 13 days, 22:16,  1 user,  load average: 0.32, 0.56, 0.62
Tasks:  83 total,   1 running,  82 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.6%us,  1.2%sy,  0.0%ni, 70.2%id, 27.2%wa,  0.0%hi,  0.8%si,  0.0%st
Mem:   7980664k total,  7730300k used,   250364k free,   231484k buffers
Swap:        0k total,        0k used,        0k free,  7046936k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND            
    1 root      20   0   828  304  264 S    0  0.0   0:10.34 init               
    2 root      20   0     0    0    0 S    0  0.0   0:00.08 kthreadd           
    3 root      20   0     0    0    0 S    0  0.0   0:00.86 ksoftirqd/0        
    6 root      RT   0     0    0    0 S    0  0.0   0:00.00 migration/0        
    7 root      RT   0     0    0    0 S    0  0.0   0:00.00 migration/1        
    9 root      20   0     0    0    0 S    0  0.0   0:00.28 ksoftirqd/1        
   11 root       0 -20     0    0    0 S    0  0.0   0:00.00 khelper            
  153 root      20   0     0    0    0 S    0  0.0  25:21.55 sync_supers        
  155 root      20   0     0    0    0 S    0  0.0   0:00.05 bdi-default        
  157 root       0 -20     0    0    0 S    0  0.0   0:00.00 kblockd            
  319 root       0 -20     0    0    0 S    0  0.0   0:00.00 ata_sff            
  329 root      20   0     0    0    0 S    0  0.0   0:00.00 khubd              
  438 root       0 -20     0    0    0 S    0  0.0   0:00.00 rpciod             
  459 root      20   0     0    0    0 S    0  0.0  28:47.58 kswapd0            
  490 root      20   0 15924 3364 2624 S    0  0.0   0:01.65 smbd               
  520 root      20   0     0    0    0 S    0  0.0   0:00.00 fsnotify_mark      
  540 root       0 -20     0    0    0 S    0  0.0   0:00.00 nfsiod             
  543 root       0 -20     0    0    0 S    0  0.0   0:00.00 cifsiod            
  549 root       0 -20     0    0    0 S    0  0.0   0:00.00 crypto             
  713 root       0 -20     0    0    0 S    0  0.0   0:00.00 deferwq            
  741 root      16  -4  2508 1108  496 S    0  0.0   0:00.10 udevd              
  933 root      20   0     0    0    0 S    0  0.0   0:00.00 scsi_eh_0          
  934 root      20   0     0    0    0 S    0  0.0   0:00.01 scsi_eh_1          
  935 root      20   0     0    0    0 S    0  0.0   0:00.00 kworker/u:2        
  936 root      20   0     0    0    0 S    0  0.0   0:00.15 kworker/u:3        
  937 root      20   0     0    0    0 S    0  0.0   0:00.00 scsi_eh_2          
  938 root      20   0     0    0    0 S    0  0.0   0:00.00 scsi_eh_3          
  952 root      20   0     0    0    0 S    0  0.0   0:00.00 scsi_eh_4          
  953 root      20   0     0    0    0 S    0  0.0   0:00.03 usb-storage        
  963 root      18  -2  2504 1120  496 S    0  0.0   0:00.00 udevd              
  964 root      18  -2  2504 1060  448 S    0  0.0   0:00.00 udevd              
1040 root      20   0  1908  608  524 S    0  0.0   0:01.03 syslogd            
1044 root      20   0  1856  384  320 S    0  0.0   0:00.00 klogd              
1070 root      20   0  2044  548  444 S    0  0.0   0:00.01 dhcpcd             
1160 bin       20   0  1960  476  396 S    0  0.0   0:00.00 rpc.portmap        
1164 root      20   0  2108  788  660 S    0  0.0   0:00.00 rpc.statd          
1174 root      20   0  1900  556  484 S    0  0.0   0:00.00 inetd              
1183 root      20   0  1864  636  536 S    0  0.0   0:00.00 acpid              
1193 messageb  20   0  2476  360  212 S    0  0.0   0:00.00 dbus-daemon        
1198 root      20   0  1908  584  504 S    0  0.0   0:01.31 crond              
1200 daemon    20   0  1900  288  220 S    0  0.0   0:00.00 atd                
6988 nobody    20   0  106m  38m 3912 S    0  0.5  49:10.18 python             
8143 root      20   0 12920 1624 1168 S    0  0.0   1:15.02 emhttp             
8149 root      20   0  2644  496  320 S    0  0.0   0:00.00 uu                 
8150 root      20   0  1840  244  204 S    0  0.0   0:00.00 logger             
8160 root      20   0  4632 3440  940 S    0  0.0   0:00.21 awk                
8581 nobody    20   0  232m  59m 3336 S    0  0.8 474:06.66 python             
9156 root      20   0  9188 1916 1368 S    0  0.0   0:07.52 nmbd               
9158 root      20   0 15804 3816 3092 S    0  0.0   0:01.21 smbd               
9163 root      20   0 15812 2008 1228 S    0  0.0   0:00.05 smbd               
9411 root      20   0  3036 1340  784 S    0  0.0   0:00.00 go                 
9412 root      20   0  3024 1336  784 S    0  0.0   0:00.00 go                 
9413 root      20   0  1856  536  472 S    0  0.0   0:00.00 agetty             
9414 root      20   0  1856  532  472 S    0  0.0   0:00.00 agetty             
9415 root      20   0  1856  532  472 S    0  0.0   0:00.00 agetty             
9416 root      20   0  1856  536  472 S    0  0.0   0:00.00 agetty             
9417 root      20   0  1856  536  472 S    0  0.0   0:00.00 agetty             
9418 root      20   0  1856  532  472 S    0  0.0   0:00.00 agetty             
9755 root      20   0  1952  560  484 S    0  0.0   0:00.00 inotifywait        
9756 root      20   0  3036  744  180 S    0  0.0   0:00.00 go                 
9758 root      20   0  1952  556  484 S    0  0.0   0:00.00 inotifywait        
9759 root      20   0  3024  736  184 S    0  0.0   0:00.00 go                 
9798 root      20   0     0    0    0 S    0  0.0   0:00.00 mdrecoveryd        
9801 root      20   0     0    0    0 S    0  0.0   0:00.00 spinupd            
9802 root      20   0     0    0    0 S    0  0.0   0:00.00 spinupd            
9821 root      20   0     0    0    0 S    0  0.0 218:17.28 unraidd            
9832 root       0 -20     0    0    0 S    0  0.0   0:00.00 reiserfs           
9851 root      20   0 28700 1292  560 S    0  0.0   0:09.49 shfs               
9858 root      20   0 47616 1888  616 S    0  0.0   4:06.29 shfs               
13304 root      20   0     0    0    0 S    0  0.0   0:00.53 flush-8:32         
16442 root      20   0     0    0    0 S    0  0.0   0:00.51 kworker/1:0        
16701 nobody    20   0 17880 4044 3220 S    0  0.1   0:29.96 smbd               
18156 root      20   0  2096  820  684 S    0  0.0   0:00.23 in.telnetd         
18157 root      20   0  4316 1564 1212 S    0  0.0   0:00.00 bash               
18170 root      20   0  2340  956  752 S    0  0.0   0:03.17 top                
20827 root      20   0     0    0    0 S    0  0.0   0:00.00 kworker/0:1        
21348 root      20   0     0    0    0 S    0  0.0   0:00.00 kworker/0:0        
21581 root      20   0     0    0    0 S    0  0.0   0:00.00 kworker/1:2        
21614 root      20   0     0    0    0 S    0  0.0   0:00.00 kworker/0:2        
21752 root      20   0  2324  948  768 S    0  0.0   0:00.00 gawk               
21755 root      20   0  2608  908  788 S    0  0.0   0:00.00 sh                 
21756 root      20   0  2336  896  724 R    0  0.0   0:00.00 top                
23201 nobody    20   0  448m 212m 4632 S    0  2.7 115:12.19 python  

syslog-2013-01-23.txt

Link to comment

Sysload can be a misleading number if not interpreted correctly because IO waits make the load numbers quite large without any real load on the processor (waiting for IO).

 


Unraid 5.0-rc10 - Asus M5A78L-MLX Plus (RT8111E) - AMD Athlon II X3 450 Rana 3.2GHz - 8GB DDR3 - Antec NEO ECO 620W - Antec Three Hundred Case - 1x Rosewill RC-211 (cache) - Parity: 1T Seagate ST1000DM005/HD103SJ - DATA: 3x WD Black 750G - 1x 1T Seagate ST1000DM003 - 1x 500G Seagate ST500DM002, Cache: Intel X25-V SSD 40GB w/8GB swap partition

Link to comment

Is it possible that a file was being repaired or unrarred?  Both those activities could lead to high loads.

No, the process would be "unrar" or "par2", not python. SABnzbd and SickBeard are both Python progs, and both are CPU hogs, though!

 

Good point. Perhaps sickbeard was checking for new releases?

 

Sent via a phone. Sorry for any typos.

 

 

Link to comment

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.
Note: Your post will require moderator approval before it will be visible.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.