天天看点

cpu占用高线上问题排查

在线上运行的服务器,被发现cpu占用率高的问题。

赠送一个工具齐全的jdk安装(包括tools.jar,jmap ....)
yum install -y java-1.8.0-openjdk-devel-debug 
           

第一步:top指令

一般cpu占用率搞和内存占用高,都是先用top看一看详情,top后可以按p来按照cpu使用率排序进程。

这边用的图不是发生问题机器,主要是记录一下思路和方法

通过top我们可以发现cpu占用率高的pid,记录一下

cpu占用高线上问题排查

 第二步:ps -ef |grep pid

查看该进程运行的是什么项目

第三步:top -H -p  pid

查看该进程下的各线程使用资源情况

cpu占用高线上问题排查

第四步:jstack

使用jstack pid 可以查看线程信息,一般线程信息比较多,用grep也看不出来啥  建议把信息输入到文本,使用vim或者本地分析

cpu占用高线上问题排查

可以看出线程的状态,上图的nid是pid的16进制表示,可以使用命令printf "%x\n"  pid 查看将pid转成16进制的值

waiting on conditon 说明在等待被唤醒。Timer_WAITING则表示定时等待,waiting(parking)表示一直等条件唤醒。

- parking to wait for  <0x000000078598d080> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
           

 可以看出在等待地址为0x000000078598d080的资源,我们可以搜索一下是谁对这个地址lock了

cpu占用高线上问题排查

还可以看出 GC的情况,这边GC的挺多的,其实是这个程序写的并不好,问题挺多的....

第五步:jstat -gcutil  pid 1000  10 

这里可以看看gc的具体情况   1000表示1秒,10表示查看10秒的信息

S0C、S1C、S0U、S1U:Survivor 0和1区容量(Capacity)和使用量(Used)
EC、EU:Eden区容量和使用量
OC、OU:年老代容量和使用量
PC、PU:永久代容量和使用量
YGC、YGT:年轻代GC次数和GC耗时
FGC、FGCT:Full GC次数和Full GC耗时
GCT:GC总耗时
           

附加调试常用指令

查看物理cpu个数 
cat /proc/cpuinfo |grep "physical id"|sort|uniq|wc -l  

查看物理cpu中的core个数
cat /proc/cpuinfo |grep "cpu cores"|wc -l

逻辑cpu个数
cat /proc/cpuinfo |grep "processor"|wc -l