Linux 系统 CPU 占用率较高问题排查思路

  • A+
所属分类:Linux
高性能企业级服务器首台5折

注意:本文相关配置及说明已在 CentOS 6.5 64 位操作系统中进行过测试。其它类型及版本操作系统配置可能有所差异,具体情况请参阅相应操作系统官方文档。

 

如果云服务器 ECS Linux 系统的 CPU 持续跑高,则会对系统稳定性和业务运行造成影响。本文对 CPU 占用率较高问题的排查分析做简要说明。

CPU 负载查看方法


使用 vmstat 查看系统纬度的 CPU 负载

可以通过 vmstat 从系统维度查看 CPU 资源的使用情况。

用法说明:

  1. 1
    <span class="pun">格式:</span><span class="pln">vmstat </span><span class="pun">-</span><span class="pln">n </span><span class="lit">1</span>
  2. 1
     

    -n 1 表示结果一秒刷新一次。

    1
    <span class="pun">示例输出:</span><span class="pln">$ vmstat </span><span class="pun">-</span><span class="pln">n </span><span class="lit">1procs</span> <span class="pun">—————-</span><span class="pln">memory</span><span class="pun">—————</span> <span class="pun">—-</span><span class="pln">swap</span><span class="pun">—</span> <span class="pun">——-</span><span class="pln">io</span><span class="pun">——</span> <span class="pun">-</span><span class="pln">system</span><span class="pun">—</span> <span class="pun">———</span><span class="pln">cpu</span><span class="pun">——-</span><span class="pln"> r  b   swpd   free   buff  cache   si   so    bi    bo   </span><span class="kwd"><span class="hljs-keyword">in</span></span><span class="pln">   cs us sy id wa st </span><span class="lit">0</span>  <span class="lit">0</span>      <span class="lit">0</span>  <span class="lit">70352</span> <span class="lit">169448</span> <span class="lit">448452</span>    <span class="lit">0</span>    <span class="lit">0</span>     <span class="lit">0</span>     <span class="lit">4</span>   <span class="lit">10</span>   <span class="lit">11</span>  <span class="lit">0</span>  <span class="lit">0</span> <span class="lit">99</span>  <span class="lit">0</span>  <span class="lit">0</span> <span class="lit">0</span>  <span class="lit">0</span>      <span class="lit">0</span>  <span class="lit">70376</span> <span class="lit">169448</span> <span class="lit">448484</span>    <span class="lit">0</span>    <span class="lit">0</span>     <span class="lit">0</span>     <span class="lit">0</span>  <span class="lit">175</span>  <span class="lit">406</span>  <span class="lit">0</span>  <span class="lit">0</span> <span class="lit">100</span>  <span class="lit">0</span>  <span class="lit">0</span> <span class="lit">0</span>  <span class="lit">0</span>      <span class="lit">0</span>  <span class="lit">70376</span> <span class="lit">169448</span> <span class="lit">448484</span>    <span class="lit">0</span>    <span class="lit">0</span>     <span class="lit">0</span>     <span class="lit">0</span>  <span class="lit">173</span>  <span class="lit">414</span>  <span class="lit">0</span>  <span class="lit">1</span> <span class="lit">99</span>  <span class="lit">0</span>  <span class="lit">0</span> <span class="lit">0</span>  <span class="lit">0</span>      <span class="lit">0</span>  <span class="lit">70376</span> <span class="lit">169448</span> <span class="lit">448484</span>    <span class="lit">0</span>    <span class="lit">0</span>     <span class="lit">0</span>   <span class="lit">128</span>  <span class="lit">212</span>  <span class="lit">429</span>  <span class="lit">3</span>  <span class="lit">0</span> <span class="lit">96</span>  <span class="lit">1</span>  <span class="lit">0</span><span class="pun">^</span><span class="pln">C</span>

回显说明:

返回结果中的主要数据列说明:

  • r: 表示系统中 CPU 等待处理的线程。由于 CPU 每次只能处理一个线程,所以,该数值越大,通常表示系统运行越慢。
  • us:用户模式消耗的 CPU 时间百分比。该值较高时,说明用户进程消耗的 CPU 时间比较多,比如,如果该值长期超过 50%,则需要对程序算法或代码等进行优化。
  • sy:内核模式消耗的 CPU 时间百分比。
  • wa:IO 等待消耗的 CPU 时间百分比。该值较高时,说明 IO 等待比较严重,这可能磁盘大量作随机访问造成的,也可能是磁盘性能出现了瓶颈。
  • id:处于空闲状态的 CPU 时间百分比。如果该值持续为 0,同时 sy 是 us 的两倍,则通常说明系统则面临着 CPU 资源的短缺。

使用 top 查看进程纬度的 CPU 负载

可以通过 top 从进程纬度来查看其 CPU、内存等资源的使用情况。

用法说明:

  1. 1
    <span class="pun">格式:</span><span class="pln">top </span>
  2. 1
     

    示例输出:top - 17:27:13 up 27 days, 3:13, 1 user, load average: 0.02, 0.03, 0.05Tasks: 94 total, 1 running, 93 sleeping, 0 stopped, 0 zombie%Cpu(s): 0.3 us, 0.1 sy, 0.0 ni, 99.5 id, 0.0 wa, 0.0 hi, 0.0 si, 0.1 stKiB Mem: 1016656 total, 946628 used, 70028 free, 169536 buffersKiB Swap: 0 total, 0 used, 0 free. 448644 cached Mem

  3. 1
    <span class="pln">  PID USER      PR  NI    VIRT    RES    SHR S </span><span class="pun">%</span><span class="pln">CPU </span><span class="pun">%</span><span class="pln">MEM     TIME</span><span class="pun">+</span><span class="pln"> COMMAND    </span><span class="lit">1</span><span class="pln"> root      </span><span class="lit">20</span>   <span class="lit">0</span>   <span class="lit">41412</span>   <span class="lit">3824</span>   <span class="lit">2308</span><span class="pln"> S  </span><span class="lit">0.0</span>  <span class="lit">0.4</span>   <span class="lit">0</span><span class="pun">:</span><span class="lit">19.01</span><span class="pln"> systemd    </span><span class="lit">2</span><span class="pln"> root      </span><span class="lit">20</span>   <span class="lit">0</span>       <span class="lit">0</span>      <span class="lit">0</span>      <span class="lit">0</span><span class="pln"> S  </span><span class="lit">0.0</span>  <span class="lit">0.0</span>   <span class="lit">0</span><span class="pun">:</span><span class="lit">00.04</span><span class="pln"> kthreadd </span>

回显说明:

默认界面上第三行会显示当前 CPU 资源的总体使用情况,下方会显示各个进程的资源占用情况。

可以直接在界面输入大小字母 P,来使监控结果按 CPU 使用率倒序排列,进而定位系统中占用 CPU 较高的进程。最后,根据系统日志和程序自身相关日志,对相应进程做进一步排查分析,以判断其占用过高 CPU 的原因。

操作案例


使用 top 直接终止 CPU 消耗较大的进程

如前面所述,可以通过 top 命令查看系统的负载问题,并定位耗用较多 CPU 资源的进程。

可以直接在 top 运行界面快速终止相应的异常进程。说明如下:

  1. 想要终止某个进程,只需按下小写的 k 键。
  2. 输入想要终止的进程 PID (top 输出结果的第一列)。比如,如下图所示,假如想要终止 PID 为 23 的进程,输入 23 后按回车。
  3. 如下图所示,操作成功后,界面会出现类似 “Send pid 23 signal [15/sigterm]” 的提示信息让用户进行确认。按回车确认即可。

CPU 使用率较低但负载较高

  • 问题描述:
    Linux 系统没有业务程序运行,通过 top 观察,类似如下图所示,CPU 很空闲,但是 load average 却非常高:
  •  处理办法
    load average 是对 CPU 负载的评估,其值越高,说明其任务队列越长,处于等待执行的任务越多。
    出现此种情况时,可能是由于僵死进程导致的。可以通过指令 ps -axjf  查看是否存在 D 状态进程。
    D 状态是指不可中断的睡眠状态。该状态的进程无法被 kill,也无法自行退出。只能通过恢复其依赖的资源或者重启系统来解决。

 

kswapd0 进程占用 CPU 较高

操作系统都用分页机制来管理物理内存,操作系统将磁盘的一部分划出来作为虚拟内存,由于内存的速度要比磁盘快得多,所以操作系统要按照某种换页机制将不需要的页面换到磁盘中,将需要的页面调到内存中,由于内存持续不足,这个换页动作持续进行,kswapd0是虚拟内存管理中负责换页的,当服务器内存不足的时候kswapd0会执行换页操作,这个换页操作是十分消耗主机CPU资源的。如果通过top发现该进程持续处于非睡眠状态,且运行时间较长,可以初步判定系统在持续的进行换页操作,可以将问题转向内存不足的原因来排查。

  • 问题描述:
    kswapd0 进程占用了系统大量 CPU 资源。
  • 处理办法:
    Linux 系统通过分页机制管理内存的同时,将磁盘的一部分划出来作为虚拟内存。而 kswapd0 是 Linux 系统虚拟内存管理中负责换页的进程。当系统内存不足时,kswapd0 会频繁的进行换页操作。而由于换页操作非常消耗 CPU 资源,所以会导致该进程持续占用较高 CPU 资源。
    如果通过 top 等监控发现 kswapd0 进程持续处于非睡眠状态,且运行时间较长并持续占用较高 CPU 资源,则通常是由于系统在持续的进行换页操作所致。则可以通过 free 、ps 等指令进一步查询系统及系统内进程的内存占用情况,做进一步排查分析。

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: