天天看點

關于RDS執行個體CPU超過100%的分析

經常聽見使用者說自己的rds執行個體cpu超過100%,通常這種情況都是由于sql性能問題導緻的,下面我用一則案例來分析:

使用者執行個體zuowenwang反映cpu超過100%,執行個體偶爾出現卡住的現象;

關于RDS執行個體CPU超過100%的分析

1.原理:cpu消耗過大通常情況下都是有慢sql造成的,這裡的慢sql包括全表掃描,掃描資料量過大,記憶體排序,磁盤排序,鎖争用等待等;

2.表現現象sql執行狀态為:sending data,copying to tmp table,copying to tmp table on disk,sorting result,locked;

3.解決方法:使用者可以登入到rds,通過show processlist檢視目前正在執行的sql,當執行完show processlist後出現大量的語句,通常其狀态出現sending data,copying to tmp table,copying to tmp table on disk,sorting result, using filesort 都是sql有性能問題;

a.sending data表示:sql正在從表中查詢資料,如果查詢條件沒有适當的索引,則會導緻sql執行時間過長;

b.copying to tmp table on disk:出現這種狀态,通常情況下是由于臨時結果集太大,超過了資料庫規定的臨時記憶體大小,需要拷貝臨時結果集到磁盤上,這個時候需要使用者對sql進行優化;

c.sorting result, using filesort:出現這種狀态,表示sql正在執行排序操作,排序操作都會引起較多的cpu消耗,通常的優化方法會添加适當的索引來消除排序,或者縮小排序的結果集;

通過show processlist發現如下sql:

sql a.

性能sql:

用explain 檢視執行計劃:

添加适當索引消除排序:

sql b:

這種sql order by rand()同樣也會出現排序;

這種随機抽取一批記錄的做法性能是很差的,表中的資料量越大,性能就越差:

解決方法如下:

http://www.piaoyi.org/php/mysql-order-by-rand.html

第一種方案,即原始的 order by rand() 方法:

$sql=”select * from content order by rand() limit 12″;

$result=mysql_query($sql,$conn);

$n=1;

$rnds=”;

while($row=mysql_fetch_array($result)){

$rnds=$rnds.$n.”. <a href=’show”.$row[‘id’].”-“.strtolower(trim($row[‘title’])).”‘>”.$row[‘title’].”</a><br />\n”;

$n++;

}

3萬條資料查12條随機記錄,需要0.125秒,随着資料量的增大,效率越來越低。

第二種方案,改進後的 join 方法:

for($n=1;$n<=12;$n++){

$sql=”select * from `content` as t1

join (select round(rand() * (select max(id) from `content`)) as id) as t2

where t1.id >= t2.id order by t1.id asc limit 1″;

$yi=mysql_fetch_array($result);

$rnds = $rnds.$n.”. <a href=’show”.$yi[‘id’].”-“.strtolower(trim($yi[‘title’])).”‘>”.$yi[‘title’].”</a><br />\n”;

3萬條資料查12條随機記錄,需要0.004秒,效率大幅提升,比第一種方案提升了約30倍。缺點:多次select查詢,io開銷大。

第三種方案,sql語句先随機好id序列,用 in 查詢(飄易推薦這個用法,io開銷小,速度最快):

$sql=”select max(id),min(id) from content”;

$idmax=$yi[0];

$idmin=$yi[1];

$idlist=”;

for($i=1;$i<=20;$i++){

if($i==1){ $idlist=mt_rand($idmin,$idmax); }

else{ $idlist=$idlist.’,’.mt_rand($idmin,$idmax); }

$idlist2=”id,”.$idlist;

$sql=”select * from content where id in ($idlist) order by field($idlist2) limit 0,12″;

3萬條資料查12條随機記錄,需要0.001秒,效率比第二種方法又提升了4倍左右,比第一種方法提升120倍。注,這裡使用了 order by field($idlist2) 是為了不排序,否則 in 是自動會排序的。缺點:有可能遇到id被删除的情況,是以需要多選幾個id。

c.出現sending data的情況:

select * from `www_article` where concat(subject,description) like ‘%??%’ order by aid desc limit 75,15

這種sql是典型的sql分頁寫法不規範的情況,需要将sql進行改寫:

注意這裡的索引需要改用覆寫索引:aid+ subject+description

優化後的結果:

關于RDS執行個體CPU超過100%的分析

總結:

關于RDS執行個體CPU超過100%的分析

sql優化是性能優化的最後一步,雖然位于塔頂,他最直影響使用者的使用,但也是最容易優化的步驟,往往效果最直接。

rds-mysql由于有資源的隔離,不同的執行個體規格擁有的iops能力不同,比如新1型提供的iops為150個,也就是每秒能夠提供150次的随機磁盤io操作,是以如果使用者的資料量很大,記憶體很小,由于iops的限制,一條慢sql就很有可能消耗掉所有的io資源,而影響其他的sql查詢,對于資料庫來說就是所有的sql需要執行很長的時間才能傳回結果,對于應用來說就會造成整體響應的變慢;是以優化永不止境,既可以幫助你的系統穩定,同時又可以節約你的成本,何樂不為。