linux 系統負載的問題

 linux 系統負載的問題

1：load Average

1.1：什麼是Load？什麼是Load Average?

Load 就是對計算機幹活多少的度量（WikiPedia：the system Load is a measure of the amount of work that a compute system is doing）

簡單的說是程序隊列的長度。Load Average 就是一段時間（1分鐘、5分鐘、15分鐘）内平均Load。【參考文章：unix Load Average Part1：How It Works】

1.2：檢視指令：

w or uptime or procinfo or top

load average: 0.02, 0.27, 0.17

1 per/minute 5 per/minute 15 per/minute

1.3：如何判斷系統是否已經Over Load？

對一般的系統來說,根據cpu 數量去判斷。如果平均負載始終在1.2一下，而你有2顆cup的機器。那麼基本不會出現cpu不夠用的情況。也就是Load 平均要小于Cpu 的數量。

1.4：Load 與容量規劃（Capacity Planning）

一般是會根據15分鐘那個load 平均值為首先。

1.5：Load 誤解：

1：系統load 高一定是性能有問題。

真相：Load 高也許是因為在進行cpu 密集型的計算

2：系統Load 高一定是CPU能力問題或數量不夠。

真相：Load 高隻是代表需要運作的隊列累計過多了。但隊列中的任務實際可能是耗Cpu 的，也可能是耗i/0子系統等其他因素的。

3：系統長期Load高，首先增加CPU

真相：Load隻是表象，不是實質。增加CPU個别情況下會臨時看到Load下降，但治标不治本。

2：在Load average 高的情況下如何鑒别系統瓶頸。

是CPU 不足，還是io 不夠快造成或是記憶體不足？

2.1：檢視系統負載vmstat

Vmstat

procs -----------memory---------- ---swap-- -----io---- --system-- ----cpu----

r b swpd free buff cache si so bi bo in cs us sy id wa

0 0 100152 2436 97200 289740 0 1 34 45 99 33 0 0 99 0

procs

r 清單示運作和等待cpu 時間片的程序數，如果長期大于1，說明cpu 不足，需要增加cpu。

b 清單示在等待資源的程序數，比如正在等待I/O、或者記憶體交換等。

cpu 表示cpu的使用狀态

us 列顯示了使用者方式下所花費CPU 時間的百分比。us 的值比較高時，說明使用者程序消耗的cpu 時間多，但

是如果長期大于50%，需要考慮優化使用者的程式。

sy 列顯示了核心程序所花費的cpu時間的百分比。這裡us + sy 的參考值為80%，如果us+sy 大于80%說明可能存在CPU 不足。

wa列顯示了IO 等待所占用的CPU 時間的百分比。這裡wa 的參考值為30%，如果wa 超過30%，說明IO 等待嚴重，這可能是磁盤大量随機通路造成的，也可能磁盤或者磁盤通路控制器的帶寬瓶頸造成的(主要是塊操作)。

id 列顯示了cpu 處在空閑狀态的時間百分比

system 顯示采集間隔内發生的中斷數

in 清單示在某一時間間隔中觀測到的每秒裝置中斷數。

cs 清單示每秒産生的上下文切換次數，如當cs比磁盤I/O 和網絡資訊包速率高得多，都應進行進一步調查。

memory

swpd 切換到記憶體交換區的記憶體數量(k 表示)。如果swpd 的值不為0，或者比較大，比如超過了100m，隻要

si、so 的值長期為0，系統性能還是正常

free 目前的空閑頁面清單中記憶體數量(k 表示)

buff 作為buffer cache 的記憶體數量，一般對塊裝置的讀寫才需要緩沖。

cache: 作為page cache 的記憶體數量，一般作為檔案系統的cache，如果cache 較大，說明用到cache 的檔案較

多，如果此時IO 中bi 比較小，說明檔案系統效率比較好。

swap

si 由記憶體進入記憶體交換區數量。

so 由記憶體交換區進入記憶體數量。

IO

bi 從塊裝置讀入資料的總量（讀磁盤）（每秒kb）。

bo 塊裝置寫入資料的總量（寫磁盤）（每秒kb）

這裡我們設定的bi+bo 參考值為1000，如果超過1000，而且wa 值較大應該考慮均衡磁盤負載，可以結合iostat輸出來分析。

2.2：檢視磁盤負載iostat

每隔2秒統計一次磁盤IO 資訊，直到按Ctrl+C 終止程式，-d 選項表示統計磁盤資訊， -k 表示以每秒KB的形式顯示，-t 要求列印出時間資訊，2 表示每隔2秒輸出一次。第一次輸出的磁盤IO 負載狀況提供了關于自從系統啟動以來的統計資訊。随後的每一次輸出則是每個間隔之間的平均IO 負載狀況。

# iostat -x 1 10

Linux 2.6.18-92.el5xen 02/03/2009

avg-cpu: %user %nice %system %iowait %steal %idle

1.10 0.00 4.82 39.54 0.07 54.46

Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await svctm %util

sda 0.00 3.50 0.40 2.50 5.60 48.00 18.48 0.00 0.97 0.97 0.28

sdb 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

sdc 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

sdd 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

sde 0.00 0.10 0.30 0.20 2.40 2.40 9.60 0.00 1.60 1.60 0.08

sdf 17.40 0.50 102.00 0.20 12095.20 5.60 118.40 0.70 6.81 2.09 21.36

sdg 232.40 1.90 379.70 0.50 76451.20 19.20 201.13 4.94 13.78 2.45 93.16

rrqm/s: 每秒進行merge 的讀操作數目。即delta(rmerge)/s

wrqm/s: 每秒進行merge 的寫操作數目。即delta(wmerge)/s

r/s: 每秒完成的讀I/O 裝置次數。即delta(rio)/s

w/s: 每秒完成的寫I/O 裝置次數。即delta(wio)/s

rsec/s: 每秒讀扇區數。即delta(rsect)/s

wsec/s: 每秒寫扇區數。即delta(wsect)/s

rkB/s: 每秒讀K 位元組數。是rsect/s 的一半，因為每扇區大小為512位元組。(需要計算)

wkB/s: 每秒寫K 位元組數。是wsect/s 的一半。(需要計算)

avgrq-sz: 平均每次裝置I/O 操作的資料大小(扇區)。delta(rsect+wsect)/delta(rio+wio)

avgqu-sz: 平均I/O 隊列長度。即delta(aveq)/s/1000 (因為aveq 的機關為毫秒)。

await: 平均每次裝置I/O 操作的等待時間(毫秒)。即delta(ruse+wuse)/delta(rio+wio)

svctm: 平均每次裝置I/O 操作的服務時間(毫秒)。即delta(use)/delta(rio+wio)

%util: 一秒中有百分之多少的時間用于I/O 操作，或者說一秒中有多少時間I/O 隊列是非空的。即

delta(use)/s/1000 (因為use 的機關為毫秒)

如果%util 接近100%，說明産生的I/O 請求太多，I/O 系統已經滿負荷，該磁盤

可能存在瓶頸。

idle小于70% IO壓力就較大了,一般讀取速度有較多的wait.

同時可以結合vmstat 檢視檢視b 參數(等待資源的程序數)和wa 參數(IO 等待所占用的CPU 時間的百分比高過30%時IO壓力高)

另外還可以參考

一般:

svctm < await (因為同時等待的請求的等待時間被重複計算了)，

svctm 的大小一般和磁盤性能有關:CPU/記憶體的負荷也會對其有影響，請求過多也會間接導緻svctm 的增

加。

await: await 的大小一般取決于服務時間(svctm) 以及I/O 隊列的長度和I/O 請求的發出模式。

如果svctm 比較接近await，說明I/O 幾乎沒有等待時間；

如果await 遠大于svctm，說明I/O 隊列太長，應用得到的響應時間變慢，

如果響應時間超過了使用者可以容許的範圍，這時可以考慮更換更快的磁盤，調整核心elevator 算法，優化

應用，或者更新CPU。

隊列長度(avgqu-sz)也可作為衡量系統I/O 負荷的名額，但由于avgqu-sz 是按照機關時間的平均值，所

以不能反映瞬間的I/O 洪水。

别人一個不錯的例子.(I/O 系統vs. 超市排隊)

舉一個例子，我們在超市排隊checkout 時，怎麼決定該去哪個交款台呢? 首當是看排的隊人數，5個人

總比20人要快吧?除了數人頭，我們也常常看看前面人購買的東西多少，如果前面有個采購了一星期食品的大媽，那麼可以考慮換個隊排了。還有就是收銀員的速度了，如果碰上了連錢都點不清楚的新手，那就有的等了。另外，時機也很重要，可能5分鐘前還人滿為患的收款台，現在已是人去樓空，這時候交款可是很爽啊。當然，前提是那過去的5分鐘裡所做的事情比排隊要有意義(不過我還沒發現什麼事情比排隊還無聊的)。

I/O 系統也和超市排隊有很多類似之處:

r/s+w/s 類似于交款人的總數

平均隊列長度(avgqu-sz)類似于機關時間裡平均排隊人的個數

平均服務時間(svctm)類似于收銀員的收款速度

平均等待時間(await)類似于平均每人的等待時間

平均I/O 資料(avgrq-sz)類似于平均每人所買的東西多少

I/O 操作率(%util)類似于收款台前有人排隊的時間比例。

我們可以根據這些資料分析出I/O 請求的模式，以及I/O 的速度和響應時間。

下面是别人寫的這個參數輸出的分析

# iostat -x 1

avg-cpu: %user %nice %sys %idle

16.24 0.00 4.31 79.44

Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util

/dev/cciss/c0d0

0.00 44.90 1.02 27.55 8.16 579.59 4.08 289.80 20.57 22.35 78.21 5.00 14.29

/dev/cciss/c0d0p1

/dev/cciss/c0d0p2

0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00

上面的iostat 輸出表明秒有28.57 次裝置I/O 操作: 總IO(io)/s = r/s(讀) +w/s(寫) = 1.02+27.55 = 28.57

(次/秒) 其中寫操作占了主體(w:r = 27:1)。

平均每次裝置I/O 操作隻需要5ms 就可以完成，但每個I/O 請求卻需要等上78ms，為什麼? 因為發出的I/O 請求太多(每秒鐘約29 個)，假設這些請求是同時發出的，那麼平均等待時間可以這樣計算:

平均等待時間= 單個I/O 服務時間* ( 1 + 2 + ... + 請求總數-1) / 請求總數

應用到上面的例子: 平均等待時間= 5ms * (1+2+...+28)/29 = 70ms，和iostat 給出的78ms 的平均等待時間很接近。這反過來表明I/O 是同時發起的。

每秒發出的I/O 請求很多(約29 個)，平均隊列卻不長(隻有2 個左右)，這表明這29 個請求的到來

并不均勻，大部分時間I/O 是空閑的。一秒中有14.29% 的時間I/O 隊列中是有請求的，也就是說，85.71% 的時間裡I/O 系統無事可做，所有29 個I/O 請求都在142毫秒之内處理掉了。

delta(ruse+wuse)/delta(io) = await = 78.21 => delta(ruse+wuse)/s=78.21 * delta(io)/s = 78.21*28.57 =2232.8，表明每秒内的I/O 請求總共需要等待2232.8ms。是以平均隊列長度應為2232.8ms/1000ms = 2.23，而iostat 給出的平均隊列長度(avgqu-sz) 卻為22.35，為什麼?! 因為iostat 中有bug，avgqu-sz 值應為2.23，而不是22.35。