公司在測試環境加了一批新的伺服器，因為還沒有急着上架就簡單的使用FIO工具測試了下伺服器磁盤在不同RAID級别下的IOPS的值，然後比對一下差距，增加一下經驗。
廢話就不說了，這裡簡單描述下伺服器的狀态：
1
2
3
4
5
6
<code>品牌：DELL</code>
<code>型号：PowerEdge R720</code>
<code>CPU：2 * Intel(R) Xeon(R) CPU E5-2630 v2 @ 2.60GHz</code>
<code>記憶體：4 * 8G</code>
<code>陣列卡：PERC H310 Mini (Embedded)</code>
<code>硬碟：6 * 300G 15k SAS</code>
本次主要使用FIO分别對RAID 0，RAID 5，RAID 10，RAID 50和單盤做了IOPS的測試，下面首先介紹FIO的安裝和使用，後面即為實驗的輸出和總結資訊。
FIO工具
一、FIO 簡述
FIO是測試IOPS的非常好的工具，用來對硬體進行壓力測試和驗證，支援13種不同的I/O引擎，包括：sync,mmap, libaio, posixaio, SG v3, splice, null, network, syslet, guasi, solarisaio等。
fio 官網位址：http://freecode.com/projects/fio/
二、FIO 安裝
7
8
9
<code>[root@kvm-phy27-jz ~]</code><code># yum install -y gcc gcc-c++ libaio-devel</code>
<code>[root@kvm-phy27-jz ~]</code><code># cd /usr/local/src</code>
<code>[root@kvm-phy27-jz src]</code><code># wget http://brick.kernel.dk/snaps/fio-2.1.10.tar.gz</code>
<code>[root@kvm-phy27-jz ~]</code><code># tar -zxf fio-2.1.10.tar.gz</code>
<code>[root@kvm-phy27-jz ~]</code><code># cd fio-2.1.10</code>
<code>[root@kvm-phy27-jz fio-2.1.10]</code><code># make</code>
<code>[root@kvm-phy27-jz fio-2.1.10]</code><code># make install</code>
<code>[root@kvm-phy27-jz fio-2.1.10]</code><code># which fio</code>
<code>/usr/local/bin/fio</code>
三、FIO參數
10
11
12
13
14
15
<code>filename=</code><code>/test</code><code>.xxx </code><code># 測試檔案名稱，通常選擇需要測試的盤的data目錄</code>
<code>direct=1 </code><code># 測試過程繞過機器自帶的buffer，使測試結果更真實</code>
<code>rw=randwrite </code><code># 測試随機寫的I/O </code>
<code>rw=randrw </code><code># 測試随機寫和讀的I/O </code>
<code>bs=16k </code><code># 單次io的塊檔案大小為16k </code>
<code>bsrange=512-2048 </code><code># 同上，提定資料塊的大小範圍 </code>
<code>size=200g </code><code># 本次的測試檔案大小為200g，以每次4k的io進行測試</code>
<code>numjobs=30 </code><code># 本次的測試線程為30 </code>
<code>runtime=1000 </code><code># 測試時間為1000秒，如果不寫則一直将5g檔案分4k每次寫完為止</code>
<code>ioengine=psync </code><code># io引擎使用pync方式</code>
<code>rwmixwrite=30 </code><code># 在混合讀寫的模式下，寫占30% </code>
<code>group_reporting </code><code># 關于顯示結果的，彙總每個程序的資訊 </code>
<code>lockmem=1g </code><code># 隻使用1g記憶體進行測試</code>
<code>zero_buffers </code><code># 用0初始化系統buffer</code>
<code>nrfiles=8 </code><code># 每個程序生成檔案的數量</code>
四、有關fio指令輸出含義
<code>read</code> <code># 順序讀</code>
<code>write </code><code># 順序寫</code>
<code>rw,readwrite </code><code># 順序混合讀寫</code>
<code>randwrite </code><code># 随機寫</code>
<code>randread </code><code># 随機讀</code>
<code>randrw </code><code># 随機混合讀寫</code>
<code>bw </code><code># 帶寬，機關KB/s </code>
<code>iops </code><code># 每秒鐘的IO數</code>
<code>runt </code><code># 總運作時間</code>
<code>lat (msec) </code><code># 延遲(毫秒)，msec為毫秒，usec為微秒</code>
五、常用FIO指令
<code>順序讀：</code>
<code>fio -filename=</code><code>/test</code><code>.xxx -direct=1 -iodepth 1 -thread -rw=</code><code>read</code> <code>-ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=1000 -group_reporting -name=nolinux_test</code>
<code>随機寫：</code>
<code>fio -filename=</code><code>/test</code><code>.xxx -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=1000 -group_reporting -name=nolinux_test</code>
<code>順序寫：</code>
<code>fio -filename=</code><code>/test</code><code>.xxx -direct=1 -iodepth 1 -thread -rw=write -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=1000 -group_reporting -name=nolinux_test</code>
<code>混合随機讀寫：</code>
<code>fio -filename=</code><code>/test</code><code>.xxx -direct=1 -iodepth 1 -thread -rw=randrw -rwmixread=70 -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=100 -group_reporting -name=nolinux_test -ioscheduler=noop</code>
OK，下面就是不同級别的RAID的IOPS情況：
這一系列的測試都是基于上面的伺服器配置，系統使用CentOS6.6，經過簡單優化，磁盤的檔案系統為EXT4。
一、單盤情況
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
<code>[root@kvm-phy27-jz fio-2.1.10]</code><code># fio -filename=/test.xxx -direct=1 -iodepth 1 -thread -rw=randrw -rwmixread=70 -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=100 -group_reporting -name=nolinux_test </code>
<code>nolinux_test: (g=0): rw=randrw, bs=16K-16K</code><code>/16K-16K</code><code>, ioengine=psync, iodepth=1</code>
<code>...</code>
<code>fio 2.0.7</code>
<code>Starting 30 threads</code>
<code>nolinux_test: Laying out IO </code><code>file</code><code>(s) (1 </code><code>file</code><code>(s) / 204800MB)</code>
<code>Jobs: 22 (f=22): [mmmmmmmmmmm_mmmm__mm_m_m_EmmmE] [14.4% </code><code>done</code><code>] [4521K</code><code>/2129K</code> <code>/s</code><code>] [276 </code><code>/130</code> <code>iops] [eta 09m:59s] </code>
<code>nolinux_test: (groupid=0, jobs=30): err= 0: pid=2413</code>
<code> </code><code>read</code> <code>: io=444528KB, bw=4437.8KB</code><code>/s</code><code>, iops=277 , runt=100170msec</code>
<code> </code><code>clat (msec): min=3 , max=1070 , avg=101.45, stdev=89.86</code>
<code> </code><code>lat (msec): min=3 , max=1070 , avg=101.45, stdev=89.86</code>
<code> </code><code>clat percentiles (msec):</code>
<code> </code><code>| 1.00th=[ 9], 5.00th=[ 17], 10.00th=[ 23], 20.00th=[ 34],</code>
<code> </code><code>| 30.00th=[ 45], 40.00th=[ 59], 50.00th=[ 76], 60.00th=[ 96],</code>
<code> </code><code>| 70.00th=[ 121], 80.00th=[ 153], 90.00th=[ 212], 95.00th=[ 273],</code>
<code> </code><code>| 99.00th=[ 429], 99.50th=[ 515], 99.90th=[ 709], 99.95th=[ 791],</code>
<code> </code><code>| 99.99th=[ 922]</code>
<code> </code><code>bw (KB</code><code>/s</code><code>) : min= 18, max= 375, per=3.40%, avg=150.67, stdev=51.94</code>
<code> </code><code>write: io=194288KB, bw=1939.6KB</code><code>/s</code><code>, iops=121 , runt=100170msec</code>
<code> </code><code>clat (usec): min=221 , max=246125 , avg=15053.58, stdev=14396.12</code>
<code> </code><code>lat (usec): min=223 , max=246127 , avg=15056.39, stdev=14396.24</code>
<code> </code><code>clat percentiles (usec):</code>
<code> </code><code>| 1.00th=[ 247], 5.00th=[ 1480], 10.00th=[ 2384], 20.00th=[ 5728],</code>
<code> </code><code>| 30.00th=[ 9664], 40.00th=[11840], 50.00th=[13760], 60.00th=[15680],</code>
<code> </code><code>| 70.00th=[17792], 80.00th=[20864], 90.00th=[25984], 95.00th=[31104],</code>
<code> </code><code>| 99.00th=[45824], 99.50th=[95744], 99.90th=[205824], 99.95th=[220160],</code>
<code> </code><code>| 99.99th=[238592]</code>
<code> </code><code>bw (KB</code><code>/s</code><code>) : min= 10, max= 335, per=4.05%, avg=78.50, stdev=51.26</code>
<code> </code><code>lat (usec) : 250=0.41%, 500=0.43%, 750=0.33%, 1000=0.10%</code>
<code> </code><code>lat (msec) : 2=0.95%, 4=2.48%, 10=5.93%, 20=18.04%, 50=24.99%</code>
<code> </code><code>lat (msec) : 100=19.59%, 250=22.31%, 500=4.04%, 750=0.35%, 1000=0.05%</code>
<code> </code><code>lat (msec) : 2000=0.01%</code>
<code> </code><code>cpu : usr=0.42%, sys=2.22%, ctx=2520168, majf=5, minf=166643</code>
<code> </code><code>IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%</code>
<code> </code><code>submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%</code>
<code> </code><code>complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%</code>
<code> </code><code>issued : total=r=27783</code><code>/w</code><code>=12143</code><code>/d</code><code>=0, short=r=0</code><code>/w</code><code>=0</code><code>/d</code><code>=0</code>
<code>Run status group 0 (all jobs):</code>
<code> </code><code>READ: io=444528KB, aggrb=4437KB</code><code>/s</code><code>, minb=4437KB</code><code>/s</code><code>, maxb=4437KB</code><code>/s</code><code>, mint=100170msec, maxt=100170msec</code>
<code> </code><code>WRITE: io=194288KB, aggrb=1939KB</code><code>/s</code><code>, minb=1939KB</code><code>/s</code><code>, maxb=1939KB</code><code>/s</code><code>, mint=100170msec, maxt=100170msec</code>
<code>Disk stats (</code><code>read</code><code>/write</code><code>):</code>
<code> </code><code>sda: ios=27782</code><code>/12215</code><code>, merge=0</code><code>/25</code><code>, ticks=2591396</code><code>/91815</code><code>, in_queue=2684776, util=100.00%</code>
二、6塊盤做RAID 0
<code>[root@kvm-phy27-jz fio-2.1.10]</code><code># fio -filename=/test.xxx -direct=1 -iodepth 1 -thread -rw=randrw -rwmixread=70 -ioengine=psync -bs=16k -size=200G -numjobs=30 -runtime=100 -group_reporting -name=nolinux_test</code>
<code>Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [3.0% </code><code>done</code><code>] [22685K</code><code>/9444K</code> <code>/s</code><code>] [1384 </code><code>/576</code> <code>iops] [eta 01mJobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [4.0% </code><code>done</code><code>] [22783K</code><code>/10197K</code> <code>/s</code><code>] [1390 </code><code>/622</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [5.0% </code><code>done</code><code>] [22489K</code><code>/9755K</code> <code>/s</code><code>] [1372 </code><code>/595</code> <code>iops] [eta 01mJobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [6.0% </code><code>done</code><code>] [22063K</code><code>/9444K</code> <code>/s</code><code>] [1346 </code><code>/576</code> <code>iops] [eta 01mJobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [7.0% </code><code>done</code><code>] [22734K</code><code>/9771K</code> <code>/s</code><code>] [1387 </code><code>/596</code> <code>iops] [eta 01mJobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [8.0% </code><code>done</code><code>] [22047K</code><code>/8740K</code> <code>/s</code><code>] [1345 </code><code>/533</code> <code>iops] [eta 01mJobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [9.0% </code><code>done</code><code>] [21376K</code><code>/9706K</code> <code>/s</code><code>] [1304 </code><code>/592</code> <code>iops] [eta 01mJobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [10.0% </code><code>done</code><code>] [23487K</code><code>/9951K</code> <code>/s</code><code>] [1433 </code><code>/607</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [11.0% </code><code>done</code><code>] [22325K</code><code>/8609K</code> <code>/s</code><code>] [1362 </code><code>/525</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [12.0% </code><code>done</code><code>] [23078K</code><code>/10164K</code> <code>/s</code><code>] [1408 </code><code>/620</code> <code>iops] [eta 0Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [13.9% </code><code>done</code><code>] [23716K</code><code>/10229K</code> <code>/s</code><code>] [1447 </code><code>/624</code> <code>iops] [eta 0Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [14.9% </code><code>done</code><code>] [23978K</code><code>/9886K</code> <code>/s</code><code>] [1463 </code><code>/603</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [15.8% </code><code>done</code><code>] [23471K</code><code>/9836K</code> <code>/s</code><code>] [1432 </code><code>/600</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [16.8% </code><code>done</code><code>] [23782K</code><code>/10638K</code> <code>/s</code><code>] [1451 </code><code>/649</code> <code>iops] [eta 0Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [17.8% </code><code>done</code><code>] [23160K</code><code>/10082K</code> <code>/s</code><code>] [1413 </code><code>/615</code> <code>iops] [eta 0Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [18.8% </code><code>done</code><code>] [22243K</code><code>/9345K</code> <code>/s</code><code>] [1357 </code><code>/570</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [19.8% </code><code>done</code><code>] [21392K</code><code>/9133K</code> <code>/s</code><code>] [1305 </code><code>/557</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [20.8% </code><code>done</code><code>] [22505K</code><code>/9706K</code> <code>/s</code><code>] [1373 </code><code>/592</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [21.8% </code><code>done</code><code>] [23045K</code><code>/10458K</code> <code>/s</code><code>] [1406 </code><code>/638</code> <code>iops] [eta 0Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [22.8% </code><code>done</code><code>] [22800K</code><code>/10000K</code> <code>/s</code><code>] [1391 </code><code>/610</code> <code>iops] [eta 0Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [23.8% </code><code>done</code><code>] [23127K</code><code>/10049K</code> <code>/s</code><code>] [1411 </code><code>/613</code> <code>iops] [eta 0Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [24.8% </code><code>done</code><code>] [22767K</code><code>/9656K</code> <code>/s</code><code>] [1389 </code><code>/589</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [25.7% </code><code>done</code><code>] [23372K</code><code>/10295K</code> <code>/s</code><code>] [1426 </code><code>/628</code> <code>iops] [eta 0Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [26.7% </code><code>done</code><code>] [23176K</code><code>/9820K</code> <code>/s</code><code>] [1414 </code><code>/599</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [27.7% </code><code>done</code><code>] [22636K</code><code>/9345K</code> <code>/s</code><code>] [1381 </code><code>/570</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [28.7% </code><code>done</code><code>] [22570K</code><code>/9886K</code> <code>/s</code><code>] [1377 </code><code>/603</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [29.7% </code><code>done</code><code>] [20885K</code><code>/9886K</code> <code>/s</code><code>] [1274 </code><code>/603</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [30.7% </code><code>done</code><code>] [22276K</code><code>/9673K</code> <code>/s</code><code>] [1359 </code><code>/590</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [31.7% </code><code>done</code><code>] [21916K</code><code>/9411K</code> <code>/s</code><code>] [1337 </code><code>/574</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [32.7% </code><code>done</code><code>] [24420K</code><code>/10098K</code> <code>/s</code><code>] [1490 </code><code>/616</code> <code>iops] [eta 0Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [33.7% </code><code>done</code><code>] [22865K</code><code>/9444K</code> <code>/s</code><code>] [1395 </code><code>/576</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [34.7% </code><code>done</code><code>] [21850K</code><code>/9869K</code> <code>/s</code><code>] [1333 </code><code>/602</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [35.6% </code><code>done</code><code>] [22783K</code><code>/9869K</code> <code>/s</code><code>] [1390 </code><code>/602</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [36.6% </code><code>done</code><code>] [22030K</code><code>/8953K</code> <code>/s</code><code>] [1344 </code><code>/546</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [37.6% </code><code>done</code><code>] [21948K</code><code>/9460K</code> <code>/s</code><code>] [1339 </code><code>/577</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [38.6% </code><code>done</code><code>] [20181K</code><code>/8920K</code> <code>/s</code><code>] [1231 </code><code>/544</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [39.6% </code><code>done</code><code>] [23471K</code><code>/9722K</code> <code>/s</code><code>] [1432 </code><code>/593</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [40.6% </code><code>done</code><code>] [23814K</code><code>/10458K</code> <code>/s</code><code>] [1453 </code><code>/638</code> <code>iops] [eta 0Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [41.6% </code><code>done</code><code>] [24764K</code><code>/10704K</code> <code>/s</code><code>] [1511 </code><code>/653</code> <code>iops] [eta 0Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [42.6% </code><code>done</code><code>] [22963K</code><code>/10016K</code> <code>/s</code><code>] [1401 </code><code>/611</code> <code>iops] [eta 0Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [43.6% </code><code>done</code><code>] [21376K</code><code>/10360K</code> <code>/s</code><code>] [1304 </code><code>/632</code> <code>iops] [eta 0Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [44.6% </code><code>done</code><code>] [21163K</code><code>/8854K</code> <code>/s</code><code>] [1291 </code><code>/540</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [45.5% </code><code>done</code><code>] [21703K</code><code>/9460K</code> <code>/s</code><code>] [1324 </code><code>/577</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [46.5% </code><code>done</code><code>] [23602K</code><code>/9525K</code> <code>/s</code><code>] [1440 </code><code>/581</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [47.5% </code><code>done</code><code>] [22129K</code><code>/10688K</code> <code>/s</code><code>] [1350 </code><code>/652</code> <code>iops] [eta 0Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [48.5% </code><code>done</code><code>] [23602K</code><code>/10327K</code> <code>/s</code><code>] [1440 </code><code>/630</code> <code>iops] [eta 0Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [49.5% </code><code>done</code><code>] [22603K</code><code>/10229K</code> <code>/s</code><code>] [1379 </code><code>/624</code> <code>iops] [eta 0Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [50.5% </code><code>done</code><code>] [23045K</code><code>/10229K</code> <code>/s</code><code>] [1406 </code><code>/624</code> <code>iops] [eta 0Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [51.5% </code><code>done</code><code>] [21327K</code><code>/9706K</code> <code>/s</code><code>] [1301 </code><code>/592</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [52.5% </code><code>done</code><code>] [22560K</code><code>/10158K</code> <code>/s</code><code>] [1377 </code><code>/620</code> <code>iops] [eta 0Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [53.5% </code><code>done</code><code>] [24977K</code><code>/10393K</code> <code>/s</code><code>] [1524 </code><code>/634</code> <code>iops] [eta 0Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [54.5% </code><code>done</code><code>] [21998K</code><code>/9116K</code> <code>/s</code><code>] [1342 </code><code>/556</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [55.4% </code><code>done</code><code>] [22701K</code><code>/9951K</code> <code>/s</code><code>] [1385 </code><code>/607</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [56.4% </code><code>done</code><code>] [22849K</code><code>/10377K</code> <code>/s</code><code>] [1394 </code><code>/633</code> <code>iops] [eta 0Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [57.4% </code><code>done</code><code>] [21916K</code><code>/9509K</code> <code>/s</code><code>] [1337 </code><code>/580</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [58.4% </code><code>done</code><code>] [22063K</code><code>/9869K</code> <code>/s</code><code>] [1346 </code><code>/602</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [59.4% </code><code>done</code><code>] [20950K</code><code>/9525K</code> <code>/s</code><code>] [1278 </code><code>/581</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [60.4% </code><code>done</code><code>] [23945K</code><code>/10409K</code> <code>/s</code><code>] [1461 </code><code>/635</code> <code>iops] [eta 0Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [61.4% </code><code>done</code><code>] [24166K</code><code>/10321K</code> <code>/s</code><code>] [1475 </code><code>/630</code> <code>iops] [eta 0Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [62.4% </code><code>done</code><code>] [22446K</code><code>/9584K</code> <code>/s</code><code>] [1370 </code><code>/585</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [63.4% </code><code>done</code><code>] [25247K</code><code>/10190K</code> <code>/s</code><code>] [1541 </code><code>/622</code> <code>iops] [eta 0Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [64.4% </code><code>done</code><code>] [22921K</code><code>/9469K</code> <code>/s</code><code>] [1399 </code><code>/578</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [65.3% </code><code>done</code><code>] [23494K</code><code>/9863K</code> <code>/s</code><code>] [1434 </code><code>/602</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [66.3% </code><code>done</code><code>] [21381K</code><code>/9551K</code> <code>/s</code><code>] [1305 </code><code>/583</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [67.3% </code><code>done</code><code>] [21086K</code><code>/8224K</code> <code>/s</code><code>] [1287 </code><code>/502</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [68.3% </code><code>done</code><code>] [23658K</code><code>/9912K</code> <code>/s</code><code>] [1444 </code><code>/605</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [69.3% </code><code>done</code><code>] [21823K</code><code>/9011K</code> <code>/s</code><code>] [1332 </code><code>/550</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [70.3% </code><code>done</code><code>] [23183K</code><code>/9240K</code> <code>/s</code><code>] [1415 </code><code>/564</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [71.3% </code><code>done</code><code>] [21266K</code><code>/8454K</code> <code>/s</code><code>] [1298 </code><code>/516</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [72.3% </code><code>done</code><code>] [22577K</code><code>/10027K</code> <code>/s</code><code>] [1378 </code><code>/612</code> <code>iops] [eta 0Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [73.3% </code><code>done</code><code>] [22374K</code><code>/9869K</code> <code>/s</code><code>] [1365 </code><code>/602</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [74.3% </code><code>done</code><code>] [21588K</code><code>/8642K</code> <code>/s</code><code>] [1317 </code><code>/527</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [75.2% </code><code>done</code><code>] [22200K</code><code>/9945K</code> <code>/s</code><code>] [1355 </code><code>/607</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [76.2% </code><code>done</code><code>] [21954K</code><code>/10256K</code> <code>/s</code><code>] [1340 </code><code>/626</code> <code>iops] [eta 0Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [77.2% </code><code>done</code><code>] [21676K</code><code>/9469K</code> <code>/s</code><code>] [1323 </code><code>/578</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [78.2% </code><code>done</code><code>] [21823K</code><code>/10190K</code> <code>/s</code><code>] [1332 </code><code>/622</code> <code>iops] [eta 0Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [79.2% </code><code>done</code><code>] [21381K</code><code>/9748K</code> <code>/s</code><code>] [1305 </code><code>/595</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [80.2% </code><code>done</code><code>] [20873K</code><code>/9240K</code> <code>/s</code><code>] [1274 </code><code>/564</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [81.2% </code><code>done</code><code>] [23576K</code><code>/10698K</code> <code>/s</code><code>] [1439 </code><code>/653</code> <code>iops] [eta 0Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [82.2% </code><code>done</code><code>] [23003K</code><code>/9945K</code> <code>/s</code><code>] [1404 </code><code>/607</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [83.2% </code><code>done</code><code>] [21397K</code><code>/10403K</code> <code>/s</code><code>] [1306 </code><code>/635</code> <code>iops] [eta 0Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [84.2% </code><code>done</code><code>] [23396K</code><code>/9469K</code> <code>/s</code><code>] [1428 </code><code>/578</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [85.1% </code><code>done</code><code>] [21801K</code><code>/9280K</code> <code>/s</code><code>] [1330 </code><code>/566</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [86.1% </code><code>done</code><code>] [20737K</code><code>/9280K</code> <code>/s</code><code>] [1265 </code><code>/566</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [87.1% </code><code>done</code><code>] [22554K</code><code>/9444K</code> <code>/s</code><code>] [1376 </code><code>/576</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [88.1% </code><code>done</code><code>] [24158K</code><code>/10311K</code> <code>/s</code><code>] [1474 </code><code>/629</code> <code>iops] [eta 0Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [89.1% </code><code>done</code><code>] [21736K</code><code>/9345K</code> <code>/s</code><code>] [1326 </code><code>/570</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [90.1% </code><code>done</code><code>] [22669K</code><code>/9362K</code> <code>/s</code><code>] [1383 </code><code>/571</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [91.1% </code><code>done</code><code>] [20541K</code><code>/9296K</code> <code>/s</code><code>] [1253 </code><code>/567</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [92.1% </code><code>done</code><code>] [23838K</code><code>/10240K</code> <code>/s</code><code>] [1455 </code><code>/625</code> <code>iops] [eta 0Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [93.1% </code><code>done</code><code>] [22085K</code><code>/9388K</code> <code>/s</code><code>] [1348 </code><code>/573</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [94.1% </code><code>done</code><code>] [22773K</code><code>/9109K</code> <code>/s</code><code>] [1390 </code><code>/556</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [95.0% </code><code>done</code><code>] [21561K</code><code>/9306K</code> <code>/s</code><code>] [1316 </code><code>/568</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [96.0% </code><code>done</code><code>] [20840K</code><code>/8519K</code> <code>/s</code><code>] [1272 </code><code>/520</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [97.0% </code><code>done</code><code>] [22822K</code><code>/9797K</code> <code>/s</code><code>] [1393 </code><code>/598</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [98.0% </code><code>done</code><code>] [22069K</code><code>/9797K</code> <code>/s</code><code>] [1347 </code><code>/598</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [99.0% </code><code>done</code><code>] [22167K</code><code>/10534K</code> <code>/s</code><code>] [1353 </code><code>/643</code> <code>iops] [eta 0Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [100.0% </code><code>done</code><code>] [23248K</code><code>/10633K</code> <code>/s</code><code>] [1419 </code><code>/649</code> <code>iops] [eta 00m:00s]</code>
<code>nolinux_test: (groupid=0, jobs=30): err= 0: pid=2480</code>
<code> </code><code>read</code> <code>: io=2146.2MB, bw=21948KB</code><code>/s</code><code>, iops=1371 , runt=100132msec</code>
<code> </code><code>clat (usec): min=296 , max=588194 , avg=20452.68, stdev=30073.79</code>
<code> </code><code>lat (usec): min=296 , max=588195 , avg=20453.01, stdev=30073.79</code>
<code> </code><code>| 1.00th=[ 3], 5.00th=[ 5], 10.00th=[ 6], 20.00th=[ 8],</code>
<code> </code><code>| 30.00th=[ 9], 40.00th=[ 10], 50.00th=[ 12], 60.00th=[ 15],</code>
<code> </code><code>| 70.00th=[ 18], 80.00th=[ 24], 90.00th=[ 40], 95.00th=[ 63],</code>
<code> </code><code>| 99.00th=[ 165], 99.50th=[ 212], 99.90th=[ 326], 99.95th=[ 371],</code>
<code> </code><code>| 99.99th=[ 453]</code>
<code> </code><code>bw (KB</code><code>/s</code><code>) : min= 72, max= 1346, per=3.37%, avg=738.97, stdev=201.50</code>
<code> </code><code>write: io=950496KB, bw=9492.5KB</code><code>/s</code><code>, iops=593 , runt=100132msec</code>
<code> </code><code>clat (usec): min=176 , max=131922 , avg=3208.13, stdev=3135.80</code>
<code> </code><code>lat (usec): min=177 , max=131927 , avg=3210.90, stdev=3135.89</code>
<code> </code><code>| 1.00th=[ 223], 5.00th=[ 243], 10.00th=[ 338], 20.00th=[ 1336],</code>
<code> </code><code>| 30.00th=[ 2352], 40.00th=[ 2864], 50.00th=[ 3248], 60.00th=[ 3632],</code>
<code> </code><code>| 70.00th=[ 4048], 80.00th=[ 4512], 90.00th=[ 5280], 95.00th=[ 5984],</code>
<code> </code><code>| 99.00th=[ 7776], 99.50th=[ 8768], 99.90th=[26496], 99.95th=[86528],</code>
<code> </code><code>| 99.99th=[129536]</code>
<code> </code><code>bw (KB</code><code>/s</code><code>) : min= 21, max= 960, per=3.37%, avg=320.15, stdev=144.88</code>
<code> </code><code>lat (usec) : 250=1.88%, 500=1.96%, 750=0.78%, 1000=0.58%</code>
<code> </code><code>lat (msec) : 2=2.50%, 4=15.39%, 10=35.36%, 20=23.54%, 50=13.16%</code>
<code> </code><code>lat (msec) : 100=3.06%, 250=1.58%, 500=0.20%, 750=0.01%</code>
<code> </code><code>cpu : usr=1.43%, sys=10.07%, ctx=11331053, majf=0, minf=166561</code>
<code> </code><code>issued : total=r=137355</code><code>/w</code><code>=59406</code><code>/d</code><code>=0, short=r=0</code><code>/w</code><code>=0</code><code>/d</code><code>=0</code>
<code> </code><code>READ: io=2146.2MB, aggrb=21947KB</code><code>/s</code><code>, minb=21947KB</code><code>/s</code><code>, maxb=21947KB</code><code>/s</code><code>, mint=100132msec, maxt=100132msec</code>
<code> </code><code>WRITE: io=950496KB, aggrb=9492KB</code><code>/s</code><code>, minb=9492KB</code><code>/s</code><code>, maxb=9492KB</code><code>/s</code><code>, mint=100132msec, maxt=100132msec</code>
<code> </code><code>sda: ios=137228</code><code>/59403</code><code>, merge=0</code><code>/19</code><code>, ticks=2562622</code><code>/89096</code><code>, in_queue=2652072, util=99.99%</code>
三、6塊盤做RAID 5
<code>Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [100.0% </code><code>done</code><code>] [3077K</code><code>/1456K</code> <code>/s</code><code>] [187 </code><code>/88</code> <code>iops] [eta 00m:00s]</code>
<code>nolinux_test: (groupid=0, jobs=30): err= 0: pid=3013</code>
<code> </code><code>read</code> <code>: io=324576KB, bw=3242.7KB</code><code>/s</code><code>, iops=202 , runt=100097msec</code>
<code> </code><code>clat (msec): min=1 , max=345 , avg=101.77, stdev=64.98</code>
<code> </code><code>lat (msec): min=1 , max=345 , avg=101.77, stdev=64.98</code>
<code> </code><code>| 1.00th=[ 3], 5.00th=[ 4], 10.00th=[ 5], 20.00th=[ 10],</code>
<code> </code><code>| 30.00th=[ 79], 40.00th=[ 100], 50.00th=[ 115], 60.00th=[ 128],</code>
<code> </code><code>| 70.00th=[ 141], 80.00th=[ 157], 90.00th=[ 178], 95.00th=[ 196],</code>
<code> </code><code>| 99.00th=[ 235], 99.50th=[ 249], 99.90th=[ 277], 99.95th=[ 285],</code>
<code> </code><code>| 99.99th=[ 314]</code>
<code> </code><code>bw (KB</code><code>/s</code><code>) : min= 24, max= 212, per=3.34%, avg=108.17, stdev=28.20</code>
<code> </code><code>write: io=140704KB, bw=1405.7KB</code><code>/s</code><code>, iops=87 , runt=100097msec</code>
<code> </code><code>clat (msec): min=3 , max=307 , avg=106.48, stdev=65.12</code>
<code> </code><code>lat (msec): min=3 , max=307 , avg=106.48, stdev=65.13</code>
<code> </code><code>| 1.00th=[ 7], 5.00th=[ 9], 10.00th=[ 10], 20.00th=[ 12],</code>
<code> </code><code>| 30.00th=[ 84], 40.00th=[ 105], 50.00th=[ 120], 60.00th=[ 133],</code>
<code> </code><code>| 70.00th=[ 147], 80.00th=[ 161], 90.00th=[ 182], 95.00th=[ 202],</code>
<code> </code><code>| 99.00th=[ 239], 99.50th=[ 251], 99.90th=[ 289], 99.95th=[ 289],</code>
<code> </code><code>| 99.99th=[ 310]</code>
<code> </code><code>bw (KB</code><code>/s</code><code>) : min= 21, max= 278, per=4.17%, avg=58.56, stdev=35.44</code>
<code> </code><code>lat (msec) : 2=0.30%, 4=4.24%, 10=13.41%, 20=6.98%, 50=0.69%</code>
<code> </code><code>lat (msec) : 100=13.61%, 250=60.28%, 500=0.48%</code>
<code> </code><code>cpu : usr=0.45%, sys=2.42%, ctx=1953443, majf=0, minf=166561</code>
<code> </code><code>issued : total=r=20286</code><code>/w</code><code>=8794</code><code>/d</code><code>=0, short=r=0</code><code>/w</code><code>=0</code><code>/d</code><code>=0</code>
<code> </code><code>READ: io=324576KB, aggrb=3242KB</code><code>/s</code><code>, minb=3242KB</code><code>/s</code><code>, maxb=3242KB</code><code>/s</code><code>, mint=100097msec, maxt=100097msec</code>
<code> </code><code>WRITE: io=140704KB, aggrb=1405KB</code><code>/s</code><code>, minb=1405KB</code><code>/s</code><code>, maxb=1405KB</code><code>/s</code><code>, mint=100097msec, maxt=100097msec</code>
<code> </code><code>sda: ios=20258</code><code>/8866</code><code>, merge=0</code><code>/32</code><code>, ticks=153891</code><code>/101181</code><code>, in_queue=255029, util=99.54%</code>
四、6塊盤做RAID 10
<code>[root@kvm-phy27-jz fio-2.1.10]</code><code># fio -filename=/test.xxx -direct=1 -iodepth 1 -thread -rw=randrw -rwmixread=70 -ioengine=psync -bs=16k -size=200G -numjobs=30 -</code>
<code>runtime=100 -group_reporting -name=nolinux_test </code>
<code>Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [3.0% </code><code>done</code><code>] [15613K</code><code>/7438K</code> <code>/s</code><code>] [953 </code><code>/454</code> <code>iops] [eta 01m:Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [4.0% </code><code>done</code><code>] [16596K</code><code>/7323K</code> <code>/s</code><code>] [1013 </code><code>/447</code> <code>iops] [eta 01mJobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [5.0% </code><code>done</code><code>] [16482K</code><code>/6897K</code> <code>/s</code><code>] [1006 </code><code>/421</code> <code>iops] [eta 01mJobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [5.9% </code><code>done</code><code>] [17235K</code><code>/7389K</code> <code>/s</code><code>] [1052 </code><code>/451</code> <code>iops] [eta 01mJobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [6.9% </code><code>done</code><code>] [16646K</code><code>/7208K</code> <code>/s</code><code>] [1016 </code><code>/440</code> <code>iops] [eta 01mJobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [7.9% </code><code>done</code><code>] [17547K</code><code>/6799K</code> <code>/s</code><code>] [1071 </code><code>/415</code> <code>iops] [eta 01mJobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [8.9% </code><code>done</code><code>] [17711K</code><code>/7995K</code> <code>/s</code><code>] [1081 </code><code>/488</code> <code>iops] [eta 01mJobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [9.9% </code><code>done</code><code>] [17448K</code><code>/6684K</code> <code>/s</code><code>] [1065 </code><code>/408</code> <code>iops] [eta 01mJobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [10.9% </code><code>done</code><code>] [17252K</code><code>/6799K</code> <code>/s</code><code>] [1053 </code><code>/415</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [11.9% </code><code>done</code><code>] [17104K</code><code>/7323K</code> <code>/s</code><code>] [1044 </code><code>/447</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [12.9% </code><code>done</code><code>] [17039K</code><code>/7061K</code> <code>/s</code><code>] [1040 </code><code>/431</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [13.9% </code><code>done</code><code>] [17219K</code><code>/7127K</code> <code>/s</code><code>] [1051 </code><code>/435</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [14.9% </code><code>done</code><code>] [17874K</code><code>/6930K</code> <code>/s</code><code>] [1091 </code><code>/423</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [15.8% </code><code>done</code><code>] [17170K</code><code>/6848K</code> <code>/s</code><code>] [1048 </code><code>/418</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [16.8% </code><code>done</code><code>] [14614K</code><code>/5750K</code> <code>/s</code><code>] [892 </code><code>/351</code> <code>iops] [eta 01mJobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [17.8% </code><code>done</code><code>] [16629K</code><code>/7536K</code> <code>/s</code><code>] [1015 </code><code>/460</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [18.8% </code><code>done</code><code>] [17776K</code><code>/7634K</code> <code>/s</code><code>] [1085 </code><code>/466</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [19.8% </code><code>done</code><code>] [16596K</code><code>/7176K</code> <code>/s</code><code>] [1013 </code><code>/438</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [20.8% </code><code>done</code><code>] [16252K</code><code>/7389K</code> <code>/s</code><code>] [992 </code><code>/451</code> <code>iops] [eta 01mJobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [21.8% </code><code>done</code><code>] [14696K</code><code>/6619K</code> <code>/s</code><code>] [897 </code><code>/404</code> <code>iops] [eta 01mJobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [22.8% </code><code>done</code><code>] [15745K</code><code>/6619K</code> <code>/s</code><code>] [961 </code><code>/404</code> <code>iops] [eta 01mJobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [23.8% </code><code>done</code><code>] [13008K</code><code>/5554K</code> <code>/s</code><code>] [794 </code><code>/339</code> <code>iops] [eta 01mJobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [24.8% </code><code>done</code><code>] [17809K</code><code>/6864K</code> <code>/s</code><code>] [1087 </code><code>/419</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [25.7% </code><code>done</code><code>] [17252K</code><code>/7634K</code> <code>/s</code><code>] [1053 </code><code>/466</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [26.7% </code><code>done</code><code>] [17006K</code><code>/6799K</code> <code>/s</code><code>] [1038 </code><code>/415</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [27.7% </code><code>done</code><code>] [18415K</code><code>/7340K</code> <code>/s</code><code>] [1124 </code><code>/448</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [28.7% </code><code>done</code><code>] [17022K</code><code>/7553K</code> <code>/s</code><code>] [1039 </code><code>/461</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [29.7% </code><code>done</code><code>] [16596K</code><code>/7045K</code> <code>/s</code><code>] [1013 </code><code>/430</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [30.7% </code><code>done</code><code>] [15171K</code><code>/7192K</code> <code>/s</code><code>] [926 </code><code>/439</code> <code>iops] [eta 01mJobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [31.7% </code><code>done</code><code>] [15777K</code><code>/7061K</code> <code>/s</code><code>] [963 </code><code>/431</code> <code>iops] [eta 01mJobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [32.7% </code><code>done</code><code>] [16564K</code><code>/7749K</code> <code>/s</code><code>] [1011 </code><code>/473</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [33.7% </code><code>done</code><code>] [15843K</code><code>/7454K</code> <code>/s</code><code>] [967 </code><code>/455</code> <code>iops] [eta 01mJobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [34.7% </code><code>done</code><code>] [16613K</code><code>/7798K</code> <code>/s</code><code>] [1014 </code><code>/476</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [35.6% </code><code>done</code><code>] [17563K</code><code>/7880K</code> <code>/s</code><code>] [1072 </code><code>/481</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [36.6% </code><code>done</code><code>] [15974K</code><code>/6946K</code> <code>/s</code><code>] [975 </code><code>/424</code> <code>iops] [eta 01mJobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [37.6% </code><code>done</code><code>] [16269K</code><code>/7454K</code> <code>/s</code><code>] [993 </code><code>/455</code> <code>iops] [eta 01mJobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [38.6% </code><code>done</code><code>] [17088K</code><code>/7176K</code> <code>/s</code><code>] [1043 </code><code>/438</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [39.6% </code><code>done</code><code>] [16859K</code><code>/7471K</code> <code>/s</code><code>] [1029 </code><code>/456</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [40.6% </code><code>done</code><code>] [16662K</code><code>/6733K</code> <code>/s</code><code>] [1017 </code><code>/411</code> <code>iops] [eta 01Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [41.6% </code><code>done</code><code>] [17039K</code><code>/7487K</code> <code>/s</code><code>] [1040 </code><code>/457</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [42.6% </code><code>done</code><code>] [15810K</code><code>/7716K</code> <code>/s</code><code>] [965 </code><code>/471</code> <code>iops] [eta 00mJobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [43.6% </code><code>done</code><code>] [17858K</code><code>/7241K</code> <code>/s</code><code>] [1090 </code><code>/442</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [44.6% </code><code>done</code><code>] [16252K</code><code>/7225K</code> <code>/s</code><code>] [992 </code><code>/441</code> <code>iops] [eta 00mJobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [45.5% </code><code>done</code><code>] [17416K</code><code>/7569K</code> <code>/s</code><code>] [1063 </code><code>/462</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [46.5% </code><code>done</code><code>] [16482K</code><code>/7127K</code> <code>/s</code><code>] [1006 </code><code>/435</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [47.5% </code><code>done</code><code>] [17301K</code><code>/7569K</code> <code>/s</code><code>] [1056 </code><code>/462</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [48.5% </code><code>done</code><code>] [16941K</code><code>/7438K</code> <code>/s</code><code>] [1034 </code><code>/454</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [49.5% </code><code>done</code><code>] [16039K</code><code>/7536K</code> <code>/s</code><code>] [979 </code><code>/460</code> <code>iops] [eta 00mJobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [50.5% </code><code>done</code><code>] [17399K</code><code>/7290K</code> <code>/s</code><code>] [1062 </code><code>/445</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [51.5% </code><code>done</code><code>] [17383K</code><code>/7487K</code> <code>/s</code><code>] [1061 </code><code>/457</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [52.5% </code><code>done</code><code>] [17039K</code><code>/7127K</code> <code>/s</code><code>] [1040 </code><code>/435</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [53.5% </code><code>done</code><code>] [16662K</code><code>/7602K</code> <code>/s</code><code>] [1017 </code><code>/464</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [54.5% </code><code>done</code><code>] [17104K</code><code>/7847K</code> <code>/s</code><code>] [1044 </code><code>/479</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [55.4% </code><code>done</code><code>] [16531K</code><code>/7127K</code> <code>/s</code><code>] [1009 </code><code>/435</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [56.4% </code><code>done</code><code>] [16072K</code><code>/7012K</code> <code>/s</code><code>] [981 </code><code>/428</code> <code>iops] [eta 00mJobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [57.4% </code><code>done</code><code>] [15925K</code><code>/7454K</code> <code>/s</code><code>] [972 </code><code>/455</code> <code>iops] [eta 00mJobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [58.4% </code><code>done</code><code>] [16711K</code><code>/7667K</code> <code>/s</code><code>] [1020 </code><code>/468</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [59.4% </code><code>done</code><code>] [17498K</code><code>/7602K</code> <code>/s</code><code>] [1068 </code><code>/464</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [60.4% </code><code>done</code><code>] [16859K</code><code>/7143K</code> <code>/s</code><code>] [1029 </code><code>/436</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [61.4% </code><code>done</code><code>] [17088K</code><code>/6602K</code> <code>/s</code><code>] [1043 </code><code>/403</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [62.4% </code><code>done</code><code>] [17104K</code><code>/6799K</code> <code>/s</code><code>] [1044 </code><code>/415</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [63.4% </code><code>done</code><code>] [17301K</code><code>/7208K</code> <code>/s</code><code>] [1056 </code><code>/440</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [64.4% </code><code>done</code><code>] [17596K</code><code>/7061K</code> <code>/s</code><code>] [1074 </code><code>/431</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [65.3% </code><code>done</code><code>] [17661K</code><code>/7127K</code> <code>/s</code><code>] [1078 </code><code>/435</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [66.3% </code><code>done</code><code>] [16924K</code><code>/6930K</code> <code>/s</code><code>] [1033 </code><code>/423</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [67.3% </code><code>done</code><code>] [17629K</code><code>/6815K</code> <code>/s</code><code>] [1076 </code><code>/416</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [68.3% </code><code>done</code><code>] [17514K</code><code>/7258K</code> <code>/s</code><code>] [1069 </code><code>/443</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [69.3% </code><code>done</code><code>] [17432K</code><code>/7585K</code> <code>/s</code><code>] [1064 </code><code>/463</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [70.3% </code><code>done</code><code>] [16662K</code><code>/7585K</code> <code>/s</code><code>] [1017 </code><code>/463</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [71.3% </code><code>done</code><code>] [16596K</code><code>/7028K</code> <code>/s</code><code>] [1013 </code><code>/429</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [72.3% </code><code>done</code><code>] [17334K</code><code>/7585K</code> <code>/s</code><code>] [1058 </code><code>/463</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [73.3% </code><code>done</code><code>] [17825K</code><code>/7258K</code> <code>/s</code><code>] [1088 </code><code>/443</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [74.3% </code><code>done</code><code>] [17891K</code><code>/7536K</code> <code>/s</code><code>] [1092 </code><code>/460</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [75.2% </code><code>done</code><code>] [15925K</code><code>/7405K</code> <code>/s</code><code>] [972 </code><code>/452</code> <code>iops] [eta 00mJobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [76.2% </code><code>done</code><code>] [17186K</code><code>/7340K</code> <code>/s</code><code>] [1049 </code><code>/448</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [77.2% </code><code>done</code><code>] [16269K</code><code>/7520K</code> <code>/s</code><code>] [993 </code><code>/459</code> <code>iops] [eta 00mJobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [78.2% </code><code>done</code><code>] [16318K</code><code>/7389K</code> <code>/s</code><code>] [996 </code><code>/451</code> <code>iops] [eta 00mJobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [79.2% </code><code>done</code><code>] [17154K</code><code>/7110K</code> <code>/s</code><code>] [1047 </code><code>/434</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [80.2% </code><code>done</code><code>] [16351K</code><code>/7667K</code> <code>/s</code><code>] [998 </code><code>/468</code> <code>iops] [eta 00mJobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [81.2% </code><code>done</code><code>] [17006K</code><code>/7897K</code> <code>/s</code><code>] [1038 </code><code>/482</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [82.2% </code><code>done</code><code>] [18022K</code><code>/7258K</code> <code>/s</code><code>] [1100 </code><code>/443</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [83.2% </code><code>done</code><code>] [16236K</code><code>/7323K</code> <code>/s</code><code>] [991 </code><code>/447</code> <code>iops] [eta 00mJobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [84.2% </code><code>done</code><code>] [16465K</code><code>/7602K</code> <code>/s</code><code>] [1005 </code><code>/464</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [85.1% </code><code>done</code><code>] [17039K</code><code>/7159K</code> <code>/s</code><code>] [1040 </code><code>/437</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [86.1% </code><code>done</code><code>] [17350K</code><code>/7258K</code> <code>/s</code><code>] [1059 </code><code>/443</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [87.1% </code><code>done</code><code>] [17432K</code><code>/7454K</code> <code>/s</code><code>] [1064 </code><code>/455</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [88.1% </code><code>done</code><code>] [16777K</code><code>/7421K</code> <code>/s</code><code>] [1024 </code><code>/453</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [89.1% </code><code>done</code><code>] [17121K</code><code>/7323K</code> <code>/s</code><code>] [1045 </code><code>/447</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [90.1% </code><code>done</code><code>] [16531K</code><code>/7356K</code> <code>/s</code><code>] [1009 </code><code>/449</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [91.1% </code><code>done</code><code>] [17137K</code><code>/7585K</code> <code>/s</code><code>] [1046 </code><code>/463</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [92.1% </code><code>done</code><code>] [17612K</code><code>/7143K</code> <code>/s</code><code>] [1075 </code><code>/436</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [93.1% </code><code>done</code><code>] [16596K</code><code>/7274K</code> <code>/s</code><code>] [1013 </code><code>/444</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [94.1% </code><code>done</code><code>] [17694K</code><code>/7454K</code> <code>/s</code><code>] [1080 </code><code>/455</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [95.0% </code><code>done</code><code>] [16793K</code><code>/6979K</code> <code>/s</code><code>] [1025 </code><code>/426</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [96.0% </code><code>done</code><code>] [18169K</code><code>/7634K</code> <code>/s</code><code>] [1109 </code><code>/466</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [97.0% </code><code>done</code><code>] [17399K</code><code>/6619K</code> <code>/s</code><code>] [1062 </code><code>/404</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [98.0% </code><code>done</code><code>] [17842K</code><code>/6897K</code> <code>/s</code><code>] [1089 </code><code>/421</code> <code>iops] [eta 00Jobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [99.0% </code><code>done</code><code>] [16334K</code><code>/6897K</code> <code>/s</code><code>] [997 </code><code>/421</code> <code>iops] [eta 00mJobs: 30 (f=30): [mmmmmmmmmmmmmmmmmmmmmmmmmmmmmm] [100.0% </code><code>done</code><code>] [16875K</code><code>/7356K</code> <code>/s</code><code>] [1030 </code><code>/449</code> <code>iops] [eta 00m:00s]</code>
<code>nolinux_test: (groupid=0, jobs=30): err= 0: pid=28011</code>
<code> </code><code>read</code> <code>: io=1606.9MB, bw=16445KB</code><code>/s</code><code>, iops=1027 , runt=100055msec</code>
<code> </code><code>clat (usec): min=207 , max=623956 , avg=27266.40, stdev=26421.57</code>
<code> </code><code>lat (usec): min=207 , max=623957 , avg=27266.74, stdev=26421.57</code>
<code> </code><code>| 1.00th=[ 4], 5.00th=[ 6], 10.00th=[ 8], 20.00th=[ 10],</code>
<code> </code><code>| 30.00th=[ 12], 40.00th=[ 15], 50.00th=[ 19], 60.00th=[ 24],</code>
<code> </code><code>| 70.00th=[ 31], 80.00th=[ 42], 90.00th=[ 60], 95.00th=[ 77],</code>
<code> </code><code>| 99.00th=[ 124], 99.50th=[ 153], 99.90th=[ 229], 99.95th=[ 285],</code>
<code> </code><code>| 99.99th=[ 392]</code>
<code> </code><code>bw (KB</code><code>/s</code><code>) : min= 30, max= 1021, per=3.35%, avg=550.46, stdev=118.04</code>
<code> </code><code>write: io=706368KB, bw=7059.9KB</code><code>/s</code><code>, iops=441 , runt=100055msec</code>
<code> </code><code>clat (usec): min=206 , max=380138 , avg=4432.19, stdev=6592.84</code>
<code> </code><code>lat (usec): min=208 , max=380139 , avg=4434.78, stdev=6592.91</code>
<code> </code><code>| 1.00th=[ 235], 5.00th=[ 294], 10.00th=[ 502], 20.00th=[ 1816],</code>
<code> </code><code>| 30.00th=[ 3024], 40.00th=[ 3632], 50.00th=[ 4192], 60.00th=[ 4768],</code>
<code> </code><code>| 70.00th=[ 5344], 80.00th=[ 6112], 90.00th=[ 7392], 95.00th=[ 8768],</code>
<code> </code><code>| 99.00th=[12224], 99.50th=[14400], 99.90th=[69120], 99.95th=[146432],</code>
<code> </code><code>| 99.99th=[366592]</code>
<code> </code><code>bw (KB</code><code>/s</code><code>) : min= 22, max= 731, per=3.35%, avg=236.33, stdev=107.84</code>
<code> </code><code>lat (usec) : 250=0.87%, 500=2.13%, 750=0.87%, 1000=0.52%</code>
<code> </code><code>lat (msec) : 2=1.95%, 4=8.84%, 10=29.78%, 20=22.78%, 50=22.25%</code>
<code> </code><code>lat (msec) : 100=8.56%, 250=1.37%, 500=0.06%, 750=0.01%</code>
<code> </code><code>cpu : usr=1.15%, sys=7.45%, ctx=8559338, majf=0, minf=166568</code>
<code> </code><code>issued : total=r=102836</code><code>/w</code><code>=44148</code><code>/d</code><code>=0, short=r=0</code><code>/w</code><code>=0</code><code>/d</code><code>=0</code>
<code> </code><code>READ: io=1606.9MB, aggrb=16444KB</code><code>/s</code><code>, minb=16444KB</code><code>/s</code><code>, maxb=16444KB</code><code>/s</code><code>, mint=100055msec, maxt=100055msec</code>
<code> </code><code>WRITE: io=706368KB, aggrb=7059KB</code><code>/s</code><code>, minb=7059KB</code><code>/s</code><code>, maxb=7059KB</code><code>/s</code><code>, mint=100055msec, maxt=100055msec</code>
<code> </code><code>sda: ios=102742</code><code>/44197</code><code>, merge=0</code><code>/22</code><code>, ticks=2546701</code><code>/103319</code><code>, in_queue=2650955, util=99.98%</code>
五、6塊盤做RAID 50
<code>Jobs: 8 (f=8): [_m___mm__mmm____m__m__________] [4.4% </code><code>done</code><code>] [4435K</code><code>/2127K</code> <code>/s</code><code>] [270 </code><code>/129</code> <code>iops] [eta 36m:39s] s]</code>
<code>nolinux_test: (groupid=0, jobs=30): err= 0: pid=2660</code>
<code> </code><code>read</code> <code>: io=468304KB, bw=4678.9KB</code><code>/s</code><code>, iops=292 , runt=100091msec</code>
<code> </code><code>clat (usec): min=521 , max=212024 , avg=71598.16, stdev=42935.63</code>
<code> </code><code>lat (usec): min=521 , max=212025 , avg=71598.60, stdev=42935.59</code>
<code> </code><code>| 1.00th=[ 3], 5.00th=[ 4], 10.00th=[ 6], 20.00th=[ 10],</code>
<code> </code><code>| 30.00th=[ 57], 40.00th=[ 71], 50.00th=[ 81], 60.00th=[ 89],</code>
<code> </code><code>| 70.00th=[ 98], 80.00th=[ 109], 90.00th=[ 122], 95.00th=[ 135],</code>
<code> </code><code>| 99.00th=[ 157], 99.50th=[ 165], 99.90th=[ 180], 99.95th=[ 190],</code>
<code> </code><code>| 99.99th=[ 206]</code>
<code> </code><code>bw (KB</code><code>/s</code><code>) : min= 26, max= 283, per=3.33%, avg=155.83, stdev=32.69</code>
<code> </code><code>write: io=200320KB, bw=2001.4KB</code><code>/s</code><code>, iops=125 , runt=100091msec</code>
<code> </code><code>clat (msec): min=2 , max=212 , avg=72.30, stdev=43.07</code>
<code> </code><code>lat (msec): min=2 , max=212 , avg=72.31, stdev=43.07</code>
<code> </code><code>| 1.00th=[ 4], 5.00th=[ 6], 10.00th=[ 7], 20.00th=[ 11],</code>
<code> </code><code>| 30.00th=[ 58], 40.00th=[ 71], 50.00th=[ 81], 60.00th=[ 90],</code>
<code> </code><code>| 70.00th=[ 99], 80.00th=[ 109], 90.00th=[ 123], 95.00th=[ 135],</code>
<code> </code><code>| 99.00th=[ 157], 99.50th=[ 167], 99.90th=[ 184], 99.95th=[ 192],</code>
<code> </code><code>| 99.99th=[ 208]</code>
<code> </code><code>bw (KB</code><code>/s</code><code>) : min= 24, max= 351, per=3.75%, avg=75.13, stdev=43.18</code>
<code> </code><code>lat (usec) : 750=0.01%</code>
<code> </code><code>lat (msec) : 2=0.23%, 4=4.20%, 10=15.54%, 20=3.47%, 50=3.88%</code>
<code> </code><code>lat (msec) : 100=44.91%, 250=27.75%</code>
<code> </code><code>cpu : usr=0.53%, sys=2.99%, ctx=2748999, majf=5, minf=166631</code>
<code> </code><code>issued : total=r=29269</code><code>/w</code><code>=12520</code><code>/d</code><code>=0, short=r=0</code><code>/w</code><code>=0</code><code>/d</code><code>=0</code>
<code> </code><code>READ: io=468304KB, aggrb=4678KB</code><code>/s</code><code>, minb=4678KB</code><code>/s</code><code>, maxb=4678KB</code><code>/s</code><code>, mint=100091msec, maxt=100091msec</code>
<code> </code><code>WRITE: io=200320KB, aggrb=2001KB</code><code>/s</code><code>, minb=2001KB</code><code>/s</code><code>, maxb=2001KB</code><code>/s</code><code>, mint=100091msec, maxt=100091msec</code>
<code> </code><code>sda: ios=29273</code><code>/12617</code><code>, merge=0</code><code>/23</code><code>, ticks=212137</code><code>/99979</code><code>, in_queue=312063, util=99.54%</code>
各種級别RAID的總結如下表：
RAID級别
read(iops)
write(iops)
單盤，無RAID
277
121
1371
593
202
87
1027
441
50
292
125
OK，以上就是本次針對相同的伺服器進行不同磁盤陣列下的IOPS測試情況。
雖然實驗之前沒有對系統做過多的深度優化，但是由于本次的所有測試都是在相同環境下進行，是以幹擾也不會很大。由于RAID 5的原理，測試出來的效果和磁盤陣列卡的緩存關系更密切一點，不過暫時隻有這種陣列卡可以測試了。從不同RAID級别的IOPS中可以看出，如果對空間需求不是很高的情況下，使用RAID 10還是不錯的選擇。雖然RAID 10更傾向于資料庫伺服器去使用，不過做虛拟化的母機使用效果還會很不錯的。
最後，相對而言本次的測試還是有一定的對比效果的，希望能對51博友有所幫助。
本文轉自 aaao 51CTO部落格，原文連結：http://blog.51cto.com/nolinux/1662942，如需轉載請自行聯系原作者
![iOS中UITableview實作跨區域拖動效果的實作[圖]](data:image/gif;base64,R0lGODlhAQABAIAAAP///wAAACwAAAAAAQABAAACAkQBADs=)