Rational Performance Tester與LoadRunner測試結果比對報告
<a href="http://blog.csdn.net/judyxm">Judy Shen</a>
為了對比Rational Performance Tester與LoadRunner的測試效果,我對XX系統的登入和A流程這兩個測試點,分别用Rational Performance Tester和LoadRunner進行腳本錄制,并進行測試執行。下面将二者的測試結果和使用方面進行對比。
注:因為Rational Performance Tester試用版隻有5個使用者許可證,是以下面的并發使用者數以5個為上限。
測試場景:
模拟不同數量的并發使用者登入系統。每個腳本按不同的使用者數進行,循環1次。
以下測試結果是在沒有工作流資料的前提下進行測試得到的。
測試結果中記錄的平均響應時間是包括下載下傳資源(如圖檔)的時間。
并發使用者數
平均響應時間(秒)
LoadRunner
Rational Performance Tester
1
4.8
2.4
3
3.1
5
5.6
在系統中沒有待處理流程的前提下,模拟不同數量的并發使用者登入系統。每個腳本按不同的使用者數進行,循環1次。
每次執行A流程前,都将資料庫的工作流資料清空。
0.8
1.1
1.5
1.7
2.6
對比項
界面友好性
純英文界面
中文界面,系統基于Eclipse平台,界面易于了解。
資源占用情況
程序占用50M以内的虛拟記憶體
程序占用的虛拟記憶體随着測試運作的延續而增加,占用的虛拟記憶體維持在100M-400M。
測試錄制過程
可在錄制過程中添加集合點、事務等操作。
登入、退出等隻操作一次的部分可放在不同部分(vuser_init,vuser_end)。
在錄制過程中不能進行添加事務等操作。
系統沒有集合點的概念。
登入退出等隻操作一次的步驟和疊代循環的部分錄制在一起。
測試執行過程
執行過程中的性能情況可以通過監控界面看到,且資訊直覺。
執行過程中能看到具體步驟的性能資料,步驟是按照函數來分的。
執行速度穩定,不同次數執行測試所需的時間差距不大。
執行過程中可以通過不同的Tab頁面檢視性能資料。
執行過程中可以看到階段的性能資料。階段劃分顆粒較大,是按照HTTP頁來劃分的。
執行過程不穩定,時快時慢。
測試執行結果
相對較穩定,正常情況下幾次執行的測試資料偏差不大。
執行結果的資料差距比較大。
下載下傳資源所需響應時間的隔離
較麻煩
可以通過建立事務的方法來區分送出請求與下載下傳資源的所需時間。
事務的定位
容易
事務準确定位比較不友善,需要對系統有一定的熟悉才能準确定位。如果定位不準确,會導緻測試結果有較大偏差。
對用戶端要求
較低
較高。現有筆記本配置,随着執行時間的延長,機器會運作越來越慢。必須重新開機RPT方可繼續執行測試。
對比上述Rational Performance Tester和LoadRunner的測試資料,差距不是很大。但是由于Rational Performance Tester的事務設定不如LoadRunner直覺和易于操作,事務的定位對測試結果的準确性影響很大。例如:5個使用者發起A流程時,如果事務沒有設定好,得到的平均響應時間是14.2秒;經過重定位得到的平均響應時間是2.6秒。另外,測試時,資源耗費較大,對測試客戶機也是一個挑戰。
本文轉自 fish_yy 51CTO部落格,原文連結:http://blog.51cto.com/tester2test/139403,如需轉載請自行聯系原作者