基于Python結合InfluxDB及Grafana圖表實時采集Linux多主機性能資料
by:授客 QQ：1033553122
實作功能 1
測試環境 1
環境搭建 3
使用前提 3
使用方法 3
運作程式 5
效果展示 6
實作功能
無需在被監控主機上安裝代理，一鍵對Linux遠端伺服器不同主機執行性能監控、性能資料采集指令，并實時展示
支援跨堡壘機收集實時性能資料(注：定制化開發，非通用)
支援docker容器(因為程式實作是從docker容器内部擷取性能資料，是以目前僅支援
CPU,記憶體,I/O)
使用前提
可以用Xshell等工具遠端連接配接Linux主機
Linux主機支援sar指令
dokcer容器内部挂載了docker容器自身的cgroup系統
注：目前不支援嵌套cgroup下子cgroup的性能資料監控
測試環境
Win7 64位
Python 3.4.0
CentOS 6 64位（核心版本2.6.32-642.el6.x86_64）
influxdb-1.5.2.x86_64.rpm
網盤下載下傳位址：
https://pan.baidu.com/s/1jAbY4xz5gvzoXxLHesQ-PA
grafana-5.1.2-1.x86_64.rpm
下載下傳位址：
https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-5.1.3-1.x86_64.rpm
下載下傳位址：https://pan.baidu.com/s/1wtnPH-iYxaXc6FnL1i0ZVg
influxdb-5.0.0-py2.py3-none-any.whl
https://pypi.org/project/influxdb/#files
下載下傳位址：https://pan.baidu.com/s/1DQ0HGYNg2a2-VnRSBdPHmg
paramiko 1.15.2
https://pypi.python.org/pypi/paramiko/1.15.2
https://pan.baidu.com/s/1i4SJ1CL
cryptography-1.0-cp34-none-win_amd64.whl
(如果paramiko可以正常安裝完，則不需要安裝該類庫)
https://pypi.python.org/pypi/cryptography/1.0
https://pan.baidu.com/s/1jIRBJvg
安裝好後，找到nt.py(本例中路徑為：
Lib\site-packages\pycrypto-2.6.1-py3.4-win-amd64.egg\Crypto\Random\OSRNG\nt.py),修改
import winrandom
為
from Crypto.Random.OSRNG import winrandom
如下
#import winrandom
以解決ImportError:
No module named 'winrandom'錯誤
說明：具體檔案路徑可能還得根據實際報錯情況來确定，如下
............(略)
"D:\Program
Files\python33\lib\site-packages\Crypto\Random\OSRNG\nt.py",
line 28, in
import
winrandom
ImportError: No module named 'winrandom'
VS2010
因作業系統而異，可能需要安裝VS2010，以解決包依賴問題
環境搭建
參考CentOS下結合InfluxDB及Grafananux圖表實時展示JMeter相關性能資料
grafna 資料源資料庫配置：db_目标ip位址
使用方法
influxDB主機配置
monitor\conf\influxDB.conf
[INFLUXDB]
influxdb_host = 10.203.25.106
influxdb_port = 8086
主機登入資訊配置
(用于遠端ssh登入)
monitor\conf\host_config.conf
[10.203.36.1]
host = 10.203.36.1
username = xxxx
password = xxxx
port = 22
remark = 鑒權微服務
[10.203.36.33]
host = 10.203.36.33
remark = 發貨微服務
[10.202.27.5]
host = 10.202.27.5
remark = 堡壘機
[10.202.27.6]
host = 10.202.27.6
說明：
[需要監控的Linux伺服器IP]
host = 需要監控的Linux伺服器IP
username = 遠端登入使用者名
password = 使用者密碼
remark = 補充說明
堡壘機-目标機配置
bastion_host_config.conf
ip1 = 10.203.33.18
ip2 = 10.203.33.19
ip3 = 10.203.33.20
ip4 = 10.203.33.21
ip5 = 10.203.32.49
ip6 = 10.203.33.4
[堡壘機ip]
自定義名稱 = 需要通過堡壘機通路的目标ip
注意：不同堡壘機節點下的目标ip不能重複
堡壘機連接配接目标機，賬号密碼，登入使用者選取等資訊配置
monitor\conf\account.conf
[ACCOUNT]
user_id = 01367522
pwd = xxx
login_user_choice = 1
dokcer容器cpu,
cpuacct,memory,blkio系統路徑配置
[CGROUPPATH]
cpu_path=/sys/fs/cgroup/cpu
cpuacct_path=/sys/fs/cgroup/cpuacct
memory_path=/sys/fs/cgroup/memory
blkio_path=/sys/fs/cgroup/blkio/
#cpu_path=/cgroup/cpu/docker/docker/$CONTAINERID
#cpuacct_path=/cgroup/cpuacct/docker/docker/$CONTAINERID
#memory_path=/cgroup/memory/docker/docker/$CONTAINERID
#blkio_path=/cgroup/blkio/docker/docker/$CONTAINERID
#cpu_path=/cgroup/cpu/docker/d74ac2610ed325498767bc708197148d414bf6a7719f15c013dc2b6460690dd8
#cpuacct_path=/cgroup/cpuacct/docker/d74ac2610ed325498767bc708197148d414bf6a7719f15c013dc2b6460690dd8
#memory_path=/cgroup/memory/docker/d74ac2610ed325498767bc708197148d414bf6a7719f15c013dc2b6460690dd8
#blkio_path=/cgroup/blkio/docker/d74ac2610ed325498767bc708197148d414bf6a7719f15c013dc2b6460690dd8
系統路徑支援簡單的參數化，目前僅支援容器ID（大寫的$CONTAINERID），如上
一次僅支援一組配置
配置單台目标機器上不要采集的性能名額次元(可選)
monitor\conf\host_filter.conf
[HOSTFILTER]
10.203.36.1 =
onecpu, disk
#10.203.36.33 =
10.203.36.4 =
待監控目标ip = 名額次元1, 名額次元2, 次元之間用逗号分隔
次元說明：
onecpu 不采集單個cpu的性能資料資訊
queue 不采集系統負載隊列長度和負載均值性能資料資訊
proc 不采集任務建立和系統上下文切換資訊
mem
不采集記憶體性能資料資訊
swap
不采集swap交換統計資訊
swapspace 不采集swap空間使用率資訊
deviotps 不采集磁盤裝置I/O性能資料資訊
netdev 不采集網絡裝置(一般指網卡)的性能資料資訊
enetdev 不采集網絡裝置(一般指網卡)的出錯資料資訊
disk
不采集單個磁盤的性能資料資訊
paging 不采集分頁資訊
如果不需要過濾，可不配置，或者如上 設定ip等于空，或者用 #注釋
待監控主機配置
monitor\conf\target_host_for_monitor.conf
# #代表注釋
10.203.36.1
10.203.36.33
# 堡壘機
10.202.27.5
# 需要通過堡壘機通路的目标ip
注意：
1、每一行代表需要監控的ip
如果ip不需要通過堡壘機通路，那麼這個ip必須在monitor\conf\host_config.conf有對應的配置才會被監控，不想監控則注釋；
如果ip需要通過堡壘機通路，那麼這個ip必須在 monitor\conf\bastion_host_config.conf 下有對應的配置，且這裡必須配置對應堡壘機IP，才會被監控
運作程式
資料收集：
python main.py
或者
python main.py 2 20
python main.py 2 10+45+10
python main.py 2
’10
+ 45 + 10’
python main.py 2 20
onecpu netdev enetdev disk paging
python main.py 采集頻率(預設1次/s) 采集時間(秒，預設1s) 不監控次元
說明：為了友善，采集時間可以寫成加減運算表達式，省去“心算”,友善算術能力不好的人，比如我~~
如果需要設定不監控次元(每個次元之間用逗号相隔，目前僅支援以下次元)，則一定要“顯示”的指定采集頻率和采集時間
1、這裡的次元過濾是針對所有待監控目标機的，針對單台機器的過濾項是在這個基礎上做的進一步過濾
2、如果邏輯CPU個數，磁盤裝置，網卡裝置過多的情況下，如果不過濾對應名額，可能會因為采集的資料量過大，解析耗時加長，無法及時顯示所要的資料(特别是CPU，單台機器有幾十個邏輯CPU的情況下，延遲會很嚴重)。
實踐測試記錄：公司伺服器，1秒鐘采集一次，采集1個小時，統一加過濾項，如下方式運作
python main.py
1 3600 onecpu netdev enetdev
paging
44台機器同時采集(總的會開啟88個線程)，可以做到實時顯示
3、docker容器監控，不支援次元過濾，即IO,CPU,記憶體要麼監控，要麼不監控
資料清理：
python
dropDB.py
根據提示，可删除單個資料庫，或者一次性删除所有資料庫的資料
效果展示
加群擷取更多相關文檔
源碼擷取位址：https://gitee.com/ishouke/PMonitor
作者：授客
QQ：1033553122
全國軟體測試QQ交流群：7156436
Git位址：https://gitee.com/ishouke
友情提示：限于時間倉促，文中可能存在錯誤，歡迎指正、評論！
作者五行缺錢，如果覺得文章對您有幫助，請掃描下邊的二維碼打賞作者，金額随意，您的支援将是我繼續創作的源動力，打賞後如有任何疑問，請聯系我!!!
微信打賞
支付寶打賞 全國軟體測試交流QQ群