天天看點

influxdb+grafana可視化

了解資料庫的TPS、QPS是作為一個運維DBA是非常必要的,那什麼是TPS、QPS呢,簡單的了解是:

QPS:每秒查詢數,即對資料庫每秒的DML的操作數

TPS:每秒事物處理,即對資料庫每秒DDL操作數

通過了解他們,可以掌握一個執行個體的基本工作運作狀态

如何對于對他們進行頁面可視化,是DBA的一個裝逼神器,本章主要介紹通過時序資料庫(influxdb)+grafana+簡單的python代碼實作

時時監控它們,什麼是時序資料庫可以在其他章節了解,這裡不做過多介紹

Let's go.....3個包的下載下傳

http://down.51cto.com/data/2287378

http://down.51cto.com/data/2287380

http://down.51cto.com/data/2287379

1、直接YUM安裝influxdb,安裝後生成預設的配置檔案/etc/influxdb/influxdb.conf 暫不修改

2、ON/OF服務

  service influxdb start/stop

3、influxdb資料庫網頁管理控制台(預設值),這個隻是友善某些操作,具體操作還是到終端輸入指令influx,此通過http://IP:8083 通過頁面方式登入添加

一個使用者名和密碼,為grafana連接配接INFLUXDB使用,使用者名密碼自己定義

influxdb+grafana可視化

選中create user 再query 就會有CREATE USER "根據實際輸入使用者名" WITH PASSWORD '輸入你的密碼'

  [root@mycat ~]# influx

Visit https://enterprise.influxdata.com to register for updates, InfluxDB server management, and monitoring.

Connected to http://localhost:8086 version 0.13.0

InfluxDB shell version: 0.13.0

這個就可以登入,是不是很熟悉的,具體操作看部落格的其他章節。

注意:資料庫url(預設值):http://localhost:8086 ##這個在後面的grafana會被用到,資料傳輸使用

4、YUM安裝GRAFANA包

安裝後on/off服務:/etc/init.d/grafana-server start/stop

5、GRAFANA的頁面登入,預設使用3000端口:

192.168.1.114:3000 登入名和密碼預設是admin

6、通過Python代碼實作對MySQL和influxdb的同時操作

#注意:python 操作MySQL需要安裝python-mysql的驅動包,自己百度下載下傳個,一般在解壓後目錄裡執行1、python setup.py build 2、python setup.py install 

       python 操作INFLUXDB也需要python-influxdb            

7、python 腳本:

#!/usr/bin/env python

#_*_ coding:utf-8 _*_

import MySQLdb

import datetime

import json

#qps

import time

from influxdb import InfluxDBClient

#import influxdb 

try:

    conn=MySQLdb.connect(host="192.168.15.104",user="dlan",passwd="root123",port=3306)

    client=InfluxDBClient(host='192.168.15.104', port=8086, username='root', password='root', database='telegraf')

    cur=conn.cursor()

    while True:

        sql = '''show global status where variable_name in('com_select','com_insert','com_delete','com_update','com_insert_select','uptime')'''

        cur.execute(sql)

        aa = cur.fetchall()

        aa=list(aa)

        delete = int(aa[0][1])

        insert1 = int(aa[1][1])

        insert2 = int(aa[2][1])

        select = int(aa[3][1])

        update = int(aa[4][1])

        uptime1 = int(aa[5][1])

        qps1=delete+insert1+insert2+select+update

        time.sleep(1)

        while True:

            sql = '''show global status where variable_name in('com_select','com_insert','com_delete','com_update','com_insert_select','uptime')'''

            cur.execute(sql)

            aa = cur.fetchall()

            aa = list(aa)

            delete_2 = int(aa[0][1])

            insert_2 = int(aa[1][1])

            insert2_2 = int(aa[2][1])

            select_2 = int(aa[3][1])

            update_2 = int(aa[4][1])

            uptime2_2 = int(aa[5][1])

            qps2 = delete_2 + insert_2 + insert2_2 + select_2 + update_2

            commit=qps2 -qps1

            uptime=uptime2_2-uptime1

   aa =(commit/uptime)

   json_body = [

        {

            "measurement":'my_tps',

            "tags":{

                "host": "mycat"

            },

            "fields":{

"influxdb":"qps1",

                "qps":aa

            }

        }

    ]

            #aa ="query_per_sec  host=mycat,role=db,influxdb=qps qps=%d "% (commit/uptime)

            #aa =(commit/uptime)

    #print aa,json_body

   client.write_points(json_body) 

            break

except MySQLdb.Error,e:

    print "MySQL error%d:%s"%(e.args[0],e.args[1])

##腳本需要注意4個地方:1、連接配接資料庫的資訊,是被監控端的

                       2、MySQL的QPS統計收集的存儲的資料庫

                       3、收集的資料把字元串轉成JSON格式

 json_body = [

            "measurement":'my_tps',   ###注意這個紅色位置不能用雙引号,估計是PYTHON的問題,JAVA用雙引号沒問題,是個坑哦~~~!這個可以設定你喜歡的,其他不要修改,直接使用

                       4、需要在influxdb添加一個資料庫,例子名字叫:test_influxdb (自定定義), client=InfluxDBClient(host='192.168.15.104', port=8086, username='root', password='root', database='telegraf'),可根據實際定義,後面的GRAFANA會用到這個名字

強烈建議對資料庫的操作通過終端來搞:

[root@mycat ~]# influx

> create database test_influxdb

> show databases;

name: databases

---------------

name

telegraf

_internal

mytab

mydb

stress

test_influxdb

8、在grafana配置收集來的資料資訊:

      1、添加資料源與配置,點選grafana的圖表的下拉單點data sources---》add data source

      2、配置資料源資訊

influxdb+grafana可視化

     3、datshboards->news->左上小綠格->add panel->graph

influxdb+grafana可視化

    4、選擇metrics配置如下:

influxdb+grafana可視化

解釋:1、為剛才建立的資料源名字

      2、添加個 query

      3、展開query

      4、這裡根據前面的json格式 "measurement":'my_tps' 這個my_tps,可以了解為時序資料庫的表。

      5、選擇HOST

      6、選擇JSON的tags标簽的值mycat

"tags":{

      7、為JSON的"qps":aa的qsp,相當于字段,為field

      8、為統計方式,看其INFLUXDB的基礎介紹

      9、統計時常

      10、為曲線的标志,可以在一個圖裡添加多個query ,這樣每個名字對應不同的顔色

最後點選儲存按鈕,在最上方有個圖示,儲存後選擇有4個方塊裡的剛才定義的general的名字

最後效果圖:

influxdb+grafana可視化

##這裡多提點:通過這樣的定義,可以收集業務上一些正常的資料,可以線上的時時統計,比如在遊戲裡的DAU\PCU\ACU....網站的PV 等等都可以資料收集可視化展示。。。。。完畢

   這個PYTHON腳本可以優化,INFLUXDB可以批量插入資料,可靠消息次是2-3W寫入是沒問題的。

PYTHON腳本啟動 python mysql_qps.py & 不加背景符會一直卡着,

繼續閱讀