以實作MongoDB副本集狀态的監控為例，看Telegraf系統中Exec輸入插件如何編寫部署

既有的Telegraf 關于MongoDB的輸入插件很難實作對副本集節點狀态的監控，副本集節點狀态有 PRIMARY、SECONDARY、RECOVERYING、ARBITER 等。現在我們嘗試通過 Exec Input Plugin 來實作對MongoDB狀态的的監控。

第一部分簡單回顧下Zabbix的監控實作

1. Zabbix 執行的檔案腳本如下：

#!/bin/bash
command_linebin="mongodb可執行檔案路徑/bin/mongo"
replstatus="PRIMARY SECONDARY ARBITER"
username="user"
password="pwd"

command_line="${command_linebin} localhost:$1/admin -u$username -p$password"
mcount=$(/bin/echo "rs.status().members.length" | $command_line --quiet)
if [ $mcount -ge 3 ]  ;then 
   ms1=$(/bin/echo "rs.status().members[0].stateStr" | $command_line --quiet)
   ms2=$(/bin/echo "rs.status().members[1].stateStr" | $command_line --quiet)
   ms3=$(/bin/echo "rs.status().members[2].stateStr" | $command_line --quiet)


  if [[ $replstatus =~ $ms1 ]] && [[ $replstatus =~ $ms2 ]]  && [[ $replstatus =~ $ms3 ]] ;then 
        echo "The Status OK "
   else 
         echo "The status of mongo replica is unnormal.port is " $1 
   fi 

else
     ms1=$(/bin/echo "rs.status().members[0].stateStr" | $command_line --quiet)
     ms2=$(/bin/echo "rs.status().members[1].stateStr" | $command_line --quiet)
    
    if [[ $replstatus =~ $ms1 ]] && [[ $replstatus =~ $ms2 ]] ;then
        echo "The Status OK "
   else
         echo "The status of mongo replica is unnormal.port is " $1 
   fi


fi

（檔案中的執行輸入參數是MongoDB的端口号）

2.異常告警界面;

以實作MongoDB副本集狀态的監控為例，看Telegraf系統中Exec輸入插件如何編寫部署

第二部分 Telegraf 收集代理關于exec插件的實作

1.可執行命名檔案為 test_mongodb.sh，具體腳本簡化調整

#!/bin/bash
command_linebin="MongoDB可執行檔案/bin/mongo"
username="User"
replstatus="PRIMARY SECONDARY ARBITER"
password="PWD"
port=27017

command_line="${command_linebin} localhost:$port/admin -u$username -p$password"
mcount=$(/bin/echo "rs.status().members.length" | $command_line --quiet)
if [ $mcount -ge 3 ]  ;then 
   ms1=$(/bin/echo "rs.status().members[0].stateStr" | $command_line --quiet)
   ms2=$(/bin/echo "rs.status().members[1].stateStr" | $command_line --quiet)
   ms3=$(/bin/echo "rs.status().members[2].stateStr" | $command_line --quiet)


  if [[ $replstatus =~ $ms1 ]] && [[ $replstatus =~ $ms2 ]]  && [[ $replstatus =~ $ms3 ]] ;then 
        echo "ReplStatus,tag=mongodb Status=1i"
   else 
         echo "ReplStatus,tag=mongodb Status=2i" 
   fi 

else
     ms1=$(/bin/echo "rs.status().members[0].stateStr" | $command_line --quiet)
     ms2=$(/bin/echo "rs.status().members[1].stateStr" | $command_line --quiet)
    
    if [[ $replstatus =~ $ms1 ]] && [[ $replstatus =~ $ms2 ]] ;then
        echo "ReplStatus,tag=mongodb Status=1i"
   else
          echo 'ReplStatus,tag=mongodb Status=2i'
  
   fi


fi

檔案所處的路徑為 /etc/telegraf/test_mongodb.sh

2. telegraf.conf中關于exec input的配置如下;

3. 通過test指令測試，運作正常

telegraf --config telegraf.conf --test

4.啟動服務

service telegraf start

5.登入到InfluxDB下查詢驗證收集的資料

（以上看似部署完畢，實際.....）

第三部權限設定問題導緻資料錯誤的分析與探究

仔細看上面的截圖資料，問題出來了，明明調試過程中是 status為1，而儲存到InfluxDB中status為2 了呢？？？

本來叢集狀态是OK的，結果判斷為Error！！！！針對此問題在網上搜尋原因及方案，聚焦如下：

即懷疑為權限問題。

下面為具體的探究測試過程

step 1 我們從root 賬号切換到 telegraf賬号

但是切換不成功。

Step 2 檢視telegraf賬号資訊

cat /etc/passwd

（/bin/false什麼也不做隻是傳回一個錯誤狀态，然後立即退出。将使用者的shell設定為/bin/false，使用者會無法登入，并且不會有任何提示。）

Step 3 将登入屬性設定為 /bin/bash，修改後如下;

step 4 再次 su 為 telegraf賬号，查詢目前連接配接的賬号

此時切換成功了。

Step 5 在 telegraf 賬号下，測試

此時 status=2 和我們開始在root 賬号下此測試（status=1）是不一樣的，也了解了為什麼InfluxDB中資料為2的根源，确實和賬号有關。

Step 6 調試 telegraf 調用的 test_mongodb.sh 檔案

sh -x test_mongodb.sh

部分報錯資訊如下：

+ ms2='SECONDARY
2019-07-02T20:24:59.596+0800 E -        [main] Error saving history file: FileOpenFailed: Unable to open() file /etc/telegraf/.dbshell: Unknown error'
+ [[ PRIMARY SECONDARY ARBITER =~ PRIMARY
2019-07-02T20:24:59.468+0800 E -        [main] Error saving history file: FileOpenFailed: Unable to open() file /etc/telegraf/.dbshell: Unknown error ]]
+ echo 'ReplStatus,tag=mongodb Status=2i'
ReplStatus,tag=mongodb Status=2i

從上面的異常資訊得知，直接錯誤原因是不能在檔案 /etc/telegraf/.dbshell 中儲存曆史資料。

其實在/etc/telegraf 沒有看到這個 .dbshell 這個檔案。檢視顯示所有的檔案（包含隐藏檔案）的指令如下

ll -a

那麼如果我們手動建立.dbshell呢？

以下操作是在root賬号下建立.dbshell 檔案，并且将檔案的擁有者調整為telegraf賬号，具體的的指令如截圖：

step 7 再次用telegraf賬号運作 test_mongodb.sh 可執行檔案

sh -x test_mongodb.sh

此時沒有出現異常，資料也正常了。

step 8 在telegraf賬号下用 telegraf 服務調試，此次運作和root賬号一樣了。

（此時沒有出現異常，資料也正常了。）

Step 9 登入到InfluxDB中檢視,由錯誤的2恢複了1。

第四部分思考優化

（1）為什麼root賬号不需要手動建立.dbshel？是不需要這個檔案嗎？如果需要有在那個目錄下呢？

首先了解下 .dbshell 檔案，它的基本解釋是：“When you run the mongo client, it stores a history of commands in $HOME/.dbshell.”。

從上面的解釋可以看出，root賬号應該也會産生.dbshell檔案。

我們通過以下幾步去找到root賬号對應的.dbsehll 檔案。

（2）如何優化telegraf的賬号，不再需要手動建立檔案？

推測：是不是給telegraf 賬号賦予自身對應$HOME足夠的權限就可以了。

測試如下;

step 1 找到賬号對應的$home

step 2 删除前面測試建立的.dbshell 檔案

Step 3 執行驗證telegraf 測試指令，此時應該資料異常（切記;切換到telegraf 賬号下執行）

step 4 在root賬号将 $home 對應的目錄（/etc/telegaf）擁有者轉換給telegraf賬号

step 5 再次執行 telegraf 測試指令

以上，測試驗證資料給賬号相應的$home文檔服務相應的權限，也可以解決問題。

第五部分告警展示

我們在Grafana中配置後，其顯示界面如下：

第六部分補充說明；

1.$HOME代表的路徑是什麼？

可以簡單的了解為：home是使用者的主目錄，登入後預設進入的目錄，提供一個使用者專屬的啟動檔案來定義該使用者所用到的一些環境變量。

可用指令：

echo $HOME

2.寫入InfluxDB，應遵循以下格式：

<measurement>[,<tag-key>=<tag-value>...] <field-key>=<field-value>[,<field2-key>=<field2-value>...] [unix-nano-timestamp]

如果格式不對，常見的錯誤如下：

2019-05-02T08:04:13Z E! Error in plugin [inputs.exec]: metric parse error: expected field at offset 37: "XXXXXXXXXXXXXXXXXXXX\n"

第七部分延伸拓展

上面介紹了這麼多，我們需要動手實踐一下，目标是實作MySQL MHA Manager 狀态的監控。主要用到的MHA監控腳本是 masterha_check_status。

telegraf.conf 增加的腳本如下

[[inputs.exec]]
  ##Commands array
  commands = ["bash /data/checkmha/scripts/masterha_checkstatus_alarm.sh",]
  timeout='15s'
  data_format="influx"

被驅動的masterha_checkstatus_alarm.sh

######
#!/bin/sh

mha_conf=/etc/mha/mhaqqshanxi.cnf
mha_check_result=`/usr/local/bin/masterha_check_status --conf=/etc/mha/mhaqqshanxi.cnf  | grep "stopped" | wc -l`
#conf_server1=`grep  "server1" $mha_conf`
conf_server1=`cat $mha_conf|grep "server1" -A 1| grep "17."|cut -d '=' -f 2`
conf_server2=`cat $mha_conf|grep "server2" -A 3| grep "17."|cut -d '=' -f 2`
conf_server3=`cat $mha_conf|grep "server3" -A 2| grep "17."|cut -d '=' -f 2`

if [ "$mha_check_result" == "1" ];then
     echo 'MySQLMHAStatus,host=apqqshanxi_1_2,server='$conf_server1' Status=0i'
     echo 'MySQLMHAStatus,host=apqqshanxi_1_3,server='$conf_server2' Status=0i'
     echo 'MySQLMHAStatus,host=apqqshanxi_1_4,server='$conf_server3' Status=0i'
else
     echo 'MySQLMHAStatus,host=apqqshanxi_1_2,server='$conf_server1' Status=1i'
     echo 'MySQLMHAStatus,host=apqqshanxi_1_3,server='$conf_server2' Status=1i'
     echo 'MySQLMHAStatus,host=apqqshanxi_1_4,server='$conf_server3' Status=1i'
fi

檢視influxdb資料庫關于此measurement的資料

grafana 中關于此監控項的panel

本文版權歸作者所有，未經作者同意不得轉載,謝謝配合！！！