天天看點

ELK系列(三)、安裝Logstash插件及打包離線安裝包Logstash資料處理流程:線上安裝logstash插件打包logstash插件的離線安裝包使用離線安裝包安裝Logstash插件

Logstash有input、output、filter、codec 四種插件類型,支援的種類也很豐富,功能特别強大。選對正确的插件可以節省很多的資源占用和開發效率。 生産環境一般都無法連接配接到公網,是以本篇就帶大家如何線上安裝,以及打包離線安裝包,然後使用離線安裝包進行離線安裝。

ELK系列(一)、安裝ElasticSearch+Logstash+Kibana+Filebeat-v7.7.0

ELK系列(二)、在Kibana中使用RESTful操作ES庫

--------------------------------------Logstash插件安裝及離線打包------------------------------------------------------------

Logstash資料處理流程:

input-->decode-->filter-->encode-->output

輸入-->解碼-->過濾-->編碼-->輸出

線上安裝logstash插件

檢視

插件介紹: https://www.elastic.co/guide/en/logstash/7.7/index.html

插件清單: https://github.com/logstash-plugins

檢視目前已安裝的插件:

cat $LS_HOME/Gemfile
           

配置

安裝ruby

yum install ruby
           

下載下傳rubygem2.6.12 :  https://rubygems.org/rubygems/rubygems-2.6.12.zip

解壓并安裝rubygems

unzip rubygems-2.6.12.zip

ruby rubygems-2.6.12/setup.rb
           

檢視版本

gem -v 
           

 修改gem源為國内源

國内的gem源:https://gems.ruby-china.com/

#修改源
gem sources --add https://gems.ruby-china.com/ --remove https://rubygems.org/
#檢視
gem sources -l
           
ELK系列(三)、安裝Logstash插件及打包離線安裝包Logstash資料處理流程:線上安裝logstash插件打包logstash插件的離線安裝包使用離線安裝包安裝Logstash插件

配置 gemrc 檔案

vim ~/.gemrc 
#增加下面内容,忽略 SSL 證書錯誤
:ssl_verify_mode: 0
           
ELK系列(三)、安裝Logstash插件及打包離線安裝包Logstash資料處理流程:線上安裝logstash插件打包logstash插件的離線安裝包使用離線安裝包安裝Logstash插件

安裝

線上安裝github的插件,插件名稱在上面的github裡找即可或者在下面的中國的gem源網頁内搜關鍵字查找

bin/logstash-plugin install logstash-output-mongodb
           

使用指令cat Gemfile |grep xxx 或使用bin/logstash-plugin list 指令即可檢視插件是否安裝成功,若在Gemfile内即表示插件已安裝成功 :

ELK系列(三)、安裝Logstash插件及打包離線安裝包Logstash資料處理流程:線上安裝logstash插件打包logstash插件的離線安裝包使用離線安裝包安裝Logstash插件

打包logstash插件的離線安裝包

在上一步線上安裝好了插件之後,我們也可以将該插件打包成zip包,在生産環境使用離線安裝,使用下面的指令打包離線安裝包,這裡使用上面線上安裝好的 logstash-output-mongodb 

bin/logstash-plugin prepare-offline-pack --overwrite --output logstash-output-mongodb.zip logstash-output-mongodb
           
ELK系列(三)、安裝Logstash插件及打包離線安裝包Logstash資料處理流程:線上安裝logstash插件打包logstash插件的離線安裝包使用離線安裝包安裝Logstash插件

 可以看到打包之後的插件的zip包裡以logstash命名的檔案夾,下面有一個dependencies目錄和插件的gem檔案,打開dependencies裡面還是幾個gem檔案。

是以我們其實也可以直接打開國内的gem源:https://gems.ruby-china.com/

搜尋logstash-output-mongodb并下載下傳gem檔案,然後按照上面的格式打成zip包,效果與上面的prepare-offline-pack打包的離線安裝包一樣。

ELK系列(三)、安裝Logstash插件及打包離線安裝包Logstash資料處理流程:線上安裝logstash插件打包logstash插件的離線安裝包使用離線安裝包安裝Logstash插件

使用離線安裝包安裝Logstash插件

上面一步我們已經成功的打包了logstash插件的離線安裝包,使用下面的指令即可離線安裝Logstash插件:

bin/logstash-plugin install file:///opt/app/logstash-7.7.0/logstash-output-mongodb.zip
           

如果對你有幫助,點個贊鼓勵一下作者吧~ 謝謝!