天天看點
傳回

一文搞定Centos7.x安裝ELK的7.6.2版本以及Cerebro叢集監控一、Centos7安裝Elasticsearch7.6.2二、Centos7安裝Kibana7.6.2三、Centos7安裝Logstash7.6.2且導入MovieLens資料集四、Centos7安裝Cerebro0.9.4

程式設計界的國小生

  • 一、Centos7安裝Elasticsearch7.6.2
    • 1、下載下傳
    • 2、安裝
    • 3、進行配置
      • 3.1、修改elasticsearch.yml
      • 3.2、修改jvm參數
      • 3.3、修改sysctl.conf
      • 3.4、修改limits.conf
      • 3.5、reboot
      • 3.6、啟動ES
      • 3.7、驗證ES
      • 3.8、如外網無法通路
  • 二、Centos7安裝Kibana7.6.2
    • 1、下載下傳
    • 2、安裝
    • 3、配置
    • 4、啟動
    • 5、驗證
  • 三、Centos7安裝Logstash7.6.2且導入MovieLens資料集
    • 1、下載下傳Logstash7.6.2
    • 2、解壓Logstash7.6.2
    • 3、下載下傳 MovieLens 測試資料集
    • 4、解壓測試資料集
    • 5、建立 logstash.conf 檔案，添加如下内容（Ruby 文法）
    • 6、導入資料
    • 7、驗證資料是否導入成功
  • 四、Centos7安裝Cerebro0.9.4
    • 1、下載下傳
    • 2、安裝
    • 3、啟動
    • 4、驗證
PS：已安裝JDK，至少jdk8.x，最好jdk11。jdk8.x也可以，隻是官方不建議哈。

一、Centos7安裝Elasticsearch7.6.2

自己建立個賬号，不能用root啟動，ES不允許用root使用者！

自己建立個賬号，不能用root啟動，ES不允許用root使用者！

自己建立個賬号，不能用root啟動，ES不允許用root使用者！

1、下載下傳 

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.6.2-linux-x86_64.tar.gz

2、安裝 

tar -xvf elasticsearch-7.6.2-linux-x86_64.tar.gz

3、進行配置

下面全部配置一定都要做！否則會報錯的，具體報錯資訊不貼出來了，按照步驟做即可！

下面全部配置一定都要做！否則會報錯的，具體報錯資訊不貼出來了，按照步驟做即可！

下面全部配置一定都要做！否則會報錯的，具體報錯資訊不貼出來了，按照步驟做即可！

3.1、修改elasticsearch.yml 

vi config/elasticsearch.yml

# node節點名稱，我這裡叫node-1
node.name: node-1
# 配置成0.0.0.0代表可外網通路。
network.host: 0.0.0.0
# http通路端口
http.port: 9200
# 如下兩個配置是資料檔案位置和日志檔案位置
# 個人建議别放到es目錄下，因為會增大es目錄體積不說，如果es目錄丢失了的話，那資料和日志都丢了。
path.data: xxx
path.logs: xxx
# 哪些節點可以作為備選master節點，就是master挂了的話，這裡面的節點可以有更新為M的資格。
# 自己業餘玩的話可以預設不配就行
# discovery.seed_hosts: ["127.0.0.1", "[::1]"]
# 哪些節點在啟動的時候就有資格成為Master，我們這裡是單機，就一個node-1，是以配node-1就行
# 比如配置node-1和node-2，意味着啟動的時候将從這兩個節點之間選擇一個成為Master
cluster.initial_master_nodes: ["node-1"]

3.2、修改jvm參數

ES7.x後預設jvm堆大小是1GB，這個根據自己記憶體情況來選擇是否修改。

vim config/jvm.options

-Xms512m
-Xmx512m

ES官方blog配置建議：

  • Xmx和Xms設定成一樣的。
  • 不要超過機器記憶體的50%
  • 不要超過30GB

3.3、修改sysctl.conf

root使用者修改，全局生效。 
vim /etc/sysctl.conf

# 在最後添加如下
vm.max_map_count = 655360

3.4、修改limits.conf 

vim /etc/security/limits.conf

# 在最後添加如下，其中chentongwei是我ES的啟動使用者
chentongwei soft nofile 65536
chentongwei hard nofile 65536
chentongwei soft nproc 4096
chentongwei hard nproc 4096

3.5、reboot

是的，沒錯，為了100%能成功，上面配置都修改完成後，reboot，讓配置生效！

3.6、啟動ES 

cd elasticsearch-7.6.2/
# -d 代表背景啟動
./bin/elasticsearch -d

3.7、驗證ES

輸入

http://ip:9200/

，如出現下面資訊，則代表成功：

一文搞定Centos7.x安裝ELK的7.6.2版本以及Cerebro叢集監控一、Centos7安裝Elasticsearch7.6.2二、Centos7安裝Kibana7.6.2三、Centos7安裝Logstash7.6.2且導入MovieLens資料集四、Centos7安裝Cerebro0.9.4

3.8、如外網無法通路

  • 請檢查你的防火牆（要麼關閉，要麼端口開放出去）
  • 請檢查你的安全組（如果是雲伺服器的話，請看安全組入口規則）
  • 前兩步确認沒問題的話，請配置如下：（正常情況ES7.x不需要配置就可以） 
vi config/elasticsearch.yml

# 開啟跨域通路支援，預設為false
http.cors.enabled: true
# 跨域通路允許的域名位址，(允許所有域名)以上使用正則
http.cors.allow-origin: "*"

二、Centos7安裝Kibana7.6.2

1、下載下傳 

wget https://artifacts.elastic.co/downloads/kibana/kibana-7.6.2-linux-x86_64.tar.gz

2、安裝 

tar -xvf kibana-7.6.2-linux-x86_64.tar.gz

3、配置 

cd kibana-7.6.2-linux-x86_64
vi config/kibana.yml

修改如下内容

# 預設值5601，沒有需要可以不修改
server.port: 5601
# 允許遠端通路，也可以直接設定為“0.0.0.0”
server.host: "192.168.1.10"
# 預設值http://localhost:9200
elasticsearch.url: "http://192.168.1.10:9200"

4、啟動 

./bin/kibana

# 背景啟動
# nohup ./bin/kibana &

5、驗證

輸入網址

http://ip:5601/

，能正常打開即代表成功。

三、Centos7安裝Logstash7.6.2且導入MovieLens資料集

1、下載下傳Logstash7.6.2 

wget https://artifacts.elastic.co/downloads/logstash/logstash-7.6.2.tar.gz

2、解壓Logstash7.6.2 

tar -zxf logstash-7.6.2.tar.gz

3、下載下傳 MovieLens 測試資料集 

cd logstash-7.6.2/

wget http://files.grouplens.org/datasets/movielens/ml-latest-small.zip

4、解壓測試資料集 

yum install unzip
unzip ml-latest-small.zip

5、建立 logstash.conf 檔案，添加如下内容（Ruby 文法） 

touch config/logstash.conf
vi config/logstash.conf

複制如下内容到

logstash.conf

，path和ES位址都改成自己的。

input {
  file {
    path => "/home/chentongwei/devtools/logstash-7.6.2/ml-latest-small/movies.csv"
    start_position => "beginning"
    sincedb_path => "/dev/null"
  }
}
filter {
  csv {
    separator => ","
    columns => ["id","content","genre"]
  }
  mutate {
    split => { "genre" => "|" }
    remove_field => ["path", "host","@timestamp","message"]
  }
  mutate {

    split => ["content", "("]
    add_field => { "title" => "%{[content][0]}"}
    add_field => { "year" => "%{[content][2]}"}
  }
  mutate {
    convert => {
      "year" => "integer"
    }
    strip => ["title"]
    remove_field => ["path", "host","@timestamp","message","content"]
  }
}
output {
   elasticsearch {
     hosts => "http://172.17.160.29:9200"
     index => "movies"
     document_id => "%{id}"
   }
  stdout {}
}

6、導入資料

導入後不會自動退出，需要用 Ctrl-C 手動退出 
./bin/logstash -f ./config/logstash.conf
回車後沒反應的話，等幾秒鐘，因為量太大，需要導入的時間。

7、驗證資料是否導入成功

http://ip:9200/_cat/indices

，可以看到movies的索引已經存在了，且doc數是9743，大功告成！

一文搞定Centos7.x安裝ELK的7.6.2版本以及Cerebro叢集監控一、Centos7安裝Elasticsearch7.6.2二、Centos7安裝Kibana7.6.2三、Centos7安裝Logstash7.6.2且導入MovieLens資料集四、Centos7安裝Cerebro0.9.4

四、Centos7安裝Cerebro0.9.4

1、下載下傳

wget 'https://github.com/lmenezes/cerebro/releases/download/v0.9.4/cerebro-0.9.4.zip'

2、安裝

直接解壓即可

tar -xvf cerebro-0.9.4.tgz

3、啟動 

cd cerebro-0.9.4/
./bin/cerebro

# 背景啟動
# nohup ./bin/cerebro &

4、驗證

直接通路網址

http://ip:9000/

，出現如下界面代表安裝成功：

一文搞定Centos7.x安裝ELK的7.6.2版本以及Cerebro叢集監控一、Centos7安裝Elasticsearch7.6.2二、Centos7安裝Kibana7.6.2三、Centos7安裝Logstash7.6.2且導入MovieLens資料集四、Centos7安裝Cerebro0.9.4

在Node address裡輸入ES位址，如：

http://ip:9200/

，點選Connect即可。

一文搞定Centos7.x安裝ELK的7.6.2版本以及Cerebro叢集監控一、Centos7安裝Elasticsearch7.6.2二、Centos7安裝Kibana7.6.2三、Centos7安裝Logstash7.6.2且導入MovieLens資料集四、Centos7安裝Cerebro0.9.4

【微信公衆号】

一文搞定Centos7.x安裝ELK的7.6.2版本以及Cerebro叢集監控一、Centos7安裝Elasticsearch7.6.2二、Centos7安裝Kibana7.6.2三、Centos7安裝Logstash7.6.2且導入MovieLens資料集四、Centos7安裝Cerebro0.9.4
# ELK精講 elasticsearch kibana Logstash elk cerebro
上一篇: supervisor常見報錯基本思路：常用指令具體報錯分析
下一篇: centos 7.6版本PHP安裝和配置

繼續閱讀