Linux虛拟機中ELK的安裝配置

文章目錄

• 1.ELK的簡介
• 2.ELK的安裝
• 3.ELK的配置
• • 1.ES的配置
  • 2.Head-master及node的配置
  • 3.Kibana的配置

1.ELK的簡介

ELK是Elasticsearch、Logstash、Kibana三大開源架構首字母大寫簡稱。市面上也被成為Elastic Stack。其中：

• Elasticsearch是一個基于Lucene、分布式、通過Restful方式進行互動的近實時搜尋平台架構。像類似百度、谷歌這種大資料全文搜尋引擎的場景都可以使用Elasticsearch作為底層支援架構，可見Elasticsearch提供的搜尋能力确實強大,市面上很多時候我們簡稱Elasticsearch為es。
• Logstash是ELK的中央資料流引擎，用于從不同目标（檔案/資料存儲/MQ）收集的不同格式資料，經過過濾後支援輸出到不同目的地（檔案/MQ/redis/elasticsearch/kafka等）。
• Kibana可以将elasticsearch的資料通過友好的頁面展示出來，提供實時分析的功能。

轉載自簡書ELK概念的簡單介紹

2.ELK的安裝

• 在安裝前需要提前下好以下安裝包：

  elasticsearch-6.2.2.tar.gz

  elasticsearch-head-master.zip

  kibana-6.2.2-linux-x86_64.tar.gz

  logstash-6.2.2.tar.gz

  node-v8.9.1-linux-x64.tar.gz

  jdk-8u221-linux-x64.tar.gz

• 在cd / 根目錄建立software軟體包的目錄:

  mkdir -p /software

  ,把下載下傳好的上述安裝包，拖拽到/software目錄中
• 下載下傳解壓縮工具unzip：

  yum install -y unzip

• 進入安裝包目錄，輸入

  ll

  (小寫L)可以檢視目錄中的檔案：

  cd /software

  然後

  ll

  。
• 安裝jdk-8u221-linux-x64.tar.gz到/opt目錄下：

  tar -zxvf jdk-8u221-linux-x64.tar.gz -C /opt

• 安裝elasticsearch到/opt目錄下：

  tar -zxvf elasticsearch-6.2.2.tar.gz -C /opt

• 安裝kibana到/opt目錄下：

  tar -zxvf kibana-6.2.2-linux-x86_64.tar.gz -C/opt

• 安裝logstash到/opt目錄下：

  tar -zxvf logstash-6.2.2.tar.gz -C /opt

• 安裝node到/opt目錄下：

  tar -zxvf node-v8.9.1-linux-x64.tar.gz -C/opt

• 解壓elasticsearch-head-master檔案：

  unzip elasticsearch-head-master.zip

• 把解壓的檔案夾移動并改名:

  mv elasticsearch-head-master /opt/eshead

• 進入opt目錄：

  cd /opt

• 對kilbana改名：

  mv kibana-6.2.2-linux-x86_64/ kilbana622

• 對logstash改名：

  mv logstash-6.2.2/ logstash622

• 對node改名：

  mv node-v8.9.1-linux-x64/ node891

• 對elasticsearch改名:

  mv elasticsearch-6.2.2/ es622

• 對jdk-8u221-linux-x64.tar.gz改名:

  mv jdk-8u221-linux-x64.tar.gz/ java8

  

  最後會獲得如上圖所示結果，改名是為了友善後期操作和檢視

3.ELK的配置

1.ES的配置

• 修改主機名：輸入

  vi /etc/hostname

  将localhost.localdoumain修改為bigdata
• 修改主機清單：輸入

  vi /etc/hosts

  新增主機位址和主機名如下:

192.168.56.101 bigdatda01
192.168.56.102 bigdatda02
192.168.56.103 bigdatda03
           

• 配置es的參數

  輸入:

  vi /opt/es622/config/elasticsearch.yml

  ,進入後按shift+g快速定位到尾部,按o(小寫)在下一行插入以下内容：

cluster.name: bigdata               --叢集名
node.name: master              --節點名
node.master: true               --是否是主節點
network.host: 192.168.56.101     --本機位址
discovery.zen.ping.unicast.hosts: ["192.168.56.101"]      --同上
http.cors.enabled: true                       
http.cors.allow-origin: "*"
           

• 配置系統參數

  (1)輸入:

  vi /etc/sysctl.conf

  ,插入内容:

  vm.max_map_count=655360

  ,儲存退出

  (2)輸入:

  sysctl -w vm.max_map_count=655360

  若出現

  vm.max_map_count = 655360

  即配置成公

  (3)輸入:

  vi /etc/security/limits.conf

  (部分人的機器可能需要重新開機才會生效),插入如下内容,儲存退出

- soft nofile 65536
 - hard nofile 65536
 - soft nproc 4096
 - hard nproc 4096
           

• 添加普通使用者:

  useradd es

  （這裡的es可以是任何名字）
• 修改es622目錄的屬組(因為ES不可使用root使用者啟動):

  chown -R es:es es622

• 切換到es普通使用者:

  su es

• 進入opt目錄:

  cd /opt

• 啟動elasticsearch(前提要安裝好Java,jdk的配置請看下方連結)：

  ./es622/bin/elasticsearch

  ,若底部出現 started即是啟動成功

  jdk的安裝請在此文中查找

• 在windows界面打開網頁(最好使用chrome浏覽器)，輸入http://192.168.56.101:9200，可以正常出頁面，切有節點的資訊,即啟動成功

  

2.Head-master及node的配置

• 輸入：

  vi /etc/profile

  找到

  export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL

  行，在其下方添加如下代碼：

export JAVA_HOME=/opt/java8
export CLASSPATH=.:$JAVA_HOME/rt.jar:$JAVA_HOME/tools.jar:$JAVA_HOME/dt.jar
export JRE_HOME=$JAVA_HOME/jre
export NODE_HOME=/opt/node891
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$NODE_HOME/bin
           

• 輸入:

  source /etc/profile

  使該檔案生效,輸入

  node -v

  檢視版本号若能出現版本号即配置成功
• 進入head-master檔案中:

  cd /opt/head

• 輸入 :

  npm install -g grunt-cli

  --等待的時間可能比較長，要有點耐心
• 輸入：

  npm install

  若等待時間過長按ctrl+c強制退出執行以下指令:

  npm install [email protected] --ignore-scripts

• 輸入:

  vi Gruntfile.js

  ,

  port: 9100,

  下面加入一行代碼

  hostname: '*',

  (進入檔案可按93gg快速定位):

  如下:

connect: {
    server: {
        options: {
            port: 9100,
            hostname: '*',
            base: '.',
            keepalive: true        }
    }
           

• 輸入：

  vi _site/app.js

  ,找到如下代碼(進入檔案輸入4360gg快速定位,找行号的代碼為:

  cat app.js | grep localhost -n

  ,進行修改,将localhost改為主機位址:192.168.56.101

this.base_uri =this.config.base_uri ||this.prefs.get("app-base_uri") || "http://localhost:9200";
修改成為：
this.base_uri =this.config.base_uri ||this.prefs.get("app-base_uri") || "http://192.168.56.110:9200";
           

• 啟動head-master:

  npm run start

• 在windows界面，打開網頁，輸入：http://192.168.56.101:9100若能正常顯示則無問題

  

3.Kibana的配置

• 進入kibana目錄:

  cd /opt/kilbana

• 輸入:

  vi config/kibana.yml

  ,按shift+g跳轉到行末，按o(小寫)增加以下内容：

server.host: "192.168.56.101"
elasticsearch.url : "http://192.168.56.101:9200"
           

• 啟動kilbana:

  ./bin/kibana

• 在windows界面打開網頁(推薦chrome浏覽器)，輸入http://192.168.56.101:5601/能出頁面代碼即可,效果如下:

PS：Logstash的安裝和配置會在明天的文章中放出來