天天看點

Elasticsearch入門-1

@[toc]

Elasticsearch介紹

Elasticsearch入門-1

Elasticsearch是一款非常強大等開源搜尋引擎,可以幫助你從海量資料中,快速等找到相應等内容

例如:你在GitHub倉庫砂鍋搜尋的時候,它不僅快速的搜尋,還可以高亮顯示

像我們國内 滴滴,今日頭條,360等都使用了 Elasticsearch 叢集

Elasticsearch 還可以結合 kibana , logstash

Elastic 的底層是開源庫 Lucene。但是,你沒法直接用 Lucene,必須自己寫代碼去調用它的接口。Elastic 是 Lucene 的封裝,提供了 REST API 的操作接口,開箱即用。

為什麼要用Elasticsearch

訂單搜尋,商品推薦,日志管理, 風險控制,it運維 ,安全監控等不同空間等領域,

像我們開發人員,運維人員,架構師,資料分析師也值得學習Elasticsearch,因為在大資料的時代,掌握近室實的搜尋額分析能力,才能掌握核心競争力,洞見未來

## 起源 - Lucene

  • 基于Java語言開發搜尋引擎類庫
  • 建立于1999年,2005年成為Apache 頂級開源項目
  • Lucene具有 高性能,可擴充優點
  • Lucene的局限性,
    • 隻能基于 Java語言開發
    • 類庫的接口學習曲折
    • 原生不支援水準擴充

## Elasticsearch 的誕生

  • 2004年 Shay Banon 基于Lscene 開發 Compass
  • 2010 年 Shay Banon 重寫 Compass 取名 Elasticsearch
  • -支援分布式 , 可水準擴充

    -降低學習的曲線,可以被任何語言調用

Elasticsearch入門-1
  • 支援多種方式內建
    Java           .net python php 
               

Elasticsearch的主要功能

搜尋:

  • 海量資料的存儲以及叢集的管理
  • 高可用,資料實時搜尋

聚合:

  • 海量資料的實時分析
    Elasticsearch入門-1
  • 版本特性
    Elasticsearch入門-1
Elasticsearch入門-1

Elasticsearch 家族成員

Elasticsearch入門-1

Logstash :資料處理管道

  • 開源的伺服器端資料處理管道,支援不同來源的資料采集,轉換資料,并發資料轉發到不同的存儲庫中
  • Logstash 誕生于2009年,最初用來做日志的采集和處理
  • 2013 年被 Elasticsearch 收購

特性:

  • 實時解析和轉換資料
    從IP位址擷取資料
               
  • 可擴充
    200 多個插件(日志,資料庫)           
  • 可靠和安全

    通過持久化隊列保證資料至少送達一次

    資料傳輸加密

Kibana :可視化

  • 資料可視化,幫助使用者解開對資料的疑問
  • 基于 Logstash 2013年加入 Elastic公司