本文字數:2566
閱讀時間:預計5~8分鐘
您将了解:
-從Elasticsearch到Elastic Stack所包含的戰略意義
-雲上ES的價值
-技術演進方向
-技術演進核心支撐點
-點選《
Elastic Stack技術演進趨勢》,檢視完整分享視訊
簡介:
在2019雲栖大會【Elasticsearch開發者生态專場】上,Elastic中國首席架構師朱傑(Jerry),為大家詳細介紹了從“Elasticsearch”到“Elastic Stack”的産品和技術的演進趨勢,并确立雲上ES戰略的意義。
{下文來自2019年雲栖大會,Elasticsearch開發者生态專場,Elastic中國首席架構師朱傑帶來的現場分享}

(Elastic中國首席架構師朱傑(Jerry))
Elastic産品發展趨勢
重新定義“ES”
在廣大開發者的心中,ES代表了
Elasticsearch。而如今,Elastic納入了很多新的工具,是以在未來,ES應該代表Elastic Stack。之是以要重新定義ES,是為了為廣大開發者和使用者以及企業帶來更加良好的使用體驗。以前,我們将開源項目交給客戶的時候往往是一組零件,客戶拿到這組零件之後需要自己進行組裝再構成應用。而如今,Elastic将這些能夠放入Stack中的工具全部納入進來,極大地改善了使用者的體驗,使得使用者能夠獲得開箱即用的體驗,而不需要從零開始搭建應用。
雲上驅動新未來
雲計算是未來的必然趨勢。正如PC和網際網路的出現使得各個行業的生産率都得到了大幅度提升,雲計算也必将成為幫助各個行業的生産率得以提升的基礎設施,是以雲已納入到Elastic公司的發展戰略之中,并與阿裡巴巴建立戰略合作關系。這裡的雲并不是簡單地提供虛拟機讓客戶在雲上部署,而是直接提供托管的資料服務。使用者隻需要通過API調用服務即可,從完全由客戶自己運維變為使用托管的SaaS服務,将運維工作交給像阿裡雲這樣更加專業的團隊負責,這樣才能使得未來的生産力得到巨大提升。未來,Elastic将與阿裡雲展開極其緊密的合作,在雲上為客戶提供Elastic Stack最佳的使用體驗。
解決方案導向
Elastic的另一個重要方向是以解決方案為導向。在上層展現在全文搜尋向通用搜尋進行轉變,這依賴于Elasticsearch本身能力的提升,目前在很多具體的實踐中也正在将Elasticsearch應用到更為廣泛的通用搜尋領域。在下層,無論是日志、名額、APM還是安全,它們的演進都是在大資料平台上建構的各種各樣的解決方案,而這些解決方案都是使用者驅動而産生的。Elastic将這些解決方案內建進入Elastic Stack,友善使用者更好地使用。
重點解決方案-可觀察性
接下來為大家介紹一些Elastic Stack的重點解決方案,其中最為重要的就是可觀察性。可觀察性解決方案其根本是将日志、名額以及APM三個方面整合到一個技術棧中,以此來為IT全面地解決問題,這是目前業界非常熱門的一個趨勢。Elastic Stack在實作這一能力方面擁有巨大的優勢。這是因為想要實作三者融合,首先需要解決資料量問題,其次要解決實時搜尋問題。而ES能夠非常完善地解決上述問題,并且能夠實作快速推進,幫助團隊快速打通三者來分析企業業務。
重點解決方案-安全
如今,企業各種安全方面的資料出現暴增态勢。是以,Elastic Stack被很多企業用于安全資料的分析也是水到渠成的。目前,ES在安全能力方面已經邁出了自己的第一步,未來也會進一步完善安全資料分析功能,為使用者提供開箱即用的安全資料分析解決方案。
新解決方案-企業搜尋
Elastic目前也有一些正在孵化中的新解決方案,比如企業搜尋方案,其提供了多種文檔連接配接器,能夠将資料加載進來進行全文搜尋。
新解決方案-Code搜尋
另外一個比較新的解決方案是Code搜尋,該方案提供了查詢object和symbol定義和引用的能力,能夠實作代碼全文搜尋。
Elastic技術發展趨勢
Elasticsearch搜尋引擎的演進
Elasticsearch從全文搜尋引擎演進成為通用搜尋引擎經曆了8年多的時間,最早期的時候,Elasticsearch隻是一個反向索引,無法實作名額分析等功能,在進行聚合時也會面臨性能問題。在後來的演進中增加了列存儲,這對于排序和聚合産生了巨大影響,不僅加快了執行速度,還降低了資源消耗。僅僅有這些還遠遠不夠,在2014年的時候,Elasticsearch推出了聚合架構,此時它能夠用于代替很多SQL分析場景。在2016年,Elasticsearch增加了BDK樹并且做了稀疏資料的優化,為數字搜尋優化了資料結構,加快了分析,并且降低了存儲空間。在2018年的時候,Elasticsearch加入了資料上卷特性,将時序性資料聚合到大的時間框内,能夠節省磁盤空間。經過這麼多年的演進,Elasticsearch從全文搜尋引擎變成了通用的搜尋引擎。
業界領先的查詢能力
Elasticsearch的查詢能力目前在業界處于領先地位。使用者可以将精确查詢、全文查詢以及地理位置的查詢寫到一條語句裡面進行查詢,之後還可以進一步進行聚合計算。
應用場景空前繁榮
正是因為強大的查詢能力,Elasticsearch的應用場景空前繁榮,能夠看到最多的是代替了很多資料庫查詢的加速層,其次還用于使用者畫像、聚合報表、訂單查詢以及大資料風控等。
注入智能的靈魂
Elasticsearch還注入了智能的靈魂,主要包括異常檢測領域的能力,主要提供的是無監督的機器學習算法。
機器學習賦能各種應用
Elastic的機器學習能力目前已經賦能到所提供的各種應用之中,比如APM、業務分析、日志、名額、安全等。
機器學習的下一站
無監督的好處在于不需要人工去标注資料,計算和判斷的執行速度都會快很多。在Elasticsearch 7.2版本和7.3版本中,推出了Data Frame功能,能夠将原始資料的索引經過轉換聚合到另外一個更加适合分析的索引中,為後續的機器學習提供了更多的能力。未來,Elasticsearch也可能提供有監督的機器學習能力。
Beats生态蓬勃發展
無論是Elastic官方提供的Beats,還是開源社群中的Beats都基于的是統一的開發包。目前,Beats的生态非常活躍,廣大開發者也可以将自己新的想法送出到Beats生态中,讓更多的人來使用。
Logstash生态蓬勃發展
作為老牌插件的Logstash仍然在持續發展當中,Logstash不僅積累了大量的插件,也在持續地改善自身的性能。未來,Logstash傾向于成為做資料轉化和清洗的中間件。
Logstash Beats集中管理勢在必行
無論是對于Logstash還是Beats而言,都需要進行集中管理,後續版本中也會提供更多這一方面的能力。
Kibana快速疊代
Kibana的版本釋出非常頻繁,Kibana正在從最初級的僅僅負責ELK監控的平台逐漸向APP平台轉換,APP的能力越來越多,Kibana本身也正在向插件化平台轉型。
Kibana平台化戰略
Kibana的平台化戰略會是未來的發展方向,首先Kibana會變成一個可視化分析平台,這也是目前已經實作的功能。此外,Kibana還會演變成一個解決方案的平台,使得使用者能夠基于Kibana建構各種各樣的行業解決方案。最後,Kibana還會成為運維平台,能夠監控各種各樣的業務名額。
擁抱Kubernetes ECK
Kubernetes如今非常流行,是以擁抱Kubernetes是必然趨勢。社群中也有大量的Elastic Stack運作在Kubernetes之上,是以作為Elastic公司而言,提供Kubernetes的能力是最為合适的。Elastic的ECK目前提供了管理和監控叢集、友善更新新版本、彈性伸縮以及定時備份的能力,未來将會進一步擁抱Kubernetes生态,期待ECK的進一步發展。
關于Elastic公司
Elastic是ELK 背後的公司,Elastic在全球社群擁有10多萬參與者,真題産品下載下傳次數達到了3.5億,在全世界範文内擁有1600多名員工。目前,Elastic的付費訂閱使用者達到8800多家企業,FY20Q1收入為89.7M美元,YOY增長率達58%。Elastic的創始人相容CEO Shay Banon在很多場合都想要傳達的Elastic的産品哲學就是“Simple things should be
simple”,也就是讓簡單的事情變得簡單。這一産品理念在Elasticsearch、Logstash、Kibana等各個産品中都得以展現。
對于大家而言,可能最熟悉的就是Elastic的Elasticsearch産品,但其實Elastic還有很多産品和解決方案。如下圖所示,底層是Elastic大資料平台,虛線框分隔了收費的商業版本産品和免費的開源版本産品。虛線框内是Elastic提供的開源産品,其中包含了強勁的存儲索引計算分析引擎Elasticsearch,還有十分易用的資料攝取工具Logstash和Beats,以及用于前端資料展示的Kibana,這一整套的産品能夠幫助大家解決很多實際的問題。虛線框之外則是Elastic提供的商業套件,其定位在于實作存入Elasticsearch的資料更加智能化的分析,提供了機器學習、資料關聯分析、規則告警、多叢集監控、報表以及進階安全等功能。在大資料平台之上,Elastic還提供了大資料解決方案,包括了搜尋、日志、名額、安全、APM以及企業搜尋等解決方案。
加入我們
【雲上ELK雙11限時優惠】
- 新購使用者,預付首月 75折
- 新購/續購/更新使用者,預付6個月85折
- 新購/續購/更新使用者,預付12個月8折
2019年阿裡雲雲栖大會上,Elasticsearch背後的商業公司Elastic與阿裡雲Elasticsearch确定戰略合作更新,在100%相容開源的基礎上,完成了ELK的完整生态雲上閉環,歡迎開通使用。
點選了解更多産品資訊