天天看點

Elasticsearch, 你值得擁有!—— 雲栖大會 Elasticsearch 場景化應用全景回顧

原創作者:銘毅天下 — Elastic認證工程師、Elastic中文社群2018傑出貢獻者、Elastic中文社群日報責任編輯、阿裡雲MVP、elastic.blog.csdn.net 部落客專家、銘毅天下 公衆号作者

為什麼要參加雲栖大會?

今年是線上的方式,參加大會實際就是看直播或者回放視訊。

我在多種場合提及我的偶像是俞敏洪,多年前他在高校的演講有這麼一段:“我和馬雲的聊天,你們想不想聽?當然想聽,因為我們聊的内容都是書本上看不到的内容”。

是的,雲栖大會大咖雲集,作為Elastic愛好者,參加大會就是想看平時看不到、學不到的内容。

認知的四個次元中“不知道自己不知道”最為可怕。

Elasticsearch, 你值得擁有!—— 雲栖大會 Elasticsearch 場景化應用全景回顧

之前微信群中有這麼一段讨論:

[其實能做得很多 es本身一開始更多的是文本相關性的搜尋。但是其實作在資訊已經更多是圖像化、視訊化、其他媒體類型。其實很重要得一點。就是原始資料進行embeding生成向量,存儲向量,進行相似性檢索。Elasticsearch 在這方面需要做的東西還是有很大空間]

引發了大家關于 Elasticsearch 未來發展方向的讨論。

本次雲栖大會Elasticsearch 場景化應用給出了答案。

我們從:Elastic Stack 三大解決方案、從Zero到Hero學習路徑、阿裡雲 Elasticsearch 牛逼之處做下複盤。

Elastic Stack 三大解決方案

“3 + 1“ 戰略場景

“3 + 1”是指在Elastic Stack 基礎上在Elastic 企業搜尋、Elastic 全觀察、Elastic 安全 三個核心業務場景發力。

Elasticsearch, 你值得擁有!—— 雲栖大會 Elasticsearch 場景化應用全景回顧

1:代表的是——Elastic Stack。

3:代表的是——搜尋、可觀察性、安全。

1)搜尋——不用過多介紹了,傳統的搜尋場景,比如:網頁搜尋、APP搜尋 等。

2)可觀察性——則是圍繞企業基礎設施資料,日志、名額、APM,三位一體。

ps: 我一直認為:可觀察性 和 全觀察 中文不好了解,甚至辭海裡面都沒有收錄。本質是:資料可視化的意思。
Elasticsearch, 你值得擁有!—— 雲栖大會 Elasticsearch 場景化應用全景回顧

英文意思:Elastic Observability。最新官方文檔的這個翻譯,能相對好了解一些。

Elasticsearch, 你值得擁有!—— 雲栖大會 Elasticsearch 場景化應用全景回顧

3)安全是 Elastic 重點在發力的一個方向,這一塊 Elastic 同樣是一個行業的颠覆者。

Elastic 是業界第一個提供開源免費的終端安全防護解決方案的廠商,最近還釋出了自己的開源檢測規則庫,開放、透明和社群協作将是未來應對大規模安全威脅的不二選擇,企業能夠借助 Elastic 的 SIEM 和終端防護方案,打造自己的 SOC 團隊,保護企業的數字資産。

一句話:Elastic 已經由原來的 Elasticsearch 檢索工具轉變為 Elastic Stack 解決方案提供商。

如何實作全方位資料可視性?

Elasticsearch, 你值得擁有!—— 雲栖大會 Elasticsearch 場景化應用全景回顧

讓資料采集更簡單

Elasticsearch, 你值得擁有!—— 雲栖大會 Elasticsearch 場景化應用全景回顧

1、Elastic Agent

1.1、解決:beats 多,不友善管理的問題

1.2、屏蔽多agent複雜性問題,減少安裝複雜的困擾

2、Fleet

2.1、叢集管理大量Agent

3、ingest Manager

3.1、UI 管理,對接各種資料源

3.2、更好的開箱即用

4、Data stream

4.1、對不同資料集更好管理資料的全生命周期

異步搜尋,承載更多資料

Elasticsearch, 你值得擁有!—— 雲栖大會 Elasticsearch 場景化應用全景回顧

對于大資料離線非實時業務場景,對檢索響應時間沒有要求,但很在意傳回結果的場景非常有用。

堆記憶體更新改造

Elasticsearch, 你值得擁有!—— 雲栖大會 Elasticsearch 場景化應用全景回顧

為了提升搜尋、聚合性能,Elasticsearch 一直在快步疊代更新自己。

更好的可視化效果

Elasticsearch, 你值得擁有!—— 雲栖大會 Elasticsearch 場景化應用全景回顧

1、圖表下鑽、不同dashboad 跳轉

做過大資料分析的都知道,不能下鑽很痛苦,還得借助:echart等自己實作。

2、kibana Lens 持續改進 支援餅圖、圈圖、樹狀結構圖

圖表& 分析持續更新

3、全新告警系統 整合解決方案,配置更容易。

4、APM Sevice Map 全字段自動化監測

更好的分析和展示

Elasticsearch, 你值得擁有!—— 雲栖大會 Elasticsearch 場景化應用全景回顧

一句話:Elasticsearch 要革資料分析的命!

傳統的資料分析師借助Elastic stack 可以更高效實作分析工作,簡直“如虎添翼”。

甚至:一些開發人員、運維人員都可以實作自己的多種次元資料分析。

從 Zero 到 Hero Elastic Stack 學習路徑

李猛老師文風流暢、點評辛辣,寫出了很多漂亮的 Elasticsearch 實戰博文。

李猛老師在這個版本談了自己的想法,梳理總結如下。

系統化學習

摒棄拼裝學習、碎片化學習的思維。

的确,遇到問題解決問題的那一刻很有成就感,但沒有系統化的思維,很容易出現要麼“坐井觀天”、要麼“鑽牛角尖”。

如何提升?

1、認知要非常正确

2、寬廣的胸懷學習 Elasticsearch,ES 不足的地方可以結合其他方案完善。

3、知道 Elastic Stack 能幹什麼、不能幹什麼?

4、定位自己,開發、架構、運維、源碼、算法,不同定位,不同學習路徑。

但,要想深入,源碼是必要的。

5、多看書、多看視訊。

6、多交流,每個人的業務場景、知識體系都是有局限性的。

交流包含但不限于:經驗交流,項目交流,認知交流等。

牛逼的阿裡雲 Elasticsearch

簡單——無限的存儲空間及計算能力

好用——豐富的檢索功能擴充(人臉識别,dsl2sql)

便宜——各類場景化套餐

Elasticsearch, 你值得擁有!—— 雲栖大會 Elasticsearch 場景化應用全景回顧

寫入高效——消息隊列緩存,提高資料寫入能力。

Eyou——健康監測,探測潛在風險,讓開發更便捷。

Elasticsearch, 你值得擁有!—— 雲栖大會 Elasticsearch 場景化應用全景回顧

計算和存儲分離——不需要ES多副本機制,依賴雲存儲

雲端元件化——分詞、SQL、向量檢索、流量控制

Elasticsearch, 你值得擁有!—— 雲栖大會 Elasticsearch 場景化應用全景回顧

小結

正如阮一鳴老師所說:“Elasticsearch 目前面臨:控制成本、提高精度、保持高性能的挑戰,為了應對挑戰 Elasticsearch 推出了:冷熱架構、跨叢集複制、快照搜尋,還有這次會議提到的:異步搜尋、Off heap 等特性,相比于其他的大資料産品,Elasticsearch 迎合了大資料時代的趨勢。” 是以,Elastic 發展的很快,版本更新疊代的也快!

作為 Elastic 的鐵粉,每次看到新的功能、技術點出現(比如:近期的 Wildcard Type、Date Streams 等),都會很興奮。

圓桌會議的最後,王剛老師讓每位嘉賓一句話做總結:

Medcl 老師:選 Elasticsearch 就對了!

阮一鳴老師:Elasticsearch, 你值得擁有!

李猛老師:任何資料問題都可以用 ES 來拆解,如果不能,請再來一套!

這個小結作為本文的結尾也非常貼合。

彩蛋環節

視訊建議:2倍速播放,挺2遍,挺有意思的(很有喜感)。

王剛老師 和 medcl 老師書房的書單,能否提供一下(我隻看到了一本《這就是搜尋引擎》)?給廣大 Elastic 愛好者提供這方面的入門啟蒙知識。

更多文章關注公衆号“銘毅天下”

可能是中國關注人數最多的非官方 Elastic 公衆号!

注:本文有公衆号“銘毅天下”授權轉載
Elasticsearch, 你值得擁有!—— 雲栖大會 Elasticsearch 場景化應用全景回顧

阿裡雲Elastic Stack

】100%相容開源ES,獨有9大能力,提供免費 X-pack服務(單節點價值$6000)

相關活動

更多折扣活動,請

通路阿裡雲 Elasticsearch 官網 阿裡雲 Elasticsearch 商業通用版,1核2G ,SSD 20G首月免費 阿裡雲 Logstash 2核4G首月免費 下載下傳白皮書:Elasticsearch 八大經典場景應用
Elasticsearch, 你值得擁有!—— 雲栖大會 Elasticsearch 場景化應用全景回顧
Elasticsearch, 你值得擁有!—— 雲栖大會 Elasticsearch 場景化應用全景回顧

繼續閱讀