天天看點

新版本釋出 | 開放搜尋的統一召回引擎實踐搜尋面臨的挑戰搜尋産品和解決方案阿裡雲搜尋服務選型-産品生态統一召回引擎

特邀嘉賓:

邢少敏(多愚)-阿裡巴巴進階技術專家

視訊位址:

https://yqh.aliyun.com/live/opensearch

搜尋面臨的挑戰

工程挑戰

  1. 百萬QPS
  • 618、雙11等大促活動的高并發通路
  1. 千億級資料
  • SKU、訂單、物流等大資料檢索
  1. 高時效
  • 訂單、物流類資料時效性要求極高
  1. 高可用
  • 分鐘級不可用會導緻巨額業務損失
  1. 低延遲
  • 搜尋作為流量入口,延遲高會導緻交易量下降

算法挑戰

  1. 資訊規範程度低

比如說拿電商行業來講,電商行業的商品名稱,一般情況下為了提高商品排序,為了讓商品排的比較靠前,商品名稱會加很多關鍵字,這樣就會導緻商品名稱不規範,很多可能連文法都不太通,這個時候去分析這些關鍵詞是非常困難的。

例如:

    • 寶寶棉服套裝嬰幼兒冬裝0-1歲3男嬰兒棉衣秋冬女保暖棉襖加厚外套;
    • 毛豆新鮮5斤青豆毛豆角甜豆生鮮蔬菜豌豆帶殼農家現摘嫩豆莢包郵;
  1. 意圖豐富

搜尋的時候查詢詞的意圖非常的豐富,然後會有很多不同的這種意圖。

    • 水 --(礦泉水?花露水?洗髮乳?)
    • 蘋果 --(吃的蘋果?蘋果手機?)
    • 馬可鳳梨 --(鳳梨?馬可鳳梨火腿腸?)
    • 絲襪奶茶 --(絲襪?奶茶?)
  1. 召回量大,排序難
  • 單次召回千萬,有限資源下進行準确排序難

如果說我們處理不好這些問題會發生什麼情況呢? 那麼如果工程挑戰和算法挑戰,處理的不好,就會有使用者流失的問題。

使用者流失觀察:

  • 使用者搜尋某個關鍵詞兩次以上依然沒有結果将認為平台無此類商品;
  • 使用者浏覽搜尋結果超過半分鐘仍未找到目标商品将直接跳出;
  • 使用者浏覽搜尋結果超過4頁仍未找到目标商品将直接跳出;

搜尋産品和解決方案

關于Elasticsearch

業内最主流的資訊檢索、分析引擎,DB-Engine指數排行“全球熱度No.7資料庫,全球熱度No.1檢索引擎”。廣泛的應用在各種業務場景。

阿裡雲Elasticsearch産品介紹

提供全托管Elastic Stack服務,100%相容開源,免費提供X-Pack商業插件,即開即用,按需付費。同時深入功能與核心性能優化,提供更豐富的分析檢索能力,更安全、高可用服務。

特性及優勢

  1. 低成本
  • 免費提供每個節點價值6000美元的X-Pack商業插件
  • 智能運維、進階監控告警、容災部署等,超低運維成本
  • 針對性場景調優,提高資源利用效率,多種産品價格政策
  1. 功能與性能強勁
  • 日志增強版核心,100%成本降低,100%性能提升
  • 文本、視訊、音頻、圖像,提供最全面的資訊檢索能力
  • 全面對齊等保2.0要求,企業級資料安全能力
  • 開放的二次開發能力,支援各種業務場景的封裝
  1. 品牌背書
  • 阿裡雲與Elastic戰略合作;
  1. 豐富行業經驗
  • 為電商,零售,教育,金融,媒體,物流等30個行業提供服務;
  1. 全球服務
  • 服務覆寫全部阿裡雲資料中心,并且支援本地化專有雲傳遞,和混合雲方案

阿裡雲開放搜尋産品介紹

開放搜尋(OpenSearch)是基于阿裡巴巴自主研發的大規模分布式搜尋引擎搭建的一站式智能搜尋業務開發平台,目前為包括淘寶、天貓在内的阿裡集團核心業務提供搜尋服務支援。通過内置各行業的查詢語義了解、機器學習排序算法等能力,提供充分開放的引擎能力,助力開發者快速搭建智能搜尋服務。

應用場景

  • 電商行業: 商品搜尋、訂單搜尋、門店搜尋、資料庫加速和分析場景
  • 内容行業:新聞搜尋、社群搜尋、視訊搜尋、圖庫搜尋
  • 多媒體行業、遊戲行業、企業大資料….

核心優勢

  • 工程優勢:高性能(毫秒級端到端延遲)、高穩定性(99.99%穩定性)、高時效(毫秒級生效);
  • 算法優勢:達摩院多年沉澱的NLP技術,多行業打磨沉澱的查詢分析、搜尋排序能力;
  • 産品優勢:低門檻,免運維,開放平台;

集團内搜尋中台

  • 核心搜尋引擎HA3從淘寶天貓搜尋孵化而來
  • 集團内1000+業務接入,7000億+商品/文檔被索引,日搜尋PV達百億。
  • 2020年雙十一QPS峰值110萬+,實時資料更新TPS峰值55萬+

開放搜尋算法産品化

開放搜尋是一個智能搜尋産品,在最近幾年做了大量的算法産品化的工作,這裡面就包括了查詢分析,多路召回、智能排序、使用者行為、業務開發、效果評測等。

新版本釋出 | 開放搜尋的統一召回引擎實踐搜尋面臨的挑戰搜尋産品和解決方案阿裡雲搜尋服務選型-産品生态統一召回引擎

阿裡雲搜尋服務選型-産品生态

産品選型

開源産品--阿裡雲Elasticsearch

  • 業界知名度高,搜尋首選平台;
  • 開源生态學習門檻低,易于掌握;
  • 插件機制允許自由定制,滿足不同業務需求;

阿裡自研産品--開放搜尋(OpenSearch)

  • 一站式搜尋引擎平台服務;
  • 核心引擎HA3為阿裡集團核心搜尋技術,提供百萬QPS查詢能力,和千億級别文檔索引能力;
  • 内置QP和排序算法能力以及行業模闆,實作垂直行業高品質搜尋效果;

應用生态

新版本釋出 | 開放搜尋的統一召回引擎實踐搜尋面臨的挑戰搜尋産品和解決方案阿裡雲搜尋服務選型-産品生态統一召回引擎

性能差異

新版本釋出 | 開放搜尋的統一召回引擎實踐搜尋面臨的挑戰搜尋産品和解決方案阿裡雲搜尋服務選型-産品生态統一召回引擎

統一召回引擎

滿足不同使用者的使用習慣,如果客戶從Elasticsearch 進行查詢,可以去調用開放搜尋裡面QP的功能,然後提供查詢分析的能力給客戶。如果是從開放搜尋這塊進行查詢,可以原生的使用開放搜尋查詢分析能力。

新版本釋出 | 開放搜尋的統一召回引擎實踐搜尋面臨的挑戰搜尋産品和解決方案阿裡雲搜尋服務選型-産品生态統一召回引擎

>>如果有搜尋效果深度優化需求,可以填寫專家咨詢問卷,參與試用即可免費獲得開放搜尋通用分詞能力。問卷位址:

https://c.tb.cn/F3.05Srxl

如果你想與更多開發者們進行交流、了解最前沿的搜尋與推薦技術,可以釘釘掃碼加入社群

新版本釋出 | 開放搜尋的統一召回引擎實踐搜尋面臨的挑戰搜尋産品和解決方案阿裡雲搜尋服務選型-産品生态統一召回引擎