28 日,在 2017 易觀 A10 大資料應用峰會上,針對“有序漏鬥”難題進行行業攻堅的“2017 易觀 OLAP 算法大賽”公布了最終結果。PingCAP 參賽組以超過原始基準測試近 30 倍的成績,獲得了商業組的冠軍,并作為優秀案例在大會進行了解題思路分享。

PingCAP 作為本次算法大賽商業組參賽隊,借助 TiDB 的算法引擎,展現了強大的複雜 OLAP 處理能力。 作為 PingCAP 的核心産品 TiDB 受 Google/F1 啟發,具備強大的水準擴充,強一緻性的多副本資料安全,分布式事務,實時 OLAP 等特性。依托這些特性,TiDB 徹底改變以往資料庫彈性擴容與事務處理不可兼具的境況,将線上事務處理和線上分析處理融為一體,完美适配大資料背景下各行業的資料存儲、計算需求。
作為 TiDB 項目中針對解決使用者複雜 OLAP 需求的重要元件,TiSpark 将 Spark SQL 直接運作在 TiDB 存儲層上,同時融合 TiKV 分布式叢集的優勢,并融入大資料社群生态。至此,TiDB 可以通過一套系統,同時支援 OLTP 與 OLAP,免除使用者資料同步煩惱。
本次 2017 易觀 OLAP 算法大賽以攻堅“有序漏鬥”為考題,TiDB 的算法引擎在處理時将性能作為首要目标,運用多種存儲布局和索引手段,對資料進行快速掃描和有效過濾,大量使用 SIMD 技術的向量化計算,優化布局,極大減少編解碼開銷,并根據場景進行智能化存儲和 IO 政策。最終以超過原始基準測試近 30 倍的成績亮眼勝出,獲得了專家評審的一緻認可。
大資料環境給企業營運帶來了新的挑戰和機遇,精準捕捉和分析使用者行為,以進一步幫助企業的使用者增長及留存,成為網際網路時代企業産品營運的核心價值。漏鬥轉化是幫助企業更快、更好的了解在哪一環節提升營運,實作精細化營運的重要手段。行業内已将實作“漏鬥”更新作為目前資料應用領域的重要議題。其中,相較使用者路徑重合率極低的“無序漏鬥”,“有序漏鬥”的資料研究更有價值。
此次 PingCAP 作為商業組冠軍送出的優異成績,為業内攻堅“有序漏鬥”計算效率的技術瓶頸提供了突破口。在會上,PingCAP 聯合創始人兼 CEO 劉奇還進行了解題思路詳解。他表示,在資料驅動的今天,通過對資料的分析,快速挖掘潛在的使用者需求與市場機遇,這其中,高效是關鍵。TiDB 融合了 OLTP 與 OLAP 能力,将資料價值最大化,通過技術創新研發,為市場提供更好的技術解決方案,希望能夠降低實時資料分析行業的門檻。
作為世界級分布式 HTAP 資料庫廠商,PingCAP 的代表作 TiDB 現已發版至 1.0 GA 版。準生産測試使用者 400 餘家,其中摩拜單車、同程旅遊、360 金融、遊族網絡,蓋娅互娛、猿輔導,去哪兒等數十家不同行業的領先企業已經應用在實際生産環境,涉及網際網路、遊戲、金融、政府、電信、制造業等多個領域,幫助企業解決了海量資料存儲、超大規模并發通路及交易問題。同時與騰訊雲、UCloud 等國内外多家主流的大型公有雲廠商深度內建,提供公有雲資料庫服務。