天天看點

易觀 OLAP 大賽揭曉 PingCAP 斬獲商業組桂冠

28 日,在 2017 易觀 A10 大資料應用峰會上,針對“有序漏鬥”難題進行行業攻堅的“2017 易觀 OLAP 算法大賽”公布了最終結果。PingCAP 參賽組以超過原始基準測試近 30 倍的成績,獲得了商業組的冠軍,并作為優秀案例在大會進行了解題思路分享。

易觀 OLAP 大賽揭曉 PingCAP 斬獲商業組桂冠

PingCAP 作為本次算法大賽商業組參賽隊,借助 TiDB 的算法引擎,展現了強大的複雜 OLAP 處理能力。 作為 PingCAP 的核心産品 TiDB 受 Google/F1 啟發,具備強大的水準擴充,強一緻性的多副本資料安全,分布式事務,實時 OLAP 等特性。依托這些特性,TiDB 徹底改變以往資料庫彈性擴容與事務處理不可兼具的境況,将線上事務處理和線上分析處理融為一體,完美适配大資料背景下各行業的資料存儲、計算需求。

作為 TiDB 項目中針對解決使用者複雜 OLAP 需求的重要元件,TiSpark 将 Spark SQL 直接運作在 TiDB 存儲層上,同時融合 TiKV 分布式叢集的優勢,并融入大資料社群生态。至此,TiDB 可以通過一套系統,同時支援 OLTP 與 OLAP,免除使用者資料同步煩惱。

本次 2017 易觀 OLAP 算法大賽以攻堅“有序漏鬥”為考題,TiDB 的算法引擎在處理時将性能作為首要目标,運用多種存儲布局和索引手段,對資料進行快速掃描和有效過濾,大量使用 SIMD 技術的向量化計算,優化布局,極大減少編解碼開銷,并根據場景進行智能化存儲和 IO 政策。最終以超過原始基準測試近 30 倍的成績亮眼勝出,獲得了專家評審的一緻認可。

大資料環境給企業營運帶來了新的挑戰和機遇,精準捕捉和分析使用者行為,以進一步幫助企業的使用者增長及留存,成為網際網路時代企業産品營運的核心價值。漏鬥轉化是幫助企業更快、更好的了解在哪一環節提升營運,實作精細化營運的重要手段。行業内已将實作“漏鬥”更新作為目前資料應用領域的重要議題。其中,相較使用者路徑重合率極低的“無序漏鬥”,“有序漏鬥”的資料研究更有價值。

易觀 OLAP 大賽揭曉 PingCAP 斬獲商業組桂冠

此次 PingCAP 作為商業組冠軍送出的優異成績,為業内攻堅“有序漏鬥”計算效率的技術瓶頸提供了突破口。在會上,PingCAP 聯合創始人兼 CEO 劉奇還進行了解題思路詳解。他表示,在資料驅動的今天,通過對資料的分析,快速挖掘潛在的使用者需求與市場機遇,這其中,高效是關鍵。TiDB 融合了 OLTP 與 OLAP 能力,将資料價值最大化,通過技術創新研發,為市場提供更好的技術解決方案,希望能夠降低實時資料分析行業的門檻。

作為世界級分布式 HTAP 資料庫廠商,PingCAP 的代表作 TiDB 現已發版至 1.0 GA 版。準生産測試使用者 400 餘家,其中摩拜單車、同程旅遊、360 金融、遊族網絡,蓋娅互娛、猿輔導,去哪兒等數十家不同行業的領先企業已經應用在實際生産環境,涉及網際網路、遊戲、金融、政府、電信、制造業等多個領域,幫助企業解決了海量資料存儲、超大規模并發通路及交易問題。同時與騰訊雲、UCloud 等國内外多家主流的大型公有雲廠商深度內建,提供公有雲資料庫服務。