【雲栖号案例 | 遊戲&娛樂】點觸科技上雲 建構實時計算和資料倉庫

雲栖号案例庫： 【點選檢視更多上雲案例】 不知道怎麼上雲？看雲栖号案例庫，了解不同行業不同發展階段的上雲方案，助力你上雲決策！

公司介紹

廈門點觸科技股份有限公司，新三闆挂牌企業（股票代碼：870702），成立于2013年，是一家以曆史養成類遊戲研發與發行為主，專業從事手機遊戲的策劃、研發制作、商業化營運的創新型發展公司。目前已經成功研發出《叫我萬歲爺》、《我在大清當皇帝》、《Game of Sultan》、《皇上吉祥》等多款曆史題材類遊戲并深受玩家喜愛。覆寫了全國及港台、東南亞等部分海外市場。

業務痛點

• 對資料庫的快速、實時查詢能力要求高：

某些惡意使用者利用信用卡或者别的漏洞刷單（代充），系統需要實時查詢多種日志（比如登入日志，充值日志等）進而識别并攔截遊戲代充訂單，才能避免損失代充訂單的錢。

• 對資料庫的性能要求高：

随着業務快速發展，使用者行為日志快速增長，需要從海量的點選流日志和激活日志中挖掘資料的價值，比如廣告轉化率、激活率，每安裝使用者成本等等。

• Greenplum架構遇到瓶頸：

原來使用Greenplum做實時計算和統計分析。但是Greenplum存在多種缺陷，難以應對業務的快速發展。

1.Greenplum架構難以應對日益複雜的計算任務。

2.Greenplum的單表分區數目有限制，同時多級分區支援不夠友好，不适用單表資料量比較大且需要永久儲存的日志，如果單個分區表資料量比較大的時候查詢性能無法滿足業務性能需求。

3.Greenplum擴容時由于資料要重分布會比較慢。

4.Greenplum不适合處理非結構化的資料。

解決方案

點觸科技經過多方權衡，最終選擇阿裡雲HBase SQL服務（Phoenix）+ Spark服務建構實時計算和資料倉庫解決方案。

• HBase SQL提供線上查詢能力、Spark提供流式處理、複雜分析等能力來滿足業務需求。
• 梳理業務資料，對資料進行分層存儲在HBase SQL（Phoenix）+Spark中：

1.操作資料層：手遊用戶端、使用者中心、廣告監測、遊戲伺服器等産生的原始日志。

2.資料明細層：操作資料層使用Spark Streaming等進行資料去噪、去重、字段規範後寫入HBase SQL服務，也可以直接使用JDBC寫入資料。

3.資料彙總層：資料明細層的資料可以定期（按天或者按小時）ETL（比如關聯維表、過濾、聚合）後寫入到資料彙總層。資料彙總層的資料供後續的複雜分析。

4.應用資料層：直接對外提供資料查詢服務（基于HBase SQL服務）支撐上層大資料風控、廣告推薦、海量資料精細化營運；資料彙總層的數6據經過處理後會把結果資料寫入到HBase SQL中對外提供查詢服務。

上雲價值

• 毫秒級識别攔截代充訂單。HBaseSQL（Phoenix） 高并發實時讀寫，TPS可達百萬量級，并發十萬量級，毫秒級簡單查詢。
• Spark優秀的計算能力。同樣作業Spark基于列式存儲Parquet的分析在資料量大的情況下比Greenplum叢集有10倍的性能提升。支撐了廣告轉化率、激活率，安裝使用者成本，資料驅動精細化營運等業務計算需求。
• 一站式解決方案。Spark服務原生支援通過SQL讀取HBaseSQL（Phoenix）資料能力，具備列裁剪、謂詞下推、分區裁剪等優化；高效地把HBase SQL線上庫的資料ETL後歸檔到Spark資料倉庫。
• 聚焦業務。全托管的Spark服務保證了作業運作的穩定性，釋放運維人力，同時資料工作台降低了Spark作業管理成本。

相關産品

• 雲資料庫 HBase 版

面向大資料領域的一站式NoSQL服務，100%相容開源HBase并深度擴充，支援海量資料下的實時存儲、高并發吞吐、輕SQL分析、全文檢索、時序時空查詢等能力，是風控、推薦、廣告、物聯網、車聯網、Feeds流、資料大屏等場景首選資料庫，是為淘寶、支付寶、菜鳥等衆多阿裡核心業務提供關鍵支撐的資料庫。

更多關于雲資料庫 HBase 版的介紹，參見

雲資料庫 HBase 版産品詳情頁

。

【雲栖号線上課堂】每天都有産品技術專家分享！

線上課堂位址：

https://yqh.aliyun.com/zhibo

立即加入社群，與專家面對面，及時了解課程最新動态！

【雲栖号線上課堂 社群】

https://c.tb.cn/F3.Z8gvnK