客戶簡介
廈門點觸科技股份有限公司，新三闆挂牌企業（股票代碼：870702），成立于2013年，是一家以曆史養成類遊戲研發與發行為主，專業從事手機遊戲的策劃、研發制作、商業化營運的創新型發展公司。目前已經成功研發出《叫我萬歲爺》、《我在大清當皇帝》、《Game of Sultan》、《皇上吉祥》等多款曆史題材類遊戲并深受玩家喜愛。覆寫了全國及港台、東南亞等部分海外市場。
業務挑戰
- 某些惡意使用者利用信用卡或者别的漏洞刷單（代充），系統需要實時查詢多種日志（比如登入日志，充值日志等）進而識别并攔截遊戲代充訂單，才能避免損失代充訂單的錢。
- 随着業務快速發展，使用者行為日志快速增長，需要從海量的點選流日志和激活日志中挖掘資料的價值，比如廣告轉化率、激活率，每安裝使用者成本等等。
- 原來使用Greenplum做實時計算和統計分析。但是Greenplum存在以下缺陷，難以應對業務的快速發展：
- Greenplum架構難以應對日益複雜的計算任務；
- Greenplum的單表分區數目有限制，同時多級分區支援不夠友好，不适用單表資料量比較大且需要永久儲存的日志，如果單個分區表資料量比較大的時候查詢性能無法滿足業務性能需求；
- Greenplum擴容時由于資料要重分布會比較慢；
- Greenplum不适合處理非結構化的資料。
解決方案
選擇阿裡雲HBase SQL服務(Phoenix)+ Spark服務建構實時計算和資料倉庫解決方案。
- HBase SQL提供線上查詢能力、Spark提供流式處理、複雜分析等能力來滿足業務需求；
- 梳理業務資料，對資料進行分層存儲在HBase SQL(Phoenix)+Spark中：
- 操作資料層：手遊用戶端、使用者中心、廣告監測、遊戲伺服器等産生的原始日志；
- 資料明細層：【操作資料層】使用Spark Streaming等進行資料去噪、去重、字段規範後寫入HBase SQL服務，也可以直接使用JDBC寫入資料；
- 資料彙總層：【資料明細層】的資料可以定期（按天或者按小時）ETL（比如關聯維表、過濾、聚合）後寫入到【資料彙總層】。資料彙總層的資料供後續的複雜分析；
- 應用資料層：直接對外提供資料查詢服務（基于HBase SQL服務）支撐上層大資料風控、廣告推薦、海量資料精細化營運；【資料彙總層】的資料經過處理後會把結果資料寫入到HBase SQL中對外提供查詢服務。
客戶價值
- 毫秒級識别攔截代充訂單。HBase SQL(Phoenix) 高并發實時讀寫，TPS可達百萬量級，并發十萬量級，毫秒級簡單查詢；
- Spark優秀的計算能力。同樣作業Spark基于列式存儲Parquet的分析在資料量大的情況下比Greenplum叢集有10倍的性能提升。支撐了廣告轉化率、激活率，安裝使用者成本，資料驅動精細化營運等業務計算需求；
- 一站式解決方案。Spark服務原生支援通過SQL讀取HBase SQL(Phoenix)資料能力，具備列裁剪、謂詞下推、分區裁剪等優化；高效地把HBase SQL線上庫的資料ETL後歸檔到Spark資料倉庫；
- 聚焦業務。全托管的Spark服務保證了作業運作的穩定性，釋放運維人力，同時資料工作台降低了Spark作業管理成本。