作者：算法&健兮，阿裡巴巴資料技術及産品部技術專家
生意參謀介紹
生意參謀是阿裡官方打造的全管道、全鍊路、一站式資料平台，緻力于為使用者提供經營分析、市場洞察、客群洞察等多樣化資料服務，幫助使用者全面提升商業決策效率。自2011年誕生以來，生意參謀服務過的使用者已逾3000萬，覆寫了線上線下零售商（淘寶天貓）、品牌商（零售通）、智慧門店、内貿批發商（1688）、内容創作者（微淘等）、東南亞國際商家（LAZADA）等多個業态商業使用者。 目前，淘寶天貓商家中，月有交易的商家，99%以上都在使用生意參謀。
生意參謀經過将近十年的發展，已經支撐了99%淘寶天貓商家的決策營運，在如此龐大的商家群體下，每個商家對于資料的訴求都不一樣
• 對于中大型商家，有自己的資料分析師團隊，更希望自己對原始資料進行加工與展示，
• 對于中小型商家希望可以提供更加友善的一鍵式服務
• 對于一些品牌商，希望看到長達數年的曆史資料分析
多種多樣的分析需求對生意參謀的架構提出了巨大的挑戰，借助于雲原生資料倉庫AnalyticDB MySQL的強大能力，生意參謀與QuickBI團隊強強聯合，打造了“商家自助分析”産品，幫助商家定制自己的資料報表，滿足商家對自身各次元資料進行随心所欲的分析需求，幫助千萬商家實作“資料價值線上化”。
商家分析的業務挑戰
1）海量資料高并發複雜查詢
生意參謀服務幾百萬商家，資料量是非常龐大的，如果存儲3年資料，僅一個商品次元資料表，就能到千億條記錄。但是我們要滿足商家對這些資料表，進行任意次元的資料查詢、篩選、關聯、聚合、計算、排序等操作，并且要求毫秒級傳回。例雙十一期間我們的複雜查詢QPS超過300，在這種高并發低延時場景下對資料庫帶來巨大的挑戰。
2）線上查詢和批處理混合負載
為了降低成本，生意參謀“商家自助分析”産品不能将所有的商家資料全部寫入分析庫，需要對訂購的商家需要在商家當天回補所有的曆史資料，要求單商家6000W資料分鐘級完成商家曆史資料回補。在資料回補時，高并發查詢與寫入要求同時運作，互相不影響，對分析庫的混合負載要求很高。
3）任意次元的靈活報表能力
生意參謀“商家自助分析”産品的根本需求是滿足商家各式各樣的分析需求，需要為商家可以提供靈活配置報表的能力，這時候一個成熟的BI解決方案必不可少。
4）商家資料安全性要求高
商家對于自身的資料安全要求非常高，生意參謀“商家自助分析”産品既要讓商家能夠随心所欲的進行資料分析，又要避免資料的洩露，也要防止資料被爬取、防止水準越權洩露。
全套成熟BI方案 - AnalyticDB + QuickBI
生意參謀選擇了 AnalyticDB（以下簡稱ADB） + QuickBI 一整套成熟的BI解決方案。
QuickBI介紹
Quick BI是阿裡雲成熟的自助分析報表平台，是國内首個且唯一入選Gartner魔力象限的BI産品。産品經過幾年的沉澱已無縫對接各類雲上資料庫和自建資料庫，0代碼滑鼠拖拽式操作，讓業務使用者也能一鍵輕松實作海量資料可視化分析。并且QuickBI提供彈内部署能力，可以通過生意參謀為入口，對商家提供統一的服務。讓商家在産品心智上感受到，一個資料分析平台，沒有考慮系統間切換的問題。真正實作一個平台，滿足使用者資料分析需求。
AnalyticDB雲原生資料倉庫
AnalyticDB是阿裡雲自研的雲原生數倉庫，全面相容MySQL文法，為分析而生，擁有出色的分析性能。
1）MySQL相容，好用是資料庫價值真正的展現，AnalyticDB高度相容MySQL，基本無需修改代碼即可像使用MySQL一樣使用AnalyticDB，遷移使用成本極低。對于MySQL社群周邊工具也可以無縫接入，是以和QuickBI的配合就像使用MySQL一樣簡單。
2）高性能高并發，AnalyticDB為分析而生，擁有業界最快的查詢性能，通過行列混存、自适應索引，結合向量化的分布式執行引擎實作大部分查詢複雜可以在毫秒級完成；同時通過線上化的排程和雲原生的彈性擴充能力，可以支援大量商家的線上并發通路。
3）混合負載，在存儲計算分離的架構下，AnalyticDB可以混合計算負載能力，在經典的線上（online）/互動式（interactive）查詢執行模式之外，也支援了離線/批處理(batch)查詢執行模式。是以針對在大量商家高并發線上查詢的同時，同時可以進行并發的資料寫入、加載和回補，實作業務一套系統的混合負載處理。
4）安全可靠，AnalyticDB基于雲原生的VPC網絡建構，同時對資料有庫、表、列等多級權限保護，同時還支援通過内容資料的加解密，可以滿足商家資料的安全性要求。
總結下，AnalyticDB可以從任意次元進行查詢、篩選、聚合、計算、排序等操作，性能支援亞秒傳回，并且支援實時寫入，支援大型ETL與高并發查詢混合負載等特性非常契合商家自助分析業務。并且，QuickBI 完美支援AnalyticDB作為資料源頭，與商家自助分析業務完美契合。
生意參謀業務架構
生意參謀自助服務的本質是一套安全可靠，穩定靈活的BI方案。在底層，生意參謀将訂購商家資料存放在AnalyticDB中，依托于AnalyticDB + QuickBI的生态，建立商家項目空間，同時打通生意參謀與QuickBI權限體系，支撐起商家自助分析需求。
資料同步
生意參謀自助分析，借助AnalyticDB支援高吞吐實時寫入的特性，通過訂購當天回補曆史資料的方式， 解決了客戶對于長周期資料的分析訴求。對于新訂閱使用者，需要将曆史資料按天級别增量同步至AnalyticDB中，這個是系統設計的一個難點。借助AnalyticDB實時資料寫入的能力，我們設計了自助分析-資料增量同步方案，有效解決了曆史資料的增量同步。
業務價值
所有自助分析自定義配置的報表，都可以選擇配置到生意參謀首頁，這樣商家的所有子賬号，都能在生意參謀首頁看到，真正達到了使用者定制生意參謀頁面能力的效果。其中我們通過店鋪經營分析，店鋪流量分析，單品深度洞察報告等BI模闆，吸引了大量商家自助配置自己的BI報表。
未來展望
未來我們希望可以繼續在資料價值上的探索，希望持續與AnalyticDB + QuickBI保持共建，推動資料價值線上化，讓商家資料分析更加簡單高效。
業務資源隔離
在 AnalyticDB MySQL版新推出的彈性形态下實作了資源組功能，通過建立資源組可以從現有執行個體劃分出部分計算節點，這些計算節點資源隻歸屬該資源組。使用者可将資料庫賬号綁定到不同的資源組，SQL查詢時根據綁定關系自動路由至對應的資源組執行，滿足使用者實作内部多租戶隔離需求。我們對于不同的大商家，可以進行隔離，確定大商家業務的穩定性，提供更好的業務體驗。
查詢負載管理
在自助BI的系統中一直存在一個痛點，單個使用者配置了不合理的報表，讀取超大量的資料，進行超出預期的計算，影響其他商家的報表展示，為此我們在系統中需要做諸多限制，比如使用者報表隻能基于單表，不可以做多表聯合分析，這樣大大限制了商家報表的靈活性。為此我們期望AnalyticDB提負載管理的能力，通過我們指定查詢資源消耗，讀取資料消耗等次元限制，來對查詢進行 KILL，切換資源組等行為，保障資料庫穩定性。
智能化診斷
需要做好監控和邊界問題的發現機制，在出現問題時能夠快速定位。期望能夠充分利用AnalyticDB的監控能力，在出現問題前第一時間預警，規避問題的發生。為此，AnalyticDB将提供全方位、多元度以及準實時的執行個體運作狀況洞察能力，通過對執行個體内部的各類運作日志和時序名額進行算法模組化，提供出問題前準确預測、出問題時及時告警、處理問題時精準定位的能力，確定不影響使用者上層業務。
随時歡迎技術圈的小夥伴們過來交流^_^：
AnalyticDB詳情見：
産品詳情AnalyticDB知乎公衆号：
雲原生資料倉庫AnalyticDB開發者社群公衆号：
AnalyticDB開發者釘釘群：23128105