雲栖号案例庫： 【點選檢視更多上雲案例】 不知道怎麼上雲？看雲栖号案例庫，了解不同行業不同發展階段的上雲方案，助力你上雲決策！
概述
中郵智遞資料平台發展到現在經曆了四個階段:
(1) 直接在業務生産系統開發生成報表,提供業務部門查詢
(2) 采用kettle等工具抽取各業務系統資料并處理生成報表
(3) 使用hive建構離線資料倉庫,抽取業務資料統一處理并生成報表推送至報表系統
(4) canal+kafka+tidb建構實時數倉進行實時OLAP分析,spark streaming+kafka+redis建構實時資料展示
最近我們在嘗試把現在ECS主機上的系統和服務遷移到阿裡雲的大資料平台中,例如數加和datav。以及使用ADB實作實時OLAP達到低延遲,高并發。
數加使用執行個體
我們将資料倉庫一個非關鍵主題-基點模型的全部業務鍊路遷移到數加中,使用數加的資料內建可以進行資料加載和資料導出,資料開發可以進行資料倉庫模型開發。能夠進行排程依賴配置和血緣關系、生命周期管理，如圖1所示。
數加的運維中心能夠檢視任務的運作情況,與曆史運作情況的對比。以及檢視具體的任務運作日志、配置告警監控，能夠完美替換類似azkaban，airflow等工作流排程工具，如圖2，3所示：
圖1
圖2
圖3
數加資料內建子產品自帶各種資料源的接入,包括阿裡雲的各種元件以及一些常用的資料源。滿足從關系資料庫,現有大資料平台,nosql等資料源接入和導出資料。結構清楚，配置簡單，避免了以前接入異構資料需要開發多種接入程式的問題。如圖4所示。
圖4
數加資料開發子產品可以完成離線資料倉庫hive的模型開發功能，如圖5所示。資料管理子產品可以檢視資料開發概覽，中繼資料管理、權限管理、血緣關系管理、查找資料,如圖6所示。也可以通過用戶端操作odps的資料，如圖7所示。
圖5
圖6
圖7
datav使用執行個體
中郵智遞以前的實時資料大屏展示是由資料開發使用spark streaming+redis+前端開發的模式來完成的,優點是自定義程度比較高,前端同僚可以使用各種圖表架構進行資料實時展示，權限接入和業務系統接入也能完美相容我們現在的統一系統接入平台。缺點當然也很明顯，每次任務開發需要前端參與開發，需要占用前端開發資源，疊代的時效性也比較差。特别是一些非長期型的實時展示項目，需要快速疊代上線，一定時間周期之後會廢棄。例如短期活動開展,類似雙11營銷活動，以前的開發模式就不是很适用。Datav可以同步簡單配置使用各種圖表和特性,非前端開發人員通過配置就能使用地圖、散點圖、柱狀圖、飛線，并将生成的圖示釋出到現有的統一業務接入系統.如圖8所示。
圖8