本次分享客如雲如何利用阿裡雲大資料産品來建設資料中台。
作者：客如雲技術總監 李浩
客如雲是做什麼的？
客如雲是2012年成立的一家公司，覆寫餐飲、零售、美業，還有其他的業态以及服務的一家綜合性的SaaS公司。到2020年為止，客如雲已經服務了60萬商家，幫助60萬商家實作了數字化、智能化的改造，接下來我們會覆寫更多的商家。目前客如雲是四中心的架構，我們的研發中心在成都，硬體研發中心在深圳，總部在北京，銷售中心在武漢。接下來主要介紹我們的業務範圍：客如雲是以軟硬一體的SaaS收銀服務為核心的，是以SaaS收銀系統的硬體和軟體是我們第一層，是我們的效率工具。第二層，我們和餐飲、零售的友商企業一起打造的人、财、物、客的生态系統。第三層，我們利用增值服務，比如營銷、供應鍊、人效、商業智能、金融服務，還有大資料的應用，去滿足各層級的商家的需求。從S1到S5，所有的大獨幕喜劇牌我們是全覆寫的。我們的願景是幫助客戶，幫助商家實作店開天下，客如雲來，而我們從中能夠更好的服務于商家，幫助商家提效降本，去獲得更多的營收，降低更多的成本。
目前客如雲整體的系統全部建設在阿裡雲的服務之上，保證了在較少的資源的情況下，支撐我們現在成為平台級的公司。
阿裡雲大資料産品助力客如雲資料中台建設
接下來介紹一下，我們如何利用阿裡雲的産品來進行資料中台建設的。大家都知道阿裡巴巴的資料中台是3個One的核心，One ID，One Data，One Service。在基礎設施的完善之上，首先我們要做到資料內建，是以我們利用了阿裡雲的DataHub、DataWorks、DTS等産品，把我們的業務資料統一到我們的Hadoop叢集裡面，然後我們現在再遷移到我們的MaxCompute裡面，利用大資料的産品來進行整個資料倉庫的建設。MaxCompute幫助我們實作了整個離線資料的計算和存儲，包括數倉空間的建設，然後我們利用PAI建設了我們的算法中心和機器學習的樣闆，利用Flink的技術打造了實時計算的平台。我們在這些實時計算和離線計算的基礎之上，建立了統一的查詢服務。利用阿裡雲的Hologres産品，實作了我們的一體式查詢的One Service的理念。
在這個基礎上，我們保證了我們整個的資料應用，包含我們内部的資料應用，BI的産品，還有外部的資料應用，大屏，還有報表，還有整個的算法，智能推薦、精準營銷等這塊的整個的實作，建立了我們客如雲的資料中台，然後快速的滿足了我們的内部使用者和外部使用者的資料需求。
業務痛點及技術方案收益
接下來我們再講一下，在這個過程中，我們如何利用阿裡雲的産品來幫助解決我們的哪些痛點問題？
首先我們看到的是我們原先是自建的Hadoop叢集，難以維護，因為成本很高。我們經過了一年的努力，把整個Hadoop叢集換成了MaxCompute，這樣的效果很明顯，我們的運維成本降低了1倍，計算速度增加了8倍，保證了我們快速傳遞ETL等計算處理的能力，給到業務線來使用。第二個問題，我們遇到了很多資料安全的問題，自建的Hadoop叢集沒辦法做資料審計，是以我們用到了阿裡雲的敏感資料保護産品SDDP，來進行資料的分級分類，保護我們的産品，實作資料的零洩漏。同時我們自建的Presto叢集做互動式查詢時和我們的MaxCompute又不能互相融合，我們調研了以後發現Hologres的産品，相對來講比Presto性能更好一些，是以我們用Hologres的産品代替了Presto，保證了我們可以直接從MaxCompute裡查詢，使整個互動實作了無縫對接。接着我們遇到了一些資料模型，資料模組化的産品，目前還在調研Dataphin産品，實作整個的資料模型的建設。我們最大的痛點是實時大屏的性能問題，這個時候我們發現用Flink的技術，再加上QuickBI能解決我們的前端和後端的問題。接下來我們以實時大屏為核心，來介紹一下我們怎麼樣應用的，然後怎麼樣解決掉這個問題的。
實時大屏的難點
資料大屏我們遇到的難點第一個是我們的資料源太多了，我們用到了MySQL、 RDS、MongoDB、Redis、ES等多種資料來源，我們要把這些資料來源統一的彙聚，解決掉我們的資料源多的問題。第二個是我們的大屏性能方面，現在我們資料量特别大，然後樣式又特别多，需求特别複雜，這個時候怎麼樣去解決掉這個問題。接着是看到這些需求，生成這些資料後，如何快速的在前端展示，這也是一個很大的問題。是以我們在調研QuickBI産品的時候，發現确實是能夠解決我們這方面的問題。
實時大屏難點攻克
我們再來看一下我們是如何解決掉問題的。第一個問題，我們其實主要還是要做資料的治理，源資料的管理，血緣關系，甚至是一些多資料源的處理，減少我們的現有的叢集。第二個問題，因為資料量大，現在各類企業其實有着海量的資料，需要解決快速查詢的問題，方案就是我們利用阿裡雲的實時計算平台，基于Flink開源技術，解決了我們整個的查資料速度的問題。我認為整個的阿裡雲的Flink技術确實是能夠更快的查詢到想查詢的海量的資料，它的性能和高擴充性我們确實是得到了體驗，我覺得在這塊領域阿裡雲還是名列第一的。而在整個大資料前端這塊，我們發現的問題是渲染慢。但是我們用QuickBI自定義拖拽，快速地去定義資料源，導入到不同的框标裡面，可以快速的查詢出來。
客如雲實時計算平台架構
上面是解決了一些問題，接下來介紹客如雲的實時計算平台是怎麼樣的架構。我們通過4個層，基礎資料層，實時計算層、接口層和展示層來架設我們的實時計算平台。重點講一下我們的實時計算層，計算層這塊其實我們有一些需求，不單是當天的資料，比如說商家要看這個月現在為止我們的營業額是多少，他不但需要當天的資料，還需要從8月1号到現在為止，所有的資料。是以它會展現到我們不但要有流表的接入，還要有維表的接入，還要有聚合計算，進而形成了一個資料流。多流的彙聚，實作了我們在接口層的調用的情況下，展示層能夠展示到我們當天能滿足商家每個次元的需求的資料，就像我舉的那個例子一樣，能夠看到當月到現在為止它的營業額是多少，這樣的一個場景。是以說我們實時計算的平台主要是為了滿足業務各方面的需求。
實際應用場景
接下來分享一下實際應用的場景。我們已經幫着一些菜市場實作了資料大屏。這塊的展示主要是當天的銷量是什麼，哪個銷量最好，這樣能夠幫助商家了解第二天進什麼貨更合适。這個大屏的應用實際上已經是能夠幫助商家在實際的生活場景裡面得到很好的體驗。
餐飲實時大屏是基于我們現有的資料，展示了一下我們中國餐飲大資料的一些情況，但這是隻是代表一部分客人的資料。當然這裡面可以說客人的規模越來越大，我們做的也會越來越好，我們就可以展示出來到底中國人民喜歡點什麼菜，哪個菜是最好吃的，大家喜歡什麼樣的口味，我們都可以通過我們的實時資料計算，通過資料挖掘來發現出來。
BI應用主要是為内部客戶使用，我們的營運團隊、銷售團隊、研發團隊還有其他團隊，能夠保證我們整個的在資料的分析營運和輔助決策裡面起到很大的作用，節省很多的管理層的成本和時間。利用我們的BI産品，可以解決這樣的需求。
總結
總結一下主要介紹的三點，一個是客如雲是幹什麼的？客如雲是要幫助我們的餐飲、零售、美業的商家，實作店開天下、客如雲來的願景的SaaS公司。第二點是客如雲如何利用阿裡雲的大資料産品來建設客如雲的資料中台。第三點是客如雲如何利用實時大屏、我們的商家畫像産品以及其他大資料應用産品，來賦能商家。
資料下載下傳
點選下載下傳》》
資料。