天天看點
傳回

案例詳解|大資料上雲助力新零售企業數智化轉型，挖掘資料的價值

傳統大賣場營收持續下滑，必須通過業務創新走出困境

　　曾經風光無限的零售大型超市業态--大賣場，當初代表先進零售模式進入中國市場，激起零售行業蓬勃發展的大浪潮，但是近年來，随着人們消費方式的巨大轉變以及來自電子商務的沖擊，傳統大賣場的發展發生逆轉。傳統的零售技術和模式已經無法滿足顧客的需求，同時傳統門店面臨租金高，成本高，人流量減少等困境，亟需尋求新的發展。

以數字化改造為手段，提升大賣場精細化營運能力成為行業共識。面對新消費時代，商家可以借助大資料和人工智能等技術手段，快速從業務資料中找到業務特點，同時具備千人千面精準營銷的能力，進而提升會購物體驗，增強複購和會員粘性。資料中台是大資料時代的概念，大量的業務行為資料集中到資料中台做大資料分析，企業可對各類業務行為進行分析，給企業在營收、庫存管理、商品管理等各個方面的決策提供資料依據。

　　D客戶是中國連鎖超市領軍企業，年銷售額過千億，全國覆寫華東、華南、華中、東北、華北等多個大區，全國門店數四百家左右，單店平均面積在2萬平米以上。近年來，在整個商超業績下行的趨勢下，D客戶年度淨利潤保持百分之十幾同比增長的同時，單店營收呈現負增長，是以幾年前就啟動了數字化改造，提升精細化營運能力，尋求新的發展。

為什麼上雲-資料分析效率低，影響業務分析與決策

　　D客戶基于商品、會員、倉儲、供應商、商戶等業務行為産生大量的資料，基于這些資料要做大量的資料分析完成營收分析（成本、損耗、收入、價格等），庫存管理（滞銷、臨保、缺貨、周轉率等），商品管理和商品競争（淘汰、品類覆寫、價格指數等）。而D客戶在IDC自建的大資料平台，資料吞吐量規模存在瓶頸，查詢性能也不夠理想，導緻資料分析能力弱，效率低，影響業務分析與決策，如全年商品汰換率目标無法達成。

　　阿裡雲為企業大資料實施提供了一套完整的一站式大資料解決方案，覆寫企業數倉、商業智能、機器學習、資料可視化等多個領域，助力企業在DT時代更靈活、更智能、更具洞察力。通過對客戶現狀的分析，推薦D客戶使用的大資料産品MaxCompute有如下好處：

  1. 資料産生價值周期更快： 阿裡雲MaxCompute比自建的Hive 2.0+Tez快90%，使得數倉離線計算的資料處理時間不到原來自建方式的1/3。
  2. 托管服務免運維，讓企業專注業務：最重要的是采用阿裡雲Maxcompute，客戶将所有精力都放在業務上，節省了自建機房在學習成本、開發成本、管理成本、投入機房資源和運維成本的總成本，相比自建Hadoop實體叢集，使用阿裡雲數加MaxCompute的總成本有較大降低，應用開發效率有很大提高。
  3. 開箱即用提升效率：基于阿裡雲數加MaxCompute提供的開放接口和各類工具，以及一站式的大資料開發套件，項目實施難度低，讓開發者将精力全部放在資料處理、分析和應用上，極大的降低大資料應用開發的技術難度。
  4. 專業服務保駕護航：阿裡雲平台所提供的7×24小時技術支援服務則可以讓客戶随時随地獲得專業的技術支援，讓IT不再成為業務發展的限制。 依托于阿裡雲在安全性方面有全面考慮的底層平台和衆多的安全監控工具，客戶的各類應用資料即使放在雲端也可以確定萬無一失。

為什麼上雲-雲下IDC資源使用率較低，部署備援，人力支出高，資源彈性和擴充性不足

　　D客戶通過在自建IDC伺服器資源建構大資料平台，資源使用率不高，部署較為備援，更新和維護困難，運維和基礎裝置開發人力支出成本比較高，而且随着自建IDC規模的擴大，企業成本大幅上升。

　　選擇阿裡雲，可以按需使用雲服務，無需人力維護實體裝置，相對成本線性，實際TCO更低。

為什麼上雲-享受技術紅利，提升效率

　　選擇阿裡雲，阿裡巴巴每年數百億的研發投入帶來的技術紅利，雲上即享。阿裡雲将達摩院機器智能技術實驗室所有的智能技術，如智能語音、NLP、知識圖譜、人臉識别、機器翻譯等技術通過阿裡雲官網開放給使用者，目前阿裡雲官網上大約有适用于300多個場景的130多個AI産品供使用者使用。D客戶上雲後就嘗試使用了阿裡雲智能推薦産品，阿裡雲智能推薦内置大量推薦算法以及模型訓練的樣本，訓練深度、效率和準确率相比D客戶原自建的推薦産品有很大的提升。

上雲步驟與方案-豐富的解決方案，搬站工具和最佳實踐使得企業上雲周期短、切換影響小

　　阿裡雲擁有豐富的遷雲工具和解決方案，截止2019年4月，阿裡雲官網已上線200+雲産品、200+解決方案，100+上雲最佳實踐，幫助企業客戶快速完成遷雲方案評估，遷雲實施和生産流量切換，全面提升企業業務的可靠性、安全性。

　　下面以D客戶大資料平台上雲切換為例介紹大資料上雲步驟。

案例詳解|大資料上雲助力新零售企業數智化轉型，挖掘資料的價值

圖１上雲前架構示意圖

　　圖１為D客戶在上雲之前的大資料平台整體架構，大資料平台為自建IDC叢集，規模在40+台，資料量近300TB（壓縮政策為1：3），整體以Hadoop+Spark生态為架構，另外采購列式存儲的MPP資料庫Vertica作為上層應用依賴的核心資料庫。

案例詳解|大資料上雲助力新零售企業數智化轉型，挖掘資料的價值

圖２雲上架構示意圖

　　經曆1月的POC測試後，D客戶項目管理層最終決定，D客戶資料中台基于阿裡DataWorks+MaxCompute為主要核心來建構，最終解決方案如上圖２所示。遷移方案具體說明如下：

  • Hive曆史資料（csv、txt、parquet、orc檔案）通過MMA進行遷移。
  • MySQL/Oracle業務資料通過DataWorks-資料內建/DataX進行增量方式拉入MaxCompute。
  • Kakfa資料為日志資料，通過DataWorks -DataX腳本模式增量寫入。

　　成熟的自動化遷移工具在本案例中起到至關重要的作用，大大縮短了遷移程序，并降低了遷移難度。以線下Hadoop的Hive資料遷移到雲上MaxCompute為例，通過遷移工具MaxCompute Migration Assist（MMA）來加速遷移工作，如圖３所示。

案例詳解|大資料上雲助力新零售企業數智化轉型，挖掘資料的價值

圖3 通過MMA遷移工具遷移Hive資料示意圖

　　MMA的工作流程主要分為四個步驟：

  1. Metadata抓取

    Meta carrier連接配接使用者的Hive Metastore服務，抓取使用者的Hive Metadata并在指定目錄下生成一個目錄，包含搬站所需的Metadata。使用者可自行修改該目錄下的檔案來自定義搬站工具的一些行為。

  2. MaxCompute DDL與Hive UDTF生成

    利用上述步驟抓取到的Metadata，生成另一個目錄，包含用于創MaxCompute表和分區的所有的DDL語句，還包含用于資料遷移的Hive UDTF SQL。

  3. MaxCompute 表建立

    運作上述批量生成的MaxCompute DDL，建立Hive遷移所需映射到MaxCompute的表與分區。

  4. Hive資料遷移

    在使用者Hadoop叢集上運作上述步驟中所生成的Hive UDTF SQL，進行傳輸資料。需要注意的是，該UDTF是執行在使用者Hadoop叢集上，故需要關注到資源占用情況以及Hadoop叢集到MaxCompute叢集的網絡連通性情況。

客戶收益

  • 通過大資料平台上雲并建立資料中台，整合線上業務和管道，線下門店和B2B管道的資料，D客戶形成9大資料主題域，建立戰略決策、管理決策、門店營運的資料營運體系，為業務提供及時的資料決策支援，效率提升的同時保證商品汰換的效率和頻度。
  • 阿裡雲提供了完善的雲上托管的資料處理方案、大規模計算儲存、細粒度節點依賴管理等功能，D客戶上雲後，節省了30%的服務及人力成本。托管服務，無需對複雜作業進行運維，使企業更加專注于業務。
  • 使用成本低，同時提供更高的資料吞吐量和查詢性能，可視化編輯界面，友善操作，且與阿裡雲大資料産品生态融為一體。
  • 電商平台相關單品推薦點選率提升70%到150%

附錄

本案例涉及到的最佳實踐清單：

sql 分布式計算 運維 供應鍊 大資料 hadoop 資料挖掘 資料處理 MaxCompute hive hadoop大資料處理系統 hadoop大資料處理系統安裝 MaxCompute大資料處理 MaxCompute通過大資料 MaxCompute新一代大資料
上一篇: centos 中文亂碼解決途徑
下一篇: 阿裡雲創新中心關聯數家創企，硬核黑科技抗“疫”

繼續閱讀