天天看點

大資料心法來了!一站式玩轉MaxCompute,還有開發者資源等你領!

阿裡雲大資料計算平台開發者版2019年3月推出,MaxCompute正在成為開發者的免費大資料平台。今天,MaxCompute在企業建構自己的資料處理平台實踐中起到了至關重要的作用,我們特别精選了企業的真實實踐案例:從最大的興趣社群平台小打卡;到90後、00後喜歡的克拉克拉;從網際網路金融的典型天弘基金;到耳熟能詳的二手車平台人人車……為你帶來了超多的MaxCompute玩法。

點選

阿裡雲大資料TOP案例集

,這裡有超級專家分享,更有免費開發者資源等你領!

小打卡案例

小打卡是國内最大的興趣社群平台,每天能夠産生上百萬條新的内容。在這樣超大的内容生産背景下,平台也面臨着千人千面、内容分發上的巨大挑戰。依托于阿裡雲MaxCompute,小打卡已經完成了TB級資料倉庫方案。在此基礎之上,結合機器學習PAI,實作了千人千面的推薦算法。相反,如果完全基于開源的Hadoop架構,從服務部署、可視化開發、代碼管理、任務排程、叢集運維等多方面,均需要大量的人力來開發與維護。基于阿裡雲MaxCompute,不論是人力成本,還是計算成本,還是運維成本,都降到了最低。

美柚案例

美柚2014年底遷移到阿裡雲大資料計算平台,開始使用資料倉庫MaxCompute,幾乎零運維,極大降低了大資料的使用門檻。MaxCompute的資料內建工具可以很友善的将不同資料源的資料進行導入導出,基本實作常用資料源的全覆寫,進而實作大資料的全鍊路打通。所有的代碼管理、排程、監控、報警阿裡雲MaxCompute都幫美柚做好,美柚隻需使用它,讓美柚更專注于資料開發。

千尋位置案例

千尋位置作為高精度定位服務公司,依托阿裡雲計算平台快速實作了傳統資料應用模式到統一大資料體系的轉型。基于阿裡雲 MaxCompute和DataWorks 建構了企業級資料倉庫體系,底層資料存儲友善、便宜、易拓展,計算效率高、反應快,并支援超大規模資料任務自動化管理。和阿裡雲的其他平台如 Quick BI良好的相容打通,很友善的實作了資料應用一體化,減少了大量額外的開發成本和人力成本。平台一直和使用者有良好溝通、回報,不斷優化改進,提供更好的使用者支援,讓我們也有信心更深入的依賴于阿裡雲平台發掘更多價值。

中郵智遞案例

中郵智遞資料平台發展到現在經曆了四個階段:(1) 直接在業務生産系統開發生成報表,提供業務部門查詢;(2) 采用kettle等工具抽取各業務系統資料并處理生成報表;(3) 使用hive建構離線資料倉庫,抽取業務資料統一處理并生成報表推送至報表系統;(4) canal+kafka+tidb建構實時數倉進行實時OLAP分析,spark streaming+kafka+redis建構實時資料展示。目前中郵智遞也在嘗試把現在ECS主機上的系統和服務遷移到阿裡雲的大資料平台中,例如數加和datav。以及使用ADB實作實時OLAP達到低延遲,高并發。

人人車案例

通過阿裡雲MaxCompute,人人車平台快速高效的完成數倉搭建,并且資料倉庫安全可靠,運作平穩,在每日資料峰值階段的表現優異。目前已開始為公司貢獻資料上的效益。 通過阿裡雲MaxCompute搭建資料倉庫為我們節省30%的服務成本及大量的人力成本,大大節省企業的研發時間,使企業研發團隊可以更加專注于業務本身的研發。MaxCompute為企業提供完善的資料處理方案、大規模的計算儲存、細粒度的節點依賴管理等功能,大大優化了企業資料平台的性能。服務安全可靠,每天穩定在8點前産出企業需要的資料。

高德地圖案例

高德對資料平台的要求不僅是資料內建、開發、運維中心、資料品質、資料地圖、資料安全以及資料服務等全鍊路All in One,還希望能以可視化的方式進行使用者互動,以提高開發效率。以運維中心為例,希望所使用的工具能夠将排程節點可視化,友善進行不同時間粒度的任務依賴。同時,還希望擁有可視化的資料地圖用于管理中繼資料資訊,友善上下遊即時檢視。MaxCompute正是符合高德資料業務訴求的給力産品。不僅具有零學習成本和完善的IDE等優勢,更具備超高彈性,讓高德得以輕松應對國慶假期的超高流量。同時,基于MaxCompute等阿裡雲産品,讓高德内部迄今為止最大的公共項目“魔方”得以實作,為使用者提供更優質的出行服務。

多點線上案例

MaxCompute是真正的按量付費,對自建Hadoop、使用EMR和使用MaxCompute的成本進行比較的話,差距非常大,整體成量級降低。日常開發 使用SQL,效率高,易調試,文檔清晰。MaxCompute不需要運維叢集,并提供支撐百萬級任務的排程系統,如果自己搭建這樣排程系統還是 比較困難的。

阿裡媽媽案例

阿裡媽媽作為集團内MaxCompute使用者,在搜尋廣告、定向廣告、達摩盤、報表和BI分析等場景下都有使用MaxCompute。對阿裡媽媽來講,MaxCompute的優勢在于資料友好、生态完善持續改進、性能強悍。在具體的場景中,MaxComput可以完成千億級樣本百億級特征的訓練實驗;跑一個MapReduce或SQL的Job,可以實作十萬級執行個體的并發排程。超強性能支撐了阿裡媽媽單日十萬級别的job和千億級别報表資料。

新華智雲案例

新華智雲運用大資料和人工智能技術,緻力于為媒體行業賦能。媒體大腦是新華智雲底層的産品品牌,數芯是媒體大腦基礎的資料平台。數芯定位為媒體大資料開放平台,平台中包含了媒體行業所依賴的各種各樣的資料。數芯基于MaxCompute進行資料處理和算法加工,将挖掘的有價值資料内容和能力開放給上層使用者。

墨迹天氣案例

墨迹天氣日志分析業務遷移到MaxCompute後,開發效率提升超過5倍,存儲和計算費用節省了70%,每天處理分析2TB的日志資料,更高效的賦能其個性化營運政策。MaxCompute可根據業務情況做到計算資源自動彈性伸縮,天然內建存儲功能。通過簡單的幾項配置操作後,即可完成資料上傳,同時實作了多種開源軟體的對接。

衆安保險案例

衆安保險作為國内首家網際網路保險公司,從創立之初計算平台就使用MaxCompute。MaxCompute不僅僅是一個計算平台,它還提供可用的IDE(DataWorks、Studio)開發工具進行資料分析和挖掘,進而降低了衆安最初的開發成本。MaxCompute不僅為衆安提供任務排程系統、中繼資料、資料品質監控、資料服務與安全,而且生态的豐富,資源與工具的共享,都能很好的滿足衆安的使用需求,讓衆安可以有更多時間去接觸使用者,為使用者創造更大價值。

華大基因案例

基因技術從實驗室逐漸進入生活場景,資料體量爆發式增長,遠超出傳統計算能力所能支援的範圍。基于這樣的背景,華大選擇了MaxCompute。在百萬人基因組項目中,對人群結構的分析,傳統計算方式需3-5天,MaxCompute可使整個分析在1小時内完成,極大加速了資料吞吐和傳遞速度。在對百萬人基因資料進行遺傳結構分析時,計算複雜度使得傳統計算無法支撐,利用MaxCompute,華大取得了技術突破,在幾小時内完成一個人與十萬人中所有遺傳距離計算,計算成本大幅降低至1千美金以内,這樣的例子華大基因還在不斷開發中。

小紅唇案例

小紅唇App擁抱大資料計算平台MaxCompute以來,體驗非常好,其感受主要是不需要像傳統大資料業務一樣建構非常複雜的Hadoop棧并對其進行運維,進而節省了資金和時間成本。目前,小紅唇的業務資料庫完全在MaxCompute平台,隻需在數加的IDE裡做一些簡單的配置即可将資料完整遷移。在MaxCompute上,可以用類SQL的語句編寫資料清洗和轉換的執行任務,平台同時提供管理器對任務進行排程和管理。MaxCompute整個生态系統設計的比較完善,無需專職資料團隊,降低人員成本,極大提升了效率。

優酷案例

優酷去做了從Hadoop到MaxCompute的這樣一個更新。這個是2016年5月到2019年現在的5月優酷的發展曆程,上面是計算資源,下面是儲存資源。大家可以看到整個使用者數,還有表的資料,實際上是在呈一個指數式增長的。但是在2017年5月,當優酷完成了整個Hadoop遷移MaxCompute後,優酷的計算消耗,還有儲存的消耗實際上是呈下降趨勢的,整個遷移得到了一個非常大的收益。

繼續閱讀