天天看點

【雲栖号案例 | 網際網路 】美柚上雲 緻力成為最懂女人的網際網路企業

雲栖号案例庫: 【點選檢視更多上雲案例】 不知道怎麼上雲?看雲栖号案例庫,了解不同行業不同發展階段的上雲方案,助力你上雲決策!

案例背景

美柚以讓女人更美更健康為己任,緻力成為最懂女人的網際網路企業;美柚很早就将大資料作為了解女人、讀懂女人、服務女人的最重要利器。大資料在美柚的應用非常廣泛,然而在美柚大資料之路的初期,遇到了不少的困難和挑戰:

  • 平台成本高:我們粗略的算過這筆賬,數加比我們自建的成本要節省30%左右。
  • 擴充性不好:不僅需求提前預見新業務也需要預估資源的消耗量,進而提前申請足夠的資源,而數加則可以随時購買所需的資源,甚至可以按量付費,完全不需要擔心資源不足的問題。
  • 運維成本高:自建平台需要自己去做很多的配套,例如權限控制、排程、監控、報警,當任務量和資料量到達一定程度時,複雜度成倍增加,不能很好的集中精力解決業務需求。
  • 易用性:數加提供了資料血緣、任務依賴等實用功能,可以讓非資料開發人員(例如資料分析師)快速的找到自己想要的資料。
  • 資料應用:提供機器學習算法平台和推薦引擎大大降低了機器學習的門檻,不必關心代碼實作,隻需要配置相關的參數即可。

關于美柚

廈門美柚資訊科技有限公司,創始于2013年4月,是一家專注為女性服務的網際網路公司。秉承“讓女人更美更健康”的理念,美柚以經期管理為切入點,為女性提供備孕、懷孕、育兒、社群交流等功能服務。目前,美柚使用者超過1.5億,日活躍使用者近千萬,擁有約160個高活躍的女性話題圈,社群内使用者日均互動量超500萬帖,日均浏覽量超過1.8億次。

在艾瑞、易觀、TalkingData、QuestMobile等第三方機構釋出的研究報告均顯示,美柚在總使用者數、活躍使用者數、日均使用時間等關鍵名額方面遠遠領先于同類産品,是國内最大的女性健康管理應用,也是移動端最大的女性社群。

美柚大資料團隊在對内服務好美柚女性使用者的同時,積極舉辦和參與大資料技術沙龍, 同時參加各種國内重量級大資料峰會例如在阿裡雲栖大會上分享美柚的大資料架構和應用,影響和帶動廈門大資料圈。

挑戰

美柚以讓女人更美更健康為己任,緻力成為最懂女人的網際網路企業;美柚很早就将大資料作為了解女人,讀懂女人,服務女人的最重要利器。這就要求我們大資料團隊需要做好資料治理這塊,将零散的日志和業務資料通過科學的方法,将其規整起來,形成合理易用的資料倉庫;隻有做好資料倉庫,才能友善的提供各種資料服務。

為什麼使用數加

美柚創始于2013年4月,而在2014年初就組建了大資料團隊。當時也是自建了一套大資料平台,當時面臨最大的幾個問題:

  • 人手不足,經驗不足:當時大資料開發團隊就3個人,而且還沒什麼大資料開發經驗,對于hadoop及大資料生态等隻是停留在理論階段,并沒有什麼實操的經驗;
  • 時間緊任務重:由于當時美柚處在高速發展的階段,對大資料的渴望異常強烈,然而大資料平台處在建設的初期,各方面還不太完善,需要同時應付:資料平台的建設,資料倉庫的建設,業務資料需求;
  • 平台不穩定:開源的hadoop系統并沒有完善的周邊配套,例如代碼版本控制,資源權限,任務排程,任務監控,失敗報警等功能,往往需要等早上發現資料沒出來,或資料有問題的時候再一步一步的排查問題,使用者體驗非常不好,經常遭到業務部門的投訴。

2014年底,美柚從阿裡那邊請來了一個産品總監,了解到我們的大資料團隊的痛點之後,給我們推薦了數加。經過我們調研試用後感覺能夠解決我們的痛點,是以決定轉向數加平台。

解決方案及架構

【雲栖号案例 | 網際網路 】美柚上雲 緻力成為最懂女人的網際網路企業

這是我們DMP的架構,目前數加主要是資料ETL以及資料的導入導出這塊。具體ETL的架構如下:

【雲栖号案例 | 網際網路 】美柚上雲 緻力成為最懂女人的網際網路企業

上圖的datax就是數加的資料內建部分

資料倉庫MaxCompute内部分層如下:

【雲栖号案例 | 網際網路 】美柚上雲 緻力成為最懂女人的網際網路企業

收益

  • 幾乎零運維,極大的降低大資料的使用門檻。所有的代碼管理,排程,監控,報警數加都已經幫我們做好了,我們要做的就是使用它。這樣我們可以更專注于資料開發,專業的事要交給專業的人做。
  • 數加的資料內建工具能夠很友善将不同的資料源的資料,進行導入導出,基本實作常用資料源的全覆寫,進而實作大資料的全鍊路打通。
  • 方法論的支援。我們遇到的一些問題,其實阿裡雲之前也遇到過,他們沉澱了一些解決問題的方法能夠讓我們有效快速的解決遇到的問題。
  • 雲栖大會和雲栖社群上有不少解決實際問題的案例,也有不少新技術,新理念的介紹,能夠拓寬我們的視野。