零DBA、零運維，且看熊大及其小夥伴的“三十破百”架構

自1959年christopherstrachey發表虛拟化論文，到1984年sun聯合創始人johngage提出“網絡即計算機”，再到2000年左右的saas出現及興起，雲計算服務已經經曆了近20年的發展。着眼國内，從吸收概念及技術至今已近10年，然而，相信對于大部分人來說，雲還隻是臨淵羨魚，如何真正地利用雲給業務最大賦能仍然無從參考。為此，雲栖社群以大資料場景，通過一系列的客戶走訪帶大家探索網際網路賦能之路。本或許該有個開篇，但考慮再三，無非多一篇雞湯爾，遂決定直入主題，從第一個接觸的大資料實踐公司開始——上海雲貝，也就是網聚寶。

網聚寶定位于幫助品牌提供全域的大資料服務，時下幫助馬克華菲、杜蕾斯、奔馳等使用者，打通全管道的消費者資料資産，無論是淘寶天貓，還是線下門店，通過資料整合提供了資料可視化和洞察的能力，每天可以處理上億筆交易，做到不同次元的整合以及個性化地展現，實作資料背後的營運和挖掘，給品牌提供了資料最後一公裡的落地。

<b>挑戰 vs. 機遇，瞬息萬變演化的商機</b>

作為一個快速發展中的創業團隊，大部分精力必須集中在為使用者提供資料應用的能力，這對于網聚寶來說既是挑戰亦是機遇——熊大。

時至今日，對于品牌來講，随着移動支付，和整個電商的更大規模覆寫，品牌已經積累了足夠多（海量）的資料，網聚寶創始人兼ceo熊大（熊曉東）表示。在這之外，随着各行各業競争的加劇，品牌對實時性的需求也越來越大，在原銷售模式中，一個報表30天出來給到決策部門可能并沒問題，但是在市場瞬息萬變的當下，上一秒交易，這一秒可能就要出分析。同時，更大的挑戰在于未來對商業智能的應用場景，怎麼樣使用大資料幫助品牌洞察出更多“意料之外，情理之中”的商業價值，更加關鍵。舉個例子來說，有個洗車機的使用者，其本身定位是二三線的有車一族，但通過資料洞察發現，買洗車機的都是農民，他們更多是買回去洗蕃薯，這證明大資料可以幫助使用者分析出潛在的商機，這裡存在的挑戰就是幫助使用者發現資料背後的價值，為品牌賦能。是以，這裡需要一個非常專業的大資料平台，提供豐富的大資料處理能力，對于這個時代的人來說，這既是挑戰也是機遇。

<b>自建 vs. 上雲，創業路上的生死抉擇</b>

對于任何創業公司來說，人才是不得不面臨的問題，是以對于網聚寶來說，招業務還是技術上有深入鑽研的人并沒有什麼好糾結的。現在，網聚寶零dba、零運維，而公司需要更多懂大資料、懂業務的綜合人才——熊大。

2011年剛開始創業，最初托管幾台機器，老是斷網。而hadoop最早也有涉獵，但是創業公司人力資源有限，特别是那個時候的上海；同時，如果隻招一個兩個肯定不夠，搭建、運維、開發，至少也得五六個。限于這些原因，那個時候面對競争對手很被動，他們會說我們有十五六個在搞hadoop，資料隻需要放在自己的機房中，這些對客戶來說都有着很大的吸引力，在交流中熊大回憶道。

dt和it的差別就好比汽車與馬車的生産力差別，誰勝誰負取決于市場現狀，幾年前，雲還沒有那麼完善，跑在泥土路上的汽車日子顯然沒有馬車好過，然而随着阿裡等有能力的網際網路公司建立了足夠好的道路後，汽車服務提供商給使用者帶來的速度與體驗顯然超過了以往——熊大。

在阿裡雲的強力配合和支援下，我們還是堅持了下來，放棄了原有的hadoop。而随後，到雲變成像水電煤一樣的基礎設施後，對于創業公司來說，雲服務成熟度遠超hadoop這些開源軟體，這個時候就會發現，這些會應用阿裡雲的人，業務創造能力是那些玩hadoop同學的許多倍，直接産生業務價值，而使用者最需要的就是這些。這樣一來，我們就擁有了足夠競争優勢的成本，和業務拓展的速度，來給使用者提供大資料處理的能力。對于原來的那些對手，hadoop已成為技術負擔，積累全在上面，丢掉則放棄了原有的競争力，不丢掉是否還要上雲，這時候變成了我們乘勝追擊的時候。all in雲上，為使用者提供更多的資料能力。在網聚寶30個人的技術團隊，就可以pk基于hadoop的百人技術團隊。員工具備業務思維，看得懂背後的需求，和需求背後的價值。

<b>自建 vs. 上雲，技術選型優勢及網聚寶架構</b>

網聚寶擁有一支很萌的團隊，熊大是創始人，機器貓是首席架構師，尼莫是市場策劃總監。而對于上雲在技術選型上的優勢，機器貓表示：選擇雲服務架構，對創業團隊發展有非常大的優勢。

在使用雲服務做架構時，底層基礎能力對使用者來說相當于一個黑盒，這樣就可以把注意力放到業務的價值模型和技術的架構模型的統一上，進而對市場反應速度遠超他人。如果真的發展到某一天，雲服務滿足不了業務需求，但是鑒于雲服務已經劃厘清楚了明确的邊界，是以在此邊界内自主實作相應能力是一個收斂的問題，是以完全可以自己根據業務建設邊界内的基礎能力。如果創業公司一開始從零開始完全自主建設所有能力，很可能造成邊界的蔓延，比如一部分本來應該在資料層的能力放到應用層中，ap的資料放到了tp來實作等等。這些蔓延最終會表現為隐性的耦合，進而大大減少了技術架構的生命期。雲服務有一個非常明顯的特性，他會将底層能力與上層應用切割，同時将通用能力與具體業務邏輯分開，是以在未來開發中，很适合創業團隊根據業務需求去快速搭建自己的系統。基于這些，網聚寶現在的架構如下：

使用的阿裡雲數加産品主要有：大資料計算服務（maxcompute),大資料開發套件（dataide),分析型資料庫（analyticdb),阿裡雲流計算（streamcompute),公衆趨勢分析，推薦引擎(receng)，資料內建(data integration)。

<b>資料來源。</b>最下面是底層可以收到的資料來源，第三方自有的平台，給自己的系統做對接和同步；公共的電商平台；公開的資訊平台，百度貼吧、微網誌；三大種類資料源，通過十幾個，幾十個資料采集服務，采集到資料中心。

<b>資料中心。</b>采集到資料以後，強關系型資料會進入關系型資料庫；同時，使用了大量的高性能的非關系型存儲，使用了阿裡雲大緻4種産品，分别對應了快和慢，弱結構和強結構，規範和零散。

<b>資料處理層。</b>通過數加提供的ide來做資料加工的服務，主要目的是為了上層的資料分析。

<b>資料分析。</b>離線型報表，和實時分析。

通過機器貓了解到，網聚寶還使用了一些數加的特有服務，比如趨勢分析、推薦引擎。此外，還使用了一些特色生态服務，在不是特别大體量下做全鍊路的資料處理。當然，在此之下是一些基礎服務，比如雲伺服器、可配置部署、任務排程器、消息隊列等等，此外，同樣也使用了整體服務治理的微服務架構，以及運維套件、展現監控資訊、自動部署元件、對于開發有用持續化釋出的套件等等。上層是具體的應用服務，比如資料分析類服務，帶有很強的資料聚合和處理特性，比如效果分析、透視表、報告關聯、商品分析等等。

最上層則是網聚寶具體的應用，不同服務解決不同問題，最終解決問題有一定方向性，以此組成這個saas應用的産品鍊路。其實有很多産品，有很多小的服務組成。相對saas來說，還有一些paas，比如一些api，paas+daas，非常細粒度的服務，支撐特定次元下的特定資料的相關服務，可以給二次開發者，及其他資料內建夥伴使用。最後，還有一些營銷相關服務，與平台中其他的服務做關聯。為品牌在大資料的精準營銷和多端互動上，提供了真實的場景，給消費者提供基于大資料的完整展現。

<b>3000多家品牌客戶，大資料紅利已經到來</b>

作為數加使用者，該平台能夠提供的大資料能力是什麼，無論是海量資料處理，還是實時計算，首先考慮的就是平台的成熟度，當然背後還有能陪我們996戰鬥的數加兄弟，無論是技術能力的判斷，還是從商業合作的角度，這是選擇數加的原因，被問到為什麼會選擇阿裡雲和數加，熊大如是說。

同時，發展至今，網聚寶現在已有3000多家品牌客戶，國際上包括，哥倫比亞，狼爪，the north face®北面；國内，佐丹奴，意爾康，麗嬰房；純電商，順豐海淘，美美箱，新興的移動電商；零售、快消、線下服務業、金融方面，各個次元的消費者品牌使用者。

最後，熊大還表示，大資料對很多品牌已經不是概念，幫助提升業務銷售的資源，杜蕾斯，威露士通過大資料的深度營銷和應用，提升老客戶付購這一端帶來直接銷售提升。