大資料究竟是什麼?大資料未來将走向何妨?美好的大資料理想與現實之間還有多少距離?目前實踐了些什麼?遇到哪些困難?這些問題值得我們去思考。為此,阿裡巴巴資料委員會聯合阿裡研究院《阿裡商業評論》舉辦了一場大資料思想沙龍。邀請多位在商業世界資料第一線的實戰領軍人物,就以上問題展開深入的探讨。
車品覺,《決戰大資料》作者、阿裡巴巴集團副總裁、資料委員會會長。
不同狀态的企業,對于資料的關注點不同
我們要非常注意企業所處的狀态,包括企業狀态和資料狀态。一個企業處在不同的狀态之下,對于資料的關注點是不同的。例如,目前的阿裡巴巴,業務量大,資料多而雜,是以我特别希望從資料裡産生出它的價值。而對于資料比較小一點的公司,由于還沒有這麼多資料,是以短期内不用擔心這個問題。
我過去兩個月不斷的面試了很多人,往往我第一個問題就問他們什麼是大資料?基本上,每個人的看法都不一樣,而且很多人都來自很大的公司,但是也沒有得出結論。目前,很多公司的bi好像還沒到大資料的階段,而隻是找到應用資料的一個方法而已。
是以,當已經有海量資料,在這個海量資料中心裡面尋找一些有價值的東西出來,這可能是大資料。記得馬總曾說過:凡是已知某種關系,運用這個關系資料計算一個東西出來,或者找出一個規律出來,這不是大資料;凡是不知道某種關系,但是剛剛找到這種關系,并且運用這種關系能産生出額外價值的時候,這就是大資料。而如果這種大資料已經找到了,它逐漸也就不是大資料了,你要再尋找跨界的其他的資料出來。當能讓這個資料産生新的價值的時候,就又找到了大資料。
當資料廣度足夠,問題更加簡單
過去,很多機構資料不夠廣度,是以要用很複雜的算法才能得出想要的結論。今天,如果資料廣度足夠,很多時候就根本沒有必要複雜計算了。例如,以前有人通過複雜的達人模型算法得出某使用者是牛仔褲達人,但如果能夠拿到他的微網誌資料,那麼其實很容易就可以得出該結論的。
是以,以前的資料挖掘跟今天的資料挖掘将有很大差别的。也就是說,當一家公司的使命是将來想做一個大資料公司的話,可能要準備一些一手資料。當然,公司的收購政策,或者資料戰略,不是一般的産品人能去影響的。但是,當資料的材料可以影響到沒有這麼複雜的算法還能實作業務,你就可以這樣去做。
未來,bi部門像無人看管的汽車
前一段,我們将阿裡巴巴的bi 部門改名為資料技術與産品部。整個部門不叫bi部門了,但仍有一個bi二級部門存在。未來,我想象中的bi部門可能會走向這個方向:它像一個無人看管的汽車,沒有具體的小二負責,但可以走出正确的道路。當然,這不是在所有場景都能夠實作,而是要先選擇一些好的場景來實作。在這個場景中,資料、模型能像汽車一樣自己走出來。
目前,淘寶bi資料已經嘗試走向這條路了,未來怎麼樣可以做到像沒有駕駛員的汽車一樣自己找到出路,仍需要不斷實踐。
大資料在很多方面仍面臨考驗
很多公司高管會問:你拿着大資料,你能不能從資料裡面進行拔高,把資料抽出來,真正找出問題?能不能從資料中直接告訴我今天到底發生了什麼問題?能不能比我具有豐富經驗的小二厲害?否則,老是講資料很厲害,我感受不到。這其實代表了業務方的期望。其實,現階段,很多事情大資料還是做不到,在很多地方還是不能經得起考驗,是以,在很多人心目中,大資料可能還沒到那回事。我們需要正視。
資料要“用”,還要“養”
從“用”和“養”的觀點來講,目前很多公司已經走在“養”的路上。例如,我們說高德是一家資料公司,因為它非常注重資料的“養”。
大資料轉型革新時期,bi分析師更容易适應轉型
凡是bi人員,肯定是很精通資料業務的。是以當做資料挖掘或很多其他資料工作的時候,他肯定會比其他人做的更好。當一個公司轉型做資料業務時,分析師是一個非常容易轉型成成功的business man的。例如,以往bi人員很怕臨時需求,但是我發現一線分析師經過了這些鍛煉,已經成為全能型人才:他能夠從底層資料提取,到中間層資料挖掘,一直到最終解決問題全部完成。目前有一些人覺得分析師是不是已經落後了?其實,分析師成為公司未來商業應用最好的補充。
僅僅懂得做分析師不夠,要做資料中間人
現在是轉型中一個非常重要的點,是以僅僅懂得做分析師是不夠的,我們業内最需要的是資料中間人。資料中間人就是可以“見人說人話,見鬼說鬼話”的人,可以在中間翻譯,兩邊都可以翻譯出來的人。
他要知道資料架構到底要解決什麼問題。他要告訴産品經理,我們需要什麼樣的自動化産品幫到我們業務方,我們需要什麼樣的模型。是以,他其實是一個很進階的商業架構師,并不是一個很進階的技術架構師。
所有資料産品都會遇到的問題:到底通用産品要多通用,具體産品要多具體?
當通用性的産品到一個具體場景的時候沒有辦法滿足那一個具體的場景,是以這個就不僅僅是資料産品會出現的問題,而是所有做産品的人都會面臨的一個問題。例如淘寶,到現在已經開始提供全方位的服務了,是以不管是資料産品還是資料服務,就要想想,哪一些東西要做成産品,哪一些要做半産品就可以了。這時候,問題是什麼樣的半産品能被大家所用?是以,今年我們的部門裡,也會有兩三個人專注于分享資料、方法、工具出去,有一點像布道師。
找到你的“白米飯”
我剛進支付寶的時候,當時分析師都走光了,那個時候發現所有東西要重新開始。第一想到是“白米飯”(注:不可或缺的工作)。“白米飯”不能解決,其他部門都會說你們在搞什麼?是以開始從“白米飯”開始一級一級的建立自己bi。我覺得bi團隊的建立有一條時間線,我們淘寶是先“用”,從“用”再開展到“更多的用”,幾個階段的作用是很不一樣的。是以,每家公司的資料部門都要思考:什麼是你的白米飯?
同時,不管哪一個資料公司,有一些是資料分析師必須要做的事。例如:bi的總監和上司人一定要在管理層一起開會。可以不說話,但是一定要進去了解公司管理的理念和思路。否則這個bi部門就廢掉了,這是我自己感受最深的一點。
做資料産品的原則
阿裡巴巴做資料産品有以下一些原則:
首先,這是一個單純的商業行為;第二,它不影響到使用者的隐私;第三,它不能影響到其他的使用者。(是以,如果該産品能夠幫到一家,但對另外商戶影響大了,就不能做。要保證在互惠互利的前提之下再看方案怎麼樣。)
此外,還有一個要求:當資料産生交叉的時候,資料必須要放在我們這裡。最近,阿裡與很多創新性公司展開了合作,例如一些保險公司很快将資料放進來進行實驗。它可以先不全量放進來,而是放一些資料進來,看資料交叉之後能不能産生效果,如果效果很好,再考慮下一步。采取小步快跑的商業思路。
原文釋出時間為:2014-06-26
本文來自雲栖社群合作夥伴“大資料文摘”,了解相關資訊可以關注“bigdatadigest”微信公衆号