“如果讓你來評估這次活動，你會怎麼分析”無論是面試還是工作，做資料分寫的同學都經常遇到這個問題。今天我們系統講解一下。
場景還原：
某音樂類APP，對新使用者進行一個新注冊即送7天會員權益的活動，使用者注冊後，自主決定是否點選領取，為期1個月，問：如何評價該活動。
1
活動評估常見錯誤
首先牢記，所有以評估/評價/判斷作為動詞的問題，答案隻有一種：“好or壞”。
比如，如何評價該活動，可以回答：
1、這個活動很好，該繼續做；
2、這個活動不好，不能做
3、這個活動不好不壞，雞肋
4、這個活動沒有任何改變，做了也白做
這才是評估類分析的核心結論。離開這四句話，其他的都是廢話。比如：
- 活動期間有4萬新人注冊
- 活動期間注冊人數比活動前多1萬
- 活動期間新使用者點選率是80%
- 活動期間新使用者使用權益率30%
這些統統不是結論，隻是分析過程而已。如果沒有結論，直接甩這些過程名額，很容易遭遇業務方反問：“是以呢？是以呢？你分析了啥？結論呢！”最後被搞得灰頭土臉。
2
活動評估關鍵問題
活動評估，首先要得出好/壞評價。如果評價是好，再看能不能繼續做，還能做多少次；如果是評價是差，再看差在哪裡，是差得不可救藥，還是能拯救一下繼續用。
資料+标注=判斷。是以想得出好/壞判斷，需要有2樣東西：
- 明确的考核名額。
- 明确目标數值。
達标了，算好；不達标，不好。就這麼簡單（如下圖）。
看似簡單，實際上營運經常幹的是：
1、稀裡糊塗：老闆讓做我就做，至于為啥？咱也不知道，咱也不敢問。
2、呆頭呆腦：我就是要做拉新人，拉就完了奧力給！
3、投機取巧：反正以前幹過/别人也在幹，幹就完了。
4、渾水摸魚：這是改變使用者心智資源，資料豈能衡量！
總之，十個營運裡最多隻有倆，能準确說清楚現狀和目标。這時候就需要資料分析師自己有獨立判斷能力。能分析業務邏輯、梳理業務過程，才能得出客觀結論。這裡我們拿完全稀裡糊塗的場景舉例，看如何幫營運理清目的。
3
從0建立評估模型的做法
第一步
梳理活動流程
營運活動會改變使用者的行為，進而展現為資料名額的變化。從0開始建立評估模型，第一步就是了解活動具體流程，了解活動可能導緻的使用者行為變化。比如問題裡的新使用者送權益，可以按如下梳理（如下圖）：
了解到行為變化以後，可以進一步看這些行為能用什麼資料記錄，能反應為什麼名額的變化。經過梳理，我們就能看清楚：衡量活動結果的名額了。這些工作，應該是營運在策劃階段的幹的事，如果事前沒做好，事後就要補課。
第二步
篩選主名額。
一個活動可能影響方方面面，比如上邊的問題，有送東西，你說：
1、能增加新使用者注冊——沒毛病；
2、能增加會員購買機會——似乎有機會
3、能提升忠誠度減少流失——似乎也有道理
4、能增加DAU！——額，理論上新注冊多了，DAU也增加。
如果不看資料，光聽嘴巴講，以上當然都有道理。但真要一鍋炖，讓你計算沒有流失的使用者，送會員占比百分之幾，産品本身占比百分之幾，歌曲數量占比百分之幾，能算清楚就見鬼了。是以，評估名額要分主次，才容易說清楚問題。
如果是事前定目标，那麼活動的主名額應該與目标緊密結合，優選直接受影響的名額。比如活動是為了拉新，那主名額就是新注冊使用者數；如果活動是為了提高新使用者留存率，那主要考慮的就是1-7日内留存情況。
這裡看似簡單，實則很容易被營運渾水摸魚。營運經常喜歡扯一堆影響名額，甚至扯什麼“我的活動從深層次改變了使用者心智認知，進而達到了資料不可衡量的深遠影響”，總之搞一堆名額進來，哪個好看說哪個，不好看的不說。做資料評估，最忌諱搞幾百個名額然後做巨複雜的評估公式，混淆進來的的東西越多，就有越多搞文字遊戲的空間，就越容易粉飾太平。越簡單清晰的評估，才越容易看出問題。
第三步
設定判斷标準。
有了清晰的主名額，可以找判斷标準。找标準有四個基本思路：
1、從整體結果出發，看總量。比如本月需要10萬新使用者，是以必須做到10萬。
2、同無活動對比，看增量。比如無活動一個月5萬，活動必須5+5萬，多的5萬作為标準。
3、同過往活動對比，看效率。比如拉新活動一般100塊一個新人，是以這次不能超過。
4、同無參與的使用者對比，看差異。比如分無參與組/參與組，對比參與組新注冊數/留存率。
站在公司角度，肯定是第一種方法最實在。但站在組織活動的角度，都喜歡突出自己的貢獻，是以傾向于用2、3、4種方法。營運最喜歡談：自然增長率（沒有活動情況下，自然增長是多少）。并且總是傾向于把自然增長率算得低低的，或者幹脆弄成負數，這樣才顯得活動牛逼無比。
要注意的是：所謂自然增長率，隻在活動不頻繁的時候才能計算。很多業務（比如電商、O2O），根本就是活動不斷，大活動套小活動，根本區分不出來，這時候就不适用。同理，設參照組的前提，是參照組根本沒有活動提醒和活動參與功能，且參照組和活動組使用者品質差不多。如果不滿足這個限制條件就很難直接得出活動效益好的結論。這些方法都是看似科學，實則充滿玩存在某種問題或陰謀空間。想讨論清楚問題，就簡單直接立标準。
第四步
找影響結果的過程。
以上1、2、3步都是為了得出判斷做鋪墊。有了“好/壞”判斷。就能進一步分析為啥好，為啥壞。這時候就需要細化梳理業務流程，找到能影響結果的關鍵點。比如拉新活動，廣告投放管道、廣告文案、注冊流程、進去以後提示權益方式、領取會員權益流程，都會有影響（如下圖）。
在分析這些名額的時候，要注意先後順序。比如有關新使用者注冊問題。要先看各個使用者來源管道的投放力度，活動是否及時上架，何時與投放結合。之後才是深入分析文案、活動禮品、領取後行為等等。
4
小結
這個題目如果拿來面試，你能一眼看出來菜鳥、新手、老手的差別：
菜鳥：我認為應該從使用者增長、産品體驗、品牌影響、商業收入、四大方面考慮，blablabla。然後你就抓住品牌影響問他，到底怎麼衡量，基本就能把他問死。沒入門的菜鳥與新手之間最大差距，是他們根本不知道資料還需要做采集。菜鳥們最喜歡憑空講一些很難收集，但聽起來牛逼的名額。
新手：我認為應該考慮新人注冊數、新人次日、3日、7日留存、新人會員領取率、新人留存市場、新人點選次數、新人購買會員數、新人使用權益頻次……（此處省略100多個各色名額）。建立神經網絡模型，綜合評估。