雲栖techday活動第二十二期中，趙強帶來了題為《預測技術的行業應用與挑戰》的分享，他主要與大家分享了資料挖掘與預測技術的分析，并結合具體案例來講述市場營銷領域中預測技術的具體應用和使用經驗。
以下内容是根據ppt和現場分享整理而成。
大資料領域特别之處在于：它的行業發展用在走在教育之前，應用是學不到的。我經常問我的mba學生，營銷是一場戰争還是一場遊戲？這是兩個截然不同的觀念，戰争意味着你死我活；而遊戲僅僅是為了娛樂，通常的答案是兩派都有。對于我而言，營銷是戰争，或者說資料挖掘或者模型在營銷領域運用時，其實相當于幫助企業作戰，是以這裡存在一個紙上談兵的問題，你可以吧排兵布陣講的頭頭是道，但是一旦進入實戰領域，完全行不通。這是因為你的業務目标與模型不比對，因為你缺乏對行業的足夠了解。
首先需要解決3w問題：第一是what，也就是發生了什麼。報表類是用來分析、解決what問題的，清楚發生了什麼；接下來是戰略分析的洞察分析，洞察分析是通過資料發現人工不能告訴我的事情，通過資料猜測使用者将會做什麼，進而解決了what will happen問題。它的原因是why，再上面是so what，通過模型預測會發生什麼，會改變什麼。如同戰争一樣，預測到敵軍的行為，立即做出相應的調整，進而控制戰場。
資料挖掘預測技術或大資料技術可以應用于很多場景中國，如營銷組合，在營銷組合中産品/服務開發、價格彈性與需求預測、管道（如存儲位置與媒體有效優化）以及促銷優化都涉及到了資料挖掘。在客戶關系管理中，可以利用資料挖掘發現潛在新客戶的轉化、避免高風險客戶、保留有利可圖的客戶、進行交叉銷售、向上銷售。
在營銷優化的分析中，我們會對某一件事情做分析，但不可能同時分析整個系統，這是不可能完成的任務。在整個營銷領域的鍊條中，不同領域的客戶是不同的，例如app端客戶、web端客戶和實體端客戶，對不同的商品和服務，包括促銷的态度也是不同的，是以整個系統之間是互動的，是以我們常做的分析是針對單個項目roi進行分析，并不是分析整個互相之間的影響。
roi戰略<b></b>
但是在多管道的營銷場景下，某一個行為最終産生的roi我們其實是不清楚的，這是因為我們把錢投進去之後，并不知道中間産生什麼樣的關聯關系，進而無法知道投資是否正确，這是目前營銷中碰到的一個巨大問題。為了解決該問題，通常在營銷領域通過投資回報率來控制投資總額，比如我不清楚投資在哪個方向是比較優化，但至少清楚了投出去一塊錢帶來的最終回報是多少，這個是可以計算的。
目前，北美的國際性企業包括世界500強企業，在營銷領域對投資回報率的關注在逐漸增長。調查顯示：62%的營銷管表示企業對roi有硬性要求；65%的cmo表示每年都能感受到ceo對roi的名額要求。這是應為營銷通常在一個企業内是一個成本很高的部分，是以它必須知道資金投資出去會産生多少回報。
這裡之是以多次提到roi，是因為它是營銷領域進行分析的最終名額之一。roi 回答了投資在某營銷組合上的平均回報是多少；而romi回答增量投資的邊際投資回報率。平均回報率高還是邊際回報率高是根據不同情況來決定的，例如對一個股票已有投資的情況下，就存在邊際效應，從100萬、500萬、1000萬再繼續增加，多增加的100萬産生的投資回報率跟這100萬放在其他地方是完全不同的，你可能更遠将100萬投在低的roi，但是它的邊際效應比較高。
是以我們在營銷的時候，為什麼要計算roi和邊際效應呢？因為營銷有很多對象，錢可以投在廣告、app、web上，要知道在每個管道、每個項目上投多少錢，就要知道roi和邊際效應。用這個模型來計算如何将錢投資在營銷的各個方面，才能夠産生最大的回報，這個是cmo關心的。多元線性方程，是營銷組合模型裡面最早期的模型，在統計裡面叫做線性回歸。模型的資料來源于媒體資料，移動社交網絡裡一些競争對手的資料，季節資料，宏觀經濟、人口、市場，也就是特征變量。通過這個模型，可以得知β，就是對整體銷售産生的貢獻度。是以一旦模型建立以後，可以預測若原先廣告投入是500萬，現在增加100萬，看看銷售能力能加多少。營銷組合模型本身已經發展了很多年，有很多形态，不光是最簡單的線性回歸。還有如何用一個預測分析找到最佳的目标客戶，或建立一個預測模型來預測誰最有可能第一個來上我的課，如何采樣等，這都是在營銷界裡面經常要做的事。
使用預測分析，找到最佳的目标客戶<b></b>
常見的預測模型有有監督和無監督模式。無監督裡經常會用到決策樹，有監督模型用的比較多，有線性回歸，邏輯回歸，這二者主要是有線性假設；也有生存模型，神經網絡等。這裡需要說明，資料挖掘模型包括統計其實是兩種不同的學科。你可以學習很多模型，但是要掌握它很難，這是行業領域的一個問題。
預測一個人的一種傾向性，可能是一種轉化率，這是營銷經常做的一個預測，叫通用線性回歸，變量可以是二進制，可以是連續變量，那麼g就是廣義線性模型的link function，即不同的function。
舉個例子，上圖用sas寫的程式就3行，最後再加一個run指令。很多學生就覺得簡單。模組化很容易，因為是線性回歸；假設是二進制，在統計裡面可以用機率解釋，學生可不可能來聽課，這是一個傾向性。傾向性從0到1估值， 0就是完全不可能，1是完全可能。
根據這個可能性把所有的顧客等分成10組，可能性越大，組合号碼越小。如果通過一個預測模型，知道客戶有98%的可能性來買東西，阿裡的網上推薦系統就會推薦給其最可能買的商品。這又回到了roi的問題，營銷就是通過這種方式來提高roi，即投資回報，這也是最早期的使用方式。
将這個已有的模型應用到加拿大的一家企業，該企業的目的很簡單，即找到一幫客戶，預測誰最有可能因為消費100元返20元的促銷，進店買東西。于是按照這個方式模組化，這是業務需求。沒發促銷的是控制組，發了的是對照組。有一些客戶，不因為促銷自然就會消費，如果發了促銷，他進店的比例可能增加，那麼增加的部分就是促銷的效果。
是以可以看到這兩組，收到促銷的整體銷售是118塊錢，沒有收到促銷的是107，內插補點有10塊錢。為什麼講是平均5塊錢的增長消費呢？因為另外5.74美元是促銷本身帶來的增量，它要計算roi。
再比如，現在有兩種産品做促銷。a産品的10等分的傾向性從高到低，最可能購買産品的顧客是将近20%，産品b最高的可能性隻有1.4%。站在管理者的角度，考慮一下業務需求，那麼應該選擇哪個産品做促銷？這兩者對模組化的挑戰不一樣，如果說一個産品非常好賣，模組化之後，能100%準确判斷出誰肯定會買，誰肯定不會買，但這個資訊對于營銷部門毫無意義。但是另一個産品就不一樣了，因為它離你100%預測會買還很遠，那麼主要挑戰是增加其銷售。是以盡管看起來都是預測模型，産品的特性不同，業務不同，對模組化的要求也不同。
進階預測分析技術以提高促銷的投資回報率<b></b>
上面已經描述了投資回報率的計算方法，影響因素。營銷裡面增加的銷售來源于促銷和非促銷兩組的差別，也就是說，當你發了一個促銷之後，來的人非常多，不發的時候沒有人，這個時候的投資回報率最高，增加的部分就是roi的驅動。是以最開始隻是去猜測r值，當把控制組做到100%，也就是增加部分是0的時候，roi也是0，沒有任何回報。如果要增加roi，就得增加這個內插補點，那模組化時就要把r壓下去，等內插補點到了最大，投資回報率就最高。這個模型跟普通的統計回歸模型有所不同。
那麼為什麼會産生這種不同呢？如果用原來的傾向性模型來做，把它分成從2.3% 到18%的10組，這時候肯定找最可能的人。找到這個人并給他促銷，結果增加了1.4，由于投的錢很多，投資回報率是-0.71；當投到第5組和第6組的時候，總體回報率并不高，但是它增加的回報率有5.3%，4.2%。投資回報率為正。如果光去猜買不買，就不知道投了廣告或促銷之後，真正增加的銷售是多少。
模組化最重要的幾個目的是：轉換率的增量、roi和總體營銷轉化率。很多時候，在營銷界，模組化并不能改變人的行為。比如若不模組化，大概全中國會有1%的人會買iphone，模組化之後還是1%。而現在一定要建出一個模，雖然隻是在杭州市或者是上海市做營銷，但是可以把全國買iphone的比例從1%增加到1.01%，這就是我模組化提高roi很重要的一個要求。
幾次疊代之後，現在已經找到了通用性的樸素貝葉斯模型。因為它能最好地解決非線性問題。現在用樸素貝葉斯來做模型，效果非常好，也非常穩定。
我一直在推廣這個模型，它的投資回報率相當高。但是用時間長之後，就會發現顧客的行為開始改變，這個企業的總體顧客行為變了。因為長期使用的話，顧客就會養成習慣，沒有好處就不會來。這就造成企業長期roi的下降。不過短期之内還是有效果的。
進階預測分析技術服務于 crm & loyalty marketing<b></b>
另外一個領域就是顧客管理和忠誠度，也需要使用預測技術。在這裡把顧客的“生命”畫成四個階段。首先，顧客進來以後，你的主要工作就是要擷取顧客。其次，因為他的關系跟你慢慢建立起來，在其成長過程主要進行交叉銷售和向上銷售。比如說一個顧客買了水，交叉銷售就是希望再賣給他一塊蛋糕，交叉銷售有助于顧客增加産品線，進而跟你産生更強的關系。向上銷售是指，顧客進來買水，嫌水便宜，要買高檔的水，也就是消費更新。這種方式使這種關系獲得成長，進而達到第三個階段，成熟期；把廣告和促銷都投到成熟的顧客身上是不恰當的。最後，過了成熟期，顧客很自然地就要離開，這就要進行挽留。是以不同階段做不同的事。
上面所講的生存模型用于什麼時候死亡，同樣可以預測顧客什麼時候離開，這個模型最常被用于預測顧客會不會離開企業。可以根據顧客不同特征的變量做一個預測，同樣将他的離開傾向性從高到低10等分，發現上面幾組更有可能會離開，最後這一組幾乎不可能會離開。營銷部門拿到建好的模型，為了挽留，會給哪一組進行促銷？第10組是最不可能離開的，但是如果模組化之後，發現100%都會離開，這個模型就沒有意義，沒有投資回報率；如果100%确定不離開，也沒有投資回報率。在這個情況下，你做的預測模型很有可能跟實際業務需求發生錯亂。
以一個故事為例，銀行有一種促銷是客戶關系管理，即銀行免費的賬戶有限制，超過多少交易就要多收費，高端賬戶本來就需要花錢。那麼銀行就發現有很多顧客的免費賬戶超過了允許的範圍，就會扣錢；然後銀行就想做一個促銷，給這類客戶發了資訊，讓其消費更新到高端一點的賬戶，相比之下還便宜，這樣顧客覺得很關心自己，離開的可能性就下降。然而做了這個促銷之後發現，離開率比不做促銷還高，也就是說這個模型起了反作用。
這又是什麼原因呢？其實可以把人簡單地分成四種：第一種叫做sleeper，他們根本不清楚自己現在的狀況，也沒考慮是不是要離開，然後你發了一封信告訴他應該考慮留下，結果他被喚醒，就會去考慮。是以最後流失的，很多就是這一部分。第二種是loyalist，就是特别忠誠的顧客，有沒有促銷都不會離開。第三種hater是100%會離開的，發了促銷也沒用。最後一種搖擺者，發與不發促銷差別很大，可能他這個時候已經在猶豫，但沒有決定，這時候挽留一下他就會留下了。是以要在這個基礎上模組化，抓住這部分人，而不是去算總體流失率。這個概念有點像投資的邊際效應，營銷的很多模型裡都要用到。
進階預測分析技術服務于定價優化<b></b>
定價是營銷的一種，在營銷裡面用途非常廣泛，基本分成三種不同的用途：第一種主要是戰略上，如何去定價；價格跟品牌形象有關系，是以定價有一定的政策戰略。第二種是價格彈性，就是某些産品的價格不影響銷售；産品不是彈性的，那價格定高點低點就無所謂，如果知道價格非常彈性，就說明其銷售跟價格有很大關系，那定價就要小心一點。最終企業會想知道，有一些預測模型之後，如何定價才能夠産生最大的總體企業回報，那麼要有第三種，沙盤推演。它在營銷界裡面用的比較多。
接下來看一下做定價分析的時候通常用的模型，時間序列主要針對未來發生的事，根據以前變化的形态來做出預測。那跟我們早期講的回歸預測不是一個概念，當然最早出來的時間序列沒有特征變量，現在的模型裡面增加了。我有一個同學是教統計的教授，他說能夠用特征變量做預測，就不要用時間序列。但是我們主要根據時間序列來分析未來的銷售額、銷售量有多大，可以根據上周的銷售量來預測下周的銷售量。
預測的過程當中，主要分成四種：第一個是産品的銷售趨勢。如果這個産品的趨勢是下降的，且量還不大，就要考慮換一個産品。二是季節性，不同的季節性，營銷的措施是不一樣的。三是異動，就是當打折的時候會發生什麼，當天氣出現什麼問題的時候會發生什麼，當阿裡的機器down掉一個小時會發生什麼，就是外在的因素幹擾銷售的變化。第四就是循環，産品經常會發生循環，當你高的時候它會慢慢下降，然後升高，又下降，這是時間序列裡面常見的一個因素。如果是短期的循環，那在促銷定價某産品的時候要小心一點，不要太狠；如果今天太狠，價格彈性還比較好，顧客一下會買很多，然後一兩個星期就不來了。如果一年循環一次，那又是另外一個說法。
但是在時間序列的模型應用裡面又出現了預測的一個挑戰，通常你做一個産品的銷售與價格，可以一個一個模型、一個一個産品做，但是面對很多産品你不可能一起做。第一很花時間；第二會造成營銷部門隻盯着一兩個産品看，因為人類的認知是有局限的，幾乎不可能同時去觀察很多東西。不過産品與産品之間是有一定關系的，這個關系有的時候還非常強烈，我們叫做交叉彈性關系。它有一個定義，當産品的價格下降的時候，打折之後會造成另外一種産品的銷售變化。當你打折了a産品，b産品的銷售上去的時候，我們通常說這兩種商品有互補性。但是如果a産品打折，a産品的銷量上去了之後，b産品下降了，這種交叉彈性叫做替補性。就是我同時不需要兩樣東西。是以，這就出現了問題，預測a産品的時候，很準确的出現a産品打多少折的時候會增加多少銷售，但是沒有看到b；結果下個禮拜再預測a的時候，也有可能c産品打折，c對a有影響，然後a的銷售量就不符合之前的預測了。實際上a産品被其他的産品影響了，因為a産品跟其他産品都有關聯。
那麼這樣的關聯對一個營銷部門，定價部門來講有什麼意義呢？這說明打折的時候有優化空間，不一定要盯着某一個産品，或許不同的産品組合打折比較好。當有這個需求的時候，就對模組化師提出了要求，你能不能同時給我算，當我對a産品打折的時候，同時有哪些産品會受到影響，建這樣的模型真的很難，我到現在為止還在做那個研究。但是在統計的概念裡面，它是一種機率的統計模型，叫合性，其主要做法是把所有時間序列的模型放在一起，每一個模型跟别的産品之間是有關聯的，同時來估算這個模型，而不是一次做一個。這個對機器的運作性能要求相當高，包括cpu，gpu。但是當模型出來時，就會告訴你，對a産品打折之後，b産品會發生什麼，a産品又發生什麼。當我把所有的産品加起來，它的銷售情況加起來，總銷售是多少。是以，在這之前無法通過單個模型進行計算，需要一個總體的模型。
來看一下案例，例如某一個産品打了10%折扣，可以拿到550k銷售，打折30%，有180k銷售，這是沙盤裡面的一種情況。覺得這個模型價格彈性度不是那麼好，就不打折看看第二種情況，一般的營銷部門說不打折的銷售肯定不如打折的。不打折y産品的銷售量從550掉到了500，就是丢了50。因為不打折的價格高，是以銷售額下去了。但是由于y産品不打折之後，x1産品的銷售增加了20個，那麼總體下來，不打折時y産品總的銷售額是150million，相比較之前的147，多了很多。也就是說不打折産生的效果比打折好，這就是這個模型帶來的沙盤推演非常好的案例。
所有的故事都想表明一個态度，即為了一個業務去模組化，這個業務以及需求的複雜可能超出了想象。在未來，當一個好的模組化師很有經驗的時候，就是一個為企業提供解決方案的人，不光要對業務要求很熟悉，還要對模組化所産生的結果很熟悉，這個才是真正的模組化師。如果大家有志從事這個行業，除了要學習模組化的技術之外，還要努力了解業務。