資料分析與決策技術叢書 點選檢視第二章 點選檢視第三章 廣告資料定量分析：如何成為一位厲害的廣告優化師
第1章
廣告優化中的統計學
正如書名所示，本書的目标是想幫助讀者了解統計學知識，掌握科學的資料分析方法論，并在廣告優化中踐行，以實作資料驅動的廣告分析和效果優化。
本章會從統計學的基本定義出發，用通俗易懂的語言向讀者說明統計學和廣告優化之間的關系。讀者閱讀本書的目标應是學會運用統計學知識，了解統計學和廣告資料定量分析的主要思想和理念。
1.1 統計學：用一句話解釋它是什麼
統計學是通過1）收集資料、2）分析資料、3）由資料得出結論等手段，以達到推測所測對象的本質，甚至預測對象未來的一門綜合性科學。
以網際網路廣告優化為例：1）從媒體廣告平台擷取曝光、點選等資料，從廣告主資料背景擷取注冊量、線索量、獲客成本等資料，即為收集資料；2）從廣告點選率、獲客成本等多個次元對廣告效果進行評估，即為分析資料；3）圍繞“以更低的成本擷取更多更優質的流量，提升廣告投放的ROI”這一核心訴求，給出廣告優化政策，指導下一步的優化操作，即為得出結論。
1.2 學會運用統計：讀者的目标
1.2.1 了解統計學術語
如果不能了解統計學術語，那麼我們就無法從統計分析結果中擷取更多有用資訊。下面舉幾個例子：
- 對于某個日均UV上萬的頁面做A/B測試，原始版本的轉化率是5.6%，試驗版本_1的轉化率是6.4%，看似轉化率提高了0.8個百分點，但這會不會是随機波動導緻的呢？但A/B測試系統會告訴你，轉化率是顯著優化的，也就是說試驗版本_1的轉化率确實要更好一點。
- 某App在小米應用商店的廣告投放資料顯示，該App的總激活量和首頁精品廣告（注：一類很重要的廣告位）帶來的下載下傳量是高度相關的，是否建議提高精品廣告的出價呢？
-
本周360管道的注冊成本環比增長12%，同比下降8%，綜合比較來看注冊成本是優化了嗎？
以上涉及了幾種最常見的統計學術語，對于知道它們的人來說，這些術語中包含了有用的資訊；而不知道這些術語的人，根本不知道這些術語代表什麼，甚至會得出錯誤的結論。
1.2.2 掌握科學的資料分析方法論
在從事廣告優化師的數年中，我一直在思考資料分析和廣告優化之間的關系。不論是廣告公司還是廣告主，都表現出對資料分析的高度關注。在具體優化工作中，同樣的資料結果，不同的廣告優化師可能會有着不同的分析和洞察，随之而來的優化效果也會有一定的差異。
可以這樣說，大多數廣告優化師沒有受過專業的統計學思維訓練，他們對資料分析的認知還停留在百分比、環比、同比等簡單的概念上。舉個例子，“昨天的注冊量是2，今天的注冊量是4，有廣告優化師就在給廣告主的日報中這樣寫道：優化有效果，注冊量增長100%。”這種從2到4的随機波動難道真能反映出什麼規律嗎？也許有，但任何一個接受過專業統計學訓練的人都會認為這很困難。
廣告優化這件事情，說簡單點就是要不斷地做正确的事情，在其他變量基本不變的條件下，隻對少數變量做調整，積累資料，評估該調整是否能使效果顯著優化，然後繼續循環。科學的資料分析方法論能幫助我們更科學地設計優化試驗，更高效地積累資料，更準确地評估優化效果，進而指導下一次的優化試驗。
1.2.3 了解什麼地方可能出差錯
瑞典數學家、作家安德烈斯曾說過一句話：“用資料說謊容易，但是用資料說出真相卻很難。”下面用一個例子來說明，廣告資料分析中什麼地方可能出錯。
例：簡單平均，還是權重平均？
表1-1是某App在某應用商店共計兩周的廣告投放資料。下面我們分别用簡單平均和權重平均兩種計算方法，計算第一周和第二周的平均成本。
簡單平均成本：用每一天的注冊成本加總，再除以7天，得到第二周的注冊成本高達34.0元，環比第一周上漲26%。
權重平均成本：回歸到注冊成本的公式本身，用7天的消費合計除以注冊量合計，得到第二周的注冊成本29.8元，環比第一周僅上漲10%。
結論：簡單平均看似沒有問題，但計算結果卻和權重平均的計算結果相差超過15個百分點。由此可見，廣告優化中能夠了解什麼地方可能出錯是多麼重要。
舉一反三
凡是有計算公式的資料名額，如點選率、平均排名、平均點選成本、轉化率等，在求平均時需多加注意，這些資料名額大多數不能直接簡單相加求平均。正确的做法是回到公式本身，先将原始資料求合計，再進行計算。
1.3 統計學的主要思想
1.3.1 随機性和規律性
當我們不能準确預測一件事情的結果時，随機性就和這件事聯系起來了。例如，當我們抛擲一枚硬币時，我們并不能确定硬币會出現正面向上還是反面向上的結果。類似地，當我們對某個關鍵詞提高出價時，我們也不能确定該關鍵詞帶來的點選量一定會提高。
不過，當我們把随機的事件放在一起時，它們将表現出令人驚奇的規律性。甚至當我們觀察抛擲硬币這一看似完全随機的事情時，趨勢和機率也變得很明顯。例如，我們抛擲硬币100次，會發現差不多有50次正面向上，50次反面向上。
類似地，當一個網民在百度搜尋“英語教育訓練”一詞時，搜尋引擎會展現包含SEM廣告在内的搜尋結果頁，他可能點選我們排名第2的SEM廣告，也可能不點選。但我們在廣告背景可能會看到這個關鍵詞近一周的點選率（點選量/展現量）是比較穩定的，這是因為一個網民是否點選我們的SEM廣告，是有随機性的，但“英語教育訓練”是一個熱門詞，網民的日均檢索量能達到幾千，得到的點選率資料反映的将不再是單個網民的意志，而是檢索“英語教育訓練”一詞的整個網民群體的真實使用者需求。
引用：通過對看起來随機的現象進行統計分析，我們開始認識這個世界。統計思想的基礎知識能夠幫助我們把随機性歸納于可能的規律中。統計思想從我們如何觀察事物和事物本身如何真正發生兩方面，幫助我們了解随機性和規律性的重要性。是以，統計學可以看作是一項對随機性中的規律性的研究。—《統計學(基本概念和方法)》
1.3.2 規律性中的随機性
正如上文提到的，我們在廣告背景可能會看到這個關鍵詞近一周的點選率是比較穩定的，請注意是比較穩定，而不是恒定在某個準确的數字。這就是我想告訴你的，規律也會表現出某種随機性。如果我們再抛擲硬币100次，很大可能得到的結果和之前那一次是不一樣的。在第一次抛擲硬币試驗中，可能有49次正面向上，然而在第二次抛擲硬币試驗中可能隻有47次正面向上。
不管我們是否再進行一次或一組新的試驗，大多數情況下我們并不能得到和上次試驗一模一樣的資料。這種偏差不僅僅發生于抛擲硬币中，也會發生于調查、試驗和其他任何一種資料收集中。比如觀察某個資訊流廣告的創意a的轉化率，今天有1000次點選，轉化率接近3%；明天還是同樣的創意a，還是同樣的出價和1000次點選，但轉化率可能會相差±1%。
這兩個比例之間的差異主要是由于資料本身的随機性引起的。在這種意義上來說，統計學就成了一種研究資料中的偏差問題的手段。
根據作為統計學基礎的數學理論，我們可以确定一項調查或試驗中的某一比例有多大的随機性，以及在下一次的重複調查或試驗中，這個比例可能有多大的偏差。我們甚至可以指出，這兩個比例之間的差異，是否大到了随機性本身不能解釋的地步，即這一項資料名額已經顯著改變了。例如，還記得1.2.1節中提到的A/B測試嗎？原始版本的轉化率是5.6%，試驗版本_1的轉化率是6.4%，A/B測試系統會告訴你，轉化率是顯著優化的，換句話說，相差的0.8個百分點已經大到了随機性本身不能解釋的地步。我們将在以後的章節中引申和詳細讨論這類問題。
1.3.3 機率：什麼是機會
機率是一個取于0和1之間的數，它告訴我們某一特定的事件以多大的機會發生。
在讨論随機性時，機率是一個非常重要的概念。機率為統計學的第三個方面，即如何從資料中得出結論，奠定了基石。我們或許永遠不能十分确定，兩個數字之間的差别是否已超過随機性本身可以解釋的範圍，但是我們可以确定，這種差别的機率是大還是小。
根據這個基本思想，我們将會有很多機會得出關于廣告優化的有趣的結論。至于具體做法，我們将在後面的章節介紹。
1.3.4 變量和值
變量是指一個可以取兩個或更多個可能值的特征、特質或屬性。
統計學中的變量都可以是下面三種類型之一：
-
數值型變量。它的值可以取一些具體數字，這些值對于加法減法、求平均值等操作是有意義的。
例如，CPD的出價可以是1.5元，也可以是1.4元，還可以是1.8元。
-
順序型變量。描述事物等級或順序，變量值可以是數值或字元，是可以比較大小的。
例如，SEM關鍵詞排名有第一、第二、第三等，轉化成本可分為偏高、合适、偏低。
-
分類型變量。取值之間沒有順序差别，僅做分類，故不可比較大小。
例如，資訊流廣告定向中的性别定向分為男、女、其他；廣告投放的時間是否是節假日，可分為工作日、周末和節假日。
統計學的另一個很重要的概念是值。值是指某一變量的具體取值。
例如，應用商店CPD廣告出價為1.2元，這裡的1.2即為變量“CPD出價”的值。
表1-2列出了一些變量、變量的值的例子。
1.3.5 常數
常數也作常量，是與變量相對的詞，一個常數總是有一個固定的取值。
如果我們對100個看到我們廣告的使用者做調研，看有多大比例的人願意點選我們的廣告，比如是5個人；假定沒有人改變主意，我們重複這項調研時，這個比例仍将是5%，像這樣一個不變的比例數就是常數。
如果隻是抽象地闡述常數這一概念，大家可能很難了解，在2.8.2節中，我會結合實際優化案例進行更生動形象的解讀。
1.4 統計學和廣告優化的關系
看到這裡，大家或許還有疑問，我們是做廣告優化的，工作中學到的基礎資料分析已經夠用了，為什麼還要學統計學呢？
下面，我想用三句話來闡述我認為的統計學和廣告優化的關系。
第一句：君子善假于物—他山之石
這個典故出自《荀子·勸學》，意為君子的資質與一般人沒有什麼差別，君子之是以高于一般人，是因為他能善于利用外物。業内的一位前輩和我說過，廣告優化是一個永無止境的過程。大家現在掌握的資料分析方法很可能已經夠用了，已經能将廣告投放效果做好，能讓客戶滿意了，但依舊還有更好的資料分析方法論可以學習和利用，以幫助我們更科學地設計優化試驗，更高效地積累資料，更準确地評估優化效果。舉個例子，之前服務5個客戶已經滿負荷了，效果優化要1個月才能做好，但掌握了更先進的資料分析方法論後，或許就能服務10個客戶，效果優化隻要3周就能做好。如此一來，等待大家的不僅是升職加薪，更是個人核心價值的提升吧。
第二句：學院派與野路子—可以攻玉
這個提法并無褒貶的态度。個人認為，業内一些所謂的幹貨分享，重方法輕思想，不強調案例資料的有限性，缺乏可複制性和可遷移性。這也解釋了，為什麼看了那麼多的幹貨分享，似乎掌握了各種各樣的技巧，廣告效果的優化還是不穩定。一旦開始優化實操，難免容易受到各種經驗和教條的幹擾，不利于做出正确的決策，優化效果往往不盡人意。以上即是野路子。
那什麼是學院派呢？個人以為是基于對廣告媒體的深刻了解、廣告産品邏輯的準确認知、使用者閱聽人需求和偏好的洞察基礎上，以統計學的思想和方法論指導我們的廣告優化實操。對于每一個廣告優化師來說，減少了個人認知、運氣等主觀成分，更加穩定和實用。
第三句：白貓與黑貓—實事求是
我寫這本書，并不是為了一味宣揚學院派好，野路子不好。我所推崇的也是大家都熟悉的白貓黑貓論，即“不管黑貓白貓，能捉老鼠的就是好貓”。其實廣告優化也是一樣的，不在乎你用的什麼技巧和方法，最終以兩個ROI說話：第一個ROI是客戶的；第二個ROI是廣告公司的。某種程度上這兩個ROI也是廣告優化師自己的ROI。換句話說，不論什麼樣的資料分析方法論，能更快、更有效提高客戶ROI的，能更持續提高廣告公司的勞動生産率的，都是好的資料分析方法論，都值得我們花時間和精力去研究和學習。
1.5 廣告資料定量分析的主要理念
這裡我将廣告資料定量分析方法論總結提煉出來，形成一套可以指導廣告優化的實用理念，以期大家讀完有所啟迪和共鳴。為了友善記憶，我将這些理念的英文單詞首字母組合為PLCSS，具體包括目的性Purpose、有限性Limited、相關性Correlation、抽樣性Sampling、顯著性Significance，下面一一闡述。
1.5.1 目的性Purpose
上文說到，廣告優化應以兩個ROI說話，以終為始，我們做廣告資料定量分析的起點也應該是這兩個ROI。對廣告資料的定量分析，一定要有很強的目的性，不能直擊核心名額優化的資料分析可能有理論意義，但是沒有現實價值。這裡可以給大家分享一下我走過的彎路，我曾經花費大量的時間精力研究了根據曆史資料預測當天小米應用商店分時段的曝光量和下載下傳率，估算百度SEM中App下載下傳樣式的展現機率等，實際上也确實取得了一些成果。但我後來反思，這些問題都太“繞”，哪怕得出的結論具有借鑒意義，也不能直接有效地影響核心名額優化。更何況，這類問題往往具有天生的局限性，受媒體流量、産品邏輯的影響很深。
我所稱的“目的性”，簡單來說就是不要太“繞”。想優化什麼核心名額就去找與它直接相關的變量，科學地進行對比試驗、資料分析和效果評估。例如，在SEM廣告優化中，想提高單個關鍵詞的點選量，可以采取的方法包括但不限于：1）曝光量相對穩定的條件下，研究不同排名對點選率的影響，尋找最适合的排名位置組合，比如第2名和第3名各占50%（普遍認為排名越靠前點選率越高）；2）輪替多套創意，對比多套創意的點選率優劣，得到點選率顯著最優的那一套，請注意是顯著最優，而非我們覺得最優，有疑惑的讀者建議回顧1.2.1節中提到的A/B測試例子。
1.5.2 有限性Limited
有限性是一個包含多個子概念的概念，下面逐一闡述。
1. 資料有效性
我們做的是廣告資料定量分析，首要前提就是確定資料的真實性。試想如果實際點選量隻有80次，但媒體告訴你是100次，那麼計算出的轉化率是偏低的，且很難做到相對穩定，優化就無從談起。自此開始，我們的廣告資料定量分析有了一個最基本的假設，即資料都是真實的。
接下來，聊聊各項資料的準确定義。
例如，什麼是曝光量？乍一聽是一個很簡單的問題，實則不然。
在SEM廣告中比較好了解，當網民搜尋某個詞，觸發了我們廣告背景的關鍵詞，且關鍵詞滿足廣告展現條件，網民在搜尋結果頁看到我們的關鍵詞廣告，以上即為一次曝光（或展現）。但對于應用商店廣告（這裡僅指安卓應用商店）、資訊流廣告就不一樣了。
以華為應用市場為例。如果大家細心觀察一下，應用商店首頁推薦（有的應用商店叫精品）中，App清單是一波又一波加載的，華為應用市場中一波差不多顯示25個，即你第一次看到的是第1～25位，拉到底會加載，才能看到第26～50位。那麼問題來了，如果我們推廣的App排名第26，但使用者沒有加載出第二波（第26～50位）時，算不算曝光量？關于這個問題，我曾經問過媒體官方，一直沒有得到明确的回複。此外，現在的應用商店都有個性化推薦，這是排名之外更能決定曝光量的因素，這又給準确定義曝光量增加了不少困難。
資訊流廣告也有類似問題，當使用者往下翻閱回顧舊内容時，之前加載出的廣告依然還存在，算不算一次新的曝光？這還是最簡單的情況，如果算上聯網狀态或斷網狀态、間隔時間長短、是否重新開機過App等因素，問題更加複雜。
我說這麼多，想表達的就是，有些資料擷取很容易，媒體的廣告背景寫得清清楚楚，但曝光量真的是有效曝光嗎？下載下傳量真的是有效下載下傳嗎？值得仔細揣摩。
又例如，在“曝光→下載下傳→安裝→激活→注冊或登入”這一轉化路徑中，華為應用市場的規則是，沒有安裝成功則不收費，即廣告背景顯示的下載下傳量等于安裝量。為什麼有時候大家在分析下載下傳激活率時，會覺得這個名額波動較大，一定程度上是因為你跳過了“安裝”環節，直接分析“下載下傳→激活”的轉化率，進而忽視了“下載下傳→安裝”的流失。
是以，當我們對某一資料名額進行分析前，請先關注它的準确定義和有效性。
有效的曝光量，有效的點選量，才能得到有效的點選率。
除此之外，各家廣告背景有技術差異，資料總會有或多或少的延遲和誤差，這些都是不可避免的。但因為是技術黑箱，很難直接觀測，是以我們在做廣告定量資料分析時，一般可假設不存在延遲和誤差，如果得到的資料模型的拟合度（這裡指資料模型的預測結果與實際發生情況的吻合程度，2.8.2節中會有詳細闡述）太低，則可以考慮加入一個常量，代指這些不可控的因素。
2. 存量優化與增量優化
這是《羅輯思維》裡一個很常見的提法。存量和增量本身屬于經濟學的範疇。MBA智庫百科給出的定義是，存量是指系統在某一時點所保有的數量，增量則是指在某一段時間内系統中保有數量的變化。
映射到廣告優化領域，存量和增量可以了解為：存量是指某一時間段内、在某一媒體的、預算相對穩定的廣告投放所帶來的流量；而增量則是指可以使固有存量的特性和流程發生變化的另外一些特性和流程，是那些新的增長點。
這裡需要強調的是，存量與增量性質上是一樣的，都是一套完善的流量擷取流程。但對于這裡所講的内容來說，現階段的廣告資料定量分析更擅長做存量優化，在增量優化上則略遜一籌。這是由多方面原因造成的：第一，廣告優化工作中接觸的多為存量優化，這種優化的目的性更強，适用範圍更廣，研究的難度也更小一點；第二，廣告資料定量分析太依賴于曆史資料，且曆史資料需要比較穩定；第三，對于任何資料的分析，做預測都是難題之一。
然而，做增量是一件很不确定的事情，廣告主可能是要加預算，可能要嘗試新的廣告資源，可能是因為他的主觀感覺要求做什麼操作或限制，這一切都會導緻增量優化是一件困難的事情。
言歸正傳，存量優化将是本書闡述的重點，同時對于增量優化書中也會有所涉及。
3. 時效性
時效性包括兩方面：一方面，用于分析的廣告資料需要是最近比較新的資料，這樣分析起來更能反映現階段的流量規律，也對未來的優化更具現實意義；另一方面，資料分析得出的結論是有時效性的，我們不能拿上個月分析出的規律生搬硬套在本月的資料上，也不該期望得出什麼一勞永逸的普遍規律。網際網路時代，唯一不變的隻有“變化”。
4. 特定性
特定性指的是我們研究的對象，是在特定時間段内、在特定媒體推廣的特定産品或服務，這裡有三個特定，缺一不可。我和業内的朋友交流時，有的人說應用商店的首頁推薦廣告效果好，有的人說搜尋廣告效果好，還有的人說針對不同客戶這兩種廣告效果不一樣。他們說的都有各自的道理，也确實有案例和資料支援其觀點，但都有以偏概全的嫌疑。不說清楚時間段，年前和年後的情況可能大不一樣；不說清楚媒體，廠商的華為應用市場和第三方的應用寶可能存在很大差異；不說清楚産品，一個月活500萬的老牌産品和才推廣3個月的新品對比，更是千差萬别。甚至連“效果好”這句話本身都是不嚴謹的，客戶不同，客戶滿意度的門檻值也不一樣。
1.5.3 相關性Correlation
相關性和因果性之間的聯系，從統計學教材到大資料著作，都有廣泛的探讨，甚至争議不斷。
維克托·邁爾·舍恩伯格在《大資料時代》裡說，“要相關，不要因果”，在大資料時代有相關就夠了。而周濤則在《為資料而生》一書中說，放棄對因果關系的追尋，就是人類的自我堕落，相關性分析是尋找因果關系的利器。
廣告優化是一項很複雜的工程，無形之中我們做的每一個操作其實都有相關性和因果性的考量。我個人更偏向邁爾·舍恩伯格的觀點，對于廣告優化來說，大部分情況下做到相關分析即可，因為營銷本來就因人而異，主觀性太大。
相關關系可以了解為，當一個或幾個互相聯系的變量取一定的數值時，與之相對應的另一變量的值雖然不确定，但它仍按某種規律在一定的範圍内變化。例如，以X和Y分别記一個人的身高和體重，或分别記廣告出價與廣告曝光量，則X與Y顯然有關系，而又沒有确切到可由其中的一個去精确地決定另一個的程度，這就是相關關系。
何謂因果關系？通常來說，原因是指引起一定現象的現象，結果是指由于原因的作用，随之串聯而引起的現象。因果聯系的特征就是，原因在先，結果在後，前者的出現導緻後者的産生。
更明确點來說，相關性是統計上的概念，資料多了，X發生時Y發生的機率足夠顯著，那麼A和B就是相關的。而因果性是邏輯上的概念，X發生導緻Y發生。類似的還有，例如，看見閃電（X）和聽見雷聲（Y）是高度相關的，但它們二者互相之間并沒有因果關系。
下面舉一個例子說明相關性和因果性。
在SEM關鍵詞的優化中，通常将關鍵詞按詞性分類，包括品牌詞、通用詞、競品詞等，每種類型的詞甚至每個詞背後都是網民的不同需求。但優化實踐中，往往會看到有的關鍵詞就是有轉化，有的就是沒有轉化，有的關鍵詞就是轉化成本高，有的就是轉化成本低，而這些詞之間很可能還很相似，我們很難僅憑關鍵詞的幾個字，就洞察到這背後的使用者需求存在什麼細微差異。我們做的優化，看起來是基于相關關系，實際上是有因果關系的，隻不過因為因果關系很難度量，我們能做的事情也有限，套路基本就是先圈一批詞，投放一段時間，積累資料後，分析轉化量和轉化成本，再将預算、時間精力向那些轉化多、成本低的關鍵詞傾斜。
這裡還有一個問題，那就是在相關性分析中，我們優先關注的應是直接相關，在1.5.1節中，我提到過“不要太繞”。對于廣告優化來說，直接相關的相關分析就已經很不容易了，再繞到間接相關，分析的難度增加不說，可能得出的結論也會很奇怪，缺乏現實價值。
1.5.4 抽樣性Sampling
廣告資料定量分析本質上是從有限的樣本資料中得出無限總體某一資料名額的有關結論。
假定我們分析的是過去2周的廣告投放資料，這就是一個确定的樣本資料；從我們進行資料分析這個時間點，之後的廣告投放還會進行，在一定時間内、一定程度上可以看作無限的總體。如果我們什麼都不做，我們有理由相信過去2周的效果會延續到未來1個月甚至更久，這就是我們基于樣本資料得出的一個初步的結論。如果我做了優化操作，則新樣本資料（未來2周）需要和老樣本資料（過去2周）對比分析，若新樣本資料顯著優于老樣本，則我們有理由相信優化是成功的，這種顯著優化的效果會延續到未來1個月甚至更久。
抽樣性還會導緻一個問題，那就是抽樣誤差。這并不是某件事出錯造成的誤差，而是指這樣一個事實：如果再做一遍研究，結果未必會和上次一模一樣。例如，本周的轉化率是3.1%，下周可能就是3.3%、2.9%或其他相近比例。但是，即便不同的樣本會産生不同的答案，大部分答案仍都位于總體中的真正比例的某一變化範圍内。例如，通過每次大約1000個UV的多次抽樣，大部分樣本（95%）得出的轉化率和實際的轉化率至多相差3個百分點（±3%）。具體怎麼計算的，有一個通用的公式，在第2章中會有介紹。
抽樣誤差的大小取決于得到樣本的方式和樣本量的大小。抽樣方式越随機，抽樣誤差就會越穩定；樣本量越大，誤差越小。如果樣本等于整個總體，則樣本比例等于總體比例，樣本誤差為0。
是以，嚴格來說，在公布任何一次抽樣調查的結果時都應說明抽樣誤差的大小，不管是比例、均值還是其他形式。例如，1.2.1節中提到的A/B測試例子，說明抽樣誤差後，原始版本的轉化率是5.6%（±0.64%），試驗版本_1的轉化率是6.5%（±0.67%）。
業界有這樣一句話，廣告優化的效果看人品。實際上，是說廣告優化成功一定程度上是受運氣影響的，而運氣本質上是因為我們觀測的資料總是樣本資料，抽樣總會有随機性，哪怕沒有進行任何操作，兩次抽樣的結果也可能存在較顯著的差異。認識到這一點，廣告優化師應以更平和地心态接受每一次資料回報，效果好了不驕傲，效果差了不沮喪。
1.5.5 顯著性Significance
顯著性是統計學上的一個概念，又稱統計顯著性（Statistical significance），用于衡量兩個樣本資料之間的差異是由于系統因素而不是偶然因素的影響。在廣告優化中，其實我們無時無刻不在考慮顯著性，比如上周的注冊成本是25元，本周優化到23元，相對變化來看下降了8%，但注冊成本是否顯著降低了呢？以住大部分優化師是不會去關心的，但現在我們需要學着關心這個問題。
如果廣告效果顯著優化了，我們也就得到正确的回報，明确下一步優化的方向，也能對内對外争取到更多的資源支援。如果不能準确判斷這是否顯著優化了，偶爾遇到一兩次資料波動，情況較好，就以此為參照，對于管理客戶和老闆的預期都不是好事，很容易給後期的優化工作戴上“無形的枷鎖”，十分被動。是以，不管外人怎麼說，優化師心裡要一清二楚，效果是自己做出來的，還是撞大運撞出來的。
1.6 本章小結
本章主要想和大家闡述的是統計學和廣告優化的關系，是以提到了一些統計學上的基本概念、統計學的主要思想和廣告資料分析的理念。一方面，我們要強調科學的統計分析方法論對于廣告資料分析的工具性價值；另一方面，也要承認廣告資料分析在效果優化上的局限性。
對于其中某些内容，有的讀者可能不太能了解，不過沒關系，讀者可以帶着自己的疑問繼續後面章節的閱讀，随着大家對于廣告資料定量分析的認識越來越深入，諸多疑惑也會迎刃而解。