《提高轉化率！網頁A/B測試與多變量測試實戰指南》一1.3 建立測試計劃

本節書摘來自異步社群《提高轉化率！網頁a/b測試與多變量測試實戰指南》一書中的第1章，第1.3節，作者【英】colin mcfarland，更多章節内容可以通路雲栖社群“異步社群”公衆号檢視

現在，可能你已經對優化測試多多少少有一些想法了，不過先别忙着測試。在投入優化測試之前，我們一定要先明确自己想要通過優化測試達到什麼目的。現在讓我們來讨論一下如何建立一個測試計劃，包含測試目标、情景設想以及測試結果。

目标單一簡明的優化測試效果是最好的，一個目标對應一個成果，這個成果可以明确地告訴你這次測試效果是好是壞，還是沒什麼

差别。

不過大多數時候我們都會發現現實沒那麼簡單。許多公司都有一個以上的關鍵績效名額（kpi）。那麼你需要關注的，首先是轉化率、平均訂單價值（aov）這些首要目标，其次還有注冊、評價和頂一下的數量。對于每項測試，你都需要關注對這些kpi産生的影響。

每次測試都設立一個能夠界定測試成敗的簡明目标非常重要，這個目标需要考慮到每項kpi對收益的影響。這也就意味着我們終歸要在這些首要和次要的kpi之間作出權衡，最終将測試價值統一起來。還有一點至關重要，此時我們考慮的不是僅僅幾天的收獲，而是針對長期價值的長遠目标。

我們可以對不同的測試設立不同的目标，重要的是要確定每一項測試對應的目标都正确無誤。确定了在未來測試中如何界定成功的方法，你也就可以公平地度量每項測試了。

目标範例

簡明目标（理想）：提升預訂，增加需求量，增加注冊量。

複雜目标（現實）：增加訂單量及aov，或在不損失超過1%訂單量的前提下将aov提高10%。

現在你已經清楚了解了自己要達成的目标是什麼，接下來讓我們繼續讨論如何建立情景設想。

情景設想是指你認為你在優化測試中會見到什麼。你會希望找到特定變因與特定結果之間的聯系，無論變因是已存現象在還是僅僅出于假設，也無論成果影響是正面還是負面。在你搭建情景設想時，你需要為你的計劃找一些證明：“如果我們觀察x，它将會證明這一變因與那個結果之間必然存在某種聯系”。

情景設想，是指我們嘗試性地進行推測，以便通過邏輯判斷或主觀經驗挖掘及測試獲知行為結果。

——韋氏詞典

如果你希望提升優化“馬馬虎虎”的内容，保護表現優秀的内容，又或者是找到那些沒用的内容（以便把它換成有用之物），情景設想都可以支援你達成測試目标。

優化與提升

我們做測試的目的很可能主要是想提升網站效果，銷售更多的商品、預訂更多的坐席、獲得更多的訂閱者，總之是促成各種提升。

優化與提升也恰恰是優化測試誕生的目的，而且，毫無疑問，優化與提升也是測試工作的核心。當你的測試工作日臻成熟，優化與提升甚至将成為你工作的全部焦點。

保護與留存

提升效果是好事，但是還有一項同樣重要卻常常被忽視的工作，就是即使在糟糕的設計選擇下也能保護好你現有的東西，使之不蒙受損失。

設計選擇不盡如人意是常有的事，測試依舊是鑒别新變更是否反而招緻不良影響的唯一方法。

當你經過測試發現一些東西失敗了，那麼你可以轉而看看留存下來的是什麼。但是如果你連測試都沒有做過，你隻能對此一無所知。

沒有影響

這種情況是用于證明某些東西并不具有什麼商業價值或其他可度量的價值，簡而言之，它們對你的網站無關緊要，有它沒它對于你的盈虧線而言無關痛癢。

如果這些東西針對你相應測試的情景設想反映出無關緊要的結果，你需要反思一下它是否真的具有價值。這種測試尤其适用于驗證那些既勞民傷财又耗時的功能是否必要。

通過測試減少徒勞無益的東西，有助于給未來的創意釋放空間，将精力放在真正增加價值的地方，這樣甚至可能為你節省不少時間與花銷。

情景設想欠佳引起的機會浪費

對無法得出清晰的成果，又無法獲得對未來測試有價值的經驗的内容進行優化測試，這就是在浪費機會。是以一定要集中精力找到為你的業務帶來真實價值的有用方案，避免無用的測試。

看電影的代價是多少？

如果我告訴你電影放映的時間恰好是你學生會競選最終答辯的時間，而且你還在競選中保有并列第一的佳績，你會如何回答上面這個問題？

顯然，你失去的東西就是成本。

seth godin：《opportunity costs》（《機會成本》），釋出于sethgodin.typepad. com

你的情景設想在描述中最好能從字面上展現出例如“優化與提升”、“保護與留存”或者“沒有影響”的字樣，這樣能夠迫使你集中精力，避免徒勞的測試，拒絕個人偏好，而且萬一高管人員興起之下提出意義不明的設想建議，你也可以藉此回絕。

請記住，你能夠測試任何創意方案，但并不意味着你需要這樣做。總有更好的優化測試值得去做。

在籌謀你的測試計劃時，一定也要将成果部分計劃進去。你心中要一直明确實施優勝結果所需的條件，并且還要知曉如何在一切就緒時實作它。

通過這種方法，可以讓你着重緻力于自己有能力影響到的優化變更上，而不是辛苦得出測試成果後才突然發現，因為某些原因（法律、公司等等）這些優勝成果無法實作。

▲ 對于任何測試，都需要建立簡明清晰的評判标準來界定其是否成功。

▲ 通過測試進行優化與提高、保護與留存或者了解哪些東西無關緊要。

▲ 将精力放在自己有能力掌控後續變更的測試上。