天天看點

《提高轉化率!網頁A/B測試與多變量測試實戰指南》一2.2 掌控優化測試

本節書摘來自異步社群《提高轉化率!網頁a/b測試與多變量測試實戰指南》一書中的第2章,第2.2節,作者【英】colin mcfarland,更多章節内容可以通路雲栖社群“異步社群”公衆号檢視

在進行測試的過程中,對測試的掌控力非常關鍵。讓我們看一下有哪些方法能夠保證你的測試處于掌控之中。

優化測試對于網站設計的傳統方法而言是一種文化變革,是以在你試圖推行測試概念時也難免遇到很多阻力。如果在交流的時候能夠表現出測試是在掌控之中的,這會有助于減少你所面對的阻礙,也能夠讓大家更願意參與進來。

将測試置于掌控範圍内還能夠確定你不會在測試方面産生過多損失,一旦出現測試狀況不佳的情況,你能夠迅速發現并将其中止。此外,它能夠保障你最終看到的結果真實可信賴。

毋庸置疑有時測試存在成本耗損。這點一定要對高管人員事先說明。無論你對設計、顧客、業務多麼了如指掌,測試總會涉及到成本,甚至有時測試結果并不能真正帶來有價值的提升。不過,任何損耗都是可控的,而且這些損耗出現不久你就應該能夠有所察覺并且及時

中止。

測試好似淘金,你沒法第一時刻甚至每時每刻都找到金子,但是當你一旦有所收獲,你獲得的回報完全足夠彌補多次的損失。

如果你的公司無法承擔測試成本,建議也不要開展測試。不過,如果沒有“舍”,也必然沒有“得”。損失隻是暫時的,當你通過測試結果找到優勝方案,你獲得的收益将影響長久。

以下會介紹一些你對測試進行控制時所需的方法,以及如何在測試表現不佳、開始出現成本耗損時做出快速響應。

時刻關注測試效果

啟動測試前一項最基本的要求,就是你能夠保持關注及了解測試時時刻刻的表現。許多服務工具[1]通過精要報告闆(dashboard)預生成了測試的資料報告(圖2.1),但是如果你不經常檢視,精要報告闆也就失去了價值。我們最好對測試的發展情況時刻關注,不要将它棄置一旁放任自流,而是要保持觀察。

《提高轉化率!網頁A/B測試與多變量測試實戰指南》一2.2 掌控優化測試

“一鍵終止”

要注意,對測試效果保持關注的目的是在測試向不良方向發展時能夠及時遏止,如果無法做到這一點,時刻盯着測試效果也沒有實際用處。一旦出現問題,及時發現快速解決,不要等到像網站釋出之類的例行維護時再中止測試。

盡一切可能用最簡單、最快速的方法撤銷目前的測試,如果你不在場,也要同他人及時交流如何處理。大多數服務工具都提供了中止功能,但如果你使用的工具無法實作,可以将工具的代碼用

層包起來,并且給它取一個具有标志性的名稱以便查找,這樣你就可以在出現問題的時候把層隐藏起來,或者直接将代碼删除掉。這種功能我們稱為“一鍵終止”。

注意對照環境

如果你的測試是并行的,要確定不同測試的變量不會互相影響。舉例來說,假設你正在同時進行兩種測試,一種是白底黑字的樣式,另一種是黑底白字的樣式,處理有誤可能會令訪客看到白底白字的情景。這樣就造成了一些幹擾性的負面效果,測試結果也會産生

誤導。

對照環境:用于對比測試推論結果的參照标準。

——牛津詞典

與此類似,如果你的測試是延續性的,那就要保證你使用的對照環境是處于前面優勝方案實施狀态下的。試想一下,你在網站的商品頁面上得到了一個測試優勝方案,在等待it部門将其付諸實作這一期間,你又在相同頁面上發現了另一個不太相關的優勝方案。你不确定如果沒有第一個方案的影響是否還會出現第二個方案的成功,因為第一個方案影響之巨大很可能恰好為第二個方案創造了成功環境。如此一來,保持一個貫穿測試始終的對照環境能夠加強測試的可信度,見證測試是否真正産生有益影響。

在可能的情況下,要留意任何可能影響對照環境的外部因素,在可測的情況下盡可能明确它會對測試産生的一切影響。

《提高轉化率!網頁A/B測試與多變量測試實戰指南》一2.2 掌控優化測試

▲ 測試存在成本耗損,要明确告知高管人員。

▲ 時刻關注測試效果。

▲ 確定能夠簡單迅捷地中止測試。

▲ 了解并行性測試與延續性測試的實施法則。

▲ 注意網站測試的對照環境。

繼續閱讀