本節書摘來自異步社群《提高轉化率！網頁a/b測試與多變量測試實戰指南》一書中的第1章，第1.4節，作者【英】colin mcfarland，更多章節内容可以通路雲栖社群“異步社群”公衆号檢視
優化測試失敗，或者至少感覺如此，是優化測試中屢見不鮮的現象。現在我們來讨論一下為什麼我們要坦然接受這些失敗，甚至還要了解如果測試沒有出現失敗，可能是因為你的努力還不到位。
無論你多麼認定某處是個傻瓜操作，無論你進行過多少調查，無論多少家競争者都做了相同的事，可是偏偏有時候，測試就是證明了挑戰方案很失敗，而且這種情況出現的頻率可能比你想的還要高。
但是就算失敗，它其實依舊是個非常了不起的結果，雖然這次你未能直接提升你的網站，但是你得到了機會更進一步了解自己的方案和顧客反應（圖1.6）。如果你覺得某項功能或變更可能會讓你的網站得到優化，而你的顧客卻不認同（通過他們的行為表現而非直接交流），也就意味着你的方案設計和對顧客的了解還有提升餘地。
圖1.6 grockit.com對新功能進行例行測試并發現了這樣的現象：許多新功能對顧客行為沒有絲毫影響。現在他們接受了測試出的失敗成果，并将測試當做了開發流程的一個環節以及一種重要的學習方法。
盡管你的挑戰方案失敗了，何不以積極的心态接受它，将其視為一種求知的過程。通過對照測試了解到顧客如何實際使用你的網站，你至少了解了需要前行的方向。
不要總是期望成功
想想測試和發掘這兩項工作的往複性特征，出師必捷、無往不勝簡直是不可能的事。但是偏偏許多企業會以此衡量成功，按照測試挑戰成功的數量嘉獎優化測試人員。
這麼做實際上是有風險的，如果太過注重成功成果的數量而非所獲經驗的多少，會讓我們行事謹慎小心，不再活躍地嘗試新的創意，将測試停留在僅僅測試已知内容的階段。
是以我更鼓勵另一種做法：不要寄望于一次就成功（也不現實）。相反，要很好地意識到測試的往複性，從你的第一個測試開始吸取經驗（通常叫做第一輪），進而對你後續的測試（下一輪）進行相應調整，以此類推。
經過幾次往複測試之後，你就可以收獲到一些非常棒的成功方案了。不過，你也免不了會從經曆的各種失敗中吸取經驗。
我們的直覺并不可靠：[大多]創意可能都沒法如願以償地對預期優化的名額做出提升。
微軟的測試經驗顯示，在測試結果中，三分之一成功有效，三分之一平平無奇，另外三分之一壓根兒是失敗的。
google在2009年進行了12000次左右的測試，但其中隻有10%真正帶來了業務變化。
ronny kohavi，釋出于exp-platform.com
了解放棄的時機
現在我們已經知道測試其實是一個學習與調整往複循環的過程，但是我們應該測試到什麼程度，才能選擇放棄去繼續優化測試下一個新創意？當然這裡沒法一言以概，但是作為指導，我建議如果經過5輪測試仍然沒有見到任何改善，不如先将目前的想法擱置，轉而進行新的測試。
在5次測試的限制下，你會變得更加勇于嘗試，更加專注于調整優化測試，更加竭盡全力從5次嘗試中最大限度地積累經驗。
測試的特性通常意味着創意數量總是超過測試能力。是以一定要記住，盡管積累經驗的确是一項重要任務，但終有一日我們最後的目的還是要找到真正增加效益的成功測試結果，并将其付諸實踐。
正如大發明家托馬斯·愛迪生的名言：“我從未失敗，我隻是發現了一萬種不可行的方法。”經過合理設計的測試也不可能失敗，即使你知道你的方案并非成功，但是你學到了知識，這種掌控感比一個創意更有價值。
在你的方案被證明失敗後，确定這些失敗敗而有因是非常重要的。否則你觀察到的可能不過是随機的噪音，而測試方案本身可能并沒有真正産生任何影響。
從最差的角度考慮，如果你還無法完全确定測試方案是否比對照版本更糟糕，你可以先停止測試。否則，如果錯誤的結論導緻你學習到錯誤的經驗，對未來的測試會造成更惡劣的影響。
但是也不要畏懼！有一種叫做“可信度”的概念能夠幫助你做出這種艱難的決策。我們将在第7章詳細讨論。
▲ 勇于接受測試的失敗并吸取教訓。
▲ 不要寄希望于一次就成功，但是要知道何時放棄。
▲ 確定敗而有因，避免優化測試失敗後學習到錯誤的
經驗。
[1] 譯注：steve krug，網站可用性咨詢專家，著有《點石成金：訪客至上的網頁設計秘笈》、《妙手回春：網站可用性測試及優化指南》。
[2] 譯注：人因國際，human factors international，全球最大的可用性咨詢公司，為客戶提供具有高可用性的網站、 應用軟體以及企業内網的建立和設計咨詢服務。