原文編者按：本文來自first round review，他們的文章既講故事，還會向創業者提供具有很強操作性的建議，以助力打造優秀的公司。如何通過擷取和利用有價值的使用者回報資料資訊來改善産品?大部分創業者都會為此頭疼。本文中，堪稱史上發展最快的 saas 公司 slack 的首位産品經理分享了 slack 擷取和利用有價值的使用者回報資訊、進而打造一款令使用者尖叫的産品的經驗。
kenneth berger 2014年6月 加入 slack，那時 slack 正處于爆發式增長期，媒體報道也是鋪天蓋地。作為 slack 的第一位産品經理，加入 slack 後的 1年 裡，他全面負責 slack 的産品功能。在這期間，slack日活使用者從 10 萬猛增至 100 萬 +，使用者好評如潮。
當時 slack 的使用者增長資料一直很搶眼，使用者回報也很好，不管從什麼角度看，berger 的工作似乎并沒有太大難度。然而随着使用者回報資料的激增，berger 需要快速從海量回報資料中找到那些真正有價值的回報資料并加以利用。他知道，滿足于現有的業績，光靠吃老本肯定是不行的。要實作 slack 更快地發展，berger 必須要走出去，搜集哪些他沒有的有價值的回報資訊。
近日，berger 接受了 first round review 的專訪，他分享了 slack 是如何對使用者回報資訊進行優先級劃分的以及從中學到的東西。他分享了自己為何在 “名額” 和 “目标” 這兩者中會更看重 “目标”，為何他認為公司創始人需要像科學家一樣去思考和工作。最重要的是，他分享了如何從海量定性資料和定量資料中進行有效篩選并找到那些最有價值的資料的秘訣，這些資料包括網站統計資料、社交媒體上的回報資料、留存率和客戶支援資料等。
要追求目标，不要單純地追求資料
對于大多創業公司來說，問題不是缺少使用者回報資料，而是他們不知道如何利用這些回報資訊。大多數情況下，人們對自己面前的已有資訊或是容易擷取的資訊更為敏感，也就是說，人們更加看重這類資訊管道，而對其他的資訊管道漠不關心，這就會導緻在很多時候無法獲得真正有價值的回報資訊。根據 berger 的經驗，要想避免這種情況的發生，最好的辦法就是将注意力和精力集中關注于公司最重要的目标上。“很多人隻關注名額資料，并認為這是驗證成功與否的标志。資料名額當然非常重要，但對我而言，它隻是目标的一部分，讓目标得以量化。”
berger 對創業公司非常了解，他最開始聯合創辦了自己的公司 yesgraph，後來加入 slack，他深知創業公司的發展環境和使用者心理是瞬息萬變的。如果你不一直不斷重新評估什麼才是公司最重要的目标的話，你可能就無法知道什麼資料名額對目前的公司來說才是最緊要、最值得關注的。
如果你同時還在忙于擴充團隊，事情就會變得更加複雜，因為不僅公司的目标在變化，你的責任也在變化。公司可能會成立新的部門，很多事都會朝着不同的方向發展，公司的重點也會随着時間的推移而發生變化。
在确定公司的目标時，要堅持下面這個簡單的原則：每個人都需要知道他們為什麼做他們正在做的事情。在确定公司的整體目标後，確定每個部門或部門負責人都知道這一目标，并在這一目标的基礎上确定各自部門相應的資料名額。
隻有當各個部門的人員都參與到資料名額的制定中時，資料名額才能發揮最大的作用。
“如果人們身上背負的任務名額是由其他人定的，這時資料名額很難發揮它應有的作用。隻有當各個團隊和團隊裡的每個人都能參與到資料名額的制定時，這是大家的工作積極性和才能才能被充分調動起來。”
對于絕大部分公司而言，有兩個名額都是至關重要的：使用者留存名額和營收名額。但這兩個名額究竟定為多少才最為合适?除了要關注這兩項名額外，我們還需要關注哪些名額?這些問題的答案因公司而異。公司的商業模式，公司的産品是企業級産品還是直接面向消費者的産品，以及你所在的團隊，這些都會影響上述問題的答案。我個人是非常反對 ‘名額至上’ 的觀點的。例如，如果你隻關心收入增長名額的話，你怎麼能知道客服團隊在裡面發揮了多大作用?客服團隊通常是非常重要的，如果不給他們定一個和他們的工作直接相關的名額的話，就無法充分調動他們的積極性，也就無法将他們的價值發揮到最大化。
要定期審視和評估你的目标，不管是一個月一次還是一個季度一次，隻要符合公司的實際情況就行。你是否足夠關注新使用者的擷取?是否在為老使用者創造價值?公司目前的重點是什麼?隻有時刻想着這些問題，你才能知道如何處理利用使用者回報資訊，才能知道哪些回報資訊是目前最有價值的資訊。
對于目前公司内部工作的優先級和重點，要及時分享給大家，讓大家都知道。大多情況下，在同時面對幾個産品功能需求時，你不得不先選擇一個功能優先開發而不得不暫時放棄另外幾個功能。或者在面對多個部門提出的不同需求時，你隻能先滿足其中一個部門的需求。不同管道的回報資訊是什麼以及是如何按優先級将它們進行劃分的，這些資訊一定要公開透明，讓大家知道為什麼有的回報需求可以優先得到滿足，這有助于讓大家感受到自己的回報是被認真對待并認可的。
在創業公司，由于資源有限，你不可能一次性滿足所有需求。是以，要在公司内部努力營造一種透明、暢通的交流氛圍，讓大家真正知道為什麼有些需求可以優先得到滿足。
明智的假設有助于産生明智的見解
實際上，制定和評估公司目标的過程和科學家的工作非常類似，都要不停地提出和驗證假設。當科學家要做一項實驗時，首先需要提出一個假設，然後思考确定驗證假設的方法。營運公司也一樣，你需要設定目标，然後圍繞這個目标設定名額。
但是你往往是無法通過一個簡單的實驗就能看清事情的大局和重點，可能是由于提出的假設不對，也可能是因為你選擇的用于衡量目标的名額有問題。要科學對待處理你獲得的回報資料，首先要做到的一點就是能看清大局并以此為重，同時能根據實際情況對你的假設理論進行恰當地調整。
在 slack 早期，為了獲得更多的使用者注冊，berger 曾嘗試了一些當時比較流行的市場推廣方法。“我知道，大家通常用的推廣方法中的很多我們還沒有嘗試過，是以我們決定嘗試一些方法，看效果如何。我們首先嘗試的是郵件營銷，給給那些已經注冊 slack 但還不活躍的使用者發郵件。接着我們嘗試了免費試用的方法。”
我們在部分使用者中嘗試了上面的方法，也看到了一些效果，但非常有限。我們所做的這些嘗試都是要付出一定的代價的，這實際上是一種權衡和交易。從我們嘗試的結果來看，這種交易并不劃算。使用者留存率是提高了，這看似取得了不錯的效果，但從全局來看，卻并非如此。在認真分析資料後，我們發現，增加的留存率和我們所付出的種種努力其實并不成正比。
驗證假設還直接影響了 slack 的政策轉變。最初，公司決定不對外宣稱自己是一款聊天類 app，而向外界傳達自己長遠的理念和願景：變革現有的工作方式，建立更加透明的工作氛圍和暢通的交流環境。
不過當做了産品的可用性測試後，他們發現了問題。剛開始的時候，借助于出色的媒體 pr，slack 獲得了一大批使用者。這些使用者剛讀過有關 slack 産品的新聞報道，是以對産品有一定的了解，是以即使 slack 官網上沒有具體的産品功能介紹而隻有抽象的描述，這也不妨礙他們了解和使用 slack。然而從其他管道來的使用者就比較困惑了，因為當時 slack 官網上沒有産品功能介紹，沒有産品截圖，也沒有強調即時通訊是 slack 的主要功能。是以這些使用者不知道 slack 的核心功能是什麼，是檔案分享?内部溝通?還是效率工具?不去教育和引導使用者，使用者不困惑才怪。
自從那時開始，為了更好地教育和引導潛在使用者，slack 在官網上專門放了産品功能截圖。即便到後來沒有再放産品截圖了，但還是一直把 slack 的即時通訊核心功能作為向使用者傳遞的關鍵内容資訊。
slack 就通過這種方法來解決之前存在的問題。強調 slack 作為即時通訊工具的功能性，友善使用者了解這款産品，并以此為橋梁來向公衆闡述你那更加宏偉的願景。這并不是說 ‘變革人們的工作方式’ 這種理念和願景是錯誤的或是不重要的，它非常重要。不過我們需要學着以一種人們容易了解的方式去講述我們的願景。
slack 做的另一個實驗是如何向使用者證明自己的實用性。為了驗證這一假設，團隊使用了非常獨特的實驗方法——邀請潛在使用者在一整天的工作中隻使用 slack 作為公司内部即時通訊和溝通的工具，不接發一封郵件。讓人們放棄常用的工具而隻使用 slack，這實在是一種冒險的舉動。但事實證明，這個實驗是非常成功的。讓人在 24 小時的工作中不使用郵件而僅使用 slack 的情況下也能高效完成内部溝通交流，slack 無疑證明了自己是一款多麼高效的工具。
了解你可能存在的偏見并努力加以遏制
偏見是無法避免的，不管我們思想多麼開放，我們都或多多少存在一定的偏見。這些偏見将影響我們如何解讀使用者回報的資料。我們在意識到這一點的同時，還要知道如何遏制一些常見的偏見。
選擇偏見
在搜集和評估産品回報資料時，berger 遭遇最多的就是這種偏見。例如，産品的支援請求通常隻來自那些最活躍的使用者，了解這一點很重要。如果你隻和這些使用者溝通交流，那麼你就将所有的非活躍潛在使用者都排除在外了，更不可能從他們那裡獲得有價值的資料。
你可能會進行産品的可用性測試。進行可用性測試時，很多人的做法是從 craigslist 上招募測試志願者，這看似是很合理的做法。不過你需要時刻記住的是，通過 craigslist 找到的測試志願者并不能代表絕大部分的潛在使用者。你要了解這種方法可能存在的局限，因為你找到的測試者都是一些經常參與測試的專業測試者，和大部分使用者還是不一樣的。是以你要意識到，你在測試中獲得的資料的一部分可能是無用資料，要學會排除這些資料，然後繼續。
确認偏見 or 觀察者偏見
大家傾向于在資料中隻看那些自己想看到的資料，或是想看自己之前預測的結論，這很自然。這其實也是一種偏見，我們需要努力抑制這種偏見的發生。不妨想象一下，同樣一組資料，可能支援一種假設，也可能同樣能支援另外一種假設。它可能符合你所想的，也可能完全不符。總之，不要隻去看那些自己想看的資料，在這方面一定要極力克制。
實際上，在 berger 看來，處理上面這類資料偏見的過程是在一家創業公司工作非常激動人心的一部分。那些曾在大公司工作的人會習慣利用資料做一些細微方面的修正和調整——例如在 a/b 測試中，首頁上的哪個詞起到了一點作用。如果你是在一家成立不久的創業公司，你跟資料打交道的過程就會更加曲折，利用資料做的事情也會重要很多。要盡可能快地積極參與到這個過程中。它可以幫你學到很多關于産品和使用者的新東西。
報告偏見
觀察者偏見主要指在一堆資料中隻看你想看到的部分，而報告偏見主要指隻關注那類最讓你覺得舒服的資料。這意味着對于那些比較難擷取、分析起來較為複雜以及難以量化的資料，就不會給與太多的關注和重視。在就不同的産品決策做出取舍時，這種偏見表現得尤為明顯。你可能有一組很容易定量分析的資料，是以你會優先分析這組資料，這組資料可能可以說明一個産品決策的正确性。但同時可能會有很多定性的分析來證明這個産品決策的錯誤。例如，你們産品的使用者增長資料可能非常不錯，但使用者滿意度如何呢?
你經常要去面對和衡量來自不同管道的使用者回報資料，并需要從不同的角度來評估産品決策，這些工作量雖然繁重但都是值得的。對于任何在産品決策中所面對的贊同意見和潛在的反對觀點，都要保持清晰的頭腦。資料的來源管道是多種多樣的，認識到這一點可以幫你獲得更為清晰的視野。這已經幫助我們在 slack 做出了很多明智的決策，例如之前提到的郵件營銷，在我們從全局的角度來分析郵件營銷所取得的效果時，我們才知道做郵件營銷是不劃算的。
融合定量資料和定性資料，讓他們共同發揮作用
在你确定假設并對其進行驗證時，你就需要從那些你認為比較有價值、有啟發性的資料入手。你确定了哪些用于驗證假設的問題?有哪些搜集回報資訊的管道?又如何正确地開展這項工具?定量回報和定量回報的差別在哪裡，berger 總結出來的經驗是：定量資料可以幫你了解某件事情的對或錯，而定量資料則可以告訴你它為什麼是對的或錯的。
當你在對你手中的回報資料資源進行優先級劃分時，你是否還需要去獲得其它的資料。換句話說，在一個任何資料都可以擷取的世界裡，是否有必要去獲得所有的資料，有備無患?
其實在通常情況下，擷取資料并非完全免費的，是需要擷取一定的成本的，有時是顯性成本，有時是機會成本。有時資料即使可以 “免費” 獲得，但我們仍要考慮是否值得我們花心思去獲得這些資料，因為裡面通常會含有隐形成本。
現在擷取資訊是非常容易的，正如你可以很容易浏覽使用者在産品官方 twitter 上的回報。你在工作中總會去搜集一些相關回報資訊，有時是定量資料，有時是定性資料。不過如果你有清晰的目标，并知道如何通過假設驗證來實作你的目标，你就不會因為有一個使用者不喜歡某項功能就匆忙地去改動你的産品。你需要知道哪些資料适合用作測試使用。
你需要詳細地了解并清楚你的資料來源，這比其它所有事情都要重要，但這并不是說你不需要關注其它事情。如果你認為新上線的産品功能非常重要，但使用者的普遍回報卻一般，這時你就需要傾聽使用者的聲音了。不過你不能對所有回報資料都一視同仁的對待。
搜集你手裡沒有的資料
通常情況下，如果定量資料回報暴露了産品中存在一個問題，你可以一眼就在分析儀表盤上發現。定性資料回報就不同了，它分析起來更加複雜和棘手。還記得上面說到的 “選擇偏見” 嗎?和網站流量資料和留存率資料不同，當你浏覽産品支援回報或是社交媒體上的回報資訊時，你通常隻會本能地看一些局部資訊，無法看清全貌。要想獲得可直接使用的實用的定性資料，你需要主動走出去積極搜集相關資料。
berger 加入 slack 時，他面臨的是一個貌似令人豔羨的問題：産品回報都非常正面。“開始的時候，我就對自己說：‘如果在 slack 官方 twitter 賬号下留言的人都說 slack 是一款很棒的産品，那麼我加入 slack 是幹什麼來了?我怎麼才能為 slack 創造價值?'。
是以 berger 開始努力走出去接觸那些還沒有對 slack 發表過評論亦或是還沒用過 slack 的人群。他知道 slack 的下一步戰略是為規模更大的團隊提供服務。是以 berger 開始拜訪他能找到的規模最大的那些團隊。這次團隊拜訪工作是非常有價值的，因為這些大團隊使用 slack 的體驗和那些經常在 twitter 上給 slack 留言的活躍使用者(這些團隊的規模通常和 slack 自己差不多)的體驗是非常不一樣的。
berger 在使用者拜訪中發現，slack 确實給這些規模較大的團隊創造了很多價值，但 slack 的有些地方卻并未能很好地滿足他們的需求，給他們造成了很大的困擾。而他們所遇到的問題其實是可以很快解決的，隻是 slack 之前一直沒發現而已。“隻通過一種管道了解使用者回報當然很簡單，而且這些回報大都是正面的—似乎每個人都喜歡 slack!但這麼做從長遠來看是存在問題的。”
搜集這種定性資料似乎和在分析監控面闆上舒服地了解定量資料的方法是徹底背離的，其實并非如此。搜集和研究定性資料時，你同樣需要首先作出假設，然後确定名額和驗證流程。
“我的假設是我們的産品并沒能很好地服務好規模較大的團隊。是以我決定從離公司較近的舊金山灣區的一些使用 slack 的大公司入手，在拜訪這些公司的過程中，我問了他們很多問題，主要圍繞他們的團隊是如何使用 slack 的。”我問的這些問題非常直接：你是如何使用 slack 的?公司内部哪些人在用?他們主要用 slack 幹什麼?他們還在用其他什麼工具，slack 是否能和這些工具實作互補?
舉個例子，slack 最初内置有一定比例數量的預設通知和通知偏好的切換功能。是以當你在團隊中工作的時候，你每天會收到一定量的有關其他同僚工作動态的郵件或桌面通知。這個對小團隊非常有用，因為這些通知可以幫助他們實時了解其他同僚的工作進展。但同樣的消息通知機制對于大團隊來說就是一個災難。
berger 聽到很多大團隊在抱怨這個問題，最後 slack 專門為大團隊提供了一套不同的預設通知功能。新功能按比例減少了每天收到的桌面通知數量，同時為他們提供了了解團隊全部動态資訊的功能選項。這個功能對于大公司太實用了。
定量回報資料分析起來很友善，但類如 “我每天收到的通知太多了” 這樣的定性回報你如何分析并和團隊分享呢?
很多人不知道如何使用定性資料。例如你出去拜訪 5 個使用者，你可能會想：‘隻拜訪 5 個使用者，我怎麼知道該注意哪些東西，或者這通路到底有沒有意義?’ 。這個時候就會發現前期準備工作的重要性了，因為你并不是通路随機選出的 5 個使用者，你要清楚你的假設是什麼，并知道應該通路哪些使用者去驗證你的假設。如果你拜訪大團隊，你隻能做出和大團隊相關的結論;如果你隻和高度活躍的使用者交流，那麼你隻能擷取和活躍使用者相關的有用資料。
有時候，你收到的有些使用者回報并不需要去測試驗證，因為你一看就知道怎麼回事。有時你會碰到一個使用者以一種非常不正常的方式使用你的産品，極少有人這麼用，是以即使他在使用的過程中遇到問題，你也可以不用管，因為一般使用者是不會這麼用的。還有些時候，有使用者在使用 slack 時遇到了了嚴重的問題，這時你不需要了解其他使用者的使用情況就能知道，每個人在使用 slack 時都會遇到這個問題。
走出辦公室去拜訪使用者雖然很辛苦也很難，但它真的是非常值得的，因為你可以從中了解你的産品需要有哪些值得改進的地方，讓你知道産品下一步的開發重點是什麼。
berger 建議早期的創業公司不要過多地擔心自己是否知道如何利用使用者回報資料。“要小心謹慎地選擇你的假設，然後選擇适合的使用者群去拜訪，獲得有價值的回報資料來驗證自己的假設，你自然而然就能知道接下來該做什麼。”
本文作者：達達
來源：51cto