本文主要介紹了雲音樂在做使用者觸達優化過程中的實踐與思考。
一、前言
目前市面上APP站外觸達使用者的手段無非是廣告、短信（電話）、通知欄推送幾種，而前兩種手段都是要花錢的，通知欄推送的基礎能力各大服務商基本都是免費提供。
雲音樂之前的推送比較亂，業務入口和接入平台也多種多樣，維護比較費勁。各方覺得自己的業務需要發推送就提需求接入，但很少關注推送真正的效果如何，且存在業務逐漸無人維護但推送還在發的情況。
而之前推送對我們使用者召回和提頻的影響收益也沒有很好的歸因，頂多一些業務會統計推送的點選轉化作為收益項，實際上還有大部分因為Push而主動點選應用圖示進入的都算作自然增長量了。同時，各安卓廠商卻越來越重視通知欄推送的管理，對推送内容和配置設定限額的控制越來越嚴。
于是我們對整體的情況做了梳理、管控，以業務結果為導向，通過資料明确了推送帶來的價值，對目前通道能力做了進一步優化，取得了顯著的效果提升，為我們的使用者召回和提頻提供了一種成本更低的營運方式。
二、入口整合
"工欲善其事，必先利其器"，前面也提到由于業務入口和産品複雜多樣，并且産品服務之間沒有将業務、通道兩層概念抽象出來，如果我們不先行把這個問題解決掉，後面會一樣面對很多問題，重蹈前轍，是以技術側在這裡首先做了一個比較關鍵的優化--通道拆分。
業務和發送通道的拆分
業務側聚焦Push、短信、私信的平台能力，比如創意（文案）管理、推送計劃管理、位置管理，以及跟業務相關的頻控、版本控制、圈人、内容分類、風控等能力；通道側主要負責維護各廠商協定的統一，使用者裝置資訊的維護等基礎服務。
由于當時雲音樂的Push産品多，在原有的産品上整改耗時費力，我們就使用Link産品（雲音樂投放觸達平台）進行投放線上離線整合，因為Push也是針對使用者進行投放，和Link現有的能力基本是相通的，比如創意（文案）管理，計劃管理，同時可以将Push、短信、私信等概念抽象成位置的概念，這樣就具備使用一套投放産品，解決線上和離線投放的能力，正是基于這點，我們在差不多不到一個月的時間快速搭建了Link的離線投放能力。
Link對離線推送的相容
上面兩個步驟對我們接下來的服務平台治理和優化起了至關重要的作用，做好了通道的拆分，等于搭好了基建能力；有了Link的離線投放能力，使得産品整合成為可能。
産品整合就是要将上述的曆史産品整合起來，流量統一入口（這裡我們在Link産品上內建了Push、短信、私信的推送，使用魔鏡進行圈人，使用Link進行投放），産品整合的方式有技術遷移、業務推動、溝通下線等，比如對一些平時用的比較少，通常可能就那麼一兩個業務在用，嘗試通過溝通來推動營運和業務方遷移的方式進行下線，比如個性化Push、批量短信等；也有一些平台由于業務調整後來就不再使用了，比如Ksong的官方賬号推送，這種确認後可以直接下線；也有一些産品如啟明星平時用的人不多，流量也不大但是業務耦合嚴重，業務遷移難度大的産品，可以通過技術側做遷移，對業務側無感覺；最後還有一些産品如北京營運Push平台，諾倫等，還在大量使用，這時候就需要借力于項目的力量，一起出方案推動業務側做平台遷移。
三、系統優化
如上文所述，目前Push鍊路整體重新設計分為兩部分，上遊為Push業務入口，包括計劃/文案配置、政策過濾、文案組裝、資源優選、圈人；下遊為Push通道，主要是對接各推送管道服務，包括Push裝置token的維護、将消息分發給各管道、采集回執資料等功能。
平台基礎能力建設提升
平台基礎能力建設是指以雲音樂核心的投放觸達平台——Link為離線流量入口，複用線上位置流量（啟動頁、banner等位置）管理的能力，結合外部服務商以及内部業務方管理相關的訴求，建設Push特色的基礎能力。
流量配置設定能力
目前安卓廠商按谷歌 Android O的标準進行通知類别 (channel) 劃分，将一些非必要推送消息劃分為營銷類，并對營銷類消息進行每台裝置每天的條數限制（一天2條左右，整理如下圖），先到先展示。
這就導緻通知欄也需要有流量管理配置設定機制，防止重要的營運消息被不重要的消息搶占。對此，我們做了幾個方面的設定。
1.消息按Link的位置通道設定政策管理
将主站通知推送分為兩個不同屬性的位置：通知類Push和營銷類Push。通知欄Push适用私信通知、個人高優的系統通知（如賬戶、資金等）、或業務正常功能或流程相關的Push提醒，平台不設定頻控。營銷類Push适用推廣應用、内容、活動等，分通道設定頻控。
消息内容分類适配廠商分類規範：整理各廠商分類，結合雲音樂的推送情況，總結出一份内部推送需要遵循的分類規範，并将其與廠商的分類做映射。使用時，業務方隻需在Push計劃配置時選擇适合的廠商分類即可。同時營運類Push位置隻會提供營銷類的二級分類，防止選錯被廠商處罰。
平台營運通道增加按業務頻控能力：平台營運通道對接的業務方較多，有的需求量大有的需求量少，增加分業務頻控能力可以幫助對業務使用量的管控。
2.非即時性的通知二次觸達
一般通知類型的消息點選率比較高，對日活有較大幫助，而一些非即時性通知可能由于使用者錯過沒看到導緻沒點選會比較遺憾，是以增加對這些Push二次觸達的功能，提升點選。
3.營銷Push分人群頻控
在優化過程中，對資料分析發現一些喜歡點通知欄消息的使用者會經常點選，分析猜測這類使用者是對通知欄比較關注且樂于接受推送消息的，是以針對這部分使用者開發了分人群頻控功能，進行更多推送，以提高活躍度。
個性化Push能力
個性化Push是平台營運側提出的按每個人的偏好時間推送個性化的資源和文案，每天全量使用者推送（共用平台營運通道的頻控），增加使用者召回和留存。對于平台基礎能力要求能按偏好時間分人群發送，配置好所有需要的規則，每個規則對應的資源離線計算好資料和打分，對應的文案線上準備好進行打分，最終由政策經過頻控後排序好，提供給Link下發。
Push打開率提升
系統層對APP是否接收通知欄推送有開關設定，使用者關閉總開關的情況，具體會分為幾種：有的使用者完全不想收到通知欄消息，隻想當個播放器使用；有的使用者隻是不想收到營銷消息，正常的私信和賬戶相關資訊還是希望收到的，但可能營銷資訊打擾或者不知道怎麼單獨關閉導緻了全部關閉；還有的使用者是希望晚上的時間段不收推送消息，因為擔心這段時間被打擾而關了總的開關。為此我們做了兩件事：
- APP端細化消息接收開關設定，提供免打擾時間段開關
- 系統設定分出營運消息，端内在使用者打開或者有關注藝人等動作時提供浮層引導其打開系統推送權限設定進行設定
對總體打開率有了2個點的提升。
Push通道能力優化
Push通道能力主要是指對接廠商和第三方推送服務的能力，包括推送裝置token的上報、綁定、解綁、删除，推送消息的路由分發管道、曝光點選跳轉、埋點回執。我們在此基礎上做的優化措施，将原本的消息鍊路進行精益優化，進而提升整體的發送效率、觸達率和點選率。
推送管道覆寫增加
經過對原先接入的推送管道覆寫情況分析，發現了一些可以明顯幫助觸達量提升的地方。
首先是榮耀。開始是發現一些榮耀新裝置使用者回報收不到推送消息，然後排查發現榮耀廠商獨立後，逐漸完善自己的開發者生态，榮耀的系統推送也和華為做了拆分，新機型開始不再支援華為推送，需要接入榮耀推送。于是我們分析了下榮耀和華為分廠商分品牌的推送觸達率情況（如下圖，5月份資料）。發現華為廠商榮耀品牌觸達率85%以上，符合正常廠商通道觸達率效果，而榮耀廠商榮耀品牌觸達率則隻有20%+，說明大概隻有20%+榮耀廠商裝置走華為管道，而其他走了兜底非廠商管道。而且榮耀裝置比重越來越多，官方也開始推進通過系統更新切換為自己的推送管道。于是我們認為接入榮耀推送管道是對觸達效果提升明顯且非常可控的，提高優先級完成了接入。
其次，我們發現一些非主流廠商的裝置用小米兜底管道推送觸達率非常高，但小米推送年中開始不再支援非MIUI裝置了，于是又拉了這部分廠商資料進行分析（如下圖）。發現三星、聯想、魅族、努比亞、步步高等裝置觸達率高，而hinova（華為智選）等比較低。hinova因為是華為智選，是華為的EMUI，比較符合小米推送在非MIUI裝置的表現。而其它幾個觸達率高的品牌結合本人之前逛刷機論壇的經曆，猜測大機率應該是刷MIUI的使用者量較大導緻（雲音樂沒有采集系統ROM類型資料，無法驗證）。
于是這裡就看出有很多可以提升的點：
1.原本用戶端初始化Push管道隻根據廠商，不根據廠商ROM類型，華米ov之外的安卓全部初始化小米管道，剛好把刷MIUI的裝置給包含進去了，而小米推送6月之後不再對非MIUI裝置使用，就必須要識别系統ROM類型，更精細化的将MIUI裝置初始化小米管道，而不隻是小米廠商裝置初始化小米管道；
2.華為智選裝置占比也較大，具體拉了下兜底管道的品牌分布（如下圖），發現使用者占比也不小，如果走華為管道可以保障和華為裝置差不多的觸達率；
3.其餘裝置兜底接入第三方推送服務商，利用其的推送保活機制，比原本非MIUI走小米推送的0.09%的觸達率能提升到10%左右，是幾十上百倍的提升，我們非主流廠商的裝置量也有大幾百萬，對總體效果也提升很大。
發送失敗歸因解決
整個推送鍊路環節較多，每個環節都可能存在失敗的因素，比如内部的一些異常、廠商接口的一些限制、裝置次元頻控等等。我們對每個環節日志記錄了較完善的失敗原因，如果觸達率出現波動，可以分析原因針對性解決（如下圖拉取的回執詳情歸因資料）。
例如，我們歸因分析時發現小米廠商接口有頻控限制，每日北京營運全量發送時就會觸發頻控，導緻有500萬左右裝置是以無法觸達，于是調研了廠商文檔，發現通過其批量發送接口可以在減少接口調用頻率的同時不降低發送效率，改為批量發送後就再無服務頻控報錯導緻的衰減。
推送服務商的優質特性支援
推送服務商一般除了提供基礎功能外，都會有一些特色功能幫助提升點選效果。如果運用得當，可以較好的幫助我們提升每次推送任務的觸達留存轉化率。如大圖樣式，其特殊的展示會更吸引使用者的點選，其效果如下圖。通知欄位置十分寶貴，能占用的位置越大越有效果，當然也要避免濫用引起使用者反感。此類推送樣式适合在一些特殊的活動場景，需要有業務營運方設計定制活動大圖後使用該能力将大圖下發。
推送裝置有效性維護
推送裝置token是由推送服務商生成，我們關聯儲存自己的使用者ID和裝置ID，在推送時由使用者ID查到對應的廠商推送裝置token進行推送。如果存在大量因解除安裝、重裝導緻的無效資料，會導緻我們的存儲越來越大，推送的效率變低（可能一個使用者查出10個裝置token隻有一個有效能推送），最終的觸達率效果也不好，是以需要維護裝置庫的有效性。
上圖是未做完整的有效性維護前的各主流廠商每日使用者次元觸達率，明顯低于實際感受，如oppo觸達率遠低于vivo觸達率，而apple甚至腰斬，而在測試中走廠商管道推送的裝置幾乎沒有收不到的情況，這基本就是發送的無效裝置過多分母過大拉低了整體水準。
目前主要做了兩種維護方式，一是根據廠商回執的結果判斷裝置token是否無效，進行清理；而廠商回執又并不十分全面，存在遺漏的情況，上面的情況就是此種原因導緻。于是又做了定時計算清理一年沒活躍且近期沒曝光的裝置。兩種手段互補，保障了裝置庫的有效性。目前到達率準确性基本符合了正常認知，基本主流廠商裝置到達率在80~90%。同時也為資料存儲節約了40GB左右的資源。而且發送效率也是以變得更快，很多使用者綁定的無效裝置不需要繼續推送浪費服務帶寬。
四、政策提升
在闡述具體的分析和優化思路前，我們需要先了解雲音樂個性化Push推送的整體邏輯。
對于一個具體的使用者來說，當天推送給他的具體文案決策流程分為以下三個步驟：
- 根據營運設定的具體規則比對資源，例如撈取使用者近30天紅心的歌曲清單
- 每條規則會由營運配置數條創意，使用第一步得到的資源和這些規則下的創意進行組合，可以排列組合得到一系列最終可發的Push内容
- 對最終可發的Push内容進行一個組合優選，從中挑選出最優質的内容進行推送
其中，組合優選的政策有以下四種：
- 随機Pick：從所有組合中随機選取一個發送
- 資源優先：由算法對規則比對到的所有資源進行打分，選取分數最高的資源推送（創意随機pick）
- 創意優先：有算法對所有可以發送的創意進行打分，選取分數最高的創意推送（資源随機pick）
- 資源+創意綜合優選：結合2、3的分數進行一定的權重歸一計算，最終傳回綜合得分最高的内容
在初始階段由于不确定具體政策的效果，是以我們進行了AB實驗，為4種政策進行了均勻的分桶
第一階段優化：文案熟悉度優化
開啟全量使用者的個性化PushH推送後一周後，我們對第一次創意資料的回流分析，從整體大盤資料上看，配置的所有創意平均點選率并不高，這個數值是低于項目開始前的預期的，于是我們對所有投放的創意按照點選率進行了排名，并進行了深入的分析，很快有了一個新思路，營運羅列的幾十個規則都是有着明确的推薦邏輯的，是以可以通過調整創意中的文案，突出這些要素來提升使用者對文案的熟悉度。按照此思路優化過後的文案，在分發一周後，大部分優化過後的文案點選率都相比原來的文案要高，有些特定的文案甚至相比原來的文案提高了一倍還多！
第二階段優化：創意分發政策優化
按照第一階段的思路對創意進行優化後，我們已經得到了一部分點選率較高的優質創意，但是從大盤上看，個性化Push每日總的點選率和點選使用者數卻沒幾乎沒有什麼增長，于是我們開始了第二輪資料分析和優化
在上一階段我們的關注點主要集中在創意的點選率上，而忽略了創意的曝光量，通過羅列曝光量，我們很快發現了問題：點選率較差的劣質創意占據了整體曝光的大頭，而優質創意雖然點選率較高，但隻有很少一部分的曝光，是以整體大盤的點選率和點選總量都非常低。
要解決分發效率的問題，就需要調整推送邏輯中組合優選的政策，上文提到過，在項目啟動時，一共設定了四種不同的組合優選政策，分别是随機（用于對照）、創意優先、資源優先以及創意資源綜合優先，在實際分發階段我們也針對這四種優選政策做了AB實驗，于是我們拉取了一段時間的AB效果實驗資料進行分析。
在連續一周多的時間裡，采用了算法優選的分桶（不論是創意還有資源）效果都僅僅是和随機分發政策持平，這顯然是不符合預期的，于是我們立刻和相關的算法同學進行鍊路的排查和優化讨論，很快我們就發現了一系列的問題：
在資源算法的實作上，由于直接複用了私人FM的算法模型，對應的優選方向其實更多關注于“使用者可能喜歡”的歌，并且這套模型會更優先向使用者推薦比較“新鮮”的歌曲資源，但這個方向卻與之前所分析的，使用者需要熟悉度更高的資源相違背，是以算法模型應該面向Push場景進行針對性的調整，将使用者更為熟悉的資源優選出來。
而在創意算法的實作上，則是發現模型并沒有将創意的點選曝光回流資料作為調優的輸入，僅僅是根據既有的原始資料集為每個文案評分，是以并沒有在Push的場景中發揮出真實的效果，快速推動相關的優化後，AB實驗的資料很快便發生了變化：
在完成算法模型的調整後，創意優選的分桶點選資料 立刻開始攀升，并且持續明顯好于随機對照桶，資源優先的算法分桶在完成調整後，點選資料對比随機桶也有了一定幅度的提升。在經過一段時間的觀察分析後，我們判斷創意在整個Push鍊路中對使用者的影響因素更大，于是對采用創意優先組合優選政策的分桶進行了擴量，由原來的20%左右調整到了65%，在擴量之後，大盤的點選率和點選量資料很快就發生了變化，點選率提升了近80%。
再觀察不同點選率的創意曝光/點選占比分布，可以看出點選率較高的優質創意明顯得到了更多的曝光，也帶來了更多的點選：
至此第二階段的分析與優化基本完成，在這一階段我們借助算法能力對創意的分發政策進行了優化，最終實作了大盤點選率和點選總量的同步增長
第三階段優化：提升優質創意供給
在完成第二階段優化後，我們在整個鍊路上基本實作了優質創意的發掘和流量傾斜，但随着投放時間的增加，我們發現個性化Push整體的點選量存在較為明顯的波動，時常會出現一些波峰波谷。
在創意優選的模式下，點選量大盤主要由優質創意帶動，于是我們重點下鑽分析了頭部優質創意的曝光點選行為，結果發現優質創意存在比較明顯的頭部效應，其中效果最好的3個創意所貢獻的點選量在大盤占比已經達到驚人的30%，而由于創意本身存在頻控（為了防止使用者疲勞，設定為3天一次），是以每當這些頭部創意被頻控時，整體大盤的點選量就會出現大幅度下降，而當頻控結束後，大盤點選量又回快速回升，進而造成了資料上的一個個“波峰波谷”。
出現這種現象的原因歸根結底是優質創意供給不足，在整體500多個創意中僅有個位數的優質創意能夠帶來不錯的點選，這些頭部創意被頻控後系統無法補充同等優質的創意，流量隻能流轉到相對平庸的普通創意上，造成點選率下跌；更嚴重的是，僅僅依賴頭部個位數的優質創意對整個個性化Push來說是非常不健康的，很容易引起使用者的疲勞反感，甚至對長期資料造成不可逆的影響，為此補充優質創意供給勢在必行。
在第一階段我們就以“熟悉度”為方向進行了文案的優化，該階段優化後的文案點選率雖然有一定提升，但是大部分仍然是屬于良好和中等級别的創意，并沒有産出足夠的優質頭部創意。為此我們又對近期點選量貢獻最高頭部top20創意進行了全面的分析，試圖找到優質創意背後的創作思路，進而擴充出更多的優質創意。
通過對頭部創意的分析，我們很快發現了一些優質文案的共性，為了協助營運同學能夠快速發散生産更多的文案，提升整體供給，我們還結合了時下火熱的AIGC技術，通過小樣本提示詞的方式，從三個不同方向快速生産了上百條候選的新創意，再經由營運二次加工産出最終可用于投放的創意：
在添加了這部分新的創意供給後，每日的曝光趨勢有了較為明顯的改善，原有的頭部創意觸發頻後依然能夠有足夠的優質創意進行曝光，并且從持續投放情況來看，在前一日的優質創意曝光後，後一日還可以有其他的優質創意補位，大盤點選量不再僅僅依賴某一個頭部創意。
除此之外，在新增加的創意中，還誕生了“爆款”，例如下面這條創意推送之後就得到了非常高的使用者點選，拉動大盤的點選總量達到了項目啟動以來的峰值：
至此，第三階段優化基本完成，在這個階段我們通過分析優質創意的構成 ，提煉其中的賣點，并通過AI協助生産相似思路的新創意，進而拉動了優質創意的供給，在拉動大盤點選量的同時，也能有效避免使用者對Push文案産生疲勞。
優化分析
經過近兩個月對個性化Push的創意分析和優化後，我們将個性化Push的整體點選率從項目上線初期的平均提升一倍。在這個過程中，以資料為中心，對創意投放效果的持續觀測、下鑽分析，以及基于分析結果的進一步決策和優化動作基本構成了一個閉環的模型：
- 感覺階段：需要豐富全面的資料報表，以及基于各種次元的資料下鑽分析；例如創意的整體點選和曝光分布情況、創意中不同動态變量因子（歌曲名、藝人名等）的影響、單個創意對不同人群分層的效果（年齡、地域、活躍度等）
- 決策階段：根據上一階段的資料分析，發現目前投放上存在的問題或潛在的優化點，決定是從哪個方向進行優化調整。決策階段通常是應用過往調優經驗和方法論的沉澱，例如發現創意整體的點選出現較大的頭部效應就應該調整供給，發現優質創意的曝光不足則應該調整分發政策；當然也可以進行一些創新性的探索，例如優化創意的表達形态（添加圖檔等）
- 行動階段：根據決策，實際執行具體的動作，例如新增創意、調整算法模型、營運幹預分發規則等，在行動階段往往會需要進行AB實驗等操作，在這一階段往往需要通過優秀的産品機制來降低營運的操作成本。
- 回報階段：全面回收具體行動所産生的投放資料，及時回流到資料報表和資料分析中，進而和感覺階段打通形成閉環。
五、總結與展望
在經過一系列的優化後，整體的轉化漏鬥提升還是比較明顯的（使用者數是由于裝置有效性維護清理了無效裝置而下降的），最終點選使用者數幾乎翻倍。此外分析師對看到推送直接點桌面應用圖示啟動的使用者增量做了歸因，進一步肯定了推送帶來的業務價值。
本次優化的鍊路由入口整合到系統優化再到政策提升，一步一個腳印非常清晰，每一階段都為後一階段的優化提供了堅實的基礎，這也是項目能取得巨大業務效果的主要因素。經過這次系統性的優化建設，主站的推送從業務價值到鍊路可以說是已經完全盤活了，展望未來，我們可以在這系統基礎和經驗模型上，沉澱打磨出一套系統性的、基于資料驅動的營運機制，持續驅動Push的效果提升。
作者:朱明智 焦廣才
來源-微信公衆号:網易雲音樂技術團隊
出處:https://mp.weixin.qq.com/s/6P4dmPFe_HW1PfOaqcufeQ