本文主要介绍了云音乐在做用户触达优化过程中的实践与思考。
一、前言
当前市面上APP站外触达用户的手段无非是广告、短信（电话）、通知栏推送几种，而前两种手段都是要花钱的，通知栏推送的基础能力各大服务商基本都是免费提供。
云音乐之前的推送比较乱，业务入口和接入平台也多种多样，维护比较费劲。各方觉得自己的业务需要发推送就提需求接入，但很少关注推送真正的效果如何，且存在业务逐渐无人维护但推送还在发的情况。
而之前推送对我们用户召回和提频的影响收益也没有很好的归因，顶多一些业务会统计推送的点击转化作为收益项，实际上还有大部分因为Push而主动点击应用图标进入的都算作自然增长量了。同时，各安卓厂商却越来越重视通知栏推送的管理，对推送内容和分配限额的控制越来越严。
于是我们对整体的情况做了梳理、管控，以业务结果为导向，通过数据明确了推送带来的价值，对当前通道能力做了进一步优化，取得了显著的效果提升，为我们的用户召回和提频提供了一种成本更低的运营方式。
二、入口整合
"工欲善其事，必先利其器"，前面也提到由于业务入口和产品复杂多样，并且产品服务之间没有将业务、通道两层概念抽象出来，如果我们不先行把这个问题解决掉，后面会一样面对很多问题，重蹈前辙，所以技术侧在这里首先做了一个比较关键的优化--通道拆分。
业务和发送通道的拆分
业务侧聚焦Push、短信、私信的平台能力，比如创意（文案）管理、推送计划管理、位置管理，以及跟业务相关的频控、版本控制、圈人、内容分类、风控等能力；通道侧主要负责维护各厂商协议的统一，用户设备信息的维护等基础服务。
由于当时云音乐的Push产品多，在原有的产品上整改耗时费力，我们就使用Link产品（云音乐投放触达平台）进行投放在线离线整合，因为Push也是针对用户进行投放，和Link现有的能力基本是相通的，比如创意（文案）管理，计划管理，同时可以将Push、短信、私信等概念抽象成位置的概念，这样就具备使用一套投放产品，解决在线和离线投放的能力，正是基于这点，我们在差不多不到一个月的时间快速搭建了Link的离线投放能力。
Link对离线推送的兼容
上面两个步骤对我们接下来的服务平台治理和优化起了至关重要的作用，做好了通道的拆分，等于搭好了基建能力；有了Link的离线投放能力，使得产品整合成为可能。
产品整合就是要将上述的历史产品整合起来，流量统一入口（这里我们在Link产品上集成了Push、短信、私信的推送，使用魔镜进行圈人，使用Link进行投放），产品整合的方式有技术迁移、业务推动、沟通下线等，比如对一些平时用的比较少，通常可能就那么一两个业务在用，尝试通过沟通来推动运营和业务方迁移的方式进行下线，比如个性化Push、批量短信等；也有一些平台由于业务调整后来就不再使用了，比如Ksong的官方账号推送，这种确认后可以直接下线；也有一些产品如启明星平时用的人不多，流量也不大但是业务耦合严重，业务迁移难度大的产品，可以通过技术侧做迁移，对业务侧无感知；最后还有一些产品如北京运营Push平台，诺伦等，还在大量使用，这时候就需要借力于项目的力量，一起出方案推动业务侧做平台迁移。
三、系统优化
如上文所述，当前Push链路整体重新设计分为两部分，上游为Push业务入口，包括计划/文案配置、策略过滤、文案组装、资源优选、圈人；下游为Push通道，主要是对接各推送渠道服务，包括Push设备token的维护、将消息分发给各渠道、采集回执数据等功能。
平台基础能力建设提升
平台基础能力建设是指以云音乐核心的投放触达平台——Link为离线流量入口，复用在线位置流量（启动页、banner等位置）管理的能力，结合外部服务商以及内部业务方管理相关的诉求，建设Push特色的基础能力。
流量分配能力
目前安卓厂商按谷歌 Android O的标准进行通知类别 (channel) 划分，将一些非必要推送消息划分为营销类，并对营销类消息进行每台设备每天的条数限制（一天2条左右，整理如下图），先到先展示。
这就导致通知栏也需要有流量管理分配机制，防止重要的运营消息被不重要的消息抢占。对此，我们做了几个方面的设置。
1.消息按Link的位置通道设置策略管理
将主站通知推送分为两个不同属性的位置：通知类Push和营销类Push。通知栏Push适用私信通知、个人高优的系统通知（如账户、资金等）、或业务常规功能或流程相关的Push提醒，平台不设置频控。营销类Push适用推广应用、内容、活动等，分通道设置频控。
消息内容分类适配厂商分类规范：整理各厂商分类，结合云音乐的推送情况，总结出一份内部推送需要遵循的分类规范，并将其与厂商的分类做映射。使用时，业务方只需在Push计划配置时选择适合的厂商分类即可。同时运营类Push位置只会提供营销类的二级分类，防止选错被厂商处罚。
平台运营通道增加按业务频控能力：平台运营通道对接的业务方较多，有的需求量大有的需求量少，增加分业务频控能力可以帮助对业务使用量的管控。
2.非即时性的通知二次触达
一般通知类型的消息点击率比较高，对日活有较大帮助，而一些非即时性通知可能由于用户错过没看到导致没点击会比较遗憾，因此增加对这些Push二次触达的功能，提升点击。
3.营销Push分人群频控
在优化过程中，对数据分析发现一些喜欢点通知栏消息的用户会经常点击，分析猜测这类用户是对通知栏比较关注且乐于接受推送消息的，因此针对这部分用户开发了分人群频控功能，进行更多推送，以提高活跃度。
个性化Push能力
个性化Push是平台运营侧提出的按每个人的偏好时间推送个性化的资源和文案，每天全量用户推送（共用平台运营通道的频控），增加用户召回和留存。对于平台基础能力要求能按偏好时间分人群发送，配置好所有需要的规则，每个规则对应的资源离线计算好数据和打分，对应的文案线上准备好进行打分，最终由策略经过频控后排序好，提供给Link下发。
Push打开率提升
系统层对APP是否接收通知栏推送有开关设置，用户关闭总开关的情况，具体会分为几种：有的用户完全不想收到通知栏消息，只想当个播放器使用；有的用户只是不想收到营销消息，正常的私信和账户相关信息还是希望收到的，但可能营销信息打扰或者不知道怎么单独关闭导致了全部关闭；还有的用户是希望晚上的时间段不收推送消息，因为担心这段时间被打扰而关了总的开关。为此我们做了两件事：
- APP端细化消息接收开关设置，提供免打扰时间段开关
- 系统设置分出运营消息，端内在用户打开或者有关注艺人等动作时提供浮层引导其打开系统推送权限设置进行设置
对总体打开率有了2个点的提升。
Push通道能力优化
Push通道能力主要是指对接厂商和第三方推送服务的能力，包括推送设备token的上报、绑定、解绑、删除，推送消息的路由分发渠道、曝光点击跳转、埋点回执。我们在此基础上做的优化措施，将原本的消息链路进行精益优化，从而提升整体的发送效率、触达率和点击率。
推送渠道覆盖增加
经过对原先接入的推送渠道覆盖情况分析，发现了一些可以明显帮助触达量提升的地方。
首先是荣耀。开始是发现一些荣耀新设备用户反馈收不到推送消息，然后排查发现荣耀厂商独立后，逐渐完善自己的开发者生态，荣耀的系统推送也和华为做了拆分，新机型开始不再支持华为推送，需要接入荣耀推送。于是我们分析了下荣耀和华为分厂商分品牌的推送触达率情况（如下图，5月份数据）。发现华为厂商荣耀品牌触达率85%以上，符合正常厂商通道触达率效果，而荣耀厂商荣耀品牌触达率则只有20%+，说明大概只有20%+荣耀厂商设备走华为渠道，而其他走了兜底非厂商渠道。而且荣耀设备比重越来越多，官方也开始推进通过系统更新切换为自己的推送渠道。于是我们认为接入荣耀推送渠道是对触达效果提升明显且非常可控的，提高优先级完成了接入。
其次，我们发现一些非主流厂商的设备用小米兜底渠道推送触达率非常高，但小米推送年中开始不再支持非MIUI设备了，于是又拉了这部分厂商数据进行分析（如下图）。发现三星、联想、魅族、努比亚、步步高等设备触达率高，而hinova（华为智选）等比较低。hinova因为是华为智选，是华为的EMUI，比较符合小米推送在非MIUI设备的表现。而其它几个触达率高的品牌结合本人之前逛刷机论坛的经历，猜测大概率应该是刷MIUI的用户量较大导致（云音乐没有采集系统ROM类型数据，无法验证）。
于是这里就看出有很多可以提升的点：
1.原本客户端初始化Push渠道只根据厂商，不根据厂商ROM类型，华米ov之外的安卓全部初始化小米渠道，刚好把刷MIUI的设备给包含进去了，而小米推送6月之后不再对非MIUI设备使用，就必须要识别系统ROM类型，更精细化的将MIUI设备初始化小米渠道，而不只是小米厂商设备初始化小米渠道；
2.华为智选设备占比也较大，具体拉了下兜底渠道的品牌分布（如下图），发现用户占比也不小，如果走华为渠道可以保障和华为设备差不多的触达率；
3.其余设备兜底接入第三方推送服务商，利用其的推送保活机制，比原本非MIUI走小米推送的0.09%的触达率能提升到10%左右，是几十上百倍的提升，我们非主流厂商的设备量也有大几百万，对总体效果也提升很大。
发送失败归因解决
整个推送链路环节较多，每个环节都可能存在失败的因素，比如内部的一些异常、厂商接口的一些限制、设备维度频控等等。我们对每个环节日志记录了较完善的失败原因，如果触达率出现波动，可以分析原因针对性解决（如下图拉取的回执详情归因数据）。
例如，我们归因分析时发现小米厂商接口有频控限制，每日北京运营全量发送时就会触发频控，导致有500万左右设备因此无法触达，于是调研了厂商文档，发现通过其批量发送接口可以在减少接口调用频率的同时不降低发送效率，改为批量发送后就再无服务频控报错导致的衰减。
推送服务商的优质特性支持
推送服务商一般除了提供基础功能外，都会有一些特色功能帮助提升点击效果。如果运用得当，可以较好的帮助我们提升每次推送任务的触达留存转化率。如大图样式，其特殊的展示会更吸引用户的点击，其效果如下图。通知栏位置十分宝贵，能占用的位置越大越有效果，当然也要避免滥用引起用户反感。此类推送样式适合在一些特殊的活动场景，需要有业务运营方设计定制活动大图后使用该能力将大图下发。
推送设备有效性维护
推送设备token是由推送服务商生成，我们关联保存自己的用户ID和设备ID，在推送时由用户ID查到对应的厂商推送设备token进行推送。如果存在大量因卸载、重装导致的无效数据，会导致我们的存储越来越大，推送的效率变低（可能一个用户查出10个设备token只有一个有效能推送），最终的触达率效果也不好，因此需要维护设备库的有效性。
上图是未做完整的有效性维护前的各主流厂商每日用户维度触达率，明显低于实际感受，如oppo触达率远低于vivo触达率，而apple甚至腰斩，而在测试中走厂商渠道推送的设备几乎没有收不到的情况，这基本就是发送的无效设备过多分母过大拉低了整体水平。
目前主要做了两种维护方式，一是根据厂商回执的结果判断设备token是否无效，进行清理；而厂商回执又并不十分全面，存在遗漏的情况，上面的情况就是此种原因导致。于是又做了定时计算清理一年没活跃且近期没曝光的设备。两种手段互补，保障了设备库的有效性。目前到达率准确性基本符合了正常认知，基本主流厂商设备到达率在80~90%。同时也为数据存储节约了40GB左右的资源。而且发送效率也因此变得更快，很多用户绑定的无效设备不需要继续推送浪费服务带宽。
四、策略提升
在阐述具体的分析和优化思路前，我们需要先了解云音乐个性化Push推送的整体逻辑。
对于一个具体的用户来说，当天推送给他的具体文案决策流程分为以下三个步骤：
- 根据运营设定的具体规则匹配资源，例如捞取用户近30天红心的歌曲列表
- 每条规则会由运营配置数条创意，使用第一步得到的资源和这些规则下的创意进行组合，可以排列组合得到一系列最终可发的Push内容
- 对最终可发的Push内容进行一个组合优选，从中挑选出最优质的内容进行推送
其中，组合优选的策略有以下四种：
- 随机Pick：从所有组合中随机选取一个发送
- 资源优先：由算法对规则匹配到的所有资源进行打分，选取分数最高的资源推送（创意随机pick）
- 创意优先：有算法对所有可以发送的创意进行打分，选取分数最高的创意推送（资源随机pick）
- 资源+创意综合优选：结合2、3的分数进行一定的加权归一计算，最终返回综合得分最高的内容
在初始阶段由于不确定具体策略的效果，所以我们进行了AB实验，为4种策略进行了均匀的分桶
第一阶段优化：文案熟悉度优化
开启全量用户的个性化PushH推送后一周后，我们对第一次创意数据的回流分析，从整体大盘数据上看，配置的所有创意平均点击率并不高，这个数值是低于项目开始前的预期的，于是我们对所有投放的创意按照点击率进行了排名，并进行了深入的分析，很快有了一个新思路，运营罗列的几十个规则都是有着明确的推荐逻辑的，因此可以通过调整创意中的文案，突出这些要素来提升用户对文案的熟悉度。按照此思路优化过后的文案，在分发一周后，大部分优化过后的文案点击率都相比原来的文案要高，有些特定的文案甚至相比原来的文案提高了一倍还多！
第二阶段优化：创意分发策略优化
按照第一阶段的思路对创意进行优化后，我们已经得到了一部分点击率较高的优质创意，但是从大盘上看，个性化Push每日总的点击率和点击用户数却没几乎没有什么增长，于是我们开始了第二轮数据分析和优化
在上一阶段我们的关注点主要集中在创意的点击率上，而忽略了创意的曝光量，通过罗列曝光量，我们很快发现了问题：点击率较差的劣质创意占据了整体曝光的大头，而优质创意虽然点击率较高，但只有很少一部分的曝光，因此整体大盘的点击率和点击总量都非常低。
要解决分发效率的问题，就需要调整推送逻辑中组合优选的策略，上文提到过，在项目启动时，一共设定了四种不同的组合优选策略，分别是随机（用于对照）、创意优先、资源优先以及创意资源综合优先，在实际分发阶段我们也针对这四种优选策略做了AB实验，于是我们拉取了一段时间的AB效果实验数据进行分析。
在连续一周多的时间里，采用了算法优选的分桶（不论是创意还有资源）效果都仅仅是和随机分发策略持平，这显然是不符合预期的，于是我们立刻和相关的算法同学进行链路的排查和优化讨论，很快我们就发现了一系列的问题：
在资源算法的实现上，由于直接复用了私人FM的算法模型，对应的优选方向其实更多关注于“用户可能喜欢”的歌，并且这套模型会更优先向用户推荐比较“新鲜”的歌曲资源，但这个方向却与之前所分析的，用户需要熟悉度更高的资源相违背，因此算法模型应该面向Push场景进行针对性的调整，将用户更为熟悉的资源优选出来。
而在创意算法的实现上，则是发现模型并没有将创意的点击曝光回流数据作为调优的输入，仅仅是根据既有的原始数据集为每个文案评分，因此并没有在Push的场景中发挥出真实的效果，快速推动相关的优化后，AB实验的数据很快便发生了变化：
在完成算法模型的调整后，创意优选的分桶点击数据 立刻开始攀升，并且持续明显好于随机对照桶，资源优先的算法分桶在完成调整后，点击数据对比随机桶也有了一定幅度的提升。在经过一段时间的观察分析后，我们判断创意在整个Push链路中对用户的影响因素更大，于是对采用创意优先组合优选策略的分桶进行了扩量，由原来的20%左右调整到了65%，在扩量之后，大盘的点击率和点击量数据很快就发生了变化，点击率提升了近80%。
再观察不同点击率的创意曝光/点击占比分布，可以看出点击率较高的优质创意明显得到了更多的曝光，也带来了更多的点击：
至此第二阶段的分析与优化基本完成，在这一阶段我们借助算法能力对创意的分发策略进行了优化，最终实现了大盘点击率和点击总量的同步增长
第三阶段优化：提升优质创意供给
在完成第二阶段优化后，我们在整个链路上基本实现了优质创意的发掘和流量倾斜，但随着投放时间的增加，我们发现个性化Push整体的点击量存在较为明显的波动，时常会出现一些波峰波谷。
在创意优选的模式下，点击量大盘主要由优质创意带动，于是我们重点下钻分析了头部优质创意的曝光点击行为，结果发现优质创意存在比较明显的头部效应，其中效果最好的3个创意所贡献的点击量在大盘占比已经达到惊人的30%，而由于创意本身存在频控（为了防止用户疲劳，设置为3天一次），所以每当这些头部创意被频控时，整体大盘的点击量就会出现大幅度下降，而当频控结束后，大盘点击量又回快速回升，进而造成了数据上的一个个“波峰波谷”。
出现这种现象的原因归根结底是优质创意供给不足，在整体500多个创意中仅有个位数的优质创意能够带来不错的点击，这些头部创意被频控后系统无法补充同等优质的创意，流量只能流转到相对平庸的普通创意上，造成点击率下跌；更严重的是，仅仅依赖头部个位数的优质创意对整个个性化Push来说是非常不健康的，很容易引起用户的疲劳反感，甚至对长期数据造成不可逆的影响，为此补充优质创意供给势在必行。
在第一阶段我们就以“熟悉度”为方向进行了文案的优化，该阶段优化后的文案点击率虽然有一定提升，但是大部分仍然是属于良好和中等级别的创意，并没有产出足够的优质头部创意。为此我们又对近期点击量贡献最高头部top20创意进行了全面的分析，试图找到优质创意背后的创作思路，进而扩展出更多的优质创意。
通过对头部创意的分析，我们很快发现了一些优质文案的共性，为了协助运营同学能够快速发散生产更多的文案，提升整体供给，我们还结合了时下火热的AIGC技术，通过小样本提示词的方式，从三个不同方向快速生产了上百条候选的新创意，再经由运营二次加工产出最终可用于投放的创意：
在添加了这部分新的创意供给后，每日的曝光趋势有了较为明显的改善，原有的头部创意触发频后依然能够有足够的优质创意进行曝光，并且从持续投放情况来看，在前一日的优质创意曝光后，后一日还可以有其他的优质创意补位，大盘点击量不再仅仅依赖某一个头部创意。
除此之外，在新增加的创意中，还诞生了“爆款”，例如下面这条创意推送之后就得到了非常高的用户点击，拉动大盘的点击总量达到了项目启动以来的峰值：
至此，第三阶段优化基本完成，在这个阶段我们通过分析优质创意的构成 ，提炼其中的卖点，并通过AI协助生产相似思路的新创意，从而拉动了优质创意的供给，在拉动大盘点击量的同时，也能有效避免用户对Push文案产生疲劳。
优化分析
经过近两个月对个性化Push的创意分析和优化后，我们将个性化Push的整体点击率从项目上线初期的平均提升一倍。在这个过程中，以数据为中心，对创意投放效果的持续观测、下钻分析，以及基于分析结果的进一步决策和优化动作基本构成了一个闭环的模型：
- 感知阶段：需要丰富全面的数据报表，以及基于各种维度的数据下钻分析；例如创意的整体点击和曝光分布情况、创意中不同动态变量因子（歌曲名、艺人名等）的影响、单个创意对不同人群分层的效果（年龄、地域、活跃度等）
- 决策阶段：根据上一阶段的数据分析，发现当前投放上存在的问题或潜在的优化点，决定是从哪个方向进行优化调整。决策阶段通常是应用过往调优经验和方法论的沉淀，例如发现创意整体的点击出现较大的头部效应就应该调整供给，发现优质创意的曝光不足则应该调整分发策略；当然也可以进行一些创新性的探索，例如优化创意的表达形态（添加图片等）
- 行动阶段：根据决策，实际执行具体的动作，例如新增创意、调整算法模型、运营干预分发规则等，在行动阶段往往会需要进行AB实验等操作，在这一阶段往往需要通过优秀的产品机制来降低运营的操作成本。
- 反馈阶段：全面回收具体行动所产生的投放数据，及时回流到数据报表和数据分析中，从而和感知阶段打通形成闭环。
五、总结与展望
在经过一系列的优化后，整体的转化漏斗提升还是比较明显的（用户数是由于设备有效性维护清理了无效设备而下降的），最终点击用户数几乎翻倍。此外分析师对看到推送直接点桌面应用图标启动的用户增量做了归因，进一步肯定了推送带来的业务价值。
本次优化的链路由入口整合到系统优化再到策略提升，一步一个脚印非常清晰，每一阶段都为后一阶段的优化提供了坚实的基础，这也是项目能取得巨大业务效果的主要因素。经过这次系统性的优化建设，主站的推送从业务价值到链路可以说是已经完全盘活了，展望未来，我们可以在这系统基础和经验模型上，沉淀打磨出一套系统性的、基于数据驱动的运营机制，持续驱动Push的效果提升。
作者:朱明智 焦广才
来源-微信公众号:网易云音乐技术团队
出处:https://mp.weixin.qq.com/s/6P4dmPFe_HW1PfOaqcufeQ