程劍鋒(尚歡) 大淘寶技術 2023-05-15 16:20 發表于浙江
本文介紹了我們基于整合淘内業務的資料，通過廠商管道及時觸達使用者，吸引使用者下載下傳/使用淘寶，實作淘寶DAU和使用者粘性的提升。
前言
▐行業背景
當使用者群體的規模不再增長時，對使用者的使用頻次和時長的提升就顯得尤為重要。在之前，淘寶普遍采用的是大量的外投媒體廣告，實作端外的使用者引流，需要花費大量的資金成本，且随着電商競争的白熱化，ROI的提升也越加困難。
而外部的環境也在悄然變化，由于國内手機總出貨總體下滑，且使用者換機周期變長，國内廠商開始尋求多元商業化，硬體媒體化，圍繞内容生态、APP增長服務布局，一方面希望打通APP服務提高手機生态的易用性/使用者依賴，另一方面希望通過内容廣告生态打造硬體收入外的第二支柱；各家廠商逐漸推出大量免費/付費的桌面觸達産品，比如widget元件、負一屏卡片、系統搜尋、系統建議、桌面小元件、快捷方式等，圍繞着廠商管道的觸達生态 逐漸形成。
借助廠商管道觸達生态，我們開始打造全新的、體系化的廠商桌面觸達方式，基于整合淘内業務的資料，通過廠商管道及時觸達使用者，來吸引使用者下載下傳/使用淘寶。實作在外投媒體廣告、PUSH/短信方式之外，找到新的引流來源，提升淘寶的DAU和使用者粘性。
▐管道分析
我們基于管道自身展現形式和功能特性，對管道做如下分類，并在我們關注的4個重要次元上對管道做打分：
内容表現力：管道的内容表現的豐富程度，這對于後續的業務營運、使用者體驗和轉化效果起到很大的作用；
内容及時性：管道的内容資料更新及時性，部分業務會對及時性有強訴求，比如物流、秒殺等
引導成本：管道在觸達使用者前需要的引導安裝成本，部分管道需要使用者開通權限或者主動添加到桌面才能使用，較高的引導成本是阻礙管道起量的重要因素
轉化效果：綜合内容的表現力、及時性和可營運空間，基于手淘的經驗，粗略評價每個管道的曝光轉化率。
- 【桌面小元件】的典型效果
- 【搜尋推薦】的典型效果
- 【其他管道】的典型效果
▐平台定位
基于上述行業背景、管道和競品分析，我們決定打造屬于自己的的廠商桌面觸達體系。
核心目标：聯合廠商生态開拓淘寶外延新陣地，面向體驗和效率沉澱端雲一體的廠商觸達營運體系，帶來淘寶DAU和通路頻次增量。
▐成果展示
在展開講設計和思考之前，先抛一下我們的成果。經過近一年的建設，通過貼合廠商挖掘管道，連結業務透出内容，沉澱基建提高效率等方式，我們實作了喚端UV、首喚UV、DAU獨占的高速增長。
【業務側】，我們實作了喚端UV相比财年初增長了2倍以上，其中首喚占比非常高；按照商務采購價，一年可為公司節省不少資金；另外，根據用增内部嚴格的AB口徑對比，廠商生态已經是淘寶DAU增量的第一大來源（10月、11月分析）。
【技術側】，我們從0到1沉澱了廠商生态體驗平台，作為連結廠商和淘寶的基建底座，已經有6個可營運管道，2個不可營運管道，以及下遊連結30+業務，具備管道/業務快速接入、通用營運和體驗管控能力，顯著提高了業務外延、管道擴充、業務營運的效率。
問題與挑戰
▐挑戰現狀
流量問題：新管道對接成本高、舊管道缺少可持續營運，導緻流量增長困難
對比：支付寶各管道情況，深度營運 & 結合定位特色（工具屬性占70%+）；淘寶優勢在于業務内容豐富度，是特定管道上是有機會超過支付寶的；
效率問題：管道複雜、廠商特性各異、各領域業務重複對接，導緻業務外延效率低
對比：支付寶，有統一的廠商觸達平台，提供完善的基建，簡化業務對接的成本
體驗問題：管道獨立且互相難感覺、低質内容引流頻發，導緻使用者體驗有惡化趨勢
舉例：有多起使用者投訴回報，有廠商付費資源位強制出現在桌面且無法關閉，而使用者投訴的主體都是淘寶
舉例：端外環境使用者隐私保護意識更強，且系統背景環境更為複雜，需要在使用者體驗（打擾度、及時性）、業務訴求、端側性能（功耗、卡頓）之間取得平衡
▐應對政策
解決【流量增長困難】：
【增量擴充】挖掘增量矩陣，以桌面小元件為主要管道，豐富觸達産品矩陣，多管道能力挖掘與建設并進（搜尋、懸浮窗、月曆、語音助手、鴻蒙FA native卡片、負一屏等）。
【存量提質】能投放&好營運，建設可視化營運投放平台，實作【營運配置->素材投放->資料回流】閉環SOP，提升業務營運效率，提供人群、實驗、政策、算法等營運幹預能力，通過持續疊代提升流量轉化效率。
解決【業務外延效率低】：
【服務端】統一資料通道，平台側收斂各産品觸達鍊路的複雜性，對外抹平各家廠商差異（桌面定制化、桌面版本碎片化、權限各異），對内簡化下遊業務場景接入成本等，實作高時效、可擴充、易接入的廠商觸達通道；
【用戶端】内容動态化，端側通過遠端配置、動态布局、模闆搭投突破發版限制，提升現有管道業務落地效率。
保障【使用者産品體驗】：
【用戶端】通過低功耗技術、互動體驗創新、實時性保障使用者體驗。
【服務端】通過 同質内容降頻、重新整理間隔控制、低質内容過濾 保障使用者體驗。
平台設計
▐整體架構
結合上面的應對政策，我們先對業務實體、開發功能做如下的模型定義：
【業務模型】定義：
應用：用戶端APP，支援中台橫向輸出
管道：廠商的一個系統特性/能力，單個應用可以支援接入多個管道
業務：同一個應用下，建立的業務身份
活動：在具體應用+具體管道下，由具體業務建立的觸發使用者的配置，主要包括時機、場景、内容、人群等
素材：主要指活動中的觸達内容，對内容的優化、沉澱和互動創新，有助于我們提升流量品質和使用者體驗
【開發模型】定義：
政策庫：是指對活動配置中，基于業務訴求采用的投放政策，主要是對時機、場景、内容、人群的調優組合
實驗庫：在不同的活動政策中，進行AB實驗和效果回收對比的能力
素材庫：對優質素材内容的度量、沉澱、對比，以及同類活動素材推薦
再在這個基礎上，實作 業務供給 -> 營運投放 -> 效果回收 -> 政策調整 的營運SOP，平台重點圍繞着【管道&業務快速接入】、【通用營運能力】、【體驗統一管控】、【穩定性保障】五個點進行建設，下面将展開講講。
▐管道&業務快速接入
【對外】：根據管道的【資料請求模式】進行歸類，提供【統一資料通道】，端側實作屏蔽使用者終端作業系統類型、系統版本、機型、權限等環境的複雜性、差異性；
廠商直接請求型：由廠商系統側直接發起請求，資料直接傳回給廠商後，由廠商系統負責展示，典型的例如智慧識屏、小米圖搜等
APP資料拉取型：由APP側直接發起請求，資料直接傳回給APP後，由APP/廠商系統負責展示，典型的例如WIDGET、鎖屏元件、iOS搜尋等
APP資料推送型：由雲端識别到觸達時機，主動推送資料給用戶端，由APP/廠商系統負責展示，典型的例如懸浮窗、live activity更新等
【對内】：抽象【内容投放模式】，提供多種業務Access模式，支援下遊業務快速、按需對接
資源投放型：基于純營運配置實作内容更新，典型的例如ICON快捷清單的4個營運坑位，就是由營運手動配置調整
業務對接型：基于下遊業務供給實作内容更新，典型的例如淘金币widget的資料
混合型：上述兩種模式的混合，一部分來自營運手動配置，一部分來自下遊業務供給，典型的例如iOS系統搜尋，2000+搜尋詞組是多方資料混合的産物
- 統一資料通道
廠商端外觸達入口多種多樣，包括系統widget，各廠商widget， 懸浮窗，月曆，搜尋等；不同觸達方式對使用者可能透出不同的業務資料，有各自的資料重新整理鍊路、重新整理頻次，且存在内容、廠商、系統、裝置上的各方面差異性，業務側去解決這些碎片化的相容問題，成本巨大；是以，我們實作了【統一資料協定】、【重新整理間隔控制】和【聚合請求模式】，将所有管道收斂到一起，抹平掉所有管道差異，并對齊到某一時間統一排程，既能保持請求量的有序可控，也能降低業務的接入成本。
- 下遊高效對接
提供可插拔的對接模式，滿足【資源投放型】、【業務對接型】、【混合型】等不同類型内容的業務投放訴求，業務可以按需接入我們提供的多層能力，最大程度的降低下遊業務的重複實作成本。
自身投放平台，可以滿足營運各類靈活配置的訴求，統一投放引擎提供多種業務政策排程，對于有自建配置能力的業務，可以選擇對接到投放引擎層，并配合自身的業務營運系統使用。對于不想自建營運系統的業務，可以在提供下遊業務資料對接後，在廠商平台完成營運配置。
▐通用營運能力
- 投放SOP抽象
由于各管道的所需的資料内容差異很大，比如 widget 是帶界面的UI展示且界面由業務定制，而 ICON快捷清單是标準的資料清單格式，隻需給出标題、圖示和喚端連結即可。是以，需要需要抽象一套通用的營運能力，将通用的投放能力、營運政策、資料度量下沉一層，而各管道的差異内容作為content配置字段，交由各管道自己配置，進而實作 管道的快速擴充和快速營運。
素材代表着活動的UI展示和互動，類比于HTML、CSS，對于鎖屏元件、WIDGET、LIVE ACTIVITY等具備動态化渲染能力的管道上，我們可以通過素材搭建實作豐富的表現力。
業務供給代表着下遊的資料供給，比如淘金币待領取資料、購物車降價資訊、物流狀态更新等，這些業務資料需要和素材綁定，最終呈現為使用者看到的動态界面。
素材+業務供給形成了觸達使用者的最終内容，定投次元則表示我們可以将多份内容定向的投放給更比對的使用者，目前我們具備的次元有人群、廠商品牌、系統類型、APP版本、機型、生效時間、曝光疲勞度、優先級等。
在基于通用的狀态驅動流程 + 資料回收流程，将每個活動都規範化實作配置投放、資料回收、政策優化的閉環流程。
- 素材搭建
部分管道的界面是具備較大的調整空間，是以我們通過用戶端動态化的方案來滿足各業務不同的界面展示訴求，這極大的提升了我們的研發效率和管道營運能力。舉例來說，下面的WIDGET就是通過動态化搭建的方式産出的界面：
▐體驗統一管控
- 端側功耗優化
内容的及時性會極大的影響使用者的體感，例如熱門直播的開播資訊如果更新不及時，可能導緻使用者錯過直播，導緻較大輿情；而頻繁的更新，又會導緻手淘在背景頻繁拉起主程序，頻繁請求資料，帶來背景功耗與聯網問題，極易被廠商安全軟體感覺引起使用者投訴，且服務端的水位壓力也增長明顯。
是以，借助【統一資料通道】的建設，我們增加一層重新整理間隔控制，通過管道級别、接口級别兩層重新整理間隔的控制，實作雲管端的間隔控制；且端側也通過【輕量級桌面獨立程序】，通過輕量級的程序實作資料更新。
兩者結合，實作盡量減少使用者手機上資料更新導緻的功耗問題。
- 負回報監控
去年是我們廠商桌面管道的起量階段，多管道之間的内容沖突、重複，以及對使用者的打擾度還不高，但我們也提前開始關注這方面内容。主要通過兩方面的資料觀測：
- 通用輿情：觀察桌面管道相關的輿情資料
- 管道名額：每個管道我們都在逐漸定義他們相關的負向名額，用于觀察使用者的留存、反感情況。
- 例如，WIDGET管道，我們和用增産品、用增BI定義使用者留存情況觀察，用于度量管道内容的優質程度；
對于負回報監控，我們也在逐漸的完善中，端外管道相比于端内的難點在于，很多管道無法拿到用戶端埋點，行為是控制在系統側的，隻能通過服務端請求、喚端追蹤的方式間接度量效果。
對于低質内容、使用者打擾度高的管道，我們會不斷完善流量控制及預警政策，以此來保障端外使用者的整體體驗，避免被使用者視為流氓軟體。
▐穩定性保障
我們雲端的流量分發機制是從 接口 -> 管道 -> 業務 -> 配置 -> 下遊供給 的分發流程，在聚合請求模式下，會形成層層分發的效果。在每一層我們都有相應的限流保護，盡量将大的異常流量波動控制在前置鍊路處理，不影響到耗時的下遊，要求所有管道下的業務，在釋出活動配置時都必須配置兜底配置，保障端側使用者體驗和内容正确性。
- 業務監控
我們在服務内部，将請求的處理資料格式化後全部儲存到SLS日志，然後基于實時處理鍊路，産出管道級、業務級、活動級的請求成功率、失敗率、請求量以及一些技術次元的資料，并配置成sunfire監控，以及沉澱到ODPS表供給給下遊使用。
- 限流保護
在限流上我們使用多層限流機制，入口鍊路限流盡可能大，業務限流盡可能精準，并在限流時走降級容災鍊路，展示兜底配置内容：
- 入口限流：Aserver限流、Sentinel入口限流、Noah限流
- 業務限流：管道級限流、業務級限流、下遊服務限流
并且業務限流，可以接受switch動态配置，因為業務還在高效疊代，流量的變化非常快（相比财年初，我們的流量增長了20倍以上），是以通過switch動态配置業務限流，在發生實時預警時，可以便捷的調整限流配置設定，保障機器資源和容量的動态配置設定。
- 降級容災
所有管道下的業務，在配置線上活動時，都必須配置兜底活動；該活動内容會線上上部分限流場景、下遊服務異常、命中活動配置異常時啟用，高效快速的傳回使用者基本可用資料，保障異常場景下的使用者體驗。
未來展望
【業務次元】，向 複雜場景業務解決方案 邁進，通過打通端内外資源位，給業務提供全域觸達的方案，提高業務轉化效果，減少業務對接成本；
端外 -> 端内：主打拉承一體，端外觸達（廠商管道、PUSH），端内承接（POP、固定坑位）
舉例：iOS search 投放關鍵詞，使用者在系統上搜尋點選入端後，可以發放特定管道權益
端内 -> 端外：主打業務外延，基于使用者端内的行為、操作，添加端外觸達能力
舉例：端内使用者進入淘金币，彈出POP引導添加淘金币 widget；
舉例：端内使用者搜尋浏覽行為，可以将感興趣的商品資訊直接寫入系統搜尋，帶來新的流量增量；
【技術次元】，我們将圍繞廠商生态和使用者體驗，持續完成新管道擴張和現管道深挖，建設内容承接政策和體驗管控方案，打造多管道/保體驗/高轉化的端雲一體的廠商觸達引擎。
用戶端：挖掘廠商/系統更多特性，與廠商深度合作，結合低功耗、保活等核心技術，帶來更多觸達增量
平台側：豐富内容供給，完善承接政策、體驗管控，提升流量轉化效率并保障使用者體驗，實作可持續的發展。
團隊介紹
我們是淘寶終端平台體驗技術團隊，我們支撐淘寶、天貓核心電商以及閑魚、點淘等創新業務，服務9億使用者，并作為核心技術團隊，為每一年的雙十一購物狂歡節提供基礎技術保障。我們具備深厚的 Android 和 iOS 系統技術積累，擁有世界最大的電商場景和一流的移動技術平台，打造着領先行業的技術産品，涵蓋雙端架構、性能優化、APP架構、可觀測技術、高性能中間件、使用者增長&平台觸達、隐私合規等關鍵領域的工作，并緻力于移動端系統及廠商生态的前沿技術探索，持續沉澱移動領域領先且通用技術産品。