系統架構領先業務半年，是優雅解決問題的關鍵

嘉賓丨周尋

編輯丨薛梁

随着網際網路使用者數的增長，資料量和流量的爆發式增長，正常的資料處理和服務推薦手段已經很難适應當下複雜的業務場景，如何精細、準确、高效、智能的将産品和使用者聯系起來，成為各個平台系統越來越關注的點。是以，基于千人千面的個人性推薦系統成為各個業務場景不可或缺的一環。

周尋老師之前在愛奇藝負責的工作都和資料和算法相關，包括愛奇藝主要流量端的個性化推薦，大資料平台化建設，比如 A/B 實驗平台，使用者分析平台，使用者畫像平台等等，總的來說是一個為全公司的業務提供資料能力，利用算法和大資料技術讓業務能更加高效運轉和增長的大資料中台團隊。周尋有十年大資料和智能算法經驗，在個性化推薦算法和平台架構、大規模 OLAP 系統、使用者畫像、資料科學等領域有深入的實踐經驗。

在 2021 年 ArchSummit 全球架構師峰會 上，我們邀請周尋老師來擔任“新時代推薦系統技術”專題出品人，策劃大資料和推薦系統探索方面的議題，以下是和周尋老師的溝通整理。

1

親曆資料平台架構的更新

此前作為愛奇藝推薦系統和大資料應用團隊的負責人，周尋老師親曆并主導了多次資料平台架構的更新，對于愛奇藝大資料架構的建設和改造，印象深刻。周尋剛加入愛奇藝的時候，負責的其中一個項目是使用者畫像，簡單來講就是利用使用者的各種行為軌迹資料為使用者打标簽，當時的一個比較大的困難是使用者資料散落在各個業務和系統中，資料團隊花費了很多精力從各個業務系統和資料庫中抽取這些資訊，有時還存在使用者 ID 不一緻，行為埋點資訊不準确等一系列問題，可以說這個階段是非常痛苦的。

大概在 2017 年的時候，随着公司内的資料團隊逐漸整合在了一起，資料的标準化和統一化成為了大資料部門的首要任務，周尋帶領團隊先設計了統一的公司埋點規範和使用者 ID 規範，随後通過接近 2 年時間的資料中台化的建設和推進，很好的解決了第一階段的各種痛點。随後，他們對公司内的資料産品進行了整合和 SaaS 化建設，比如面向使用者側分析的系統，面向内容側分析的系統，A/B 實驗系統等等，并在實時化、智能化、移動化三個方向着力，把資料能力前置讓資料應用産品成為業務進行分析和決策的首要依靠。

2

推薦中台的建設背景

推薦中台本質要解決的是效率問題，當我們有很多推薦場景需要同時并行疊代優化的時候，人效提升和能力共享變成了一個亟需解決的問題。

周尋拆分成兩個階段來介紹：第一個階段，團隊實作了一些最簡單的可配置化場景上線，大多是通過複用其他場景模型的方式，這樣的優點是能快速接入和上線，缺點是無法很好的進一步優化推薦效果，這種方案在愛奇藝進行個性化改造的初期是一個比較好的選擇。

而在使用者産品的個性化滲透達到比較高程度的時候，資料團隊開始着手進入推薦中台第二階段的工作，主要目的是把一些核心元件進行配置化和開放化，這樣負責不同推薦場景的工程師可以進一步開展深度優化，在配置化建設過程中也比較重視經驗沉澱，把一些好的“算子”進行抽象管理，友善團隊直接互相借鑒經驗。随着算法成熟度和業務複雜度的不斷提高，推薦中台的角色也将越來越重要。

當然，中台架構在建設過程中難免也會走些彎路。周尋認為，架構的更新往往是業務和技術雙驅動，用更先進技術更好解決更複雜的問題，但架構更新往往會帶來業務的陣痛期。從周尋的經驗角度看，隻有把架構跑在業務前面才能更加優雅的解決問題，周尋對團隊的要求是架構至少應該領先業務半年，當然，這要求架構師對業務的了解和預判有更高的要求。

3

算法是推薦系統的靈魂

大資料個性化推薦系統的好壞，最相關的便是其采用的推薦算法，它是整個系統的靈魂。有基于關聯規則、基于内容和基于協同過濾的推薦，在選取規劃上的考量因素有哪些呢？周尋說，現代的推薦系統都是多種算法的融合，同時考慮多樣的業務目标，算法的選擇一定要從業務本質出發，他甚至認為，關于商業邏輯的思考是算法工程師必備的課程。

此外，使用者資料在推薦中扮演着重要的角色。周尋說，除了常見的使用者畫像能力，更重要的包括了使用者行為資料的顆粒度和實時性，在愛奇藝的推薦系統中，使用者的行為資料可以分為三個層次（實時，近線和離線）來影響算法政策。另外，埋點的顆粒度也會直接影響推薦系統的上限，比如使用者在看視訊中的拖拽行為，跳出點資訊等等都可以為算法模型拿來學習。

雖然大資料個性化推薦在目前網際網路行業的使用已變得炙手可熱，但不可否認，很多産品的推薦效果還遠遠沒有達到期望的那樣，未來的路還很長。正如周尋所說的，推薦效果的衡量方式在不同公司不同行業的定義都不同，内容類的可能會強調使用者時長，電商類的可能會強調交易，社交類的強調關系建立等等。如何定義好推薦效果名額是首先要解決的問題，這涉及到前面說的對商業邏輯的思考。同時，在産品發展的不同時期，也應該政策性的去調整推薦目标，沒有定式但一定是從業務本質出發同時是資料可衡量的。

嘉賓介紹：

周尋：eBay 中國研發中心（CCOE）總監

推薦廣告團隊負責人，前愛奇藝主 App 推薦和大資料應用平台團隊負責人，有十多年大資料和智能算法經驗，在推薦廣告算法及系統架構，使用者畫像，AB 實驗資料科學，大規模 OLAP 等領域有深入的實踐經驗。