天天看點

阿裡巴巴心石:面向5G優酷正在做三件事

文 / 阿裡巴巴資深技術專家 心石 策劃 / LiveVideoStack

LiveVideoStack: 大家好,我們現在在阿裡巴巴北京的辦公室,坐在我對面的是心石,他是LiveVideoStackCon2019北京音視訊大會“超高清視訊”專題的出品人。 接下來,我們将聊到多媒體技術生态的現狀與機會,優酷在相關技術上的創新,以及作為一名技術人的成長故事。

心石: 大家好,我是心石。 2009年加入阿裡巴巴,之前一直在做無線電商方面的業務和技術,沉澱了比較多的經驗,在2016年雙十一過後,接受組織任命,負責優酷的整體視訊技術。  今年是我加入阿裡的第十年。 在業務、技術和職業發展方面都有很多感悟。 阿裡巴巴的整體技術發展很大程度上得益于業務的高速增長。 從主營的電商業務可以看出技術的發展脈絡: 從主幹技術的建設到體系化的健全,由規模擴張延伸到對使用者體驗的精細化提升,再到持續縮短和優化交易鍊路,以及探索交易品類的多元化和交易全流程的一體化。  再之後阿裡巴巴提出“五新戰略”,使得線上與線下關聯,消費場景和品類進一步拓寬,IoT和資料規模持續擴大,包括AI相關技術的引入,整體的技術邊界在快速拓展。  

LiveVideoStack: 淘寶從零到億級的交易量、技術積累以及工程的提升,我相信這是阿裡巴巴的優勢,這些方法可以複制到下一個産品當中。 您剛才也提到視訊業務與電商業務存在很大的不同,這其中有哪些經驗和積累是可以在優酷上複用? 又存在哪些新的挑戰?  

心石: 優酷相當于阿裡巴巴新的賽道。 與電商業務相比,優酷所需要的關鍵技術和前沿技術布局,本質上是相同的。 在我看來,可借鑒和複制的技術能力有兩點:

1)阿裡巴巴在做各領域業務時,技術的關鍵突破點都是對規模的支撐,我在手淘得到的技術訓練都是針對大規模的使用者和資料做業務支撐,這部分曆練和積累在優酷也同樣适用,包括目前優酷呈現給市場是以App形态為主,在千萬級使用者同時線上的場景下,如何讓消費者更人性化的使用産品,内容分發、内容查找和比對的技術是一緻的。   2)移動App本身的架構,包括底層關鍵的工程和成本上的方法是在之前手淘業務上的延展。 比如,App的快速疊代,這是技術團隊所呈現的核心競争力之一。 目前阿裡巴巴有比較完善的研發工程體系,能夠保證版本疊代達到周級别,這既要實作産品功能又要保證使用者體驗,這些能力是很多中型公司很難具備的。 在周疊代基礎上,我們可以對已發版本做熱修複,使功能和政策及時的應對市場變化。   說到不同,手淘與優酷的差異點更多展現在消費場景中。

優酷的産品核心是視訊内容,其生産、分發、消費以及互動與電商存在很大差異。 電商的生産更多呈現一種“線下實體商品的線上資料化”,而視訊是精神産品通過編碼技術落地成視訊檔案,最終以流媒體的形式分發給使用者。

第一部分在生産存儲環節 。 在大規模使用者的基礎上進行分發,首先要保持合理的存儲方式,同時在各環節做好成本控制。 視訊業務的最大成本構成是帶寬,帶寬與流媒體産出體積相關。 是以,在制作環節如何使用更高效的技術把諸多視訊内容做存儲,直接關系到後續分發、消費和檢索。

第二部分在分發環節 。 合理分發的關鍵是抽取待分發内容的關鍵特征、抽取使用者特征與偏好,再将兩者做智能比對,同時為使用者留有探索空間,針對這個環節我們采用人工營運和個性化分發:

1) 人工營運考驗的是在背景有比較高效的人工營運平台,對内容進行高效檢索标注,對分發環節做配置引導。

2) 算法分發,利用算法從視訊中抽取出關鍵元素,建立視訊與視訊之間的關聯。 算法之下是推薦和搜尋,都需要對視訊做内容了解和标準工作。 優酷針對視訊分發環節建立了龐大的内容知識圖譜,不僅針對視訊内容本身,還包括對圖文以及結合阿裡巴巴的相關商品檢索資料,這些能幫助我們更好實作算法分發,提升人工營運效率。   第三部分是消費環節 。 消費環節一是把内容放在CDN上,使用者檢索到内容後通過拉流進行消費,另一個是在播放器中的解碼、渲染和播放。

前者在大的使用者場景下挑戰較多,視訊消費的最大成本是帶寬,我們盡量在離使用者最近的地方進行内容分發,既增強使用者體驗,又最大化降低成本。 我們與阿裡雲合作,将優酷整體的CDN節點做了大量的改造整合,包括對排程算法和拓撲圖的重構,能夠在地市級别基于使用者位置和内容進行合理的預推和投放。 使用者在擷取内容時,結合端側技術實作視訊快速起播、視訊渲染效果、業務繁忙期調用資源保證使用者體驗,以及讓低端裝置享有同高端設定趨于一緻的播放體驗,這也涉及到終端和雲端的聯合計算技術。

 LiveVideoStack: 在《街舞2》、《長安十二時辰》中優酷都應用了哪些超高清技術?  

心石: 《街舞2》和《長安》在制作側就比較精良,源頭媒體本身就得到了比較高品質的保障,在資料優的情況下如何為使用者提供更好的觀看品質,《街舞2》和《長安》的政策還是有差異的。   《街舞2》的運動場景居多,例如街舞動作的快速變速,按原始拍攝資料呈現就可能有問題。 為了讓使用者有“親臨現場”的視聽體驗,我們在後處理階段運用了幀率轉換技術,包括提高幀率和對高速運動場景做後處理增強。   《長安》更多是從2K到4K、由SDR到HDR的轉換工作。 差別于市場上大多數公司的HDR實作方式,即“對原始媒體進行後處理的效果增強”,優酷已經提前進入第二個階段,即結合終端算力與終端特征,将部分HDR計算結果移植到終端上,讓視訊顯示效果在更低端的裝置上同樣出色。

近期,我們也針對市場上主流的一千款裝置做了顔色和亮度比對,這些基礎工作讓優酷在視訊超高清渲染展現方面占得一些優勢。

優酷對于超高清技術的視角不僅局限于畫面本身,沉浸式體驗是包含視訊和音頻的完整體驗。 是以在音頻上,我們與MPEG-H合作,比如對手機做兩聲道轉換為環繞立體聲的算法增強。 在《街舞2》、《長安》中我們也對音頻做了很多工作,使得使用者的超高清體驗是比較完整的。

對于媒體本身,我們制定了嚴格的傳入标準。 這是目前行業内實作“高标準”超高清的重要卡口。 如果沒有卡口,僅對低品質資料進行算法增強,畫面依然會嚴重衰減。 借助新的準入标準,我們也有機會反推制作環節,提升拍攝裝置和轉制品質。 但拿到資料後還是有畫面瑕疵問題,針對這種情況優酷已經有完備的後處理和畫面修複技術。

LiveVideoStack: 目前大部分的片源還是720P和SDR,這些片源要變成超高清或者沉浸式全景聲片源,其中最大的挑戰是什麼?  

心石: 市場上所看到的4K内容,很多是将2K甚至720P的視訊通過簡單的插值算法轉換成4K,4K的整體品質達不到标準。

優酷面臨的挑戰有兩點:

1)市場上充斥着大量1080P甚至720P資料,如以此為基礎進行分辨率轉化,本身品質就較差。

2)轉制之後,在不同的高中底端裝置上的顯示效果也有差異。

優酷的解決方案是:

1)技術團隊對片源媒體進行去噪和修複,通過基于深度學習的幀間預測方法,包括對不同品類的内容使用不同的去噪增強模闆。 模闆首先對幀間進行時間和空間預測,以及去噪和增強,之後在單幀上采用傳統的濾波方式對有效信号進行增強與去噪。

2)在這之後才會進行真正意義上的轉制工作。 預處理過程會大大增強轉制效果,且是必不可少的。 因為市面上高品質的4K視訊内容還很少,很難在短時間内有質的突破,是以行業内的公司多在1080P/2K轉4K上投入大量的技術工作。

LiveVideoStack: 近幾年移動視訊的業務發展迅速,你看到了哪些趨勢?  

心石: 我首先想到的是從PC到無線的大變遷。 印象特别深的是移動端興起時,關于H5和Native有特别大的争論,大家都設想基于HTML研發架構,實作快速開發和比較好的使用者體驗。 到目前為止,大家都認為用H5作為跨端的産品解決方案是一個美好故事,而商業實踐證明了分端化定制才能提供最好的使用者體驗。  

AI帶來産品體驗和技術方法的變革 。 深度學習在各個模型上越來越成熟,特别在視訊上,從生産到後處理、增強和修複技術,再到消費側的互動等方面,AI介入的程度都越來越深入。 随着資料規模的攀升,整體的智能化趨勢越來越明顯,那些重複和低質的研發工作在未來都可能被AI替代,日後的技術工程師也可能隻分為兩類:

1)新技術研究和探索型工程師。

2)業務形态實作工程師(高維業務流程組織和編排),工作方式也會發生改變。   萬物物聯也是一個确定的大趨勢 。 目前5G對于線上網際網路應用感覺還不明顯,但在工業方面的改變已經顯現。 5G真正落地後,相信會帶來更多改變。 是以AI和萬物物聯,是我目前認為在未來行業中比較大的發展趨勢,無論優酷也好阿裡巴巴也好,都在針對這兩個大趨勢做布局和技術工作。

LiveVideoStack: 具體到AI和5G優酷有做哪些布局和準備工作?  

心石: 從目前趨勢看,5G無論是技術還是業務方面最大收益方是營運商,基礎建設存在大量工作。

優酷更多是應用商角色,在5G基礎上建構一個新形态服務。 5G是一個新時代的技術,它的突出技術特征就是高帶寬、低延遲時間和多連接配接。

優酷在5G下的業務大緻分為三種類型:

1)在5G加持下得到增強型體驗的業務。

2)跨域融合,在5G的高帶寬和多連結的技術特征下,将不同的消費産品進行融合。

3)面向未來,在5G技術下做創新突破的業務。  

4G在2013年開始大量鋪設服務,大概到2015年4G的市場達到50%,像映客、抖音等新形态的應用随之崛起。 是以我們大概有個判斷,在5G服務覆寫達到50%左右時就會有新業務形态出現,預估的時間點是2021-2022年之間。

在時間線上,優酷結合 業務場景做了 相應布局:

1)優酷是視訊消費場景,在增強部分特别明确的業務就是超高清,市場上也有很多分辨率非常高的裝置,這也是所有視訊消費廠商都在做準備的部分。

2)組合增強方面。 阿裡文娛有着豐富的内容,比如大麥網主要聚焦線下會場票務,優酷可以在5G下對現場直播、雲制播、VR直播等組合業務做探索。

3)在創新方面,目前的視訊更多是“隻讀式”或“線性”的消費模式,5G帶來高帶寬和低延遲時間的特性讓我們有機會給消費者提供“高速均量”的視覺産品。 是以,在立體視覺上優酷也做了很多布局和嘗試。

大家比較熟悉的立體視覺是VR産品,但VR産品本身存在局限性,内容産品也比較少,是以優酷除了自研完整的VR生産技術鍊條,在全視角、6DoF相關的立體視覺方面也有嘗試。 另外,也在關注超前的新型視訊,比如多觸覺、高可互動的未來視訊形态,這些部分受限于帶寬和時延還無法大規模商用,但5G為這些技術的實作提供更多可能性。 在5G時代到來前,優酷在以上三方面都做了部署,目前集中在視訊增強(超高清)部分。  

LiveVideoStack: 優酷作為一個文娛公司,在有關于裝置顯示的問題上都做了哪些具體的事情?  

心石: 大緻分為兩個部分:

1)優酷會采購大量裝置,同時與行業内的電視機、裝置廠商合作,獲得大量的測試樣本,做各色域的SDK。 再由廠商基于定制化的測試視訊進行播放驗證,在不同色域上顯示,再通過校準将參數固定下來。

2)同一内容在不同裝置上渲染顯示時,就會根據調校後的參數進行整體色域輸出,保證顯示效果不會由于裝置本身的“高中低端”而有明顯差別。 同理在移動端,優酷也采用同樣的方案。 這些實作是基于大量底層工作,包括适配、校準和新機型的跟進,最終使使用者體驗趨于一緻。   國外Netflix對内容本身有非常強的控制力,這很大程度上得益于它制定的标準對準入内容有很多控制,而在國内這幾乎是空白的,是以我們在嘗試做類似工作。 現在産業内對輸出渲染端有一定的準備,例如4K電視裝置。 但有些4K電視是不達标的,加之4K片源也很少,當一個品質很差的内容在不達标的4K電視上播放,使用者就會産生4K效果不過如此的感覺。

是以,目前優酷在超高清的突破點是,提升“品質較差片源”的4K渲染效果,為使用者帶來普惠的4K輸出。 在此過程中,我們也有機會反推産業鍊上遊,提升整體畫質内容。

LiveVideoStack: 在創新部分,之前講到生産、分發和消費的問題,有關視訊的互動形式上目前有什麼新計劃?  

心石: 優酷最近上線了“酷看”功能,在播放過程中,通過使用者互動發現視訊中的精彩環節和講解,讓使用者“邊看邊X”。 比如,邊看《街舞》邊投票、邊看《長安》邊看百科tips、邊看《貓晚》邊搶紅包雨等等。 還有在體育欄目中上線6DoF,進球之後往回拖拉2分鐘就可以對賽場進行整體觀看,包括更個性化地選擇觀看視角和軌迹。 這些都是在積極準備更多的互動形式給到使用者。

LiveVideoStack: 雖然我并沒有在阿裡工作過,但許多阿裡的朋友提到阿裡有很強的企業文化,比如“複盤文化” “花名制度”......在這樣的文化下,你最大的變化是什麼? 在管理自己的團隊的過程中,文化起到了多大的以及怎樣的作用? 阿裡的技術氛圍,對技術人的要求有何特别之處? 什麼是“阿裡味”? 對管理團隊和推進項目,技術創新,有什麼價值?  

心石: 阿裡有1年香、3年醇、5年沉的說法,就是時間越久你身上的“阿裡味”越濃,尤其對于5年甚至10年的老員工,可能是融入到骨子裡的氣質,而且阿裡文化确實有比較強烈的特征。

阿裡巴巴在商業上取得現在的成功,很大程度上是由于我們以結果導向、目标驅動來做事情。 目标驅動往下落更多是KPI文化。 其實實施KPI的公司很多,KPI制度本身也不高深,關鍵在于你定義了什麼樣的目标。 特别對于阿裡巴巴越高維的事情,其目标的制定非常具有藝術性: 既能達到很好的商業結果,也能驅動團隊提升每個人的能力 。 結果導向、目标驅動是阿裡巴巴企業文化中比較重要的特征。   第二點是簡單。 阿裡對于溝通和協作更推崇簡單高效。 阿裡巴巴所進入的商業領域非常多、非常新,不少新加入的同學會發現,怎麼有些流程不是很完備,或者應該有一個這樣或者那樣很複雜的規則來支援事情發展。 但其實有時候還真沒有,但我們同樣完成目标,這是因為“阿裡老人”能用簡單高效的方式去完成。 目标聚焦,溝通和協作都很簡單,最重要的是達成目标。 是以簡單高效也是阿裡巴巴企業文化中比較突出的一環。   第三點是樂于分享,這也是阿裡文化特别不一樣的地方,包括面試和行業同仁交流會發現,向阿裡巴巴這樣樂于分享的公司是比較少的。 我們以前參加技術論壇,除了商業機密,會與大家分享很多東西。 包括内部的工程師文化和工程師驕傲這種氛圍非常濃厚,如果你不懂一個技術,隻要找到一個負責人甚至一線員工,都會得到很好的回報,這也是我覺得特别難得的地方。  

LiveVideoStack: 在阿裡巴巴十年,有哪些令你印象深刻的事?  

心石: 阿裡巴巴對我來說是一個非常特殊的地方,但凡一個人在一個地方呆上十年,就有會特别的感情和感受。 我簡單分享下這十年的轉變吧。 首先在早期我們更關注個人能力,比如編碼和具體設計能力的提升。 到中間階段,随着負責的業務和技術難度越來越高,在時間配置設定和最後方案的達成過程中,很難每一個單項都親自參與,是以你會投身到核心重點部分,仍舊享受技術細節的樂趣。 再後面你需要考慮技術方向和技術布局。 這是很自然的事情,随着你承擔的責任越來越大、負責的事情越來越多,不做出這樣的改變就很難完成越來越大的事情群組織依托。  

————————————————

版權聲明:本文為CSDN部落客「LiveVideoStack_」的原創文章,遵循CC 4.0 BY-SA版權協定,轉載請附上原文出處連結及本聲明。

原文連結:

https://blog.csdn.net/vn9PLgZvnPs1522s82g/article/details/98690616
「視訊雲技術」你最值得關注的音視訊技術公衆号,每周推送來自阿裡雲一線的實踐技術文章,在這裡與音視訊領域一流工程師交流切磋。
阿裡巴巴心石:面向5G優酷正在做三件事

繼續閱讀