音視訊技術開發周刊 69期

版權聲明：本文為部落客原創文章，未經部落客允許不得轉載。 https://blog.csdn.net/vn9PLgZvnPs1522s82g/article/details/83027054

『音視訊技術開發周刊』由LiveVideoStack團隊出品，專注在音視訊技術領域，縱覽相關技術領域的幹貨和新聞投稿，每周一期。點選『閱讀原文』，浏覽第69期内容，祝您閱讀愉快。

架構

BBR如何讓Spotify流媒體更流暢？

本文來自數字音樂服務商Spotify的科技部落格，文章闡述了通過BBR為使用者提供了更大的下載下傳帶寬，BBR是由Google開發的TCP擁塞控制算法，它旨在加快網際網路資料傳輸速度。LiveVideoStack對原文進行了摘譯。

Akamai首席架構師Will：WebRTC、QUIC、DASH、AV1都前景可觀

William Robert Law是Akamai媒體業務群的首席架構師，自從去年邀請他參加LiveVideoStackCon 2017後，我們就親切的稱他Will。在對他的郵件采訪中，他談到了中美科技工程師的對比，CDN産業對比，架構師的職責，新技術的前景以及從4次創業過程中學到的經驗。在LiveVideoStackCon 2018上，Will将會分享剛剛結束的俄羅斯世界杯的支援經曆，以及通過CMAF實作海量使用者、低延遲直播。

華人的戰場——MSU視訊編碼大賽

從HW265到騰訊香農編碼器，從sz264/sz265到UCodec，當然還有金山265，在MSU視訊編碼評測排名靠前的參賽者大部分來自本土公司或華人工程師的貢獻。LiveVideoStack試圖通過一系列采訪，解讀這一全球知名的視訊Codec評測。本文是系列文章的第一篇。

Bitmovin: 視訊開發者報告 2018

今年的視訊開發者報告（Video Developer Report）在釋出前總共收到了來自6大洲67個國家的456份調研問卷。該報告旨在對目前工業界使用的視訊技術進行較為全面的梳理，并對下一年的行業發展趨勢做出大緻的預測。本文對該報告中的關鍵内容進行了整理。

Get a head start with QUIC

In this blog post, we will show you how you can unlock the cloudflare-quic.com achievement and be some of the first people in the world to perform a HTTP transaction over the global internet using QUIC. This will be a moment that you can tell your grandkids about - if they can stop laughing at your stories of cars with wheels and use of antiquated words like: “meme” and “phone”.

從零開始仿寫一個抖音App——日志和埋點以及後端初步架構

日志在一個項目中起着非常重要的輔助作用，它可以讓開發人員友善的定位 bug。它可以在系統上線之後讓背景監控 app 的性能以及穩定性。他還可以收集使用者的行為資料以友善對使用者的需求進行分析。在這一節中我會分析5種不同的日志，并講解其中幾種日志的實作方式。

Enhancing the Netflix UI Experience with HDR

We’re excited to roll out experimental HDR images for the very first time to the Netflix app on the latest generation of game consoles. These are images that take advantage of a display’s HDR capabilities (just like HDR video) and not to be confused with HDR photos that your phone or camera might take by combining multiple exposures to generate a high-contrast scene.

朱晔的網際網路架構實踐心得S1E7：三十種架構設計模式（上）

設計模式是前人通過大量的實踐總結出來的一些經驗總結和最佳實踐。在經過多年的軟體開發實踐之後，回過頭來去看23種設計模式你會發現很多平時寫代碼的套路和OO的套路和設計模式裡總結的類似，這也說明了你悟到的東西和别人悟到的一樣，經過大量實踐總能趨向性得出一些最佳實踐的結論。

分布式 TensorFlow：Distribution Strategy API 丨Google 開發者大會 2018

2018 年 9 月 21 日 周玥楓（Google Brain 軟體工程師）帶來一場《分布式 TensorFlow：Distribution Strategy API》的演講，本文将對演講做一個回顧。

音頻/視訊技術

基于TCP的0.8s超低延時、150kb/s超弱網絡、低卡頓穩定直播架構

本文介紹了一個在直播品質上大幅超過各大平台的直播架構，在低延時方面甚至超過普通的WebRTC+RTMP。在CPU效率和響應速度上也是屈指可數的。基于跨平台開發思想，目前隻完成了iOS部分，後續完成所有之後考慮開源，在這之前歡迎測試。

EasyDarwin RTSPRequest請求相關代碼分析

在之前的博文中提到了RTSPSession中建立RTSPRequest和RTPSession以完成進一步的視訊流建構，本文主要分析其中RTSPRequest請求的相關代碼。RTSPRequest作為RTSP請求儲存視訊流請求資訊如請求方法，開始時間，結束時間，播放速度，傳輸方式等。

MediaPlayer 播放音頻與視訊

Android 多媒體中的——MediaPlayer 可以用來播放音頻和視訊，是 Androd 多媒體架構中的一個重要元件，通過該類，可以以最小的步驟來擷取，解碼 和播放音視訊。

使用 MediaExtractor 和 MediaMuxer API 解析和封裝 mp4 檔案

一個音視訊檔案是由音頻和視訊組成的，我們可以通過MediaExtractor、MediaMuxer把音頻或視訊給單獨抽取出來，抽取出來的音頻和視訊能單獨播放。

編解碼

iOS系統中H264硬解碼及顯示詳解

蘋果在iOS 8.0系統之前，沒有開放系統的硬體編碼解碼功能，不過Mac OS系統一直有，被稱為VideoToolBox的架構來處理硬體的編碼和解碼，終于在iOS 8.0後，蘋果将該架構引入iOS系統。

了解低延遲視訊編碼的正确姿勢

在視訊世界中，延遲是擷取視訊幀的瞬間與該幀顯示的瞬間之間的時間量。低延遲是任何與視訊内容實時互動的系統的設計目标，例如視訊會議或無人機駕駛。但是“低延遲”的含義可能會有所不同，實作低延遲的方法也并不相同。本文将定義和解釋視訊延遲的基礎知識，并讨論如何正确選擇對延遲影響最大的視訊編碼技術。

HEVC 幀内預測

幀内預測使用TU塊。利用目前圖檔已經編碼的像素進行預測。幀内預測可用塊大小為幀内預測分成35種預測模式，其中33種角度預測（2-34），Planar預測（0）和DC預測（1）。支援塊大小從4x4到64x64。

OpenMAX資料流傳遞規則

在利用 OpenMax 編寫的程式架構中，就不可避免地會涉及到資料流的傳遞，因為這個架構就是為了資料流傳遞而服務的。在音視訊資料包的傳遞過程中需要遵循某種限制，比如資料包處理時間不能超過幀間隔等等。本文就讨論一下在資料流傳遞過程中的一些限制性規則，主要就是時間限制規則。

ARM Linux平台下FFmpeg的移植

一個視訊直播的項目，需要使用嵌入式Linux裝置作為一個推流端，是以使用FFmpeg實作推流功能。libx264是一個自由的H.264編碼庫，是x264項目的一部分，使用廣泛，FFmpeg的H.264實作就是用的libx264。FFmpeg 中帶有264的解碼,沒有編碼,需要添加x264。

AI智能

淺談動作識别TSN, TRN, ECO

動作識别表面是簡單的分類問題，但從本質上來說，是視訊了解問題，很多因素都會影響其中，比如不同類型視訊中空間時間資訊權重不同？視訊長短不一緻？視訊中動作持續的起始終止時間差異很大？視訊對應的語義标簽是否模糊？本文主要對比 video-level 動作識别的經典方法TSN，及其拓展變形版本的TRN和ECO。

為什麼 AI 晶片時代必然到來——從TPU開始的幾十倍性能之旅

摩爾定律的終結将使服務于特定領域的架構成為計算的未來。一個開創性的例子就是谷歌在 2015 年推出的張量處理單元（TPU），目前已經在為超過十億人提供服務。TPU 使深度神經網絡（DNN）的計算速度提高了 15-30 倍，能耗效率比類似技術下的當代 CPU 和 GPU 高出了 30-80 倍。

伯克利最新研究：如何用目标圖像進行機器視覺強化學習？

深度強化學習結合了深度學習和強化學習的優勢，可以在複雜高維的狀态動作空間中進行端到端的感覺決策。今天，來自 Berkeley 的兩位大佬給我們介紹了用想象的目标進行視覺強化學習，讓我們來看看有什麼新穎之處。

目标檢測架構5年演進全盤點：從R-CNN到RFBNet

目标檢測是計算機視覺領域的基本且重要的問題之一，而「一般目标檢測」則更注重檢測種類廣泛的自然事物類别。近日，中國國防科技大學、芬蘭奧盧大學、澳洲悉尼大學、香港中文大學、加拿大滑鐵盧大學的研究者在 arXiv 釋出了一篇綜述論文，對用于一般目标檢測的深度學習技術進行了全面系統的總結。

快手 AI 技術副總裁鄭文：快手在内容生産&内容了解上用到的 AI 技術

鄭文，清華大學軟體學院 2001 級校友，斯坦福大學計算機系博士，曾在矽谷多家知名大公司、創業企業從事計算機圖形學、計算機視覺、深度學習等方向的研究，現任快手 AI 技術副總裁，帶領快手在 AI、AR、CV、CG 等方向的前沿研究。

圖像

iOS 圖像渲染原理

通過 圖形渲染原理 一文，大緻能夠了解圖形渲染過程中硬體相關的原理。本文将進一步介紹 iOS 開發過程中圖形渲染原理。

圖像處理之空間濾波

空間濾波是指：鄰域中心從一個像素向另一個像素移動，對鄰域中的像素應用算子T，并在該位置（領域中心）産生輸出。典型地，該處理從輸入圖像的左上角開始，以水準掃描的方式逐像素處理。當該鄰域的中心位于圖像的邊界上時部分鄰域将位于圖像外部，此時，用T做計算時可以忽略外側鄰點，或者用0或其他指定的灰階值填充圖像的邊緣。