雲栖号資訊:【 點選檢視更多行業資訊】
在這裡您可以找到不同行業的第一手的上雲資訊,還在等什麼,快來!
幾個月沒去KTV跟朋友嗨歌,在座各位麥霸是否已技癢難耐?
那麼,你是否有過這樣一種大膽的想法——
借助現下使用者量蹭蹭蹭往上漲的視訊會議軟體,遠端K歌?
那麼,問題來了,就視訊會議軟體那延時,當一場視訊會議裡有人跟你在同一個辦公室坐着,那雙重混響誰用誰知道,K起歌來體驗未免有些差勁。
但在清華校慶之際,清華教師阿卡貝拉小唱組的老師們,還真獻上了上面這一場“雲上實時合唱獻禮清華校慶”活動。

并非事先各自錄制,而後剪輯實作。這6位老師是在各自家中,利用普通網絡和普通手機,同一時刻一起遠端合唱。
不得不說,論唱歌還是服清華,前有李健水木年華高曉松等知名“音樂”校友,現在還通過技術實作雲合唱。
那麼這項技術,究竟有啥過人之處?
超低延時音視訊互動技術
前面提到,視訊通話、視訊直播中尚可接受的幾百毫秒延遲,對于實時合唱來說卻是緻命的。
如果雙方的人聲、伴奏延時高于100ms,唱的拍子就會合不上。
是以,在此前被衆多網友稱作“有生之年系列”的One World:Together At Home網絡音樂會上,受限于歌手們時差、現場收錄條件、網絡條件的差異,為了保證演出效果,大部分合唱表演其實是提前錄制好的。
正如著名音樂電台DJ,SoundArio音樂基金會創始人加菲衆所評價:“0.17秒的延遲足以低效全世界頂級音樂人的現場功力。”
而清華老師們這場精彩的阿卡貝拉,即無伴奏合唱,對演唱者之間的互相配合要求極高,單向延時超過50ms,或者聲音斷斷續續、忽大忽小,就會造成歌者之間的互相幹擾。那就不是美妙和聲,而是災難現場了。
是以,這場表演是如何實作的?
老師們借助的,是超低延時音視訊互動技術,能使單向音視訊延遲低于50ms。
而技術的提供方,正是從清華園走出來的技術團隊——清流鼎點(PowerInfo)。
音視訊互動涉及編碼、傳輸、轉發、解碼等多個環節,各個環節又分為多個子產品和層次。清流鼎點的iLive方案将其視作一個整體,進行全棧綜合優化。
其中的重點,是在音視訊的編碼和傳輸環節。
iLive方案建立了從評估、預測到調整的延時、流暢及品質三要素模型,并針對不同場景,進行基于大資料的算法和政策優化。
涉及的技術細節包括:
- PTCP傳輸協定:基于UDP(使用者資料報協定),在充分了解傳輸内容的基礎上,實作的專門用于實時音視訊的協定,具備優先級、jitter、RC、重傳、FEC等多種控制手段。
- ARRC:支援基于傳輸信道狀态對編碼及播放政策的控制,依據海量資料的分析,并根據不同場景QoE模型,采用不用的控制政策。
- Multi-Path多徑傳輸技術:在PTCP協定内部實作Multi-Path傳輸機制,支援主/從、并行等不同的傳輸政策,支援基于對不同信道狀态實時監測的Packet粒度的動态選徑政策。
也就是說,能夠同時利用多個網絡(比如WiFi和4G)傳輸資料,降低單個網絡的傳輸不穩定性,進而降低卡頓率,提升音視訊通訊體驗。
目前,這一技術方案已實作在1%丢包率下,碼率4Mbps音視訊延遲最低達42ms,卡頓0.2次/分鐘。
也就是說,普通家庭網絡接入,隻要丢包率不超過1%,就可以體驗超低延時合唱啦。
并且,該技術已經在清流鼎點推出的直面app上應用。據官方介紹,可以滿足線上教學、視訊會議,乃至實時合唱、線上樂隊排練等場景需求。
如此效果,也給未來的線上互動場景提供了更多可能性,比如在AR/VR遊戲中的應用,在遠端醫療領域的應用……
清流鼎點:生于清華,長于清華
最後,簡單介紹一下清流鼎點。
清流鼎點的創始團隊,全員畢業于清華計算機系。在視訊編碼及傳輸領域有近20年的持續積累,從事過國内首批電信級VOD、IPTV系統、廣電級高品質視訊編碼器等開發工作。
其合作客戶包括:央視、映客直播、Starmaker、dokidoki等等。
自2008年起,清流鼎點旗下公司累計為中國使用者大規模地提供過3次奧運會網絡直播、2次歐洲杯和1次世界杯的網絡直播,以及4屆央視春晚網絡直播,在網絡直播視訊傳輸領域積累深厚。
【雲栖号線上課堂】每天都有産品技術專家分享!
課程位址:
https://yqh.aliyun.com/live立即加入社群,與專家面對面,及時了解課程最新動态!
【雲栖号線上課堂 社群】
https://c.tb.cn/F3.Z8gvnK
原文釋出時間:2020-05-14
本文作者:魚羊
本文來自:“量子位公衆号”,了解相關資訊可以關注“公衆号 QbitAI”