天天看點

WebRtc rtp/rtcp

RTP封包發送和接收

4.1 RTP封包構造和發送

圖2描述發送端編碼之後RTP封包的構造和發送過程,涉及三個線程:Encoder、Pacer和Network,分别負責編碼和構造RTP封包,平滑發送和傳輸層發送。

下面較長的描述這三個線程的協同工作過程:

WebRtc rtp/rtcp

 圖2 RTP封包構造和發送

Encode線程調用編碼器(比如VP8)對采集到的Raw VideoFrame進行編碼,編碼完成以後,其輸出EncodedImage通過回調到達VideoSendStream::Encoded()函數,進而通過PayloadRouter路由到ModuleRtpRtcpImpl::SendOutgoingData()。

接下來,該函數向下調用RtpSender::SendOutgoingData,進而調用RtpSenderVideo::SendVideo().

該函數對EncodedImage進行打包,然後填充RTP頭部構造RTP封包;如果配置了FEC,則進一步封裝為FEC封包。

最後傳回RtpSender::SendToNetwork()進行下一步發送。

RtpSender::SendToNetwork()函數把封包存儲到RTPPacketHistory結構中進行緩存。

然後如果開啟PacedSending,則構造Packe發送到PacedSender進行排隊,否則直接發送到網絡層.

Pacer線程周期性從隊列中擷取Packet,然後調用PacedSender::SendPacket()進行發送,接下來經過ModuleRtpRtcpImpl到達RtpSender::TimeToSendPacket()。

該函數首先從RtpPacketHistory緩存中拿到Packet的負載,然後調用PrepareAndSendPacket()函數:更新RtpHeader的相關域,統計延遲和資料包,調用SendPacketToNetwork()把封包發送到傳輸子產品.

Network線程則調用傳輸層套接字執行資料發送操作。

至此,發送端的RTP構造和發送流程完成。需要注意的是,在RtpSender中進行Rtp發送後,會統計RTP封包相關資訊。這些資訊作為RTCP構造SR/RR封包的資料來源,是以非常重要

4.2 RTP封包接收和解析

在接收端,RTP封包的接收和解包操作主要在Worker線程中執行,RTP封包從Network線程拿到後,進入Worker線程,經過解包操作,進入VCM子產品,由Decode線程進行解碼,最終由Render線程進行渲染。下圖3描述RTP封包在Worker線程中的處理流程。

WebRtc rtp/rtcp

RTP資料包經網絡層到達Call對象,根據其SSRC找到對應的VideoReceiveStream,通過調用其DeliverRtp()函數到RtpStreamReceiver::DeliverRtp()。

該函數首先解析資料包得到RTP頭部資訊,接下來執行三個操作:1.碼率估計;2.繼續發送資料包;3.接收統計。

碼率估計子產品使用GCC算法估計碼率,構造REMB封包,交給RtpRtcp子產品發送回發送端。

而接收統計則統計RTP接收資訊,這些資訊作為RTCP RR封包的資料來源。

下面重點分析接下來的資料包發送流程。

RtpStreamReceiver::ReceivePacket()首先判斷資料包是否是FEC封包,如果是則調用FecReceiver進行解包,否則直接調用RtpReceiver::IncomingRtpPacket()。該函數分析RTP封包得到通用的RTP頭部描述結構,然後調用RtpReceiverVideo::ParseRtpPacket()進一步得到Video相關資訊和負載,接着經過回調傳回RtpStreamReceiver對象。該對象把Rtp描述資訊和負載發送到VCM子產品,繼續接下來的JitterBuffer緩存和解碼渲染操作。

RTP封包解包過程是封包的逆過程,重要的輸出資訊是RTP頭部描述和媒體負載,這些資訊是下一步JitterBuffer緩存和解碼的基礎。另外對RTP封包進行統計得到的資訊則是RTCP RR封包的資料來源。

五 RTCP封包發送和接收

RTCP協定是RTP協定的控制下可以負責流媒體的服務品質保證。比較常用的RTCP封包由發送端報告SR和接收端報告RR,分别包含資料發送統計資訊和資料接收資訊。這些資訊對于流媒體品質保證非常重要,比如碼率控制、負載回報,等等。其他RTCP封包還有諸如SDES、BYE、SDES等,RFC3550對此有詳細定義。

本節重點分析WebRTC内部RTCP封包的構造、發送、接收、解析、回報等流程。需要再次強調的是,RTCP封包的資料源來自RTP封包發送和接收時的統計資訊。在WebRTC内部,RTCP封包的發送采取周期性發送和及時發送相結合的政策:ModuleProcess線程周期性發送RTCP封包;而RtpSender則在每次發送RTP封包之前都判斷是否需要發送RTCP封包;另外在接收端碼率估計子產品構造出REMB封包後,通過設定逾時讓ModuleProcess子產品立即發送RTCP封包.

5.1 RTCP封包構造和發送

在發送端,RTCP以周期性發送為基準,輔以RTP封包發送時的及時發送和REMB封包的立即發送.

發送過程主要包括Feedback資訊擷取、RTCP封包構造、序列化和發送。

圖4描述了RTCP封包的構造和發送過程。

WebRtc rtp/rtcp

 圖4 RTCP封包構造和發送

ModuleProcess線程周期性調用ModuleRtpRtcpImpl::Process()函數,該函數通過RTCPSender::TimeToSendRtcpReport()函數确定目前是否需要立即發送RTCP封包。

若是,則首先從RTPSender::GetDataCounters()擷取RTP發送統計資訊,然後調用RTCPSender::SendRTCP(),接着是SendCompoundRTCP()發送RTCP組合封包。

關于RTCP組合封包的定義,請參考文獻[1]。

5.2 RTCP封包接收和解析

接收端的RTCP封包接收和解析過程如圖5所示。

WebRtc rtp/rtcp

在接收端,RTCP封包的接收流程和RTP一樣,經過網絡接收之後到達Call對象,進而通過SSRC找到VideoReceiveStream,繼而到達RtpStreamReceiver。

接下來RTCP封包的解析和回報操作都在ModuleRtpRtcpImpl::IncomingRtcpPacket()函數中完成。該函數首先調用RTCPReceiver::IncomingRtcpPacket解析RTCP封包,得到RTCPPacketInformation對象,

然後調用 TriggerCallbacksFromRTCPPacket(),觸發注冊在此處的各路觀察者執行回調操作。RTCPReceiver::IncomingRtcpPacket()使用RTCPParser解析組合封包,針對每一種封包類型,調用對應的處理函數(如處理SDES的HandleSDES函數),反序列化後拿到封包的描述結構。

最後所有封包綜合在一起形成RTCPPacketInformation對象。

該對象接下來作為參數調用TriggerCallbacksFromRTCPPacket()函數觸發回調操作,如處理NACK的回調,處理SLI的回調,處理REMB的回調,等等。這些回調在各自子產品控制流媒體資料的編碼、發送、碼率等服務品質保證,這也是RTCP封包最終起作用的地方。

至此,我們分析了RTCP封包發送和接收的整個流程。

在SendCompoundRTCP()函數中,首先通過PrepareReport()确定将要發送何種類型的RTCP封包。然後針對每一種封包,調用其構造函數(如構造SR封包為BuildSR()函數),構造好的封包存儲在PacketContainer容器中。最後調用SendPackets()進行發送。

接下來每種RTCP封包都會調用各自的序列化函數,把封包序列化為網絡位元組流。最後通過回調到達PacketContainer::OnPacketReady(),最終把位元組流發送到傳輸層子產品:即通過TransportAdapter到達BaseChannel,Network線程調用傳輸層套接字API發送資料到網絡。

RTCP封包的構造和發送過程總體不是很複雜,最核心的操作就是擷取資料源、構造封包、序列化和發送。相對來說構造封包和序列化比較繁瑣,基于RFC定義的細節進行。

繼續閱讀