一前言
RTP/RTCP協定是流媒體通信的基石。RTP協定定義流媒體資料在網際網路上傳輸的資料包格式，而RTCP協定則負責可靠傳輸、流量控制和擁塞控制等服務品質保證。
在WebRTC項目中，RTP/RTCP子產品作為傳輸子產品的一部分，負責對發送端采集到的媒體資料進行進行封包，然後交給上層網絡子產品發送；在接收端RTP/RTCP子產品收到上層子產品的資料包後，進行解包操作，最後把負載發送到解碼子產品。
是以，RTP/RTCP 子產品在WebRTC通信中發揮非常重要的作用。
本文在深入研究WebRTC源代碼的基礎上，以Video資料的發送和接收為例，力求用簡潔語言描述RTP/RTCP子產品的實作細節，為進一步深入掌握WebRTC打下良好基礎。
二 RTP/RTCP協定概述
RTP協定是Internet上針對流媒體傳輸的基礎協定，該協定詳細說明在網際網路上傳輸音視訊的标準資料包格式。RTP協定本身隻保證明時資料的傳輸，RTCP協定則負責流媒體的傳輸品質保證，提供流量控制和擁塞控制等服務。
在RTP會話期間，各參與者周期性彼此發送RTCP封包。封包中包含各參與者資料發送和接收等統計資訊，參與者可以據此動态控制流媒體傳輸品質。
RFC3550定義RTP/RTCP協定的基本内容，包括封包格式、傳輸規則等。除此之外，IETF還定義一系列擴充協定，包括RTP協定基于檔次的擴充，和RTCP協定基于封包類型的擴充，等等。
三 WebRTC線程關系和資料流
WebRTC對外提供兩個線程：Signal和Worker，前者負責信令資料的處理和傳輸，後者負責媒體資料的處理和傳輸。在WebRTC内部，有一系列線程各司其職，互相協作完成資料流管線。
下面以Video資料的處理流程為例，說明WebRTC内部的線程合作關系。
WebRTC的RTP、RTCP協定實作分析 四 RTP封包接收和解析 RTP封包的構造和發送發生在編碼器編碼之後、網絡層發送資料包之前，而接收和解包發生在網絡層接收資料之後、解碼器編碼之前。本節詳細分析這兩部分的内容。 四 RTP封包接收和解析 RTP封包的構造和發送發生在編碼器編碼之後、網絡層發送資料包之前，而接收和解包發生在網絡層接收資料之後、解碼器編碼之前。本節詳細分析這兩部分的内容。
圖1WebRTC線程關系和資料管線
如圖1所示，Capture線程從攝像頭采集原始資料，得到VideoFrame；Capture線程是系統相關的，在Linux系統上可能是調用V4L2接口的線程，而在Mac系統上可能是調用AVFoundation架構的接口。
接下來原始資料VideoFrame從Capture線程到達Worker線程，Worker線程起搬運工的作用，沒有對資料做特别處理，而是轉發到Encoder線程。Encoder線程調用具體的編碼器(如VP8, H264)對原始資料VideoFrame進行編碼，編碼後進行RTP封包形成RTP資料包。
然後RTP資料包發送到Pacer線程進行平滑發送，Pacer線程會把RTP資料包推送到Network線程。最終Network線程調用傳輸層系統函數把資料發送到網絡。
在接收端，Network線程從網絡接收位元組流，接着Worker線程反序列化為RTP資料包，并在VCM子產品進行組幀操作。Decoder線程對組幀完成的資料幀進行解碼操作，解碼後的原始資料VideoFrame會推送到IncomingVideoStream線程，該線程把VideoStream投放到render進行渲染顯示。
至此，一幀視訊資料完成從采集到顯示的完整過程。
在上述過程中，RTP資料包産生在發送端編碼完成後，其編碼輸出被封裝為RTP封包，然後經序列化發送到網絡。
在接收端由網絡線程收到網絡資料包後，經過反序列化還原成RTP封包，然後經過解包得到媒體資料負載，供解碼器進行解碼。RTP封包在發送和接收過程中，會執行一系列統計操作，統計結果作為資料源供構造RTCP封包之用。
RTP封包構造、發送/接收統計和RTCP封包構造、解析回報，是接下來分析的重點。
四 RTP封包接收和解析
RTP封包的構造和發送發生在編碼器編碼之後、網絡層發送資料包之前，而接收和解包發生在網絡層接收資料之後、解碼器編碼之前。本節詳細分析這兩部分的内容。
4.1 RTP封包構造和發送
圖2描述發送端編碼之後RTP封包的構造和發送過程，涉及三個線程：Encoder、Pacer和Network，分别負責編碼和構造RTP封包，平滑發送和傳輸層發送。
下面較長的描述這三個線程的協同工作過程。
圖2 RTP封包構造和發送
ncode線程調用編碼器(比如VP8)對采集到的RawVideoFrame進行編碼，編碼完成以後，其輸出EncodedImage通過回調到達VideoSendStream::Encoded()函數，進而通過PayloadRouter路由到ModuleRtpRtcpImpl::SendOutgoingData()。
接下來，該函數向下調用RtpSender::SendOutgoingData()，進而調用RtpSenderVideo::SendVideo()。該函數對EncodedImage進行打包，然後填充RTP頭部構造RTP封包；如果配置了FEC，則進一步封裝為FEC封包。最後傳回RtpSender::SendToNetwork()進行下一步發送。
RtpSender::SendToNetwork()函數把封包存儲到RTPPacketHistory結構中進行緩存。接下來如果開啟PacedSending，則構造Packe發送到PacedSender進行排隊，否則直接發送到網絡層。
Pacer線程周期性從隊列中擷取Packet，然後調用PacedSender::SendPacket()進行發送，接下來經過ModuleRtpRtcpImpl到達RtpSender::TimeToSendPacket()。該函數首先從RtpPacketHistory緩存中拿到Packet的負載，然後調用PrepareAndSendPacket()函數：更新RtpHeader的相關域，統計延遲和資料包，調用SendPacketToNetwork()把封包發送到傳輸子產品。
Network線程則調用傳輸層套接字執行資料發送操作。至此，發送端的RTP構造和發送流程完成。需要注意的是，在RtpSender中進行Rtp發送後，會統計RTP封包相關資訊。這些資訊作為RTCP構造SR/RR封包的資料來源，是以非常重要。
4.2 RTP封包接收和解析
在接收端，RTP封包的接收和解包操作主要在Worker線程中執行，RTP封包從Network線程拿到後，進入Worker線程，經過解包操作，進入VCM子產品，由Decode線程進行解碼，最終由Render線程進行渲染。
下圖3描述RTP封包在Worker線程中的處理流程。
圖3 RTP封包接收和解析
RTP資料包經網絡層到達Call對象，根據其SSRC找到對應的VideoReceiveStrea，通過調用其DeliverRtp()函數到RtpStreamReceiver::DeliverRtp()。
該函數首先解析資料包得到RTP頭部資訊，接下來執行三個操作：
1.碼率估計；
2.繼續發送資料包；
3.接收統計。
碼率估計子產品使用GCC算法估計碼率，構造REMB封包，交給RtpRtcp子產品發送回發送端。而接收統計則統計RTP接收資訊，這些資訊作為RTCP RR封包的資料來源。
下面重點分析接下來的資料包發送流程。
RtpStreamReceiver::ReceivePacket()首先判斷資料包是否是FEC封包，如果是則調用FecReceiver進行解包，否則直接調用RtpReceiver::IncomingRtpPacket()。
該函數分析RTP封包得到通用的RTP頭部描述結構，然後調用RtpReceiverVideo::ParseRtpPacket()進一步得到Video相關資訊和負載，接着經過回調傳回RtpStreamReceiver對象。該對象把Rtp描述資訊和負載發送到VCM子產品，繼續接下來的JitterBuffer緩存和解碼渲染操作。
RTP封包解包過程是封包的逆過程，重要的輸出資訊是RTP頭部描述和媒體負載，這些資訊是下一步JitterBuffer緩存和解碼的基礎。另外對RTP封包進行統計得到的資訊則是RTCP RR封包的資料來源。
五 RTCP封包發送和接收
RTCP協定負責流媒體的服務品質保證。比較常用的RTCP封包由發送端報告SR和接收端報告RR，分别包含資料發送統計資訊和資料接收資訊。這些資訊對于流媒體品質保證非常重要，比如碼率控制、負載回報，等等。其他RTCP封包還有諸如SDES、BYE、SDES等，RFC3550對此有詳細定義。
本節重點分析WebRTC内部RTCP封包的構造、發送、接收、解析、回報等流程。需要再次強調的是，RTCP封包的資料源來自RTP封包發送和接收時的統計資訊。
在WebRTC内部，RTCP封包的發送采取周期性發送和及時發送相結合的政策：ModuleProcess線程周期性發送RTCP封包；而RtpSender則在每次發送RTP封包之前都判斷是否需要發送RTCP封包；另外在接收端碼率估計子產品構造出REMB封包後，通過設定逾時讓ModuleProcess子產品立即發送RTCP封包。
5.1 RTCP封包構造和發送
在發送端，RTCP以周期性發送為基準，輔以RTP封包發送時的及時發送和REMB封包的立即發送。發送過程主要包括Feedback資訊擷取、RTCP封包構造、序列化和發送。
圖4描述了RTCP封包的構造和發送過程。
圖4 RTCP封包構造和發送
ModuleProcess線程周期性調用ModuleRtpRtcpImpl::Process()函數，該函數通過RTCPSender::TimeToSendRtcpReport()函數确定目前是否需要立即發送RTCP封包。若是，則首先從RTPSender::GetDataCounters()擷取RTP發送統計資訊，然後調用RTCPSender::SendRTCP()，接着是SendCompoundRTCP()發送RTCP組合封包。
在SendCompoundRTCP()函數中，首先通過PrepareReport()确定将要發送何種類型的RTCP封包。然後針對每一種封包，調用其構造函數(如構造SR封包為BuildSR()函數)，構造好的封包存儲在PacketContainer容器中。最後調用SendPackets()進行發送。
接下來每種RTCP封包都會調用各自的序列化函數，把封包序列化為網絡位元組流。最後通過回調到達PacketContainer::OnPacketReady()，最終把位元組流發送到傳輸層子產品：即通過TransportAdapter到達BaseChannel，Network線程調用傳輸層套接字API發送資料到網絡。
RTCP封包的構造和發送過程總體不是很複雜，最核心的操作就是擷取資料源、構造封包、序列化和發送。相對來說構造封包和序列化比較繁瑣，基于RFC定義的細節進行。
5.2 RTCP封包接收和解析
接收端的RTCP封包接收和解析過程如圖5所示。
圖5 RTCP封包接收和解析
在接收端，RTCP封包的接收流程和RTP一樣，經過網絡接收之後到達Call對象，進而通過SSRC找到VideoReceiveStream，繼而到達RtpStreamReceiver。接下來RTCP封包的解析和回報操作都在ModuleRtpRtcpImpl::IncomingRtcpPacket()函數中完成。
該函數首先調用RTCPReceiver::IncomingRtcpPacket()解析RTCP封包，得到RTCPPacketInformation對象，然後調用TriggerCallbacksFromRTCPPacket()，觸發注冊在此處的各路觀察者執行回調操作。
RTCPReceiver::IncomingRtcpPacket()使用RTCPParser解析組合封包，針對每一種封包類型，調用對應的處理函數(如處理SDES的HandleSDES函數)，反序列化後拿到封包的描述結構。
最後所有封包綜合在一起形成RTCPPacketInformation對象。該對象接下來作為參數調用TriggerCallbacksFromRTCPPacket()函數觸發回調操作，如處理NACK的回調，處理SLI的回調，處理REMB的回調，等等。這些回調在各自子產品控制流媒體資料的編碼、發送、碼率等服務品質保證，這也是RTCP封包最終起作用的地方。
至此，我們分析了RTCP封包發送和接收的整個流程。
六 總結
本文在深入分析WebRTC源代碼的基礎上，結合流程圖描述出RTP/RTCP子產品的實作流程，在關鍵問題上(如RTCP封包的資料來源)進行深入細緻的研究。為進一步深入掌握WebRTC的實作原理和細節打下良好基礎。
原作者官微！
一前言
RTP/RTCP協定是流媒體通信的基石。RTP協定定義流媒體資料在網際網路上傳輸的資料包格式，而RTCP協定則負責可靠傳輸、流量控制和擁塞控制等服務品質保證。
在WebRTC項目中，RTP/RTCP子產品作為傳輸子產品的一部分，負責對發送端采集到的媒體資料進行進行封包，然後交給上層網絡子產品發送；在接收端RTP/RTCP子產品收到上層子產品的資料包後，進行解包操作，最後把負載發送到解碼子產品。
是以，RTP/RTCP 子產品在WebRTC通信中發揮非常重要的作用。
本文在深入研究WebRTC源代碼的基礎上，以Video資料的發送和接收為例，力求用簡潔語言描述RTP/RTCP子產品的實作細節，為進一步深入掌握WebRTC打下良好基礎。
二 RTP/RTCP協定概述
RTP協定是Internet上針對流媒體傳輸的基礎協定，該協定詳細說明在網際網路上傳輸音視訊的标準資料包格式。RTP協定本身隻保證明時資料的傳輸，RTCP協定則負責流媒體的傳輸品質保證，提供流量控制和擁塞控制等服務。
在RTP會話期間，各參與者周期性彼此發送RTCP封包。封包中包含各參與者資料發送和接收等統計資訊，參與者可以據此動态控制流媒體傳輸品質。
RFC3550定義RTP/RTCP協定的基本内容，包括封包格式、傳輸規則等。除此之外，IETF還定義一系列擴充協定，包括RTP協定基于檔次的擴充，和RTCP協定基于封包類型的擴充，等等。
三 WebRTC線程關系和資料流
WebRTC對外提供兩個線程：Signal和Worker，前者負責信令資料的處理和傳輸，後者負責媒體資料的處理和傳輸。在WebRTC内部，有一系列線程各司其職，互相協作完成資料流管線。
下面以Video資料的處理流程為例，說明WebRTC内部的線程合作關系。
圖1WebRTC線程關系和資料管線
如圖1所示，Capture線程從攝像頭采集原始資料，得到VideoFrame；Capture線程是系統相關的，在Linux系統上可能是調用V4L2接口的線程，而在Mac系統上可能是調用AVFoundation架構的接口。
接下來原始資料VideoFrame從Capture線程到達Worker線程，Worker線程起搬運工的作用，沒有對資料做特别處理，而是轉發到Encoder線程。Encoder線程調用具體的編碼器(如VP8, H264)對原始資料VideoFrame進行編碼，編碼後進行RTP封包形成RTP資料包。
然後RTP資料包發送到Pacer線程進行平滑發送，Pacer線程會把RTP資料包推送到Network線程。最終Network線程調用傳輸層系統函數把資料發送到網絡。
在接收端，Network線程從網絡接收位元組流，接着Worker線程反序列化為RTP資料包，并在VCM子產品進行組幀操作。Decoder線程對組幀完成的資料幀進行解碼操作，解碼後的原始資料VideoFrame會推送到IncomingVideoStream線程，該線程把VideoStream投放到render進行渲染顯示。
至此，一幀視訊資料完成從采集到顯示的完整過程。
在上述過程中，RTP資料包産生在發送端編碼完成後，其編碼輸出被封裝為RTP封包，然後經序列化發送到網絡。
在接收端由網絡線程收到網絡資料包後，經過反序列化還原成RTP封包，然後經過解包得到媒體資料負載，供解碼器進行解碼。RTP封包在發送和接收過程中，會執行一系列統計操作，統計結果作為資料源供構造RTCP封包之用。
RTP封包構造、發送/接收統計和RTCP封包構造、解析回報，是接下來分析的重點。
四 RTP封包接收和解析
RTP封包的構造和發送發生在編碼器編碼之後、網絡層發送資料包之前，而接收和解包發生在網絡層接收資料之後、解碼器編碼之前。本節詳細分析這兩部分的内容。
4.1 RTP封包構造和發送
圖2描述發送端編碼之後RTP封包的構造和發送過程，涉及三個線程：Encoder、Pacer和Network，分别負責編碼和構造RTP封包，平滑發送和傳輸層發送。
下面較長的描述這三個線程的協同工作過程。
圖2 RTP封包構造和發送
ncode線程調用編碼器(比如VP8)對采集到的RawVideoFrame進行編碼，編碼完成以後，其輸出EncodedImage通過回調到達VideoSendStream::Encoded()函數，進而通過PayloadRouter路由到ModuleRtpRtcpImpl::SendOutgoingData()。
接下來，該函數向下調用RtpSender::SendOutgoingData()，進而調用RtpSenderVideo::SendVideo()。該函數對EncodedImage進行打包，然後填充RTP頭部構造RTP封包；如果配置了FEC，則進一步封裝為FEC封包。最後傳回RtpSender::SendToNetwork()進行下一步發送。
RtpSender::SendToNetwork()函數把封包存儲到RTPPacketHistory結構中進行緩存。接下來如果開啟PacedSending，則構造Packe發送到PacedSender進行排隊，否則直接發送到網絡層。
Pacer線程周期性從隊列中擷取Packet，然後調用PacedSender::SendPacket()進行發送，接下來經過ModuleRtpRtcpImpl到達RtpSender::TimeToSendPacket()。該函數首先從RtpPacketHistory緩存中拿到Packet的負載，然後調用PrepareAndSendPacket()函數：更新RtpHeader的相關域，統計延遲和資料包，調用SendPacketToNetwork()把封包發送到傳輸子產品。
Network線程則調用傳輸層套接字執行資料發送操作。至此，發送端的RTP構造和發送流程完成。需要注意的是，在RtpSender中進行Rtp發送後，會統計RTP封包相關資訊。這些資訊作為RTCP構造SR/RR封包的資料來源，是以非常重要。
4.2 RTP封包接收和解析
在接收端，RTP封包的接收和解包操作主要在Worker線程中執行，RTP封包從Network線程拿到後，進入Worker線程，經過解包操作，進入VCM子產品，由Decode線程進行解碼，最終由Render線程進行渲染。
下圖3描述RTP封包在Worker線程中的處理流程。
圖3 RTP封包接收和解析
RTP資料包經網絡層到達Call對象，根據其SSRC找到對應的VideoReceiveStrea，通過調用其DeliverRtp()函數到RtpStreamReceiver::DeliverRtp()。
該函數首先解析資料包得到RTP頭部資訊，接下來執行三個操作：
1.碼率估計；
2.繼續發送資料包；
3.接收統計。
碼率估計子產品使用GCC算法估計碼率，構造REMB封包，交給RtpRtcp子產品發送回發送端。而接收統計則統計RTP接收資訊，這些資訊作為RTCP RR封包的資料來源。
下面重點分析接下來的資料包發送流程。
RtpStreamReceiver::ReceivePacket()首先判斷資料包是否是FEC封包，如果是則調用FecReceiver進行解包，否則直接調用RtpReceiver::IncomingRtpPacket()。
該函數分析RTP封包得到通用的RTP頭部描述結構，然後調用RtpReceiverVideo::ParseRtpPacket()進一步得到Video相關資訊和負載，接着經過回調傳回RtpStreamReceiver對象。該對象把Rtp描述資訊和負載發送到VCM子產品，繼續接下來的JitterBuffer緩存和解碼渲染操作。
RTP封包解包過程是封包的逆過程，重要的輸出資訊是RTP頭部描述和媒體負載，這些資訊是下一步JitterBuffer緩存和解碼的基礎。另外對RTP封包進行統計得到的資訊則是RTCP RR封包的資料來源。
五 RTCP封包發送和接收
RTCP協定負責流媒體的服務品質保證。比較常用的RTCP封包由發送端報告SR和接收端報告RR，分别包含資料發送統計資訊和資料接收資訊。這些資訊對于流媒體品質保證非常重要，比如碼率控制、負載回報，等等。其他RTCP封包還有諸如SDES、BYE、SDES等，RFC3550對此有詳細定義。
本節重點分析WebRTC内部RTCP封包的構造、發送、接收、解析、回報等流程。需要再次強調的是，RTCP封包的資料源來自RTP封包發送和接收時的統計資訊。
在WebRTC内部，RTCP封包的發送采取周期性發送和及時發送相結合的政策：ModuleProcess線程周期性發送RTCP封包；而RtpSender則在每次發送RTP封包之前都判斷是否需要發送RTCP封包；另外在接收端碼率估計子產品構造出REMB封包後，通過設定逾時讓ModuleProcess子產品立即發送RTCP封包。
5.1 RTCP封包構造和發送
在發送端，RTCP以周期性發送為基準，輔以RTP封包發送時的及時發送和REMB封包的立即發送。發送過程主要包括Feedback資訊擷取、RTCP封包構造、序列化和發送。
圖4描述了RTCP封包的構造和發送過程。
圖4 RTCP封包構造和發送
ModuleProcess線程周期性調用ModuleRtpRtcpImpl::Process()函數，該函數通過RTCPSender::TimeToSendRtcpReport()函數确定目前是否需要立即發送RTCP封包。若是，則首先從RTPSender::GetDataCounters()擷取RTP發送統計資訊，然後調用RTCPSender::SendRTCP()，接着是SendCompoundRTCP()發送RTCP組合封包。
在SendCompoundRTCP()函數中，首先通過PrepareReport()确定将要發送何種類型的RTCP封包。然後針對每一種封包，調用其構造函數(如構造SR封包為BuildSR()函數)，構造好的封包存儲在PacketContainer容器中。最後調用SendPackets()進行發送。
接下來每種RTCP封包都會調用各自的序列化函數，把封包序列化為網絡位元組流。最後通過回調到達PacketContainer::OnPacketReady()，最終把位元組流發送到傳輸層子產品：即通過TransportAdapter到達BaseChannel，Network線程調用傳輸層套接字API發送資料到網絡。
RTCP封包的構造和發送過程總體不是很複雜，最核心的操作就是擷取資料源、構造封包、序列化和發送。相對來說構造封包和序列化比較繁瑣，基于RFC定義的細節進行。
5.2 RTCP封包接收和解析
接收端的RTCP封包接收和解析過程如圖5所示。
圖5 RTCP封包接收和解析
在接收端，RTCP封包的接收流程和RTP一樣，經過網絡接收之後到達Call對象，進而通過SSRC找到VideoReceiveStream，繼而到達RtpStreamReceiver。接下來RTCP封包的解析和回報操作都在ModuleRtpRtcpImpl::IncomingRtcpPacket()函數中完成。
該函數首先調用RTCPReceiver::IncomingRtcpPacket()解析RTCP封包，得到RTCPPacketInformation對象，然後調用TriggerCallbacksFromRTCPPacket()，觸發注冊在此處的各路觀察者執行回調操作。
RTCPReceiver::IncomingRtcpPacket()使用RTCPParser解析組合封包，針對每一種封包類型，調用對應的處理函數(如處理SDES的HandleSDES函數)，反序列化後拿到封包的描述結構。
最後所有封包綜合在一起形成RTCPPacketInformation對象。該對象接下來作為參數調用TriggerCallbacksFromRTCPPacket()函數觸發回調操作，如處理NACK的回調，處理SLI的回調，處理REMB的回調，等等。這些回調在各自子產品控制流媒體資料的編碼、發送、碼率等服務品質保證，這也是RTCP封包最終起作用的地方。
至此，我們分析了RTCP封包發送和接收的整個流程。
六 總結
本文在深入分析WebRTC源代碼的基礎上，結合流程圖描述出RTP/RTCP子產品的實作流程，在關鍵問題上(如RTCP封包的資料來源)進行深入細緻的研究。為進一步深入掌握WebRTC的實作原理和細節打下良好基礎。