天天看点

ICIP2021:VVC RPR参考结构改进

ICIP2021:VVC RPR参考结构改进

参考图像重采样(Referencr Picture Resampling,RPR)是VVC在实时视频编码的重要工具。RPR可以在码流内部自适应改变分辨率而不需要插入IDR或IRAP帧,这样可以避免因为IDR或IRAP帧过大造成的网络拥塞。RPR可以根据网络情况自适应调整分辨率,当网络带宽低时可以下采样编码低分辨率(LR)帧,当网络带宽变好后又可上采样编码高分辨率(HR)的原始帧。

VVC中的RPR

在H.264和H.265中,当一段码流要改变分辨率时需要插入IDR或IRAP帧,但是编码IDR或IRAP帧需要码率比帧间预测帧更高且速度更慢,对于实时通信场景会增加延时。

为了在改变分辨率时不需要插入IDR或IRAP帧,VVC提出了RPR。相关语法元素在SPS和PPS中,可以指定水平和垂直方向的缩放比例。

当参考帧和当前帧分辨率不同时,为了进行运动补偿需要对参考帧进行重采样,VVC支持块级重采样,DPB中只存未重采样的编码帧。

ICIP2021:VVC RPR参考结构改进

如果码流中分辨率发生了变化,则在质量评价时PSNR计算方式发生了变化,如Fig.1中PSNR1和PSNR2都需要计算。JVET-Q2015中提出了RPR的标准测试环境(后台回复"RPR"获取),它要求水平和垂直缩放比例为2:1或1.5:1,且每0.5秒改变一次分辨率。

参考结构修改

如Fig.2所示,对于分辨率变高的帧(Resolution Increased Pictures,RIP)码率会突然增高。为了解决这个问题,论文提出了使用HR参考帧替换LR参考帧以及自适应决定HR参考帧的数量。

HR替换LR

如图Fig.3所示POC48帧是RIP帧,它的参考帧都是LR帧。LR帧的预测准确度低于HR帧,Fig.4(a)是原始HR帧,Fig.4(b)是LR帧上采样的结果,从而在差值可以看出上采样后LR丢失大量信息,降低了预测的准确率。

ICIP2021:VVC RPR参考结构改进

使用HR替换参考列表RPL中的LR不仅有利于RIP帧也有利于HR参考帧少的帧。首先计算RPL中HR的数量,当数量少于????ℎ????????????????????????????????????????时使用时域最近的HR替换时域最远的LR。

ICIP2021:VVC RPR参考结构改进

修改后的参考结构如Fig.5所示。

HR数量的自适应选择

HR参考帧和当前帧可以时域距离非常远,例如视频中包含快速运动或复杂运动的物体则HR参考帧和当前帧可能完全不同,这种情况下使用LR帧作为参考则更好。如果视频内容变化缓慢,只使用两个HR帧作为参考性能可能也不够好。所以论文提出基于HR参考帧中参考块的比例自适应决定HR参考帧的数量。

ICIP2021:VVC RPR参考结构改进

整个过程如下所示,

ICIP2021:VVC RPR参考结构改进

实验结果

ICIP2021:VVC RPR参考结构改进

Tab1和Tab2分别是缩放比2:1时PSNR1和PSNR2的BD-Rate。

ICIP2021:VVC RPR参考结构改进

Tab3和Tab4分别是缩放比1.5:1时PSNR1和PSNR2的BD-Rate。

可以看出运动缓慢的classE类视频gain更大,而运动复杂的classB类视频gain较少。且缩放比2:1比1.5:1的gain更大。

ICIP2021:VVC RPR参考结构改进

如Fig.7所示,在RIP图像时本文方法码率更低。