发明名称 一种随机接入视频编码中层次化时域率失真优化方法
摘要 本发明属于视频编码技术领域,尤其涉及随机接入视频编码中层次化时域率失真优化方法。本发明采用循环的图像组(group of picture,GOP)结构,每8帧为一个GOP,分别分配到不同的层,相同层的帧遵循相似的参考帧及QP分配规则,如图1所示,其中帧的编码顺序表示为EOC,各帧的播放顺序/时间顺序表示为POC。分析随机接入编码中编码单元间在同层及不同层的时域依赖性,并根据随机接入编码中时域依赖性建立嵌套的层次化时域传播链,如图3所示,进而进行层次化时域依赖性的率失真优化建模。求取传播因子κ<sub>v</sub>和全局拉格朗日乘子λ<sub>g</sub>。最后,本发明根据传播因子κ<sub>v</sub>,仅通过对全局拉格朗日乘子λ<sub>g</sub>的调整实现时域率失真优化。
申请公布号 CN105872545A 申请公布日期 2016.08.17
申请号 CN201610247952.2 申请日期 2016.04.19
申请人 电子科技大学 发明人 朱策;高艳博;李帅;周益民;彭强;段昶
分类号 H04N19/147(2014.01)I;H04N19/31(2014.01)I;H04N19/114(2014.01)I 主分类号 H04N19/147(2014.01)I
代理机构 成都点睛专利代理事务所(普通合伙) 51232 代理人 葛启函
主权项 一种随机接入视频编码中层次化时域率失真优化方法,其特征在于,具体步骤如下:S1、根据随机接入视频编码中时域依赖性,建立嵌套的层次化时域传播链,所述嵌套的层次化时域传播链具有如下特性:所述随机接入视频编码中每个GOP中rPOC=8的帧仅考虑前一key帧对其的影响,rPOC=1、2、3、4、5、6、7的帧仅考虑相对质量较高的最近两帧对其的影响,如图3所示,通过统计实验得到各参考帧被参考比例,如表2所示:对rPOC=8的参考帧,Delta POC为(‑4,‑2,‑1,1,2,4,8)的帧以rPOC=8的帧为参考帧的比例相对最大,为rPOC=8的参考帧的主要参考关系,将主要参考关系连接成如图2(a)所示,即rPOC=8的参考帧f<sub>8n+8</sub>,帧f<sub>8n+4</sub>,f<sub>8n+6</sub>,f<sub>8n+7</sub>,f<sub>8n+9</sub>,f<sub>8n+10</sub>,f<sub>8n+12</sub>,f<sub>8n+16</sub>中(其中,这些帧与f<sub>8n+8</sub>的Delta POC分别为‑4,‑2,‑1,1,2,4,8)的编码单元选择参考帧f<sub>8n+8</sub>的比例相对最大,对rPOC=4的参考帧,Delta POC为(‑2,‑1,1,2)的帧以rPOC=4的帧为参考帧的比例相对最大,为rPOC=4的参考帧的主要参考关系,将主要参考关系连接成如图2(b)所示,即rPOC=4的参考帧f<sub>8n+4</sub>,帧f<sub>8n+2</sub>,f<sub>8n+3</sub>,f<sub>8n+5</sub>,f<sub>8n+6</sub>中(其中,这些帧与f<sub>8n+4</sub>的Delta POC分别为‑2,‑1,1,2)的编码单元选择参考帧f<sub>8n+4</sub>的比例相对最大,对rPOC=2的参考帧,Delta POC为(‑1,1)的帧以rPOC=2的帧为参考帧的比例相对最大,为rPOC=2的参考帧的主要参考关系,将主要参考关系连接成如图2(c)所示,即rPOC=2的参考帧f<sub>8n+2</sub>,帧f<sub>8n+1</sub>,f<sub>8n+3</sub>中(其中,这些帧与f<sub>8n+2</sub>的Delta POC分别为‑1,1)的编码单元选择参考帧f<sub>8n+2</sub>的比例相对最大,对rPOC=6的参考帧,Delta POC为(‑1,1)的帧以rPOC=6的帧为参考帧的比例相对最大,为rPOC=6的参考帧的主要参考关系,将主要参考关系连接成如图2(c)所示,即rPOC=6的参考帧f<sub>8n+6</sub>,帧f<sub>8n+5</sub>,f<sub>8n+7</sub>中(其中,这些帧与f<sub>8n+6</sub>的Delta POC分别为‑1,1)的编码单元选择参考帧f<sub>8n+6</sub>的比例相对最大,n=0,1,2,...,m,...,M,M代表在随机接入视频编码中整个序列中GOP的个数,根据随机接入视频编码中主要参考关系,获得如图3所示嵌套的层次化时域传播链;S2、层次化时域依赖性的率失真优化建模,具体为:定义当前编码单元U<sub>s</sub>为帧f<sub>s</sub>中第a(a=1,2,3,...,A)个编码单元,其中,s=8n+8,8n+4,8n+2,8n+6,8n+1,8n+3,8n+5,8n+7,S21、根据S1所述时域传播链,当前编码单元U<sub>8n+8</sub>在rPOC=8的key帧f<sub>8n+8</sub>中时,受所述U<sub>8n+8</sub>影响的时域上的编码单元为U<sub>8n+4</sub>,U<sub>8n+2</sub>,U<sub>8n+1</sub>,U<sub>8n+3</sub>,U<sub>8n+6</sub>,U<sub>8n+5</sub>,U<sub>8n+7</sub>,U<sub>8n+16</sub>,...,当前编码单元U<sub>8n+4</sub>在rPOC=4的非key帧f<sub>8n+4</sub>中时,受所述U<sub>8n+4</sub>影响的时域上的编码单元为U<sub>8n+2</sub>,U<sub>8n+1</sub>,U<sub>8n+3</sub>,U<sub>8n+6</sub>,U<sub>8n+5</sub>,U<sub>8n+7</sub>,当前编码单元U<sub>8n+2</sub>在rPOC=2的非key帧f<sub>8n+2</sub>中时,受所述U<sub>8n+2</sub>影响的时域上的编码单元为U<sub>8n+1</sub>,U<sub>8n+3</sub>,当前编码单元U<sub>8n+6</sub>在rPOC=6的非key帧f<sub>8n+2</sub>中时,受所述U<sub>8n+6</sub>影响的时域上的编码单元为U<sub>8n+5</sub>,U<sub>8n+7</sub>,当前编码单元U<sub>8n+1</sub>在rPOC=1的非key帧f<sub>8n+1</sub>中时,不存在受所述U<sub>8n+1</sub>影响的时域上的编码单元,当前编码单元U<sub>8n+3</sub>在rPOC=1的非key帧f<sub>8n+3</sub>中时,不存在受所述U<sub>8n+3</sub>影响的时域上的编码单元,当前编码单元U<sub>8n+5</sub>在rPOC=1的非key帧f<sub>8n+5</sub>中时,不存在受所述U<sub>8n+5</sub>影响的时域上的编码单元,当前编码单元U<sub>8n+7</sub>在rPOC=1的非key帧f<sub>8n+7</sub>中时,不存在受所述U<sub>8n+7</sub>影响的时域上的编码单元,其中,8n+8、8n+4、8n+2、8n+1、8n+3、8n+6、8n+5、8n+7、8n+16代表当前编码单元所在帧的播放顺序;S22、求时域率失真优化目标方程,包括:S21所述f<sub>8n+8</sub>中的U<sub>8n+8</sub>的时域率失真优化目标方程,S21所述f<sub>8n+4</sub>中的U<sub>8n+4</sub>的时域率失真优化目标方程,S21所述f<sub>8n+2</sub>中的U<sub>8n+2</sub>的时域率失真优化目标方程,S21所述f<sub>8n+6</sub>中的U<sub>8n+6</sub>的时域率失真优化目标方程,S21所述f<sub>8n+1</sub>中的U<sub>8n+1</sub>的时域率失真优化目标方程,S21所述f<sub>8n+3</sub>中的U<sub>8n+3</sub>的时域率失真优化目标方程,S21所述f<sub>8n+5</sub>中的U<sub>8n+5</sub>的时域率失真优化目标方程,S21所述f<sub>8n+7</sub>中的U<sub>8n+7</sub>的时域率失真优化目标方程;S3、根据时域率失真优化目标方程,进行编码单元失真估计,估计受当前编码单元U<sub>8n+8</sub>影响的编码单元U<sub>8n+4</sub>,U<sub>8n+2</sub>,U<sub>8n+1</sub>,U<sub>8n+3</sub>,U<sub>8n+6</sub>,U<sub>8n+5</sub>,U<sub>8n+7</sub>,U<sub>8n+16</sub>,...的失真,估计受当前编码单元U<sub>8n+4</sub>影响的编码单元U<sub>8n+2</sub>,U<sub>8n+1</sub>,U<sub>8n+3</sub>,U<sub>8n+6</sub>,U<sub>8n+5</sub>,U<sub>8n+7</sub>的失真,估计受当前编码单元U<sub>8n+2</sub>影响的编码单元U<sub>8n+1</sub>,U<sub>8n+3</sub>的失真,估计受当前编码单元U<sub>8n+6</sub>影响的编码单元U<sub>8n+5</sub>,U<sub>8n+7</sub>的失真;S4、将S3中所述编码失真估计代入到S22所述时域率失真优化目标方程,删除所有与当前编码单元的编码参数无关的中间值,得到<img file="FDA0000968516100000033.GIF" wi="471" he="78" />其中,κ<sub>v</sub>,v=8n+8,8n+6,8n+4,8n+2,具体为:A、当前编码单元U<sub>8n+8</sub>在rPOC=8的key帧f<sub>8n+8</sub>中时,得到传播因子<img file="FDA0000968516100000031.GIF" wi="582" he="119" />β为相互依赖的两个编码单元之间影响程度,具体求解步骤如S3.A所述;B、当前编码单元U<sub>8n+4</sub>在rPOC=4的非key帧f<sub>8n+4</sub>中时,得到传播因子<img file="FDA0000968516100000032.GIF" wi="446" he="111" />其中,γ为相互依赖的两个编码单元之间影响程度,具体求解步骤如S3.B所述;C、当前编码单元U<sub>8n+2</sub>在rPOC=2的非key帧f<sub>8n+2</sub>中时,得到传播因子κ<sub>8n+2</sub>=τ<sub>8n+1</sub>+τ<sub>8n+3</sub>,其中,τ为相互依赖的两个编码单元之间影响程度,具体求解步骤如S3.C所述;D、当前编码单元U<sub>8n+6</sub>在rPOC=2的非key帧f<sub>8n+6</sub>中,得到传播因子κ<sub>8n+6</sub>=τ<sub>8n+5</sub>+τ<sub>8n+7</sub>,其中,τ为相互依赖的两个编码单元之间影响程度,具体求解步骤如S3.D所述;S5、求取全局拉格朗日乘子<img file="FDA0000968516100000041.GIF" wi="430" he="127" />所有编码单元共享所述全局拉格朗日乘子λ<sub>g</sub>,其中,λ<sub>HM4</sub>为rPOC=1帧中编码单元在HEVC中的预定义拉格朗日乘子,<img file="FDA00009685161000000412.GIF" wi="30" he="46" />为偏导符号;S6、将S4中所述<img file="FDA0000968516100000042.GIF" wi="410" he="78" />变形为<img file="FDA0000968516100000043.GIF" wi="491" he="79" />并结合S5中所述全局拉格朗日乘子λ<sub>g</sub>及S4所述传播因子κ<sub>v</sub>,进行层次化时域率失真优化,具体为:对于在rPOC=8的帧f<sub>8n+8</sub>中的编码单元U<sub>8n+8</sub>,采用<img file="FDA0000968516100000044.GIF" wi="565" he="79" />进行时域率失真优化,对于在rPOC=4的帧f<sub>8n+4</sub>中的编码单元U<sub>8n+4</sub>,采用<img file="FDA0000968516100000045.GIF" wi="570" he="79" />进行时域率失真优化,对于在rPOC=2的帧f<sub>8n+2</sub>中的编码单元U<sub>8n+2</sub>,采用<img file="FDA0000968516100000046.GIF" wi="573" he="79" />进行时域率失真优化,对于在rPOC=6的帧f<sub>8n+6</sub>中的编码单元U<sub>8n+6</sub>,采用<img file="FDA0000968516100000047.GIF" wi="566" he="79" />进行时域率失真优化,对于在rPOC=1的帧f<sub>8n+1</sub>中的编码单元U<sub>8n+1</sub>,采用S21所述<img file="FDA0000968516100000048.GIF" wi="830" he="71" />进行时域率失真优化,对于在rPOC=3的帧f<sub>8n+3</sub>中的编码单元U<sub>8n+3</sub>,采用S21所述<img file="FDA0000968516100000049.GIF" wi="846" he="71" />进行时域率失真优化,对于在rPOC=5的帧U<sub>8n+5</sub>中的编码单元U<sub>8n+5</sub>,采用S21所述<img file="FDA00009685161000000410.GIF" wi="846" he="71" />进行时域率失真优化,对于在rPOC=7的帧U<sub>8n+7</sub>中的编码单元U<sub>8n+7</sub>,采用S21所述<img file="FDA00009685161000000411.GIF" wi="854" he="71" />进行时域率失真优化;S7、依次对rPOC=8的帧f<sub>8n+8</sub>中所有编码单元(共A个编码单元)进行步骤S22.A、S3.A、S4.A、S5、S6的所述的率失真优化,依次对rPOC=4的帧f<sub>8n+4</sub>中所有编码单元(共A个编码单元)进行步骤S22.B、S3.B、S4.B、S5、S6的所述的率失真优化,依次对rPOC=2的帧f<sub>8n+2</sub>中所有编码单元(共A个编码单元)进行步骤S22.C、S3.C、S4.C、S5、S6的所述的率失真优化,依次对rPOC=6的帧f<sub>8n+6</sub>中所有编码单元(共A个编码单元)进行步骤S22.D、S3.D、S4.D、S5、S6的所述的率失真优化,依次对rPOC=1的帧f<sub>8n+1</sub>中所有编码单元(共A个编码单元)进行步骤S22.E、S5、S6的所述的率失真优化,依次对rPOC=3的帧f<sub>8n+3</sub>中所有编码单元(共A个编码单元)进行步骤S22.F、S5、S6的所述的率失真优化,依次对rPOC=5的帧f<sub>8n+5</sub>中所有编码单元(共A个编码单元)进行步骤S22.G、S5、S6的所述的率失真优化,依次对rPOC=7的帧f<sub>8n+7</sub>中所有编码单元(共A个编码单元)进行步骤S22.H、S5、S6的所述的率失真优化;S8、对S1所述随机接入视频编码中其他帧进行步骤S2‑S7的所述率失真优化处理。
地址 611731 四川省成都市高新区(西区)西源大道2006号