发明名称 一种基于色度共生矩阵加权的视频质量客观评价方法
摘要 本发明公开了一种基于色度共生矩阵加权的视频质量客观评价方法,其首先采用维数为8×8维的四元数矩阵来描述参考图像中的8×8的图像块的基于时域和空域的特征和失真图像中的8×8的图像块的基于时域和空域的特征,然后获取参考图像和失真图像中位置相对应的两个图像块的基于时域和空域的特征的奇异值向量之间的夹角的余弦,并作为参考图像和失真图像中位置相对应的两个图像块之间的差异度,再通过差异度及失真图像中的图像块的色度共生矩阵加权权值求得失真图像中的图像块的客观评价值,并以此求得失真图像和失真视频的客观评价值,这种视频评价过程的计算复杂度低,且能够有效地提高客观评价结果与主观感知的相关性。
申请公布号 CN104010189B 申请公布日期 2015.11.04
申请号 CN201410232739.5 申请日期 2014.05.28
申请人 宁波大学 发明人 李纲;杨斌斌;金炜;艾孜买提
分类号 H04N17/00(2006.01)I 主分类号 H04N17/00(2006.01)I
代理机构 宁波奥圣专利代理事务所(普通合伙) 33226 代理人 周珏
主权项 一种基于色度共生矩阵加权的视频质量客观评价方法,其特征在于包括以下步骤:①假设参考视频中的所有参考图像和失真视频中的所有失真图像的尺寸大小均为W×H,其中,W表示参考视频中的所有参考图像和失真视频中的所有失真图像的宽,H表示参考视频中的所有参考图像和失真视频中的所有失真图像的高;②将参考视频中当前待处理的参考图像定义为当前参考图像,并将失真视频中当前待处理的失真图像定义为当前失真图像;③假设当前参考图像为参考视频中的第m帧参考图像,并记为<img file="FDA0000736811760000011.GIF" wi="116" he="76" />同样假设当前失真图像为失真视频中的第m帧失真图像,并记为<img file="FDA0000736811760000012.GIF" wi="108" he="84" />其中,pre+1≤m≤M,m的初始值为pre+1,pre表示参考视频中时域上先于<img file="FDA0000736811760000013.GIF" wi="87" he="77" />的参考图像的总帧数,pre亦表示失真视频中时域上先于<img file="FDA0000736811760000014.GIF" wi="79" he="78" />的参考图像的总帧数,1≤pre≤9,M表示参考视频中包含的参考图像的总帧数,亦表示失真视频中包含的失真图像的总帧数;④假设<img file="FDA0000736811760000015.GIF" wi="84" he="77" />和<img file="FDA0000736811760000016.GIF" wi="81" he="79" />的尺寸大小刚好能够被8×8整除,分别将<img file="FDA0000736811760000017.GIF" wi="82" he="75" />和<img file="FDA0000736811760000018.GIF" wi="75" he="73" />分割成<img file="FDA0000736811760000019.GIF" wi="153" he="130" />个互不重叠的尺寸大小为8×8的图像块;⑤计算<img file="FDA00007368117600000110.GIF" wi="88" he="74" />中的每个图像块中的每个像素点的以四元数表示的基于时域和空域的特征值,将<img file="FDA00007368117600000111.GIF" wi="87" he="68" />中的第n个图像块中坐标位置为(x,y)的像素点的以四元数表示的基于时域和空域的特征值记为<img file="FDA00007368117600000112.GIF" wi="266" he="83" />其中,<img file="FDA00007368117600000113.GIF" wi="334" he="130" />n的初始值为1,1≤x≤8,1≤y≤8;同样,计算<img file="FDA00007368117600000114.GIF" wi="79" he="80" />中的每个图像块中的每个像素点的以四元数表示的基于时域和空域的特征值,将<img file="FDA00007368117600000115.GIF" wi="81" he="76" />中的第n个图像块中坐标位置为(x,y)的像素点的以四元数表示的基于时域和空域的特征值记为<img file="FDA00007368117600000116.GIF" wi="260" he="85" />其中,<img file="FDA00007368117600000117.GIF" wi="331" he="132" />n的初始值为1,1≤x≤8,1≤y≤8;⑥将<img file="FDA00007368117600000118.GIF" wi="87" he="77" />中的每个图像块中的所有像素点的以四元数表示的基于时域和空域的特征值组成一个用于表示<img file="FDA0000736811760000021.GIF" wi="86" he="77" />中的每个图像块的基于时域和空域的特征且维数为8×8维的四元数矩阵;然后对<img file="FDA0000736811760000022.GIF" wi="88" he="71" />中的每个图像块的基于时域和空域的特征进行奇异值分解,得到<img file="FDA0000736811760000023.GIF" wi="87" he="77" />中的每个图像块的基于时域和空域的特征的奇异值向量,将对<img file="FDA0000736811760000024.GIF" wi="87" he="73" />中的第n个图像块的基于时域和空域的特征进行奇异值分解后得到的奇异值向量记为<img file="FDA0000736811760000025.GIF" wi="128" he="77" />同样,将<img file="FDA0000736811760000026.GIF" wi="81" he="78" />中的每个图像块中的所有像素点的以四元数表示的基于时域和空域的特征值组成一个用于表示<img file="FDA0000736811760000027.GIF" wi="79" he="78" />中的每个图像块的基于时域和空域的特征且维数为8×8维的四元数矩阵;然后对<img file="FDA0000736811760000028.GIF" wi="81" he="78" />中的每个图像块的基于时域和空域的特征进行奇异值分解,得到<img file="FDA0000736811760000029.GIF" wi="76" he="81" />中的每个图像块的基于时域和空域的特征的奇异值向量,将对<img file="FDA00007368117600000210.GIF" wi="85" he="85" />中的第n个图像块的基于时域和空域的特征进行奇异值分解后得到的奇异值向量记为<img file="FDA00007368117600000211.GIF" wi="126" he="89" />⑦将<img file="FDA00007368117600000212.GIF" wi="84" he="71" />中的每个图像块的基于时域和空域的特征的奇异值向量与<img file="FDA00007368117600000213.GIF" wi="78" he="78" />中位置相对应的图像块的基于时域和空域的特征的奇异值向量之间的夹角的余弦,作为<img file="FDA00007368117600000214.GIF" wi="84" he="75" />和<img file="FDA00007368117600000215.GIF" wi="80" he="85" />中位置相对应的两个图像块之间的差异度;对于<img file="FDA00007368117600000216.GIF" wi="88" he="74" />中的第n个图像块和<img file="FDA00007368117600000217.GIF" wi="78" he="81" />中的第n个图像块,将<img file="FDA00007368117600000218.GIF" wi="103" he="76" />与<img file="FDA00007368117600000219.GIF" wi="95" he="81" />之间的夹角的余弦作为<img file="FDA00007368117600000220.GIF" wi="88" he="73" />中的第n个图像块与<img file="FDA00007368117600000221.GIF" wi="79" he="81" />中的第n个图像块之间的差异度,记为D<sub>m,n</sub>;⑧根据<img file="FDA00007368117600000222.GIF" wi="88" he="68" />中的每个图像块与<img file="FDA00007368117600000223.GIF" wi="81" he="80" />中位置相对应的图像块之间的差异度,计算<img file="FDA00007368117600000224.GIF" wi="79" he="82" />中的每个图像块的客观评价值,将<img file="FDA00007368117600000225.GIF" wi="85" he="85" />中的第n个图像块的客观评价值记为Q<sub>m,n</sub>,Q<sub>m,n</sub>=W<sub>m,n</sub>×D<sub>m,n</sub>,其中,W<sub>m,n</sub>表示<img file="FDA00007368117600000226.GIF" wi="78" he="77" />中的第n个图像块的色度共生矩阵加权权值;所述的步骤⑧中<img file="FDA00007368117600000227.GIF" wi="84" he="83" />中的第n个图像块的色度共生矩阵加权权值W<sub>m,n</sub>的获取过程为:⑧‑1、计算<img file="FDA00007368117600000228.GIF" wi="88" he="74" />中的第n个图像块的色度共生矩阵的熵,记为<img file="FDA00007368117600000229.GIF" wi="143" he="82" /><maths num="0001" id="cmaths0001"><math><![CDATA[<mrow><msubsup><mi>W</mi><mrow><mi>m</mi><mo>,</mo><mi>n</mi></mrow><mi>org</mi></msubsup><mo>=</mo><munderover><mi>&Sigma;</mi><mrow><mi>p</mi><mo>=</mo><mn>0</mn></mrow><mn>255</mn></munderover><munderover><mi>&Sigma;</mi><mrow><mi>q</mi><mo>=</mo><mn>0</mn></mrow><mn>255</mn></munderover><mi>J</mi><mrow><mo>(</mo><mi>p</mi><mo>,</mo><mi>q</mi><mo>)</mo></mrow><mi>log</mi><mrow><mo>(</mo><mi>J</mi><mrow><mo>(</mo><mi>p</mi><mo>,</mo><mi>q</mi><mo>)</mo></mrow><mo>)</mo></mrow><mo>,</mo></mrow>]]></math><img file="FDA00007368117600000230.GIF" wi="979" he="150" /></maths>其中,<img file="FDA0000736811760000031.GIF" wi="1272" he="444" /><img file="FDA0000736811760000032.GIF" wi="212" he="84" />表示<img file="FDA0000736811760000033.GIF" wi="86" he="76" />中的第n个图像块中坐标位置为(x,y)的像素点的色度值,当x≤6时<img file="FDA0000736811760000034.GIF" wi="283" he="85" />表示<img file="FDA0000736811760000035.GIF" wi="86" he="79" />中的第n个图像块中坐标位置为(x+2,y)的像素点的色度值,当x&gt;6且<img file="FDA0000736811760000036.GIF" wi="399" he="131" />且t为正整数时<img file="FDA0000736811760000037.GIF" wi="281" he="85" />表示<img file="FDA0000736811760000038.GIF" wi="89" he="75" />中与第n个图像块右相邻的图像块即<img file="FDA0000736811760000039.GIF" wi="86" he="67" />中的第n+1个图像块中坐标位置为(x+2‑8,y)的像素点的色度值,当x&gt;6且<maths num="0002" id="cmaths0002"><math><![CDATA[<mrow><mi>n</mi><mo>=</mo><mi>t</mi><mo>&times;</mo><mfrac><mi>W</mi><mn>8</mn></mfrac><mo>,</mo><mn>1</mn><mo>&le;</mo><mi>t</mi><mo>&le;</mo><mfrac><mi>H</mi><mn>8</mn></mfrac></mrow>]]></math><img file="FDA00007368117600000310.GIF" wi="395" he="125" /></maths>且t为正整数时直接令<maths num="0003" id="cmaths0003"><math><![CDATA[<mrow><msubsup><mi>C</mi><mrow><mi>m</mi><mo>,</mo><mi>n</mi></mrow><mi>org</mi></msubsup><mrow><mo>(</mo><mi>x</mi><mo>+</mo><mn>2</mn><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>=</mo><mn>0</mn><mo>;</mo></mrow>]]></math><img file="FDA00007368117600000311.GIF" wi="381" he="89" /></maths>⑧‑2、计算<img file="FDA00007368117600000312.GIF" wi="80" he="77" />中的第n个图像块的色度共生矩阵的熵,记为<img file="FDA00007368117600000313.GIF" wi="133" he="90" /><maths num="0004" id="cmaths0004"><math><![CDATA[<mrow><msubsup><mi>W</mi><mrow><mi>m</mi><mo>,</mo><mi>n</mi></mrow><mi>dis</mi></msubsup><mo>=</mo><munderover><mi>&Sigma;</mi><mrow><mi>p</mi><mo>=</mo><mn>0</mn></mrow><mn>255</mn></munderover><munderover><mi>&Sigma;</mi><mrow><mi>q</mi><mo>=</mo><mn>0</mn></mrow><mn>255</mn></munderover><msup><mi>J</mi><mo>&prime;</mo></msup><mrow><mo>(</mo><mi>p</mi><mo>,</mo><mi>q</mi><mo>)</mo></mrow><mi>log</mi><mrow><mo>(</mo><msup><mi>J</mi><mo>&prime;</mo></msup><mrow><mo>(</mo><mi>p</mi><mo>,</mo><mi>q</mi><mo>)</mo></mrow><mo>)</mo></mrow><mo>,</mo></mrow>]]></math><img file="FDA00007368117600000314.GIF" wi="995" he="139" /></maths>其中,<img file="FDA00007368117600000315.GIF" wi="1278" he="442" /><img file="FDA00007368117600000316.GIF" wi="212" he="89" />表示<img file="FDA00007368117600000317.GIF" wi="80" he="81" />中的第n个图像块中坐标位置为(x,y)的像素点的色度值,当x≤6时<img file="FDA00007368117600000318.GIF" wi="281" he="85" />表示<img file="FDA00007368117600000319.GIF" wi="78" he="82" />中的第n个图像块中坐标位置为(x+2,y)的像素点的色度值,当x&gt;6且<img file="FDA00007368117600000320.GIF" wi="399" he="127" />且t为正整数时<img file="FDA00007368117600000321.GIF" wi="280" he="78" />表示<img file="FDA00007368117600000322.GIF" wi="76" he="79" />中与第n个图像块右相邻的图像块即<img file="FDA00007368117600000323.GIF" wi="83" he="78" />中的第n+1个图像块中坐标位置为(x+2‑8,y)的像素点的色度值,当x&gt;6且<maths num="0005" id="cmaths0005"><math><![CDATA[<mrow><mi>n</mi><mo>=</mo><mi>t</mi><mo>&times;</mo><mfrac><mi>W</mi><mn>8</mn></mfrac><mo>,</mo><mn>1</mn><mo>&le;</mo><mi>t</mi><mo>&le;</mo><mfrac><mi>H</mi><mn>8</mn></mfrac></mrow>]]></math><img file="FDA00007368117600000324.GIF" wi="397" he="122" /></maths>且t为正整数时直接令<maths num="0006" id="cmaths0006"><math><![CDATA[<mrow><msubsup><mi>C</mi><mrow><mi>m</mi><mo>,</mo><mi>n</mi></mrow><mi>dis</mi></msubsup><mrow><mo>(</mo><mi>x</mi><mo>+</mo><mn>2</mn><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>=</mo><mn>0</mn><mo>;</mo></mrow>]]></math><img file="FDA00007368117600000325.GIF" wi="384" he="85" /></maths>⑧‑3、计算<img file="FDA00007368117600000326.GIF" wi="84" he="84" />中的第n个图像块的色度共生矩阵加权权值,记为W<sub>m,n</sub>,<img file="FDA00007368117600000327.GIF" wi="422" he="104" />其中,符号“||”为取绝对值符号;⑨根据<img file="FDA0000736811760000041.GIF" wi="77" he="84" />中的每个图像块的客观评价值,计算<img file="FDA0000736811760000042.GIF" wi="79" he="83" />的客观评价值,记为QF<sub>m</sub>,<img file="FDA0000736811760000043.GIF" wi="532" he="302" />其中,Q<sub>m,mid</sub>表示对<img file="FDA0000736811760000044.GIF" wi="79" he="79" />中的所有图像块的客观评价值排序后的中值;⑩将参考视频中下一帧待处理的参考图像作为当前参考图像,并将失真视频中下一帧待处理的失真图像作为当前失真图像,然后返回步骤③继续执行,直至参考视频中的最后一帧参考图像和失真视频中的最后一帧失真图像处理完毕,得到失真视频中除前pre帧失真图像外的每帧失真图像的客观评价值;<img file="FDA00007368117600000419.GIF" wi="54" he="56" />根据失真视频中除前pre帧失真图像外的每帧失真图像的客观评价值,计算失真视频的客观评价值,记为Q<sub>GLC</sub>,<img file="FDA0000736811760000045.GIF" wi="407" he="150" />
地址 315211 浙江省宁波市江北区风华路818号