发明名称 基于视觉显著性的图像质量评价方法
摘要 本发明涉及数字图像处理领域,为提出一种基于视觉显著性的图像随机区域质量评价策略,使评价结果更加符合人类的主观感知。本发明采用的技术方案是,基于视觉显著性的图像质量评价方法,步骤如下:(1)分别将参考图像I<sub>R</sub>和失真图像I<sub>D</sub>进行高斯滤波,而后将滤波后图像RGB转化为Lab色彩空间;(2)针对不同的图像大小r*c,随机生成N个随机大小的窗口;(3)采用视觉显著性提取算法,分别对参考图像与失真图像进行视觉显著性计算,并得到上述每一个随机窗口内视觉显著性相似度矩阵;(4)对于得到各个随机窗口的每一个相似度矩阵进行加权整合。本发明主要应用于图像处理场合。
申请公布号 CN105825503A 申请公布日期 2016.08.03
申请号 CN201610140932.5 申请日期 2016.03.10
申请人 天津大学 发明人 史再峰;陈可鑫;庞科;曹清洁;王晶波;张嘉平
分类号 G06T7/00(2006.01)I;G06T7/40(2006.01)I 主分类号 G06T7/00(2006.01)I
代理机构 天津市北洋有限责任专利代理事务所 12201 代理人 刘国威
主权项 一种基于视觉显著性的图像质量评价方法,其特征是,步骤如下:(1)分别将参考图像I<sub>R</sub>和失真图像I<sub>D</sub>进行高斯滤波,而后将滤波后图像RGB转化为Lab色彩空间,转化方法如下:L=0.2126×R+0.7152×G+0.0722×Ba=1.4749×(0.2213×R‑0.3390×G+0.1177×B)+128b=0.6245×(0.1949×R+0.6057×G‑0.8006×B)+128其中RGB和Lab的取值范围都是[0,255],从而分别得到两幅图像的三个通道L<sub>R</sub>,a<sub>R</sub>,b<sub>R</sub>和L<sub>D</sub>,a<sub>D</sub>,b<sub>D</sub>,其中L<sub>R</sub>和L<sub>D</sub>为分别参考图像和失真图像的亮度通道,a<sub>R</sub>,b<sub>R</sub>及a<sub>D</sub>,b<sub>D</sub>分别为他们的色彩通道;(2)针对不同的图像大小r*c,随机生成N个随机大小的窗口,其窗口坐标为[x1,x2,y1,y2],窗口的生成满足均匀分布,且对整幅图具有较高的覆盖率,其中r和c分别为图像的高度和宽度,(x1,y1)和(x2,y2)分别代表生成窗口的左上角和右下角的坐标;(3)采用视觉显著性提取算法,分别对参考图像与失真图像进行视觉显著性计算,并得到上述每一个随机窗口内视觉显著性相似度矩阵S<sub>S</sub>(X)(i):<maths num="0001" id="cmaths0001"><math><![CDATA[<mrow><msub><mi>S</mi><mi>S</mi></msub><mrow><mo>(</mo><mi>X</mi><mo>)</mo></mrow><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>=</mo><mfrac><mrow><mn>2</mn><msub><mi>S</mi><mi>R</mi></msub><mrow><mo>(</mo><mi>X</mi><mo>)</mo></mrow><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>&CenterDot;</mo><msub><mi>S</mi><mi>D</mi></msub><mrow><mo>(</mo><mi>X</mi><mo>)</mo></mrow><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>+</mo><msub><mi>C</mi><mi>S</mi></msub></mrow><mrow><msubsup><mi>S</mi><mi>R</mi><mn>2</mn></msubsup><mrow><mo>(</mo><mi>X</mi><mo>)</mo></mrow><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>+</mo><msubsup><mi>S</mi><mi>D</mi><mn>2</mn></msubsup><mrow><mo>(</mo><mi>X</mi><mo>)</mo></mrow><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>+</mo><msub><mi>C</mi><mi>S</mi></msub></mrow></mfrac></mrow>]]></math><img file="FDA0000938771820000011.GIF" wi="787" he="135" /></maths>其中S<sub>R</sub>(X)(i)表示在参考图像中,第i个随机窗口内具体不同位置X上的像素的视觉显著性的值,S<sub>D</sub>(X)(i)表示在失真图像中,第i个随机窗口内具体不同位置X上的像素的视觉显著性的值且i∈[1,N],C<sub>S</sub>为一个正常数,以保证S<sub>S</sub>(X)的稳定性,利用亮度通道和色彩通道,计算得出每一个随机窗口的梯度相似度S<sub>G</sub>(X)(i)和色彩相似度矩阵S<sub>a</sub>(X)(i)及S<sub>b</sub>(X)(i):<maths num="0002" id="cmaths0002"><math><![CDATA[<mfenced open = "" close = ""><mtable><mtr><mtd><mrow><msub><mi>S</mi><mi>G</mi></msub><mrow><mo>(</mo><mi>X</mi><mo>)</mo></mrow><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>=</mo><mfrac><mrow><mn>2</mn><msub><mi>G</mi><mi>R</mi></msub><mrow><mo>(</mo><mi>X</mi><mo>)</mo></mrow><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>&CenterDot;</mo><msub><mi>G</mi><mi>D</mi></msub><mrow><mo>(</mo><mi>X</mi><mo>)</mo></mrow><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>+</mo><msub><mi>C</mi><mi>G</mi></msub></mrow><mrow><msubsup><mi>G</mi><mi>R</mi><mn>2</mn></msubsup><mrow><mo>(</mo><mi>X</mi><mo>)</mo></mrow><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>+</mo><msubsup><mi>G</mi><mi>D</mi><mn>2</mn></msubsup><mrow><mo>(</mo><mi>X</mi><mo>)</mo></mrow><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>+</mo><msub><mi>C</mi><mi>G</mi></msub></mrow></mfrac></mrow></mtd></mtr><mtr><mtd><mrow><msub><mi>S</mi><mi>a</mi></msub><mrow><mo>(</mo><mi>X</mi><mo>)</mo></mrow><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>=</mo><mfrac><mrow><mn>2</mn><msub><mi>a</mi><mi>R</mi></msub><mrow><mo>(</mo><mi>X</mi><mo>)</mo></mrow><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>&CenterDot;</mo><msub><mi>a</mi><mi>D</mi></msub><mrow><mo>(</mo><mi>X</mi><mo>)</mo></mrow><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>+</mo><msub><mi>C</mi><mi>a</mi></msub></mrow><mrow><msubsup><mi>a</mi><mi>R</mi><mn>2</mn></msubsup><mrow><mo>(</mo><mi>X</mi><mo>)</mo></mrow><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>+</mo><msubsup><mi>a</mi><mi>D</mi><mn>2</mn></msubsup><mrow><mo>(</mo><mi>X</mi><mo>)</mo></mrow><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>+</mo><msub><mi>C</mi><mi>a</mi></msub></mrow></mfrac><mo>,</mo><msub><mi>S</mi><mi>b</mi></msub><mrow><mo>(</mo><mi>X</mi><mo>)</mo></mrow><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>=</mo><mfrac><mrow><mn>2</mn><msub><mi>b</mi><mi>R</mi></msub><mrow><mo>(</mo><mi>X</mi><mo>)</mo></mrow><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>&CenterDot;</mo><msub><mi>b</mi><mi>D</mi></msub><mrow><mo>(</mo><mi>X</mi><mo>)</mo></mrow><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>+</mo><msub><mi>C</mi><mi>b</mi></msub></mrow><mrow><msubsup><mi>b</mi><mi>R</mi><mn>2</mn></msubsup><mrow><mo>(</mo><mi>X</mi><mo>)</mo></mrow><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>+</mo><msubsup><mi>b</mi><mi>D</mi><mn>2</mn></msubsup><mrow><mo>(</mo><mi>X</mi><mo>)</mo></mrow><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>+</mo><msub><mi>C</mi><mi>b</mi></msub></mrow></mfrac></mrow></mtd></mtr></mtable></mfenced>]]></math><img file="FDA0000938771820000012.GIF" wi="1612" he="275" /></maths>其中G<sub>R</sub>(X)(i)表示在参考图像中,第i个随机窗口内具体不同位置X上的像素的梯度值,G<sub>D</sub>(X)(i)表示在失真图像中,第i个随机窗口内具体不同位置X上的像素的梯度值且i∈[1,N],而a<sub>R</sub>(X)(i)和b<sub>R</sub>(X)(i)均表示在参考图像中,第i个随机窗口内具体不同位置X上的像素的色度值,a<sub>D</sub>(X)(i)和b<sub>D</sub>(X)(i)表示在失真图像中,第i个随机窗口内具体不同位置X上的像素的色度值且i∈[1,N],C<sub>G</sub>,C<sub>a</sub>和C<sub>b</sub>分别为一个正常数,以分别保证S<sub>G</sub>(X),S<sub>a</sub>(X)和S<sub>b</sub>(X)的稳定性;(4)对于得到各个随机窗口的每一个相似度矩阵进行加权整合,计算出每个窗口的质量评价结果,其中每个像素点的权重以视觉显著性矩阵为参考,而相似度矩阵分别再配以不同的权重α和β,以区分其重要性的不同,最后将所有窗口计算结果进行整合,不同窗口的质量评价结果以其窗口对应的视觉显著性为权重,最后得到整幅图像的评价结果:<maths num="0003" id="cmaths0003"><math><![CDATA[<mrow><mi>R</mi><mi>W</mi><mi>S</mi><mi>I</mi><mi>M</mi><mo>=</mo><mfrac><mrow><msub><mi>&Sigma;</mi><mi>I</mi></msub><msub><mi>S</mi><mi>S</mi></msub><mrow><mo>(</mo><mi>X</mi><mo>)</mo></mrow><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>&CenterDot;</mo><msup><mrow><mo>&lsqb;</mo><msub><mi>S</mi><mi>G</mi></msub><mrow><mo>(</mo><mi>X</mi><mo>)</mo></mrow><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>&rsqb;</mo></mrow><mi>&alpha;</mi></msup><mo>&CenterDot;</mo><msup><mrow><mo>&lsqb;</mo><msub><mi>S</mi><mi>a</mi></msub><mrow><mo>(</mo><mi>X</mi><mo>)</mo></mrow><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>&CenterDot;</mo><msub><mi>S</mi><mi>b</mi></msub><mrow><mo>(</mo><mi>X</mi><mo>)</mo></mrow><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow><mo>&rsqb;</mo></mrow><mi>&beta;</mi></msup><mo>&CenterDot;</mo><msub><mi>VS</mi><mi>m</mi></msub><mrow><mo>(</mo><mi>X</mi><mo>)</mo></mrow><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow></mrow><mrow><msub><mi>&Sigma;</mi><mi>I</mi></msub><msub><mi>VS</mi><mi>m</mi></msub><mrow><mo>(</mo><mi>X</mi><mo>)</mo></mrow><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow></mrow></mfrac></mrow>]]></math><img file="FDA0000938771820000013.GIF" wi="1495" he="135" /></maths>其中I为所有窗口的集合,VS<sub>m</sub>(X)(i)表示第i个随机窗口内,不同位置X上像素在参考图像和失真图像上的视觉显著性较大值,即VS<sub>m</sub>(X)(i)=max(S<sub>R</sub>(X)(i),S<sub>D</sub>(X)(i))。
地址 300072 天津市南开区卫津路92号