发明名称 基于人眼视觉特性的融合图像感知清晰度评价方法
摘要 本发明涉及一种基于人眼视觉特性的彩色融合图像清晰度评价方法,属于图像处理中图像融合技术领域。本发明基于两方面主要的人眼视觉特性,即对比度敏感特性和亮度掩模特性,构造了人眼感知对比度模型,通过改进Peli对比度模型提出新的图像感知对比度算法,通过计算图像中细节边缘区域的人眼感知对比度来评价图像的感知清晰度,得到与人眼主观更加一致的图像清晰度客观评价模型。本方法主要用于衡量不同波段融合图像是否能满足特定的应用需求,即是否有利于观察者对图像场景内容的理解。
申请公布号 CN102881010B 申请公布日期 2015.03.11
申请号 CN201210310703.5 申请日期 2012.08.28
申请人 北京理工大学 发明人 金伟其;高绍姝;王霞;王岭雪;路陆;骆媛
分类号 G06T7/00(2006.01)I 主分类号 G06T7/00(2006.01)I
代理机构 北京理工大学专利中心 11120 代理人 付雷杰;高燕燕
主权项 一种基于人眼视觉特性的融合图像感知清晰度评价方法,其特征在于,包括如下步骤:步骤一、设同一场景的两幅源图像分别为图像一S<sub>1</sub>(x,y)和图像二S<sub>2</sub>(x,y),以及二者的融合图像为g(x,y),(x,y)为图像中像素位置坐标,图像一S<sub>1</sub>(x,y)和图像二S<sub>2</sub>(x,y)尺寸一致,若融合后的图像为彩色图像,则将融合后的图像转换为灰度图像g(x,y);步骤二、利用所述的图像一与图像二,计算该图像场景的人眼感兴趣区域ROI,方法如下:201、分别计算图像一的带通图像I<sub>bp1</sub>(x,y)和图像二的带通图像I<sub>bp2</sub>(x,y),即:I<sub>bp1</sub>(x,y)=(φ<sub>0</sub>‑φ<sub>1</sub>)*S<sub>1</sub>(x,y)I<sub>bp2</sub>(x,y)=(φ<sub>0</sub>‑φ<sub>1</sub>)*S<sub>2</sub>(x,y)其中,“*”为卷积;φ<sub>j</sub>为高斯核<img file="FDA0000570674680000011.GIF" wi="464" he="182" />标准偏差σ<sub>j</sub>=2<sup>j</sup>,j取0和1时,分别对应φ<sub>0</sub>和φ<sub>1</sub>;202、针对图像一的带通图像I<sub>bp1</sub>(x,y),利用最大类间方差法自动选取二值化阈值,进行二值化处理;针对图像二的带通图像I<sub>bp2</sub>(x,y),同样利用最大类间方差法自动选取二值化阈值,进行二值化处理,提取I<sub>bp1</sub>(x,y)二值化图像矩阵和I<sub>bp2</sub>(x,y)二值化图像矩阵中元素值为1的点的坐标组成集合,定义为该场景图像的人眼感兴趣区域ROI;步骤三、针对g(x,y)进行频域的CSF滤波和OE调制,得到人眼感知图像g'(x,y);其中,CSF为人眼对比度敏感模型,OE为倾斜效应模型;步骤四、在人眼感兴趣区域ROI中,计算所述g'(x,y)对应的人眼感知对比度PC<sub>0</sub>(x,y)之和,除以ROI的总像素数N<sub>ROI</sub>,得到融合图像感知清晰度评价分数PS:<maths num="0001" id="cmaths0001"><math><![CDATA[<mrow><mi>PS</mi><mo>=</mo><mfrac><mrow><munder><mi>&Sigma;</mi><mrow><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>&Element;</mo><mi>ROI</mi></mrow></munder><msub><mi>PC</mi><mn>0</mn></msub><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow></mrow><msub><mi>N</mi><mi>ROI</mi></msub></mfrac></mrow>]]></math><img file="FDA0000570674680000021.GIF" wi="477" he="189" /></maths>其中,人眼感知对比度函数PC<sub>0</sub>(x,y)为<maths num="0002" id="cmaths0002"><math><![CDATA[<mrow><msub><mi>PC</mi><mn>0</mn></msub><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>=</mo><mfenced open='{' close=''><mtable><mtr><mtd><mfrac><mrow><mrow><mo>(</mo><msub><mi>&phi;</mi><mn>0</mn></msub><mo>-</mo><msub><mi>&phi;</mi><mn>1</mn></msub><mo>)</mo></mrow><mo>*</mo><msup><mi>g</mi><mo>&prime;</mo></msup><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow></mrow><mrow><mi>JND</mi><mrow><mo>(</mo><mi>I</mi><mo>)</mo></mrow></mrow></mfrac></mtd><mtd><msub><mi>D</mi><mi>max</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>&GreaterEqual;</mo><mi>JND</mi><mrow><mo>(</mo><mi>I</mi><mo>)</mo></mrow></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><msub><mi>D</mi><mi>max</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>&lt;</mo><mi>JND</mi><mrow><mo>(</mo><mi>I</mi><mo>)</mo></mrow></mtd></mtr></mtable></mfenced></mrow>]]></math><img file="FDA0000570674680000022.GIF" wi="1140" he="228" /></maths>其中,背景灰度I=φ<sub>1</sub>*g'(x,y),JND为人类视觉感知模型,是通过人眼主观实验测量的不同灰度背景I下人眼恰可分辨差异,得到JND关于I的曲线;D<sub>max</sub>(x,y)为图像g'(x,y)中像素位置(x,y)处加权平均灰度变化D<sub>n</sub>(x,y)在四个方向掩膜下的最大值,n=1,2,3,4;<maths num="0003" id="cmaths0003"><math><![CDATA[<mrow><msub><mi>D</mi><mi>max</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>=</mo><munder><mi>max</mi><mrow><mi>n</mi><mo>=</mo><mn>1,2,3,4</mn></mrow></munder><mo>{</mo><mo>|</mo><msub><mi>D</mi><mi>n</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>|</mo><mo>}</mo></mrow>]]></math><img file="FDA0000570674680000023.GIF" wi="613" he="103" /></maths><maths num="0004" id="cmaths0004"><math><![CDATA[<mrow><msub><mi>D</mi><mi>n</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>=</mo><mfrac><mn>1</mn><mn>16</mn></mfrac><munderover><mi>&Sigma;</mi><mrow><mi>&alpha;</mi><mo>=</mo><mn>1</mn></mrow><mn>5</mn></munderover><munderover><mi>&Sigma;</mi><mrow><mi>&beta;</mi><mo>=</mo><mn>1</mn></mrow><mn>5</mn></munderover><msup><mi>g</mi><mo>&prime;</mo></msup><mrow><mo>(</mo><mi>x</mi><mo>-</mo><mn>3</mn><mo>+</mo><mi>&alpha;</mi><mo>,</mo><mi>y</mi><mo>-</mo><mn>3</mn><mo>+</mo><mi>&beta;</mi><mo>)</mo></mrow><msub><mi>W</mi><mi>n</mi></msub><mrow><mo>(</mo><mi>&alpha;</mi><mo>,</mo><mi>&beta;</mi><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000570674680000024.GIF" wi="1032" he="147" /></maths>所述的四个方向掩膜W<sub>1</sub>~W<sub>4</sub>分别为:<maths num="0005" id="cmaths0005"><math><![CDATA[<mrow><mfenced open='[' close=']'><mtable><mtr><mtd><mn>0</mn></mtd><mtd><mn>1</mn></mtd><mtd><mn>0</mn></mtd><mtd><mo>-</mo><mn>1</mn></mtd><mtd><mn>0</mn></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mn>3</mn></mtd><mtd><mn>0</mn></mtd><mtd><mo>-</mo><mn>3</mn></mtd><mtd><mn>0</mn></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mn>8</mn></mtd><mtd><mn>0</mn></mtd><mtd><mo>-</mo><mn>8</mn></mtd><mtd><mn>0</mn></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mn>3</mn></mtd><mtd><mn>0</mn></mtd><mtd><mo>-</mo><mn>3</mn></mtd><mtd><mn>0</mn></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mn>1</mn></mtd><mtd><mn>0</mn></mtd><mtd><mo>-</mo><mn>1</mn></mtd><mtd><mn>0</mn></mtd></mtr></mtable></mfenced><mo>,</mo><mfenced open='[' close=']'><mtable><mtr><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>1</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mn>8</mn></mtd><mtd><mn>3</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd></mtr><mtr><mtd><mn>1</mn></mtd><mtd><mn>3</mn></mtd><mtd><mn>0</mn></mtd><mtd><mo>-</mo><mn>3</mn></mtd><mtd><mo>-</mo><mn>1</mn></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><mo>-</mo><mn>3</mn></mtd><mtd><mo>-</mo><mn>8</mn></mtd><mtd><mn>0</mn></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><mo>-</mo><mn>1</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd></mtr></mtable></mfenced><mo>,</mo></mrow>]]></math><img file="FDA0000570674680000025.GIF" wi="944" he="381" /></maths><maths num="0006" id="cmaths0006"><math><![CDATA[<mrow><mfenced open='[' close=']'><mtable><mtr><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>1</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>3</mn></mtd><mtd><mn>8</mn></mtd><mtd><mn>0</mn></mtd></mtr><mtr><mtd><mo>-</mo><mn>1</mn></mtd><mtd><mo>-</mo><mn>3</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>3</mn></mtd><mtd><mn>1</mn></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mo>-</mo><mn>8</mn></mtd><mtd><mo>-</mo><mn>3</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><mo>-</mo><mn>1</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd></mtr></mtable></mfenced><mo>,</mo><mfenced open='[' close=']'><mtable><mtr><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd></mtr><mtr><mtd><mn>1</mn></mtd><mtd><mn>3</mn></mtd><mtd><mn>8</mn></mtd><mtd><mn>3</mn></mtd><mtd><mn>1</mn></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd></mtr><mtr><mtd><mo>-</mo><mn>1</mn></mtd><mtd><mo>-</mo><mn>3</mn></mtd><mtd><mo>-</mo><mn>8</mn></mtd><mtd><mo>-</mo><mn>3</mn></mtd><mtd><mo>-</mo><mn>1</mn></mtd></mtr><mtr><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd><mtd><mn>0</mn></mtd></mtr></mtable></mfenced><mo>,</mo></mrow>]]></math><img file="FDA0000570674680000026.GIF" wi="1039" he="381" /></maths>α、β分别表示某个方向掩膜W<sub>n</sub>的行和列;ROI中PC<sub>0</sub>越大则PS值越大,表示感知对比度越大,图像清晰度越好。
地址 100081 北京市海淀区中关村南大街5号