发明名称 一种偏振图像融合方法
摘要 本发明公开一种将非负矩阵分解方法和脉冲耦合神经网络方法相结合的偏振图像融合方法。采用非负矩阵分解的方法,对偏振参量图像构成的矩阵进行分解,得到两幅特征基向量图像,再通过脉冲耦合神经网络,经过一段次数的迭代,根据相应的融合规则,得到偏振融合图像。本发明通过与其他几种融合方法进行对比,在视觉效果以及客观指标上相比于其他方法都有了一定的提高,得到的结果由于融入了更多的场景偏振信息,因此可以有效地抑制杂乱背景,突出目标的细节特征,从而能够改善利用偏振成像探测手段识别目标的能力。
申请公布号 CN103500444A 申请公布日期 2014.01.08
申请号 CN201310396089.3 申请日期 2013.09.04
申请人 北京航空航天大学 发明人 袁艳;张思远;苏丽娟;胡亮
分类号 G06T5/50(2006.01)I 主分类号 G06T5/50(2006.01)I
代理机构 北京永创新实专利事务所 11121 代理人 周长琪
主权项 1.一种偏振图像融合方法,其特征在于:通过下述步骤实现:步骤1:获得目标偏振图像的偏振参量图像数据;利用偏振成像系统对目标进行偏振成像,得到偏振成像系统中偏振片的透光轴与水平方向的夹角分别为0°、45°、90°、135°四个偏振方向的出射光强偏振图像I<sub>0</sub>、I<sub>45</sub>、I<sub>90</sub>、I<sub>135</sub>;进而得到偏振参量图像数据,包括偏振光的斯托克斯参量I、Q、U,以及偏振度P和偏振角θ的参量图像;步骤2:获得两幅特征基向量图像;将步骤1中得到的偏振参量图像数据I、Q、U、P和θ,构成p行q列的数据向量矩阵V<sub>p×q</sub>;<maths num="0001"><![CDATA[<math><mrow><msub><mi>V</mi><mrow><mi>p</mi><mo>&times;</mo><mi>q</mi></mrow></msub><mo>=</mo><msup><mfenced open='[' close=']'><mtable><mtr><mtd><mi>I</mi></mtd></mtr><mtr><mtd><mi>Q</mi></mtd></mtr><mtr><mtd><mi>U</mi></mtd></mtr><mtr><mtd><mi>P</mi></mtd></mtr><mtr><mtd><mi>&theta;</mi></mtd></mtr></mtable></mfenced><mi>T</mi></msup><mo>=</mo><mfenced open='[' close=']'><mtable><mtr><mtd><msub><mi>I</mi><mn>11</mn></msub></mtd><mtd><msub><mi>Q</mi><mn>11</mn></msub></mtd><mtd><msub><mi>U</mi><mn>11</mn></msub></mtd><mtd><msub><mi>P</mi><mn>11</mn></msub></mtd><mtd><mi>&theta;</mi></mtd></mtr><mtr><mtd><msub><mi>I</mi><mn>12</mn></msub></mtd><mtd><msub><mi>Q</mi><mn>12</mn></msub></mtd><mtd><msub><mi>U</mi><mn>12</mn></msub></mtd><mtd><msub><mi>P</mi><mn>12</mn></msub></mtd><mtd><mi>&theta;</mi></mtd></mtr><mtr><mtd><mo>&CenterDot;</mo></mtd><mtd><mo>&CenterDot;</mo></mtd><mtd><mo>&CenterDot;</mo></mtd><mtd><mo>&CenterDot;</mo></mtd><mtd><mo>&CenterDot;</mo></mtd></mtr><mtr><mtd><mo>&CenterDot;</mo></mtd><mtd><mo>&CenterDot;</mo></mtd><mtd><mo>&CenterDot;</mo></mtd><mtd><mo>&CenterDot;</mo></mtd><mtd><mo>&CenterDot;</mo></mtd></mtr><mtr><mtd><mo>&CenterDot;</mo></mtd><mtd><mo>&CenterDot;</mo></mtd><mtd><mo>&CenterDot;</mo></mtd><mtd><mo>&CenterDot;</mo></mtd><mtd><mo>&CenterDot;</mo></mtd></mtr><mtr><mtd><msub><mi>I</mi><mrow><mi>M</mi><mo>&times;</mo><mi>N</mi></mrow></msub></mtd><mtd><msub><mi>Q</mi><mrow><mi>M</mi><mo>&times;</mo><mi>N</mi></mrow></msub></mtd><mtd><msub><mi>U</mi><mrow><mi>M</mi><mo>&times;</mo><mi>N</mi></mrow></msub></mtd><mtd><msub><mi>P</mi><mrow><mi>M</mi><mo>&times;</mo><mi>N</mi></mrow></msub></mtd><mtd><msub><mi>&theta;</mi><mrow><mi>M</mi><mo>&times;</mo><mi>N</mi></mrow></msub></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>1</mn><mo>)</mo></mrow></mrow></math>]]></maths>其中,M与N为偏振参量数据的行数和列数;对数据向量矩阵V进行非负矩阵分解,将数据向量矩阵V近似分解为具有p行r列的非负基向量矩阵D<sub>p×r</sub>和具有r行q列的非负系数矩阵H<sub>r×q</sub>的乘积;且令r=2;则有:<maths num="0002"><![CDATA[<math><mrow><munder><mi>min</mi><mrow><mi>D</mi><mo>,</mo><mi>H</mi></mrow></munder><mi>f</mi><mrow><mo>(</mo><mi>D</mi><mo>,</mo><mi>H</mi><mo>)</mo></mrow><mo>&equiv;</mo><mfrac><mn>1</mn><mn>2</mn></mfrac><munderover><mi>&Sigma;</mi><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>p</mi></munderover><munderover><mi>&Sigma;</mi><mrow><mi>j</mi><mo>=</mo><mn>1</mn></mrow><mi>q</mi></munderover><msup><mrow><mo>[</mo><msub><mi>V</mi><mi>ij</mi></msub><mo>-</mo><msub><mrow><mo>(</mo><mi>DH</mi><mo>)</mo></mrow><mi>ij</mi></msub><mo>]</mo></mrow><mn>2</mn></msup></mrow></math>]]></maths>   (2)<maths num="0003"><![CDATA[<math><mrow><mi>s</mi><mo>.</mo><mi>t</mi><mo>.</mo><mo>{</mo><mfenced open='' close=''><mtable><mtr><mtd><msub><mi>D</mi><mi>ia</mi></msub><mo>&GreaterEqual;</mo><mn>0</mn></mtd></mtr><mtr><mtd><msub><mi>H</mi><mi>bj</mi></msub><mo>&GreaterEqual;</mo><mn>0</mn></mtd></mtr></mtable><mrow><mo>&ForAll;</mo><mi>i</mi><mo>,</mo><mi>&alpha;</mi><mo>,</mo><mi>j</mi></mrow></mfenced></mrow></math>]]></maths>式(2)中,V<sub>ij</sub>为矩阵V中第i行第j列的像素;i=1、2、3、……、p;j=1、2、3、……、q;D<sub>ia</sub>代表矩阵D中第i行第a列的像素,H<sub>aj</sub>代表矩阵H中第a行第j列的像素;a=1、2;a、随机初始化矩阵D与H;b、采用交替乘法更新规则更新矩阵D与H,则有:<maths num="0004"><![CDATA[<math><mrow><mfenced open='{' close=''><mtable><mtr><mtd><msub><mi>H</mi><mi>aj</mi></msub><mo>&LeftArrow;</mo><msub><mi>H</mi><mi>aj</mi></msub><mfrac><msub><mrow><mo>(</mo><msup><mi>D</mi><mi>T</mi></msup><mi>V</mi><mo>)</mo></mrow><mi>aj</mi></msub><msub><mrow><mo>(</mo><msup><mi>D</mi><mi>T</mi></msup><mi>DH</mi><mo>)</mo></mrow><mi>aj</mi></msub></mfrac></mtd></mtr><mtr><mtd><msub><mi>D</mi><mi>ia</mi></msub><mo>&LeftArrow;</mo><msub><mi>D</mi><mi>ia</mi></msub><mfrac><msub><mrow><mo>(</mo><msup><mi>VH</mi><mi>T</mi></msup><mo>)</mo></mrow><mi>ia</mi></msub><msub><mrow><mo>(</mo><msup><mi>DHH</mi><mi>T</mi></msup><mo>)</mo></mrow><mi>ia</mi></msub></mfrac></mtd></mtr></mtable></mfenced><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>3</mn><mo>)</mo></mrow></mrow></math>]]></maths>得到矩阵D=[D<sub>1</sub>,D<sub>2</sub>];矩阵D包含了参与融合的全部偏振参量图像的近似完整信息,可以用于物体偏振信息的近似再现;D<sub>1</sub>为矩阵D的第一列像素,作为第一图像矩阵;D<sub>2</sub>为矩阵D的第二列像素,作为第二图像矩阵;e、获得D<sub>1</sub>与D<sub>2</sub>的清晰度g与方差C:<maths num="0005"><![CDATA[<math><mrow><mi>g</mi><mo>=</mo><mfrac><mn>1</mn><mi>MN</mi></mfrac><munderover><mi>&Sigma;</mi><mrow><msup><mi>i</mi><mo>&prime;</mo></msup><mo>=</mo><mn>1</mn></mrow><mi>M</mi></munderover><munderover><mi>&Sigma;</mi><mrow><msup><mi>j</mi><mo>&prime;</mo></msup><mo>=</mo><mn>1</mn></mrow><mi>N</mi></munderover><msqrt><mfrac><mrow><mi>&Delta;</mi><msubsup><mi>f</mi><mi>x</mi><mn>2</mn></msubsup><msup><mrow><mo>(</mo><msup><mi>i</mi><mo>&prime;</mo></msup><mo>,</mo><msup><mi>j</mi><mo>&prime;</mo></msup><mo>)</mo></mrow><mn>2</mn></msup><mo>+</mo><mi>&Delta;</mi><msubsup><mi>f</mi><mi>y</mi><mn>2</mn></msubsup><msup><mrow><mo>(</mo><msup><mi>i</mi><mo>&prime;</mo></msup><mo>,</mo><msup><mi>j</mi><mo>&prime;</mo></msup><mo>)</mo></mrow><mn>2</mn></msup></mrow><mn>2</mn></mfrac></msqrt><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>4</mn><mo>)</mo></mrow></mrow></math>]]></maths><maths num="0006"><![CDATA[<math><mrow><mi>C</mi><mo>=</mo><mfrac><mn>1</mn><mi>MN</mi></mfrac><munderover><mi>&Sigma;</mi><mrow><msup><mi>i</mi><mo>&prime;</mo></msup><mo>=</mo><mn>1</mn></mrow><mi>M</mi></munderover><munderover><mi>&Sigma;</mi><mrow><msup><mi>j</mi><mo>&prime;</mo></msup><mo>=</mo><mn>1</mn></mrow><mi>N</mi></munderover><msup><mrow><mo>[</mo><msub><mi>I</mi><mrow><msup><mi>i</mi><mo>&prime;</mo></msup><msup><mi>j</mi><mo>&prime;</mo></msup></mrow></msub><mo>-</mo><mover><mi>I</mi><mo>&OverBar;</mo></mover><mo>]</mo></mrow><mn>2</mn></msup><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>5</mn><mo>)</mo></mrow></mrow></math>]]></maths>式(4)中,Δf<sub>x</sub>,Δf<sub>y</sub>分别代表图像矩阵x,y方向的差分;i′与j′分别表示偏振参量图像数据中第i′行和第j′列像素,i′=1、2、3、……、M,j′=1、2、3、……、N:式(5)中,I<sub>i′j′</sub>为图像矩阵中第i′行第j′列像素的灰度值;<img file="FDA0000376916440000025.GIF" wi="40" he="62" />为图像矩阵的平均灰度值,选取D<sub>1</sub>和D<sub>2</sub>中清晰度和方差较大的一个图像矩阵的特征基向量作为标准基向量,对另一个图像矩阵的特征基向量进行直方图规定化处理,最终得到两幅处理后的特征基向量图像A与特征基向量图像B;步骤3:得到融合的偏振图像;将步骤2中得到的两幅特征基向量图像分别送入两个相同的PCNN网络中,利用PCNN模型公式进行N次迭代,分别得到两个特征基向量图像第i′行第j′列神经元的输出Y<sub>i′j′</sub>;随后,根据公式R<sub>i′j′</sub>(n)=R<sub>i′j′</sub>(n-1)+Y<sub>i′j′</sub>(n),迭代计算两个特征基向量图像第i′行第j′列神经元的点火次数R<sub>i′j′</sub>;n为迭代次数;获得两个特征基向量图像的PCNN脉冲次数的匹配度z:<maths num="0007"><![CDATA[<math><mrow><msub><mi>Z</mi><mrow><msup><mi>i</mi><mo>&prime;</mo></msup><msup><mi>j</mi><mo>&prime;</mo></msup></mrow></msub><mrow><mo>(</mo><mi>n</mi><mi>max</mi><mo>)</mo></mrow><mo>=</mo><mfrac><mrow><mn>2</mn><mo>&times;</mo><msub><mi>R</mi><mrow><mi>A</mi><msup><mi>i</mi><mo>&prime;</mo></msup><msup><mi>j</mi><mo>&prime;</mo></msup></mrow></msub><mrow><mo>(</mo><mi>n</mi><mi>max</mi><mo>)</mo></mrow><mo>&times;</mo><msub><mi>R</mi><mrow><mi>B</mi><msup><mi>i</mi><mo>&prime;</mo></msup><msup><mi>j</mi><mo>&prime;</mo></msup></mrow></msub><mrow><mo>(</mo><mi>n</mi><mi>max</mi><mo>)</mo></mrow></mrow><mrow><msup><mrow><mo>&lsqb;</mo><msub><mi>R</mi><mrow><mi>A</mi><msup><mi>i</mi><mo>&prime;</mo></msup><msup><mi>j</mi><mo>&prime;</mo></msup></mrow></msub><mrow><mo>(</mo><mi>n</mi><mi>max</mi><mo>)</mo></mrow><mo>&rsqb;</mo></mrow><mn>2</mn></msup><mo>+</mo><msup><mrow><mo>[</mo><msub><mi>R</mi><mrow><mi>B</mi><msup><mi>i</mi><mo>&prime;</mo></msup><msup><mi>j</mi><mo>&prime;</mo></msup></mrow></msub><mrow><mo>(</mo><mi>n</mi><mi>max</mi><mo>)</mo></mrow><mo>]</mo></mrow><mn>2</mn></msup></mrow></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>6</mn><mo>)</mo></mrow></mrow></math>]]></maths>式(6)中,Z<sub>i′j′</sub>为特征基向量图像第i′行第j′列神经元的匹配度;nmax为最大迭代次数;R<sub>i′j′</sub>为特征基向量图像A第i′行第′列神经元的点火次数;<img file="FDA0000376916440000026.GIF" wi="91" he="68" />为特征基向量图像B第i′行第′列神经元的点火次数;最终,通过下式对两幅两幅特征基向量图像中的对应神经元进行选取,得到融合后的图像:<img file="FDA0000376916440000031.GIF" wi="1641" he="246" />式(7)中,I′<sub>i′j′</sub>表示融合的偏振图像第i′行第j′列像元的灰度值;R<sub>th</sub>为0~1的常数;本发明中R<sub>th</sub>优选为0.95;A<sub>i′j′</sub>为特征基向量图像A第i′行第j′列神经元;B<sub>i′j′</sub>为特征基向量图像B中第i′行第j′列神经元。<maths num="0008"><![CDATA[<math><mrow><msub><mi>G</mi><mi>A</mi></msub><mo>=</mo><mfrac><mrow><msub><mi>R</mi><msub><mi>A</mi><mrow><msup><mi>i</mi><mo>&prime;</mo></msup><msup><mi>j</mi><mo>&prime;</mo></msup></mrow></msub></msub><mrow><mo>(</mo><mi>n</mi><mi>max</mi><mo>)</mo></mrow></mrow><mrow><msub><mi>R</mi><msub><mi>A</mi><mrow><msup><mi>i</mi><mo>&prime;</mo></msup><msup><mi>j</mi><mo>&prime;</mo></msup></mrow></msub></msub><mrow><mo>(</mo><mi>n</mi><mi>max</mi><mo>)</mo></mrow><mo>+</mo><msub><mi>R</mi><msub><mi>B</mi><mrow><msup><mi>i</mi><mo>&prime;</mo></msup><msup><mi>j</mi><mo>&prime;</mo></msup></mrow></msub></msub><mrow><mo>(</mo><mi>n</mi><mi>max</mi><mo>)</mo></mrow></mrow></mfrac><mo>;</mo></mrow></math>]]></maths><maths num="0009"><![CDATA[<math><mrow><msub><mi>G</mi><mi>B</mi></msub><mo>=</mo><mfrac><mrow><msub><mi>R</mi><msub><mi>B</mi><mrow><msup><mi>i</mi><mo>&prime;</mo></msup><msup><mi>j</mi><mo>&prime;</mo></msup></mrow></msub></msub><mrow><mo>(</mo><mi>n</mi><mi>max</mi><mo>)</mo></mrow></mrow><mrow><msub><mi>R</mi><msub><mi>A</mi><mrow><msup><mi>i</mi><mo>&prime;</mo></msup><msup><mi>j</mi><mo>&prime;</mo></msup></mrow></msub></msub><mrow><mo>(</mo><mi>n</mi><mi>max</mi><mo>)</mo></mrow><mo>+</mo><msub><mi>R</mi><msub><mi>B</mi><mrow><msup><mi>i</mi><mo>&prime;</mo></msup><msup><mi>j</mi><mo>&prime;</mo></msup></mrow></msub></msub><mrow><mo>(</mo><mi>n</mi><mi>max</mi><mo>)</mo></mrow></mrow></mfrac><mo>.</mo></mrow></math>]]></maths>
地址 100191 北京市海淀区学院路37号