发明名称 一种综合结构信息的图像补全方法
摘要 本发明属于图像修复技术领域,涉及一种综合结构信息的图像补全方法,包括下列步骤,对于一副图像,确定修复边界区域;计算节点自身的成本能量;计算节点的关联性能量;确定整体目标函数;初始化相邻节点间的消息值,并作更新;计算节点的最优解。本发明不需要人为干预达到了同时保留结构信息和纹理信息的效果,极大地改善了图像补全的效果。
申请公布号 CN101847255B 申请公布日期 2013.01.30
申请号 CN201010152234.X 申请日期 2010.04.21
申请人 天津大学 发明人 张怡;张加万;孙迪;宋芸芸
分类号 G06T5/00(2006.01)I 主分类号 G06T5/00(2006.01)I
代理机构 天津市北洋有限责任专利代理事务所 12201 代理人 程毓英
主权项 1.一种综合结构信息的图像补全方法,包括下列步骤:(1)确定图像的目标区域:读入被标记的图像,根据颜色值判断出目标区域,得出掩模图像,用一个逻辑矩阵表示,其中矩阵中元素值为1表示需要修复的像素;元素值为0表示为已知像素,然后将该逻辑矩阵与拉普拉斯算子做卷积,找出此目标区域的边界;(2)计算节点自身的成本能量,E<sub>1</sub>(x<sub>i</sub>)=C(i)d(x<sub>i</sub>,φ)其中,<img file="FDA00002130869100011.GIF" wi="438" he="147" />表示节点可信度,而当与已知区域交叠时,d(x<sub>i</sub>,φ)表示块x<sub>i</sub>与已知区域的匹配度,它用重叠区域的像素间颜色值的差异平方和即SSD来衡量,Ω为目标区域;(3)计算节点的关联性能量函数E<sub>2</sub>(x<sub>i</sub>,x<sub>j</sub>)=λ<sub>1</sub>E<sub>2</sub><sup>t</sup>(x<sub>i</sub>,x<sub>j</sub>)+λ<sub>2</sub>E<sub>2</sub><sup>s</sup>(x<sub>i</sub>,x<sub>j</sub>),E<sub>2</sub><sup>t</sup>(x<sub>i</sub>,x<sub>j</sub>)=d(x<sub>i</sub>,x<sub>j</sub>),其中,d(x<sub>i</sub>,x<sub>j</sub>)表示相邻块x<sub>i</sub>和x<sub>j</sub>重叠区域的SSD;<maths num="0001"><![CDATA[<math><mrow><msup><msub><mi>E</mi><mn>2</mn></msub><mi>s</mi></msup><mrow><mo>(</mo><msub><mi>x</mi><mi>i</mi></msub><mo>,</mo><msub><mi>x</mi><mi>j</mi></msub><mo>)</mo></mrow><mo>=</mo><msqrt><msubsup><mi>d</mi><mi>gx</mi><mn>2</mn></msubsup><mrow><mo>(</mo><msub><mi>x</mi><mi>i</mi></msub><mo>,</mo><msub><mi>x</mi><mi>j</mi></msub><mo>)</mo></mrow><mo>+</mo><msubsup><mi>d</mi><mi>gy</mi><mn>2</mn></msubsup><mrow><mo>(</mo><msub><mi>x</mi><mi>i</mi></msub><mo>,</mo><msub><mi>x</mi><mi>j</mi></msub><mo>)</mo></mrow></msqrt><mo>,</mo></mrow></math>]]></maths>其中,d<sub>gx</sub>(x<sub>i</sub>,x<sub>j</sub>)和d<sub>gy</sub>(x<sub>i</sub>,x<sub>j</sub>)分别表示相邻块x<sub>i</sub>和x<sub>j</sub>在X和Y方向的梯度差;λ<sub>1</sub>和λ<sub>2</sub>为平衡纹理成本和结构成本的权重系数;(4)确定整体目标函数E(x)为目标区域所有节点的修复成本E<sub>1</sub>(x<sub>i</sub>)和一致性成本E<sub>2</sub>(x<sub>i</sub>,x<sub>j</sub>)的能量和;(5)初始化相邻节点间的消息值,并作更新:将贝叶斯网络结构图中任意两个节点n<sub>i</sub>和n<sub>j</sub>间的消息初始为0,即<img file="FDA00002130869100013.GIF" wi="172" he="62" />更新节点间的信息值,每次迭代时,对于解x<sub>i</sub>来说,从n<sub>i</sub>传播到n<sub>j</sub>的信息的计算公式为:<maths num="0002"><![CDATA[<math><mrow><msubsup><mi>m</mi><mrow><mi>j</mi><mo>&RightArrow;</mo><mi>i</mi></mrow><mi>t</mi></msubsup><mrow><mo>(</mo><msub><mi>x</mi><mi>i</mi></msub><mo>)</mo></mrow><mo>=</mo><mi>min</mi><mo>[</mo><msub><mi>E</mi><mn>2</mn></msub><mrow><mo>(</mo><msub><mi>x</mi><mi>i</mi></msub><mo>,</mo><msub><mi>x</mi><mi>j</mi></msub><mo>)</mo></mrow><mo>+</mo><msub><mi>E</mi><mn>1</mn></msub><mrow><mo>(</mo><msub><mi>x</mi><mi>j</mi></msub><mo>)</mo></mrow><mo>+</mo><munder><mi>&Sigma;</mi><mrow><mi>s</mi><mo>&Element;</mo><mi>N</mi><mrow><mo>(</mo><mi>j</mi><mo>)</mo></mrow><mo>/</mo><mi>i</mi></mrow></munder><msubsup><mi>m</mi><mrow><mi>s</mi><mo>&RightArrow;</mo><mi>j</mi></mrow><mrow><mi>t</mi><mo>-</mo><mn>1</mn></mrow></msubsup><mrow><mo>(</mo><msub><mi>x</mi><mi>j</mi></msub><mo>)</mo></mrow><mo>]</mo><mo>,</mo></mrow></math>]]></maths>其中,N(j)/i表示n<sub>j</sub>的非n<sub>i</sub>邻域集;<img file="FDA00002130869100015.GIF" wi="166" he="60" />表示n<sub>j</sub>节点对x<sub>i</sub>为n<sub>i</sub>的信任度;在t次迭代后,匹配块为x<sub>i</sub>的节点n<sub>i</sub>的可信度计算公式为:<maths num="0003"><![CDATA[<math><mrow><msub><mi>b</mi><mi>i</mi></msub><mrow><mo>(</mo><msub><mi>x</mi><mi>i</mi></msub><mo>)</mo></mrow><mo>=</mo><msub><mi>E</mi><mn>1</mn></msub><mrow><mo>(</mo><msub><mi>x</mi><mi>i</mi></msub><mo>)</mo></mrow><mo>+</mo><munder><mi>&Sigma;</mi><mrow><mi>j</mi><mo>&Element;</mo><mi>N</mi><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow></mrow></munder><msubsup><mi>m</mi><mrow><mi>j</mi><mo>&RightArrow;</mo><mi>i</mi></mrow><mi>t</mi></msubsup><mrow><mo>(</mo><msub><mi>x</mi><mi>i</mi></msub><mo>)</mo></mrow><mo>;</mo></mrow></math>]]></maths>(6)计算节点的最优解,找到使b<sub>i</sub>(x<sub>i</sub>)最小化的<img file="FDA00002130869100017.GIF" wi="39" he="57" />就是节点n<sub>i</sub>的最佳匹配块,即:<maths num="0004"><![CDATA[<math><mrow><msubsup><mi>x</mi><mi>i</mi><mo>*</mo></msubsup><mo>=</mo><mi>arg</mi><munder><mi>min</mi><msub><mi>x</mi><mi>i</mi></msub></munder><mo>{</mo><msub><mi>E</mi><mn>1</mn></msub><mrow><mo>(</mo><msub><mi>x</mi><mi>i</mi></msub><mo>)</mo></mrow><mo>+</mo><munder><mi>&Sigma;</mi><mrow><mi>j</mi><mo>&Element;</mo><mi>N</mi><mrow><mo>(</mo><mi>i</mi><mo>)</mo></mrow></mrow></munder><msubsup><mi>m</mi><mrow><mi>j</mi><mo>&RightArrow;</mo><mi>i</mi></mrow><mi>t</mi></msubsup><mrow><mo>(</mo><msub><mi>x</mi><mi>i</mi></msub><mo>)</mo></mrow><mo>}</mo><mo>.</mo></mrow></math>]]></maths>
地址 300072 天津市南开区卫津路92号天津大学