发明名称 基于三维显著度的图像剪裁方法
摘要 本发明公开了一种基于三维显著度的图像剪裁方法,其特征是按如下步骤进行:1利用深度数据获得目标图像的深度图;2将深度图和二维模型结合起来构建三维显著度模型;3根据图像灰度的分布自适应的更新深度数据和二维模型之间的权重;4利用三维显著度模型计算图像能量函数梯度;5去除显著度较小的点以对图像进行剪裁。本发明能将深度信息与二维显著度进行结合,并增强剪裁的鲁棒性。
申请公布号 CN104268926A 申请公布日期 2015.01.07
申请号 CN201410553255.0 申请日期 2014.10.17
申请人 合肥工业大学 发明人 汪萌;高欣健;陈雁翔;潘宜飞
分类号 G06T15/00(2011.01)I;G06T15/30(2011.01)I;G06T11/00(2006.01)I 主分类号 G06T15/00(2011.01)I
代理机构 安徽省合肥新安专利代理有限责任公司 34101 代理人 何梅生
主权项 一种基于三维显著度的图像剪裁方法,其特征是按如下步骤进行:步骤1:利用式(1)计算图像大小为m×n的目标图像I中每个像素点的能量函数E:<maths num="0001" id="cmaths0001"><math><![CDATA[<mrow><mi>E</mi><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>=</mo><mo>|</mo><mfrac><mi>&delta;</mi><mi>&delta;x</mi></mfrac><mi>I</mi><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>|</mo><mo>+</mo><mo>|</mo><mfrac><mi>&delta;</mi><mi>&delta;y</mi></mfrac><mi>I</mi><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>|</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>1</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000588498470000011.GIF" wi="964" he="159" /></maths>式(1)中,E(x,y)为所述目标图像I在像素点(x,y)处的能量值;I(x,y)为所述目标图像I在像素点(x,y)处的灰度值;x∈(0,m);y∈(0,n);步骤2:对所述目标图像I进行特征提取,获得二维特征矩阵X;步骤3、利用式(2)获得所述目标图像I的二维显著度S<sub>2D</sub>:<maths num="0002" id="cmaths0002"><math><![CDATA[<mrow><msub><mi>S</mi><mrow><mn>2</mn><mi>D</mi></mrow></msub><mo>=</mo><mi>exp</mi><mrow><mo>(</mo><mfrac><msup><mrow><mo>-</mo><mo>|</mo><mo>|</mo><msub><mi>X</mi><mi>i</mi></msub><mo>-</mo><msub><mi>X</mi><mi>j</mi></msub><mo>|</mo><mo>|</mo></mrow><mn>2</mn></msup><mrow><mn>2</mn><msup><mi>&sigma;</mi><mn>2</mn></msup></mrow></mfrac><mo>)</mo></mrow><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>2</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000588498470000012.GIF" wi="890" he="207" /></maths>式(2)中,X<sub>i</sub>、X<sub>j</sub>分别为所述二维特征矩阵两个不同行向量;σ为常数;步骤3、利用式(3)构建三维显著度模型S<sub>3D</sub>:S<sub>3D</sub>=(1‑α)S<sub>2D</sub>+α·E<sub>depth</sub>   (3)式(3)中,E<sub>depth</sub>为利用3D相机获取所述目标图像I的深度图,α为自适应参数;并有:<maths num="0003" id="cmaths0003"><math><![CDATA[<mrow><mi>&alpha;</mi><mo>=</mo><mfrac><mrow><munderover><mi>&Sigma;</mi><mrow><mi>x</mi><mo>,</mo><mi>y</mi><mo>=</mo><mn>0</mn></mrow><mrow><mi>m</mi><mo>,</mo><mi>n</mi></mrow></munderover><msup><mrow><mi>n</mi><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>&CenterDot;</mo><mrow><mo>(</mo><mi>I</mi><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>-</mo><mover><mrow><mi>I</mi><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow></mrow><mo>&OverBar;</mo></mover><mo>)</mo></mrow></mrow><mn>2</mn></msup></mrow><msub><mi>D</mi><mi>max</mi></msub></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>4</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000588498470000013.GIF" wi="1000" he="235" /></maths>式(4)中,n(x,y)表示等于像素点(x,y)灰度值的像素个数;D<sub>max</sub>为常数;步骤4:利用式(1)和(3)将所述能量函数E重新定义为E':E'(x,y)=E(x,y)·S<sub>3D</sub>(x,y)    (5)式(5)中,E'(x,y)为所述目标图像I在像素点(x,y)处的新能量值;步骤5:利用式(6)计算所述目标图像I的图像显著度S:<maths num="0004" id="cmaths0004"><math><![CDATA[<mrow><mi>S</mi><mrow><mo>(</mo><mrow><mo>(</mo><msub><mi>x</mi><mi>b</mi></msub><mo>,</mo><mi>n</mi><mo>)</mo></mrow><mo>,</mo><mrow><mo>(</mo><msub><mi>x</mi><mi>a</mi></msub><mo>,</mo><mi>n</mi><mo>-</mo><mn>1</mn><mo>)</mo></mrow><mo>)</mo></mrow><mo>=</mo><munderover><mi>&Sigma;</mi><mrow><mi>a</mi><mo>=</mo><mn>1</mn></mrow><mrow><mi>b</mi><mo>-</mo><mn>1</mn></mrow></munderover><mo>|</mo><msubsup><mi>G</mi><mrow><mi>a</mi><mo>,</mo><mi>n</mi></mrow><mi>v</mi></msubsup><mo>-</mo><msubsup><mi>G</mi><mrow><mi>a</mi><mo>,</mo><mi>n</mi></mrow><mi>d</mi></msubsup><mo>|</mo><mo>+</mo><munderover><mi>&Sigma;</mi><mrow><mi>a</mi><mo>=</mo><mi>a</mi><mo>+</mo><mn>1</mn></mrow><mi>b</mi></munderover><mo>|</mo><msubsup><mi>G</mi><mrow><mi>a</mi><mo>,</mo><mi>n</mi></mrow><mi>v</mi></msubsup><msubsup><mi>G</mi><mrow><mi>a</mi><mo>-</mo><mn>1</mn><mo>,</mo><mi>n</mi></mrow><mi>d</mi></msubsup><mo>|</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>6</mn><mo>)</mo></mrow></mrow>]]></math><img file="FDA0000588498470000014.GIF" wi="1196" he="138" /></maths>式(6)中,(x<sub>b</sub>,n)为所述目标图像I中第n列的第b个像素点,(x<sub>a</sub>,n‑1)为所述目标图像I中第n‑1列的第a个像素点,a≠b,且a,b∈(0,m);S((x<sub>b</sub>,n),(x<sub>a</sub>,n‑1))表示所述目标图像I中第n列第b个像素点x<sub>b</sub>与第n‑1列第a个像素点x<sub>a</sub>的能量差值;<img file="FDA0000588498470000021.GIF" wi="90" he="78" />表示所述目标图像I水平方向v上的梯度;并有<img file="FDA0000588498470000022.GIF" wi="414" he="94" /><img file="FDA0000588498470000023.GIF" wi="90" he="85" />表示所述目标图像I对角线方向d上的梯度,并有<maths num="0005" id="cmaths0005"><math><![CDATA[<mrow><msubsup><mi>G</mi><mrow><mi>a</mi><mo>,</mo><mi>n</mi></mrow><mi>d</mi></msubsup><mo>=</mo><mo>|</mo><msubsup><mi>E</mi><mrow><mi>a</mi><mo>,</mo><mi>n</mi></mrow><mo>&prime;</mo></msubsup><mo>-</mo><msubsup><mi>E</mi><mrow><mi>a</mi><mo>+</mo><mn>1</mn><mo>,</mo><mi>n</mi><mo>-</mo><mn>1</mn></mrow><mo>&prime;</mo></msubsup><mo>|</mo><mo>;</mo></mrow>]]></math><img file="FDA0000588498470000024.GIF" wi="444" he="105" /></maths>步骤6:以b个像素为窗口对所述目标图像I进行扫描,并利用式(7)获得所述图像显著度S的最小值集合s<sup>*</sup>:s<sup>*</sup>=minS     (7)步骤7、去除所述目标图像I中最小值集合s<sup>*</sup>所对应的像素点以实现对所述目标图像I的裁剪。
地址 230009 安徽省合肥市包河区屯溪路193号