发明名称 基于图像运动信息的2D转3D方法
摘要 本发明公开了一种基于图像运动信息的2D转3D方法,涉及2D转3D技术领域。该方法包括步骤:S1.基于运动估计的方法得到输入的2D图像各像素的深度值;S2.根据各像素的亮度值,对各像素的深度值进行累加,得到输入的2D图像的深度图;S3.根据步骤S2得到的深度图,进行基于深度图的图像重构左眼和/或右眼图像;S4.将步骤S3的左眼图像和右眼图像合成并输出得到3D图像。在本发明的方法中,由于对运动估计得到的深度值进行了累加处理,得到的深度图连续且稠密,提高了重构图像的质量以及3D视觉效果。
申请公布号 CN103053165B 申请公布日期 2015.02.11
申请号 CN201180028889.9 申请日期 2011.08.18
申请人 北京世纪高蓝科技有限公司 发明人 冯涛;张彦丁;杨东
分类号 H04N13/00(2006.01)I 主分类号 H04N13/00(2006.01)I
代理机构 北京路浩知识产权代理有限公司 11002 代理人 王莹
主权项 一种基于图像运动信息的2D转3D方法,其特征在于,该方法包括步骤:S1.基于运动估计的方法得到输入的2D图像各像素的深度值;S2.根据各像素的亮度值,对所述各像素的深度值进行累加,得到所述输入的2D图像的深度图;S3.根据步骤S2得到的深度图,基于深度图的图像重构,重构左眼和/或右眼图像;S4.将步骤S3的左眼图像和右眼图像合成并输出得到3D图像;其中,步骤S1进一步包括:S1.1基于运动估计的方法计算各像素的运动矢量;S1.2根据步骤S1.1得到的运动矢量分别计算各像素的深度值,所述运动估计的方法为菱形搜索算法,深度值的计算公式为:<maths num="0001" id="cmaths0001"><math><![CDATA[<mrow><mi>D</mi><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>=</mo><mi>C</mi><mo>*</mo><msqrt><msubsup><mi>MV</mi><mi>x</mi><mn>2</mn></msubsup><mo>+</mo><msubsup><mi>MV</mi><mi>y</mi><mn>2</mn></msubsup></msqrt></mrow>]]></math><img file="FDA0000588820510000014.GIF" wi="534" he="100" /></maths>y为像素所在行,x为像素所在列,D(x,y)为未知(x,y)处的像素的深度值,MV<sub>x</sub>以及MV<sub>y</sub>分别为所述像素水平方向以及竖直方向的运动矢量,C为常量,其中,步骤S2进一步包括:S2.1从所述输入的2D图像的第一行开始,对各像素的深度值进行累加得到每一个像素的深度累加值D(x,y)';S2.2按照以下公式,将所述深度累加值归一化到[0,255]之间,得到归一化的深度值D(x,y)″:<maths num="0002" id="cmaths0002"><math><![CDATA[<mrow><mi>D</mi><msup><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mrow><mo>&prime;</mo><mo>&prime;</mo></mrow></msup><mo>=</mo><mi>min</mi><mrow><mo>(</mo><mn>255</mn><mo>,</mo><mi>max</mi><mrow><mo>(</mo><mn>0</mn><mo>,</mo><mfrac><mrow><mi>D</mi><msup><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>&prime;</mo></msup></mrow><msup><mi>sum</mi><mo>&prime;</mo></msup></mfrac><mo>*</mo><mi>DEPTH</mi><mo>_</mo><mi>SCALE</mi><mo>)</mo></mrow><mo>)</mo></mrow><mo>;</mo></mrow>]]></math><img file="FDA0000588820510000011.GIF" wi="1216" he="171" /></maths>其中,DEPTH_SCALE为深度值缩放因子,<maths num="0003" id="cmaths0003"><math><![CDATA[<mrow><msup><mi>sum</mi><mo>&prime;</mo></msup><mo>=</mo><mfrac><mi>sum</mi><mrow><mi>width</mi><mo>*</mo><mi>height</mi></mrow></mfrac><mo>;</mo></mrow>]]></math><img file="FDA0000588820510000012.GIF" wi="444" he="123" /></maths><maths num="0004" id="cmaths0004"><math><![CDATA[<mrow><mi>sum</mi><mo>=</mo><munderover><mi>&Sigma;</mi><mrow><mi>x</mi><mo>=</mo><mn>0</mn><mo>,</mo><mi>y</mi><mo>=</mo><mn>0</mn></mrow><mi>n</mi></munderover><mi>D</mi><msup><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>&prime;</mo></msup><mo>,</mo></mrow>]]></math><img file="FDA0000588820510000013.GIF" wi="419" he="156" /></maths>其中,sum为所有像素的深度值之和,sum'为每个像素的平均深度值,width为所述输入的2D图像的宽度值,height为所述输入的2D图像的高度值。
地址 100190 北京市海淀区北四环西路9号2108