发明名称 一种基于联合字典的彩色与深度图像后处理方法
摘要 本发明公开了一种基于联合字典的彩色与深度图像后处理方法,其在训练阶段,采用K-SVD方法对多幅无失真彩色图像中的所有子块构成的集合、多幅无失真深度图像中的所有子块构成的集合进行字典训练操作,构造得到彩色字典表和深度字典表;在测试阶段,根据彩色字典表和深度字典表,考虑到彩色特征空间与深度特征空间之间的几何关系,对待处理的彩色与深度图像构造联合字典表,根据联合字典表对彩色与深度图像进行后处理,得到后处理的彩色与深度图像;优点是在训练阶段不需要复杂的机器学训练过程,在测试阶段只需构造能反映彩色与深度图像本质特征的联合字典,根据联合字典表进行后处理操作,能够保持更好的对象轮廓信息,提高虚拟视点图像的质量。
申请公布号 CN105472393A 申请公布日期 2016.04.06
申请号 CN201510822606.8 申请日期 2015.11.24
申请人 宁波大学 发明人 邵枫;袁其政;李福
分类号 H04N19/597(2014.01)I;H04N19/147(2014.01)I;H04N19/117(2014.01)I;H04N13/00(2006.01)I 主分类号 H04N19/597(2014.01)I
代理机构 宁波奥圣专利代理事务所(普通合伙) 33226 代理人 周珏
主权项 一种基于联合字典的彩色与深度图像后处理方法,其特征在于包括训练阶段和测试阶段两个过程,所述的训练阶段过程的具体步骤如下:①‑1、选取N幅宽度为W且高度为H的原始的无失真彩色图像及对应的深度图像,将由N幅原始的无失真彩色图像构成的彩色图像集合记为{I<sub>i,org</sub>|1≤i≤N},将由N幅原始的无失真彩色图像对应的深度图像构成的深度图像集合记为{D<sub>i,org</sub>|1≤i≤N},其中,N≥1,I<sub>i,org</sub>表示{I<sub>i,org</sub>|1≤i≤N}中的第i幅彩色图像,D<sub>i,org</sub>表示{D<sub>i,org</sub>|1≤i≤N}中的第i幅深度图像,I<sub>i,org</sub>与D<sub>i,org</sub>对应;①‑2、将{I<sub>i,org</sub>|1≤i≤N}中的每幅彩色图像划分成<img file="FDA0000855736450000011.GIF" wi="155" he="127" />个互不重叠的尺寸大小为8×8的子块;然后采用K‑SVD方法对{I<sub>i,org</sub>|1≤i≤N}中的所有彩色图像中的子块构成的集合进行字典训练操作,构造得到{I<sub>i,org</sub>|1≤i≤N}的彩色字典表,记为D<sub>c</sub>,其中,D<sub>c</sub>的维数为64×K,K表示设定的字典的个数,K≥1;同样,将{D<sub>i,org</sub>|1≤i≤N}中的每幅深度图像划分成<img file="FDA0000855736450000012.GIF" wi="155" he="127" />个互不重叠的尺寸大小为8×8的子块;然后采用K‑SVD方法对{D<sub>i,org</sub>|1≤i≤N}中的所有深度图像中的子块构成的集合进行字典训练操作,构造得到{D<sub>i,org</sub>|1≤i≤N}的深度字典表,记为D<sub>d</sub>,其中,D<sub>d</sub>的维数为64×K;所述的测试阶段过程的具体步骤如下:②‑1、对于任意一幅宽度为W'且高度为H'的经JPEG编码失真的彩色图像I<sub>test</sub>及对应的经JPEG编码失真的深度图像D<sub>test</sub>;②‑2、将I<sub>test</sub>划分成<img file="FDA0000855736450000013.GIF" wi="171" he="127" />个互不重叠的尺寸大小为8×8的子块;同样,将D<sub>test</sub>划分成<img file="FDA0000855736450000014.GIF" wi="174" he="134" />个互不重叠的尺寸大小为8×8的子块;然后根据I<sub>test</sub>中的所有子块构成的集合和D<sub>test</sub>中的所有子块构成的集合、在训练阶段构造得到的D<sub>c</sub>和D<sub>d</sub>,获取I<sub>test</sub>和D<sub>test</sub>的联合字典表,记为{D<sub>c,test</sub>,D<sub>d,test</sub>},其中,D<sub>c,test</sub>为{D<sub>c,test</sub>,D<sub>d,test</sub>}中的彩色字典表,D<sub>d,test</sub>为{D<sub>c,test</sub>,D<sub>d,test</sub>}中的深度字典表,D<sub>c,test</sub>和D<sub>d,test</sub>的维数均为64×K,K表示设定的字典的个数,K≥1;②‑3、根据D<sub>c,test</sub>,获取<img file="FDA0000855736450000021.GIF" wi="390" he="94" />中的每个列向量的稀疏系数矩阵,将<img file="FDA0000855736450000022.GIF" wi="110" he="71" />的稀疏系数矩阵记为<img file="FDA0000855736450000023.GIF" wi="250" he="71" />通过求解<img file="FDA0000855736450000024.GIF" wi="615" he="214" />得到,其中,<img file="FDA0000855736450000025.GIF" wi="110" he="70" />的维数为K×1,min( )为取最小值函数,符号“|| ||<sub>0</sub>”为求取矩阵的0‑范数符号,符号“|| ||<sub>2</sub>”为求取矩阵的2‑范数符号,T<sub>p1</sub>为误差系数;同样,根据D<sub>d,test</sub>,获取<img file="FDA0000855736450000026.GIF" wi="390" he="95" />中的每个列向量的稀疏系数矩阵,将<img file="FDA0000855736450000027.GIF" wi="111" he="78" />的稀疏系数矩阵记为<img file="FDA0000855736450000028.GIF" wi="269" he="86" />通过求解<img file="FDA0000855736450000029.GIF" wi="645" he="215" />得到,其中,<img file="FDA00008557364500000210.GIF" wi="112" he="78" />的维数为K×1,T<sub>p2</sub>为误差系数;②‑4、计算<img file="FDA00008557364500000211.GIF" wi="390" he="95" />中的每个列向量的重建向量,将<img file="FDA00008557364500000212.GIF" wi="111" he="70" />的重建向量记为<img file="FDA00008557364500000213.GIF" wi="554" he="77" />然后将<img file="FDA00008557364500000214.GIF" wi="390" he="94" />中的每个列向量的重建向量中的每个元素的值作为I<sub>test</sub>中对应的子块中对应的像素点经后处理后的像素值,对于<img file="FDA00008557364500000215.GIF" wi="110" he="78" />中的第j个元素的值,将其作为I<sub>test</sub>中的第t'个子块中的第j个像素点经后处理后的像素值,从而得到I<sub>test</sub>的后处理图像,记为I'<sub>test</sub>,其中,1≤j≤64;同样,计算<img file="FDA00008557364500000216.GIF" wi="386" he="94" />中的每个列向量的重建向量,将<img file="FDA00008557364500000217.GIF" wi="113" he="84" />的重建向量记为<img file="FDA00008557364500000218.GIF" wi="558" he="86" />然后将<img file="FDA00008557364500000219.GIF" wi="389" he="92" />中的每个列向量的重建向量中的每个元素的值作为D<sub>test</sub>中对应的子块中对应的像素点经后处理后的像素值,对于<img file="FDA00008557364500000220.GIF" wi="107" he="77" />中的第j个元素的值,将其作为D<sub>test</sub>中的第t'个子块中的第j个像素点经后处理后的像素值,从而得到D<sub>test</sub>的后处理图像,记为D'<sub>test</sub>。
地址 315211 浙江省宁波市江北区风华路818号