一种基于对象的立体/自由视点电视的虚拟图像绘制方法

摘要

本发明公开了一种基于对象的立体/自由视点电视的虚拟图像绘制方法，通过彩色图像的对象掩模图像将彩色图像分为对象内部区域、背景区域和边界区域，再根据三种区域将彩色图像划分成若干个尺寸大小不尽相同的块，对于整块映射型的块只需对该块中的一个像素点实施三维图像变换以确定将该像素点从彩色图像投影到虚拟视点彩色图像的坐标映射关系，然后整个块采用此坐标映射关系投影到虚拟视点彩色图像中，由于只对一个像素点实施三维图像变换，因而可有效提高整块映射型块的绘制速度；对于逐像素映射型的块，由于这些块主要位于边界区域，因此则仍采用逐像素映射的三维图像变换方法将块中的各个像素点映射到虚拟视点彩色图像中，有效保证了绘制精度。

主权项

1.一种基于对象的立体/自由视点电视的虚拟图像绘制方法，其特征在于包括以下具体步骤：①获取t时刻的K个参考视点的尺寸大小为P×Q的K幅彩色图像及其对应的K幅深度图像，将t时刻的第k个参考视点的彩色图像记为I_R，t^k，将t时刻的第k个参考视点的深度图像记为D_R，t^k，将t时刻的第k个参考视点的彩色图像I_R，t^k自适应地划分成N_R^k个尺寸大小为(p+Δp)×(q+Δq)的块，并标记各个块的块映射类型，块映射类型包括逐像素映射型和整块映射型，记t时刻的第k个参考视点的彩色图像I_R，t^k中的第n个块为B_n^k，其中，k∈[1，K]，p和q的值均为16、8、4、2四个值中的一个，Δp表示块B_n^k与其右相邻块之间重叠的像素点的列数，0≤Δp≤2，当Δp＝0时表示块B_n^k与其右相邻块不重叠或表示块B_n^k为t时刻的第k个参考视点的彩色图像I_R，t^k的右边界处的块，Δq表示块B_n^k与其下相邻块之间重叠的像素点的行数，0≤Δq≤2，当Δq＝0时表示块B_n^k与其下相邻块不重叠或表示块B_n^k为t时刻的第k个参考视点的彩色图像I_R，t^k的下边界处的块；此处，将t时刻的第k个参考视点的彩色图像I_R，t^k自适应地划分成N_R^k个尺寸大小为(p+Δp)×(q+Δq)的块并标记各个块的块映射类型的具体步骤为：①-1、采用公知的对象提取技术对t时刻的第k个参考视点的彩色图像I_R，t^k进行对象提取，得到t时刻的第k个参考视点的彩色图像I_R，t^k的对象掩模图像，记为M_R，t^k，将对象掩模图像M_R，t^k中坐标为(x，y)的像素点的像素值记为m_R，t^k(x，y)，表示t时刻的第k个参考视点的彩色图像I_R，t^k及其对应的深度图像D_R，t^k中坐标为(x，y)的像素点属于对象，将这样的像素点称为对象像素点，表示t时刻的第k个参考视点的彩色图像I_R，t^k及其对应的深度图像D_R，t^k中坐标为(x，y)的像素点属于背景，将这样的像素点称为背景像素点；①-2、将t时刻的第k个参考视点的彩色图像I_R，t^k划分成个互不重叠的16×16块，其中，P表示彩色图像的宽，Q表示彩色图像的高；①-3、逐一处理t时刻的第k个参考视点的彩色图像I_R，t^k中的各个16×16块，定义当前正在处理的16×16块为当前16×16块，将当前16×16块分解成4个8×8块，对各个8×8块进行区域标记，如果8×8块中的所有像素点均为对象像素点，则将该8×8块标记为对象内部区域，如果8×8块中的所有像素点均为背景像素点，则将该8×8块标记为背景区域，否则，将该8×8块标记为对象和背景之间的边界区域；①-4、逐一处理当前16×16块中的各个8×8块，定义当前正在处理的8×8块为当前8×8块，当当前8×8块为对象内部区域时，执行步骤①-5；当当前8×8块为背景区域时，执行步骤①-6；当当前8×8块为对象和背景之间的边界区域时，执行步骤①-7；①-5、将当前8×8块分解成4个4×4块，计算t时刻的第k个参考视点的深度图像D_R，t^k中与各个4×4块位置相对应的4个对应4×4块各自的背离值，逐一考察t时刻的第k个参考视点的深度图像D_R，t^k中的各个对应4×4块，判断对应4×4块的背离值是否小于设定的阈值，当对应4×4块的背离值小于设定的阈值时，将t时刻的第k个参考视点的彩色图像I_R，t^k中与该对应4×4块位置相对应的4×4块记为p×q块，p＝4，q＝4，并标记该p×q块的块映射类型为整块映射型，当对应4×4块的背离值大于等于设定的阈值时，将t时刻的第k个参考视点的彩色图像I_R，t^k中与该对应4×4块位置相对应的4×4块再分解成4个2×2块，计算t时刻的第k个参考视点的深度图像D_R，t^k中与各个2×2块位置相对应的4个对应2×2块各自的背离值，逐一考察t时刻的第k个参考视点的深度图像D_R，t^k中的各个对应2×2块，判断对应2×2块的背离值是否小于设定的阈值，当对应2×2块的背离值小于设定的阈值时，将t时刻的第k个参考视点的彩色图像I_R，t^k中与该对应2×2块位置相对应的2×2块记为p×q块，p＝2，q＝2，并标记该p×q块的块映射类型为整块映射型，当对应2×2块的背离值大于等于设定的阈值时，将t时刻的第k个参考视点的彩色图像I_R，t^k中与该对应2×2块位置相对应的2×2块记为p×q块，p＝2，q＝2，并标记该p×q块的块映射类型为逐像素映射型；然后执行步骤①-8；①-6、计算t时刻的第k个参考视点的深度图像D_R，t^k中与当前8×8块位置相对应的对应8×8块的背离值，判断对应8×8块的背离值是否小于设定的阈值，当对应8×8块的背离值小于设定的阈值时，将当前8×8块记为p×q块，p＝8，q＝8，并标记该p×q块的块映射类型为整块映射型；当对应8×8块的背离值大于等于设定的阈值时，将当前8×8块再分解成2个8×4块，计算t时刻的第k个参考视点的深度图像D_R，t^k中与各个8×4块位置相对应的2个对应8×4块各自的背离值，逐一考察t时刻的第k个参考视点的深度图像D_R，t^k中的各个对应8×4块，判断对应8×4块的背离值是否小于设定的阈值，当对应8×4块的背离值小于设定的阈值时，将t时刻的第k个参考视点的彩色图像I_R，t^k中与该对应8×4块位置相对应的8×4块记为p×q块，p＝8，q＝4，并标记该p×q块的块映射类型为整块映射型，当对应8×4块的背离值大于等于设定的阈值时，将t时刻的第k个参考视点的彩色图像I_R，t^k中与该对应8×4块位置相对应的8×4块分解成2个4×4块，或将当前8×8块再分解成2个4×8块，计算t时刻的第k个参考视点的深度图像D_R，t^k中与各个4×8块位置相对应的2个对应4×8块各自的背离值，逐一考察t时刻的第k个参考视点的深度图像D_R，t^k中的各个对应4×8块，判断对应4×8块的背离值是否小于设定的阈值，当对应4×8块的背离值小于设定的阈值时，将t时刻的第k个参考视点的彩色图像I_R，t^k中与该对应4×8块位置相对应的4×8块记为p×q块，p＝4，q＝8，并标记该p×q块的块映射类型为整块映射型，当对应4×8块的背离值大于等于设定的阈值时，将t时刻的第k个参考视点的彩色图像I_R，t^k中与该对应4×8块位置相对应的4×8块分解成2个4×4块；计算t时刻的第k个参考视点的深度图像D_R，t^k中与各个4×4块位置相对应的2个对应4×4块各自的背离值，逐一考察t时刻的第k个参考视点的深度图像D_R，t^k中的各个对应4×4块，判断对应4×4块的背离值是否小于设定的阈值，当对应4×4块的背离值小于设定的阈值时，将t时刻的第k个参考视点的彩色图像I_R，t^k中与该对应4×4块位置相对应的4×4块记为p×q块，p＝4，q＝4，并标记该p×q块的块映射类型为整块映射型，当对应4×4块的背离值大于等于设定的阈值时，将t时刻的第k个参考视点的彩色图像I_R，t^k中与该对应4×4块位置相对应的4×4块记为p×q块，p＝4，q＝4，并标记该p×q块的块映射类型为逐像素映射型；然后执行步骤①-8；①-7、将当前8×8块记为p×q块，p＝8，q＝8，并标记该p×q块的块映射类型为逐像素映射型，然后执行步骤①-8；①-8、将当前16×16块中的下一个8×8块作为当前8×8块，并返回步骤①-4继续执行，直至当前16×16块中所有的8×8块均处理完毕；①-9、将t时刻的第k个参考视点的彩色图像I_R，t^k中的下一个16×16块作为当前16×16块，并返回步骤①-3继续执行，直至所有的16×16块均处理完毕；①-10、将t时刻的第k个参考视点的彩色图像I_R，t^k中的各个p×q块向右扩展Δp个像素点且向下扩展Δq个像素点，形成N_R^k个尺寸大小为(p+Δp)×(q+Δq)的块；②逐一处理t时刻的第k个参考视点的彩色图像I_R，t^k中的N_R^k个尺寸大小为(p+Δp)×(q+Δq)的块，定义正在处理的t时刻的第k个参考视点的彩色图像I_R，t^k中的第n个块B_n^k为当前块B_n^k，记需绘制的虚拟视点彩色图像为I_D，t^k，当当前块B_n^k的块映射类型为逐像素映射型时，利用t时刻的第k个参考视点的深度图像D_R，t^k所提供的深度信息，采用公知的三维图像变换方法逐像素点计算当前块B_n^k中的各个像素点在需绘制的虚拟视点彩色图像I_D，t^k中的坐标位置，并将当前块B_n^k中的各个像素点逐像素点地映射到需绘制的虚拟视点彩色图像I_D，t^k中；当当前块B_n^k的块映射类型为整块映射型时，选取当前块B_n^k中的一个像素点，再利用t时刻的第k个参考视点的深度图像D_R，t^k所提供的该像素点的深度信息，采用公知的三维图像变换方法计算该像素点在需绘制的虚拟视点彩色图像I_D，t^k中的坐标位置，得到把该像素点从t时刻的第k个参考视点的彩色图像I_R，t^k映射到需绘制的虚拟视点彩色图像I_D，t^k中的坐标映射关系，并利用该坐标映射关系将当前块B_n^k中的各个像素点映射到需绘制的虚拟视点彩色图像I_D，t^k中；③重复步骤②将t时刻的第k个参考视点的彩色图像I_R，t^k中的所有块全部映射到需绘制的虚拟视点彩色图像I_D，t^k中，得到由t时刻的第k个参考视点的彩色图像I_R，t^k和t时刻的第k个参考视点的深度图像D_R，t^k绘制成的虚拟视点彩色图像I_D，t^k；④重复步骤①～③直至得到由K个参考视点的彩色图像和其对应的深度图像分别绘制成的K幅虚拟视点彩色图像，K幅虚拟视点彩色图像用集合表示为{I_D，t^k|1≤k≤K}；⑤采用图像融合方法融合由K个参考视点的彩色图像和其对应的深度图像分别绘制得到的K幅虚拟视点彩色图像，得到融合后的虚拟视点彩色图像，记融合后的虚拟视点彩色图像为I′_D，t，并对融合后的虚拟视点彩色图像I′_D，t中的空洞像素点进行填补，得到最终的虚拟视点彩色图像，记最终的虚拟视点彩色图像为I_D，t。