一种基于可分级块的虚拟视点图像绘制方法

摘要

本发明公开了一种基于可分级块的虚拟视点图像绘制方法，优点在于根据参考视点的深度图像的平滑与否自适应地将彩色图像划分成若干个尺寸大小不尽相同的块，对于整块映射型块只需对该块中的一个像素点实施三维图像变换以确定将该像素点从彩色图像投影到虚拟视点彩色图像的坐标映射关系，然后整个块采用此坐标映射关系投影到虚拟视点彩色图像中，由于只对一个像素点实施三维图像变换，因而可有效提高整块映射型块的绘制速度；对于逐像素映射型块，由于这些块主要位于对象与背景的边界区域，因此仍采用逐像素映射的三维图像变换方法将块中的各个像素点映射到虚拟视点彩色图像中，有效保证了绘制精度。

主权项

1.一种基于可分级块的虚拟视点图像绘制方法，其特征在于包括以下具体步骤：①获取t时刻的K个参考视点的尺寸大小为P×Q的K幅彩色图像及其对应的K幅深度图像，将t时刻的第k个参考视点的彩色图像记为将t时刻的第k个参考视点的深度图像记为将t时刻的第k个参考视点的彩色图像自适应地划分成个尺寸大小为(p+Δp)×(q+Δq)的块，并标记各个块的块映射类型，块映射类型包括逐像素映射型和整块映射型，记t时刻的第k个参考视点的彩色图像中的第n个块为其中，k∈[1，K]，p和q的值均为16、8、4、2、1五个值中的一个，Δp表示块与其右相邻块之间重叠的像素点的列数，0≤Δp≤2，当Δp＝0时表示块与其右相邻块不重叠或表示块为t时刻的第k个参考视点的彩色图像的右边界处的块，Δq表示块与其下相邻块之间重叠的像素点的行数，0≤Δq ≤2，当Δq＝0时表示块与其下相邻块不重叠或表示块为t时刻的第k个参考视点的彩色图像的下边界处的块；此处，将t时刻的第k个参考视点的彩色图像自适应地划分成个尺寸大小为(p+Δp)×(q+Δq)的块并标记各个块的块映射类型的具体步骤为：①-1、将t时刻的第k个参考视点的深度图像划分成个互不重叠的16×16块，其中，P表示深度图像的宽，Q表示深度图像的高；①-2、定义当前正在处理的16×16块为当前16×16块，将当前16×16块记为n_i×n_i块，或将当前16×16块分解为4个8×8块，将4个8×8块均记为n_i×n_i块，其中，i的初始值为1；①-3、定义当前正在处理的n_i×n_i块为当前n_i×n_i块，计算当前n_i×n_i块的背离值，判断当前n_i×n_i块的背离值是否小于阈值，如果是，则将当前n_i×n_i块记为p×q块，p＝n_i，q＝n_i，并标记该p×q块的块映射类型为整块映射型，然后执行步骤①-10，否则，再判断n_i是否等于预设尺寸值m，其中，m≤n₁，当n_i＝m时，将当前n_i×n_i块记为p×q块，p＝n_i，q＝n_i，并标记该p×q块的块映射类型为逐像素映射型，然后执行步骤①-10，当n_i＞m时，继续执行；①-4、将当前n_i×n_i块分解成2个块，分别计算2个块的背离值，判断2个块的背离值是否均小于阈值，如果是，则将2个块分别记为p×q块，p＝n_i，并标记该2个p×q块的块映射类型为整块映射型，然后执行步骤①-10，否则，继续执行；①-5、对当前n_i×n_i块进行重新分解，分解成2个块，分别计算2个块的背离值，判断2个块的背离值是否均小于阈值，如果是，则将2个块分别记为p×q块，q＝n_i，并标记该2个p×q块的块映射类型为整块映射型，然后执行步骤①-10，否则，继续执行；①-6、当步骤①-4中的2个块中的其中一个块的背离值小于阈值时，将背离值小于阈值的块记为p×q块，p＝n_i，标记该p×q块的块映射类型为整块映射型，并将背离值大于等于阈值的块分解为2个块，然后执行步骤①-9；当2个块的背离值均大于等于阈值时，继续执行；①-7、当步骤①-5中的2个块中的其中一个块的背离值小于阈值时，将背离值小于阈值的块记为p×q块，q＝n_i，标记该p×q块的块映射类型为整块映射型，并将背离值大于等于阈值的块分解为2个块，然后执行步骤①-9；当2个块的背离值均大于等于阈值时，继续执行；①-8、对当前n_i×n_i块进行重新分解，分解成4个块，并继续执行；①-9、将i加1，然后将步骤①-6或步骤①-7或步骤①-8得到的各个块记为块，令再返回步骤①-3继续执行，直至当前n_i×n_i块已分解为尺寸大小为预设尺寸值m的块或分解得到的块的背离值小于阈值为止；①-10、将当前16×16块中的下一个n_i×n_i块作为当前n_i×n_i块，并将i值置为1，然后返回步骤①-3继续执行，直至当前16×16块中的所有n_i×n_i块处理完毕；①-11、将下一个16×16块作为当前16×16块，并返回步骤①-2继续执行，直至t时刻的第k个参考视点的深度图像中的所有16×16块处理完毕；①-12、根据t时刻的第k个参考视点的深度图像的p×q块的划分及各个p×q块标记的块映射类型，将t时刻的第k个参考视点的彩色图像划分成相应的尺寸大小为(p+Δp)×(q+Δq)的块，并标记相应的块映射类型，具体过程为：a.定义t时刻的第k个参考视点的深度图像中的第一个p×q块为当前p×q块，将t时刻的第k个参考视点的彩色图像中坐标位置与当前p×q块相同的对应块作为t时刻的第k个参考视点的彩色图像中的p×q块；b.将t时刻的第k个参考视点的彩色图像中的该p×q块向右扩展Δp个像素点且向下扩展Δq个像素点，形成t时刻的第k个参考视点的彩色图像中的尺寸大小为(p+Δp)×(q+Δq)的块；c.根据当前p×q块的块映射类型，将该尺寸大小为(p+Δp)×(q+Δq)的块的块映射类型标记为与当前p×q块的块映射类型相同的块映射类型；d.将t时刻的第k个参考视点的深度图像中的下一个p×q块作为当前p×q块，返回执行步骤a，直至t时刻的第k个参考视点的深度图像中的所有p×q块处理完毕；②逐一处理t时刻的第k个参考视点的彩色图像中的个尺寸大小为(p+Δp)×(q+Δq)的块，定义正在处理的t时刻的第k个参考视点的彩色图像中的第n个块为当前块记需绘制的虚拟视点彩色图像为当当前块的块映射类型为逐像素映射型时，利用t时刻的第k个参考视点的深度图像所提供的深度信息，采用将参考视点的彩色图像中的像素点重投影到实际的三维空间中，然后再将这些三维空间中的点投影到目标图像平面即虚拟视点图像平面上的方法，逐像素点计算当前块中的各个像素点在需绘制的虚拟视点彩色图像中的坐标位置，并将当前块中的各个像素点逐像素点地映射到需绘制的虚拟视点彩色图像中；当当前块的块映射类型为整块映射型时，选取当前块中的一个像素点，再利用t时刻的第k个参考视点的深度图像所提供的该像素点的深度信息，采用将参考视点的彩色图像中的像素点重投影到实际的三维空间中，然后再将这些三维空间中的点投影到目标图像平面即虚拟视点图像平面上的方法计算该像素点在需绘制的虚拟视点彩色图像中的坐标位置，得到把该像素点从t时刻的第k个参考视点的彩色图像映射到需绘制的虚拟视点彩色图像中的坐标映射关系，并利用该坐标映射关系将当前块中的各个像素点映射到需绘制的虚拟视点彩色图像中；③重复步骤②将t时刻的第k个参考视点的彩色图像中的所有块全部映射到需绘制的虚拟视点彩色图像中，得到由t时刻的第k个参考视点的彩色图像和t时刻的第k个参考视点的深度图像绘制成的虚拟视点彩色图像④重复步骤①～③直至得到由K个参考视点的彩色图像和其对应的深度图像分别绘制成的K幅虚拟视点彩色图像，K幅虚拟视点彩色图像用集合表示为⑤采用图像融合方法融合由K个参考视点的彩色图像和其对应的深度图像分别绘制得到的K幅虚拟视点彩色图像，得到融合后的虚拟视点彩色图像，记融合后的虚拟视点彩色图像为I′_D，t，并对融合后的虚拟视点彩色图像I′_D，t中的空洞像素点进行填补，得到最终的虚拟视点彩色图像，记最终的虚拟视点彩色图像为I_D，t。