一种基于空间加权的虚拟视点绘制方法

摘要

本发明公开了一种基于空间加权的虚拟视点绘制方法，其以行为单位进行像素点的坐标变换，获得实际投影像素点，然后以行为单位进行插值处理，省去了VSRS虚拟视点绘制方法中的上、下采样操作，节省了绘制时间；其充分地考虑了投影像素点的空间位置和多个投影像素点对绘制质量的影响，采用空间加权方式，有效地减少了由于深度图不准确所引入的噪声，提高了绘制精度，从而提高了虚拟视点图像的主、客观质量；其充分地考虑了参考视点不同区域对绘制质量的影响，从虚拟视点图像中的整像素点附近的投影像素点个数侧面地反映了其区域分布情况，并且对不同区域进行相应的插值，能够准确地将参考视点中的像素点插入到虚拟视点中，提高了虚拟视点图像的质量。

主权项

一种基于空间加权的虚拟视点绘制方法，其特征在于包括以下步骤：①获取同一时刻的左参考视点的彩色图像和右参考视点的彩色图像及两者各自对应的深度图像，并假设虚拟视点介于左参考视点与右参考视点之间，且左参考视点、虚拟视点、右参考视点三者在同一水平线上；②根据左参考视点的彩色图像及其对应的深度图像，以行为单位对左参考视点的彩色图像中的每行中的每个像素点进行坐标变换，得到左参考虚拟视点图像中的每行中的每个整像素点附近的N个实际投影像素点，其中，N≥0；③获取插值后的左参考虚拟视点图像，具体过程为：③‑1、将插值前的左参考虚拟视点图像中当前待处理的一行定义为当前行；③‑2、假设当前行为插值前的左参考虚拟视点图像中的第i行，则对于当前行中坐标位置为(i,j)的整像素点，若该整像素点附近即在(i‑1,i+1)范围内的实际投影像素点的个数N＝0，那么将该整像素点视为空洞像素点，对该整像素点不进行插值处理；若该整像素点附近即在(i‑1,i+1)范围内的实际投影像素点的个数N≠0，那么执行以下步骤以对该整像素点进行插值处理：当N＝1时，直接将这1个实际投影像素点的亮度值作为该整像素点的亮度值，并将这1个实际投影像素点的深度值作为该整像素点的深度值，完成该整像素点的插值处理；当N＝2时，对这2个实际投影像素点的亮度值进行空间加权，得到该整像素点的亮度值，记为I_vL(i,j)，并对这2个实际投影像素点的深度值进行空间加权，得到该整像素点的深度值，记为D_vL(i,j)，至此完成该整像素点的插值处理；其中，p的初始值为1，1≤p≤N，w_(i,j),p表示第p个实际投影像素点的加权系数，v_(i,j),p表示第p个实际投影像素点的深度值，d_(i,j),p表示第p个实际投影像素点的水平位置x_p与该整像素点的水平位置i之间的绝对距离，d_(i,j),p＝|x_p‑i|，符号“||”为取绝对值符号，I_(i,j),p表示第p个实际投影像素点的亮度值；当N＝3或N＝4时，先确定所有实际投影像素点中的可疑点，对于任一个实际投影像素点，如果该实际投影像素点的深度值远远小于所有实际投影像素点的深度值中的最大深度值，则确定该实际投影像素点为可疑点；再对所有实际投影像素点的亮度值进行空间加权，得到该整像素点的亮度值，记为I_vL(i,j)，并对所有实际投影像素点的深度值进行空间加权，得到该整像素点的深度值，记为D_vL(i,j)，至此完成该整像素点的插值处理；其中，p的初始值为1，1≤p≤N，w'_(i,j),p表示第p个实际投影像素点的加权系数，v'_(i,j),p表示第p个实际投影像素点的深度值，d'_(i,j),p表示第p个实际投影像素点的水平位置x'_p与该整像素点的水平位置i之间的绝对距离，d'_(i,j),p＝|x'_p‑i|，符号“||”为取绝对值符号，I'_(i,j),p表示第p个实际投影像素点的亮度值；当N≥5时，先从所有实际投影像素点中随机选取5个实际投影像素点；然后根据随机选取的5个实际投影像素点各自的亮度值和深度值，采用ZBuffer技术获得该整像素点的亮度值和深度值，完成该整像素点的插值处理；其中，1≤i≤W,1≤j≤H，W表示待绘制的虚拟视点图像的宽度，H表示待绘制的虚拟视点图像的高度；所述的步骤③‑2中当N＝2时，取w_(i,j),p＝1；当N＝3或N＝4时，取其中，MaxDepth(i,j)表示在(i‑1,i+1)范围内的所有实际投影像素点的深度值中的最大深度值，符号“||”为取绝对值符号，th为设定的判定阈值；③‑3、在完成当前行的插值处理后，将插值前的左参考虚拟视点图像中待处理的下一行作为当前行，然后返回步骤③‑2继续执行，直至插值前的左参考虚拟视点图像中的所有行处理完毕，获得插值后的左参考虚拟视点图像；④按照步骤②至步骤③的操作过程，以相同的方式获得插值后的右参考虚拟视点图像；⑤对插值后的左参考虚拟视点图像进行空洞填补，得到空洞填补后的左参考虚拟视点图像；同样，对插值后的右参考虚拟视点图像进行空洞填补，得到空洞填补后的右参考虚拟视点图像；⑥对空洞填补后的左参考虚拟视点图像和空洞填补后的右参考虚拟视点图像进行融合，得到融合后的虚拟视点图像。