一种立体图像重定位方法

摘要

本发明公开了一种立体图像重定位方法，其通过提取左视点图像的形状保护能量项、形状一致能量项、边界弯曲度能量项和舒适度保持能量项，并通过优化使得左视点图像的总能量最小，获取最佳相似变换矩阵，这样使得获得的重定位立体图像能够较好地保留重要的显著语义信息且保持视觉舒适性；其对立体图像的三维空间的水平坐标位置、垂直坐标位置和深度值同时进行调整，从而保留了重定位后的左视点图像重要的显著信息，同时又能保证与根据重定位后的左视差图获得的重定位后的右视点图像是匹配的，从而能够保证重定位后的立体图像的舒适性。

主权项

一种立体图像重定位方法，其特征在于包括以下步骤：①将待处理的宽度为W且高度为H的立体图像的左视点图像、右视点图像及左视差图像对应记为{L(x,y)}、{R(x,y)}及{d_L(x,y)}；其中，1≤x≤W，1≤y≤H，W和H均能被8整除，L(x,y)表示{L(x,y)}中坐标位置为(x,y)的像素点的像素值，R(x,y)表示{R(x,y)}中坐标位置为(x,y)的像素点的像素值，d_L(x,y)表示{d_L(x,y)}中坐标位置为(x,y)的像素点的像素值；②将{L(x,y)}分割成个互不重叠的尺寸大小为8×8的四边形网格；然后以{L(x,y)}中的每个四边形网格的左上、左下、右上和右下4个网格顶点的集合来描述{L(x,y)}中的每个四边形网格，将{L(x,y)}中的第k个四边形网格记为U_L,k，其中，1≤k≤M，对应表示U_L,k的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，并采用K‑mean聚类方法将{d_L(x,y)}分割成P个分割对象，其中，P≥1；③根据{L(x,y)}中的每个四边形网格，获取对应的三维曲面网格，以{L(x,y)}中的每个三维曲面网格的左上、左下、右上和右下4个网格顶点的集合来描述{L(x,y)}中的每个三维曲面网格，将根据U_L,k获取的对应的三维曲面网格记为V_L,k，其中，对应表示V_L,k的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置及深度值来描述，的水平坐标位置与的水平坐标位置相等，的垂直坐标位置与的垂直坐标位置相等，以的水平坐标位置和垂直坐标位置及深度值来描述，的水平坐标位置与的水平坐标位置相等，的垂直坐标位置与的垂直坐标位置相等，以的水平坐标位置和垂直坐标位置及深度值来描述，的水平坐标位置与的水平坐标位置相等，的垂直坐标位置与的垂直坐标位置相等，以的水平坐标位置和垂直坐标位置及深度值来描述，的水平坐标位置与的水平坐标位置相等，的垂直坐标位置与的垂直坐标位置相等；④采用基于图论的视觉显著模型提取出{L(x,y)}的显著图，记为{SM_L(x,y)}；然后根据{SM_L(x,y)}和{d_L(x,y)}，获取{L(x,y)}的视觉显著图，记为{S_L(x,y)}；其中，SM_L(x,y)表示{SM_L(x,y)}中坐标位置为(x,y)的像素点的像素值，S_L(x,y)表示{S_L(x,y)}中坐标位置为(x,y)的像素点的像素值；⑤根据{L(x,y)}中的所有三维曲面网格对应的P个候选目标三维曲面网格，对{L(x,y)}中的每个三维曲面网格的各个网格顶点分别进行相似变换，使得原三维曲面网格与原三维曲面网格经过相似变换后得到的候选目标三维曲面网格的变换误差最小，得到{L(x,y)}中的每个三维曲面网格对应的各个候选目标三维曲面网格的相似变换矩阵，将V_L,k对应的第p个候选目标三维曲面网格的相似变换矩阵记为其中，1≤p≤P，表示V_L,k对应的第p个候选目标三维曲面网格，对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，表示的第i个网格顶点，i＝1,2,3,4，和对应表示的水平坐标位置、垂直坐标位置和深度值，和对应表示的水平坐标位置、垂直坐标位置和深度值，和对应表示的水平坐标位置、垂直坐标位置和深度值，和对应表示的水平坐标位置、垂直坐标位置和深度值，(A_L,k)^T为A_L,k的转置，((A_L,k)^TA_L,k)^‑1为(A_L,k)^TA_L,k的逆；⑥根据{L(x,y)}中的每个三维曲面网格对应的各个候选目标三维曲面网格的相似变换矩阵，并结合{S_L(x,y)}，计算在{L(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{L(x,y)}的形状保护能量项，将在{L(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似性变换矩阵下{L(x,y)}的形状保护能量项记为⑦通过判断{L(x,y)}中的每个三维曲面网格和与其相邻的三维曲面网格是否属于相同的分割对象，并结合{S_L(x,y)}和{L(x,y)}中的每个三维曲面网格对应的各个候选目标三维曲面网格的相似变换矩阵，计算在{L(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{L(x,y)}的形状一致能量项，将在{L(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似性变换矩阵下{L(x,y)}的形状一致能量项记为⑧根据{L(x,y)}中的每个三维曲面网格的各个网格顶点的边缘和{L(x,y)}中的每个三维曲面网格经过每次相似变换后得到的候选目标三维曲面网格的各个网格顶点的边缘，计算在{L(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{L(x,y)}的边界弯曲度能量项，将在{L(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似性变换矩阵下{L(x,y)}的边界弯曲度能量项记为⑨根据{L(x,y)}中的每个三维曲面网格的各个网格顶点的深度值和{L(x,y)}中的每个三维曲面网格经过每次相似变换后得到的候选目标三维曲面网格的各个网格顶点的深度值，计算在{L(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{L(x,y)}的舒适度保持能量项，将在{L(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似性变换矩阵下{L(x,y)}的舒适度保持能量项记为⑩计算在{L(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{L(x,y)}的总能量，将在{L(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似性变换矩阵下{L(x,y)}的总能量记为然后根据{L(x,y)}中的所有三维曲面网格对应的所有候选目标三维曲面网格的相似变换矩阵，令表示在{L(x,y)}中的所有三维曲面网格对应的所有候选目标三维曲面网格的最佳相似变换矩阵下{L(x,y)}的总能量，并将相应的V_L,k对应的最佳相似变换矩阵记为其中，ω₁、ω₂、ω₃和ω₄均为加权参数，min()为取最小值函数；根据{L(x,y)}中的每个三维曲面网格对应的最佳相似变换矩阵，计算{L(x,y)}中的每个三维曲面网格中的每个像素点经最佳相似变换后的水平坐标位置、垂直坐标位置和深度值，将V_L,k中水平坐标位置为x'_L,k、垂直坐标位置y'_L,k和深度值z'_L,k的像素点经最佳相似变换后的水平坐标位置、垂直坐标位置和深度值对应记为和和通过求解得到，其中，1≤x'_L,k≤W，1≤y'_L,k≤H，e表示待处理的立体图像的左视点与右视点之间的水平基线距离，D表示待处理的立体图像的左视点和右视点与显示器之间的观看距离，W_d表示显示器的水平宽度，R表示显示器的水平分辨率，d'_L,k表示{d_L(x,y)}中坐标位置为(x'_L,k,y'_L,k)的像素点的像素值，(A'_L，k)^T为A'_L,k的转置，((A'_L,k)^TA'_L,k)^‑1为(A'_L,k)^TA'_L,k的逆，根据{L(x,y)}中的每个三维曲面网格中的每个像素点经最佳相似变换后的水平坐标位置、垂直坐标位置和深度值，获得重定位后的左视点图像和重定位后的左视点深度图，对应记为和然后根据获取重定位后的左视差图像，记为将中坐标位置为(x',y')的像素点的像素值记为接着根据和获取重定位后的右视点图像，记为将中坐标位置为(x',y')的像素点的像素值记为最后将和构成重定位后的立体图像；其中，1≤x'≤W'，1≤y'≤H，W'表示重定位后的立体图像的宽度，H亦为重定位后的立体图像的高度，表示中坐标位置为(x',y')的像素点的像素值，表示中坐标位置为(x',y')的像素点的像素值，表示中坐标位置为的像素点的像素值。