多视角视频编码中基于低秩结构提取的亮度补偿方法

摘要

本发明提出了一种多视角视频编码中基于低秩结构提取的亮度补偿方法，该方法把各个视角间的亮度差异看作叠加在原始视角上的混合噪声，利用视角间的对应性建立一个低秩结构矩阵，由于遮挡的存在，该矩阵是不完备的，仅选取可靠的点用于矩阵完备恢复出整个矩阵，由此得到用于亮度补偿的映射函数。该方法属于多视角视频编码中亮度补偿的预处理方案，即在编码前进行亮度补偿以得到补偿后视角。该方法可以明显提高多视角视频中视角间的相关性，提高视角间的预测效率，从而提高编码效率，相对于已有的亮度补偿方案，该方法获得的补偿视角与原视角相比有更大的相似度。

主权项

一种多视角视频编码中基于低秩结构提取的亮度补偿方法，其特征在于，多视角视频序列通过映射函数对各个视角进行补偿，所述方法把亮度补偿问题转化为通过低秩矩阵完备的噪声去除问题，用于补偿的映射函数通过视角间的对应关系建立不完备矩阵，把视角间对应点的亮度差异看作叠加在原始视角上的混合噪声，通过矩阵完备恢复出潜在的低秩结构矩阵，利用完备前后的矩阵建立映射关系得到映射函数，将该映射函数应用于亮度补偿；所述通过视角间的对应关系建立不完备矩阵，具体为：利用相机参数和各个视角相对应的深度图，对应点通过一个三维卷绕过程获得；匹配点通过投影一个参考视角的像素点到三维空间后再逆投影到目标视角检测出；令I_k表示某一时刻的第k个视角，d_k为相应的深度图，A_k,R_k和t_k分别表示相机的内部矩阵、旋转矩阵和平移向量，则点I_k(x，y)的三维坐标X表示为：三维点X投影到目标视角I_j以得到匹配点I_j(x′，y′)(x′，y′)为第j个视角中匹配点的坐标，以距离(x′，y′)最近的整像素点为中心，该像素点的8‑邻域像素点为候选点，所有的9个点反向投影到三维空间得到点集X_set，最近的三维点X_t通过以下标准选取：通过X_t求得参考视角投影点I_k(x_t，y_t)，考虑到遮挡的存在，如果I_k(x_t，y_t)和I_k(x，y)之间的距离小于某一门限值，则这两个点就可以被看作视角间的对应点，否则目标视角中对应于参考视角的对应点不存在；在寻找匹配点的过程中，中间视角被选择为参考视角，所有的中间视角点都被投影到其余所有视角以寻找匹配点，为了得到更多的匹配点，在不同的时间点重复这个投影过程。