一种基于视觉保真度的立体图像质量客观评价方法

摘要

本发明公开了一种基于视觉保真度的立体图像客观质量评价方法，其在训练阶段，选多幅原始的无失真立体图像构成训练图像集，通过区域检测确定无失真立体图像中的像素点属于遮挡区域或匹配区域，并通过无监督学方式对训练图像集构造单目视觉字典表和双目视觉字典表；在测试阶段，对测试立体图像和其原始的无失真立体图像，根据单目视觉字典表和双目视觉字典表，估计测试立体图像和对应的无失真立体图像中属于遮挡区域和匹配区域的每个子块的稀疏系数矩阵，并通过稀疏系数矩阵来计算单目图像质量客观评价预测值和双目图像质量客观评价预测值，并最终结合得到图像质量客观评价预测值；优点是得到的图像质量客观评价预测值与主观评价值的一致性较好。

主权项

一种基于视觉保真度的立体图像质量客观评价方法，其特征在于包括训练阶段和测试阶段两个过程，所述的训练阶段包括以下步骤：①‑1、选取N幅原始的无失真立体图像构成训练图像集，记为{S_i,org|1≤i≤N}，其中，N>1，S_i,org表示{S_i,org|1≤i≤N}中的第i幅原始的无失真立体图像；①‑2、利用区域检测算法，判定{S_i,org|1≤i≤N}中的每幅原始的无失真立体图像的左视点图像和右视点图像中的每个像素点属于遮挡区域还是属于匹配区域；①‑3、采用Gabor滤波器，获取{S_i,org|1≤i≤N}中的每幅原始的无失真立体图像的左视点图像和右视点图像中的每个像素点在不同中心频率和不同方向因子下的频率响应；然后根据{S_i,org|1≤i≤N}中的每幅原始的无失真立体图像的左视点图像中的每个像素点在不同中心频率和不同方向因子下的频率响应，获取{S_i,org|1≤i≤N}中的每幅原始的无失真立体图像的左视点图像中的每个像素点在不同中心频率和不同方向因子下的振幅；同样，根据{S_i,org|1≤i≤N}中的每幅原始的无失真立体图像的右视点图像中的每个像素点在不同中心频率和不同方向因子下的频率响应，获取{S_i,org|1≤i≤N}中的每幅原始的无失真立体图像的右视点图像中的每个像素点在不同中心频率和不同方向因子下的振幅；并且，根据{S_i,org|1≤i≤N}中的每幅原始的无失真立体图像的左视点图像和右视点图像中的每个像素点在不同中心频率和不同方向因子下的频率响应，获取{S_i,org|1≤i≤N}中的每幅原始的无失真立体图像的左视点图像和右视点图像中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅；①‑4、对{S_i,org|1≤i≤N}中的每幅原始的无失真立体图像的左视点图像和右视点图像进行非重叠的分子块处理；然后采用K‑SVD方法，对由{S_i,org|1≤i≤N}中的所有原始的无失真立体图像的左视点图像和右视点图像中属于遮挡区域的所有子块各自的特征向量构成的特征向量集合进行字典训练操作，获得{S_i,org|1≤i≤N}的单目视觉字典表，记为D_nc，其中，j的初始值为1，K表示设定的字典的总个数，K≥1，表示D_nc中的第j个视觉字典，属于遮挡区域的任一个子块为该子块中有属于遮挡区域的像素点，属于遮挡区域的任一个子块的特征向量为该子块中的所有像素点在所有中心频率和方向因子下的振幅按该子块中的每个像素点的坐标位置的先后顺序排列构成；同样，采用K‑SVD方法，对由{S_i,org|1≤i≤N}中的所有原始的无失真立体图像的左视点图像和右视点图像中属于匹配区域的所有子块各自的特征向量构成的特征向量集合进行字典训练操作，获得{S_i,org|1≤i≤N}的双目视觉字典表，记为D_bf，其中，j的初始值为1，K表示设定的字典的总个数，K≥1，表示D_bf中的第j个视觉字典，属于匹配区域的任一个子块为该子块中没有属于遮挡区域的像素点，属于匹配区域的任一个子块的特征向量为该子块中的所有像素点在所有中心频率、方向因子和相位偏移下的振幅按该子块中的每个像素点的坐标位置的先后顺序排列构成；所述的测试阶段包括以下步骤：②对于任意一副测试立体图像S_test，将S_test对应的原始的无失真立体图像记为S_org；按照步骤①‑2至步骤①‑3的过程，以相同的操作获取S_test和S_org各自的左视点图像和右视点图像中的每个像素点在不同中心频率和不同方向因子下的振幅，并获取S_test和S_org各自的左视点图像和右视点图像中的每个像素点在不同中心频率、不同方向因子和不同相位偏移下的振幅；将S_test的左视点图像和右视点图像中属于遮挡区域的所有子块各自的特征向量构成一个特征向量集合，将S_org的左视点图像和右视点图像中属于遮挡区域的所有子块各自的特征向量构成一个特征向量集合，属于遮挡区域的任一个子块为该子块中有属于遮挡区域的像素点，属于遮挡区域的任一个子块的特征向量为该子块中的所有像素点在所有中心频率和方向因子下的振幅按该子块中的每个像素点的坐标位置的先后顺序排列构成；将S_test的左视点图像和右视点图像中属于匹配区域的所有子块的特征向量构成一个特征向量集合，将S_org的左视点图像和右视点图像中属于匹配区域的所有子块的特征向量构成一个特征向量集合，属于匹配区域的任一个子块为该子块中没有属于遮挡区域的像素点，属于匹配区域的任一个子块的特征向量为该子块中的所有像素点在所有中心频率、方向因子和相位偏移下的振幅按该子块中的每个像素点的坐标位置的先后顺序排列构成；根据训练阶段得到的{S_i,org|1≤i≤N}的单目视觉字典表D_nc，获取遮挡区域相关的两个特征向量集合中的每个特征向量的稀疏系数矩阵；并根据训练阶段得到的{S_i,org|1≤i≤N}的双目视觉字典表D_bf，获取匹配区域相关的两个特征向量集合中的每个特征向量的稀疏系数矩阵；根据遮挡区域相关的两个特征向量集合中位置相对应的两个特征向量各自的稀疏系数矩阵，获取S_test的左视点图像和右视点图像中对应的子块的局部客观评价度量值；并根据匹配区域相关的两个特征向量集合中位置相对应的两个特征向量各自的稀疏系数矩阵，获取S_test的左视点图像和右视点图像中对应的子块的局部客观评价度量值；根据S_test的左视点图像和右视点图像中属于遮挡区域的每个子块的局部客观评价度量值和S_test的左视点图像和右视点图像中属于匹配区域的每个子块的局部客观评价度量值，获得S_test的图像质量客观评价预测值。