一种基于三维离散余弦变换的立体视频质量客观评价方法

摘要

本发明公开了一种基于三维离散余弦变换的立体视频质量客观评价方法，其考虑到人眼对立体视频的感知过程中左视点视频和右视点视频权重的不确定性，将在立体视频的左视点图像和右视点图像中进行块匹配，组合成立体块，利用三维离散余弦变换能够有效提取视频左右视点帧对的特点，将立体块通过三维离散余弦变换提取部分系数进行质量评价，得到最终的立体视频质量，有效地提高了客观评价结果与主观感知之间的相关性。

主权项

一种基于三维离散余弦变换的立体视频质量客观评价方法，其特征在于包括以下步骤：①令I_org表示原始的无失真的立体视频，令I_dis表示待评价的失真的立体视频；②将I_org中当前待处理的立体图像定义为当前无失真立体图像，将I_dis中当前待处理的立体图像定义为当前失真立体图像；③假设当前无失真立体图像为I_org中的第f帧立体图像，并记为同时假设当前失真立体图像为I_dis中的第f帧立体图像，并记为将的左视点图像和右视点图像对应记为和将的左视点图像和右视点图像对应记为和其中，1≤f≤N，f的初始值为1，N表示I_org和I_dis中各自包含的立体图像的总帧数；④将划分成个互不重叠的尺寸大小为8×8的第一图像块，以尺寸大小为8×8的滑动窗口在中逐像素点移动将划分成(W‑7)×(H‑7)个相重叠的尺寸大小为8×8的第二图像块，然后以中的每个第一图像块为一个基准块，在中找出每个基准块的最佳匹配块，再计算每个基准块与其最佳匹配块的差异块，假设以中坐标位置为(u,v)的第一图像块为基准块时，在中找出的该基准块的最佳匹配块为中坐标位置为(u',v')的第二图像块，则将以中坐标位置为(u,v)的第一图像块为基准块时该基准块与其最佳匹配块的差异块记为其中，W表示I_org和I_dis中包含的立体图像的宽度，H表示I_org和I_dis中包含的立体图像的高度，并假设W和H刚好能够被8整除，1≤u'≤W‑7,1≤v'≤H‑7，符号“||”为取绝对值符号，表示中坐标位置为(u,v)的第一图像块，表示中坐标位置为(u',v')的第二图像块，为在中找出的的最佳匹配块；同样，将划分成个互不重叠的尺寸大小为8×8的第一图像块，以尺寸大小为8×8的滑动窗口在中逐像素点移动将划分成(W‑7)×(H‑7)个相重叠的尺寸大小为8×8的第二图像块，然后以中的每个第一图像块为一个基准块，在中找出每个基准块的最佳匹配块，再计算每个基准块与其最佳匹配块的差异块，假设以中坐标位置为(u,v)的第一图像块为基准块时，在中找出的该基准块的最佳匹配块为中坐标位置为(u',v')的第二图像块，则将以中坐标位置为(u,v)的第一图像块为基准块时该基准块与其最佳匹配块的差异块记为其中，1≤u'≤W‑7,1≤v'≤H‑7，符号“||”为取绝对值符号，表示中坐标位置为(u,v)的第一图像块，表示中坐标位置为(u',v')的第二图像块，为在中找出的的最佳匹配块；⑤根据中的每个第一图像块、中的每个第一图像块对应的差异块及中的每个第一图像块对应的最佳匹配块，获取中的每个第一图像块对应的长×宽×高为8×8×3的无失真立体块，将中坐标位置为(u,v)的第一图像块对应的无失真立体块记为为和从上到下依次叠放组成；同样，根据中的每个第一图像块、中的每个第一图像块对应的差异块及中的每个第一图像块对应的最佳匹配块，获取中的每个第一图像块对应的长×宽×高为8×8×3的失真立体块，将中坐标位置为(u,v)的第一图像块对应的失真立体块记为为和从上到下依次叠放组成；⑥对中的每个第一图像块对应的无失真立体块进行三维离散余弦变换，得到中的每个第一图像块对应的无失真立体块的系数矩阵，将的系数矩阵记为同样，对中的每个第一图像块对应的失真立体块进行三维离散余弦变换，得到中的每个第一图像块对应的失真立体块的系数矩阵，将的系数矩阵记为⑦根据中的每个第一图像块对应的无失真立体块的系数矩阵中的部分系数和中的每个第一图像块对应的失真立体块的系数矩阵中的部分系数，计算中的每个第一图像块对应的失真立体块相对于中相同坐标位置的第一图像块对应的无失真立体块的块质量，将相对于的块质量记为${\tau }_{1,\mathrm{org},f}^{(u,v)}=0.0625\times F_{\mathrm{org},f}^{(u,v)}(1,1,1),{\tau }_{2,\mathrm{org},f}^{(u,v)}=0.0909\times F_{\mathrm{org},f}^{(u,v)}\left(\mathrm{1,2,1}\right),{\tau }_{3,\mathrm{org},f}^{(u,v)}=0.0833\times F_{\mathrm{org},f}^{(u,v)}\left(\mathrm{2,1,1}\right),$和对应表示中下标为(1,1,1)、(1,2,1)和(2,1,1)的系数的值，${\tau }_{1,\mathrm{dis},f}^{(u,v)}=0.0625\times F_{\mathrm{dis},f}^{(u,v)}(1,1,1),{\tau }_{2,\mathrm{dis},f}^{(u,v)}=0.0909\times F_{\mathrm{dis},f}^{(u,v)}\left(\mathrm{1,2,1}\right),$${\tau }_{3,\mathrm{dis},f}^{(u,v)}=0.0833\times F_{\mathrm{dis},f}^{(u,v)}\left(\mathrm{2,1,1}\right),$和对应表示中下标为(1,1,1)、(1,2,1)和(2,1,1)的系数的值；⑧根据中的每个第一图像块对应的失真立体块相对于中相同坐标位置的第一图像块对应的无失真立体块的块质量，计算相对于的帧质量，记为Q_f，$Q_f=\frac{\underset{u=1}{\overset{\frac{W}{8}}{\Sigma }}\underset{v=1}{\overset{\frac{H}{8}}{\Sigma }}(Q_f^{(u,v)}\times w^{(u,v)})}{\underset{u=1}{\overset{\frac{W}{8}}{\Sigma }}\underset{v=1}{\overset{\frac{H}{8}}{\Sigma }}{w}^{(u,v)}},$其中，w^(u,v)表示的权重；⑨将I_org中下一帧待处理的立体图像作为当前无失真立体图像，将I_dis中下一帧待处理的立体图像作为当前失真立体图像，然后返回步骤③继续执行，直至I_org和I_dis中的所有立体图像处理完毕；⑩计算I_dis相对于I_org的质量，记为Q，其中，T_f表示的时域加权权重。