一种立体图像的人眼最小可辨变化分析方法

摘要

本发明公开了一种立体图像的人眼最小可辨变化分析方法，通过广义线性模型框架下的Thurstone模型对观察者主观评价数据进行回归分析，以在左视点图像质量固定不变的情况下，测定人眼可感知立体图像质量变化时右视点图像质量下降的临界值，从而确定非对称立体视频编码时右视点图像质量相对左视点图像质量可下降的最大变化范围，使得既能通过降低右视点图像质量来达到提高编码效率的目的，又能利用立体视觉掩蔽效应使观察者不能感知到右视点图像质量下降的事实，从而保证了立体图像的整体质量。

主权项

1.一种立体图像的人眼最小可辨变化分析方法，其特征在于包括以下步骤：①首先取一幅立体图像作为测试图像，然后利用H.264视频编码标准，采用一个预设的编码量化参数对测试图像的左视点图像以帧内编码方式进行编码，记对测试图像的左视点图像进行编码所采用的预设的编码量化参数为QP_L，将编码得到的左视点图像定义为A质量点的左视点图像，记为L_A，再采用N个不同的编码量化参数分别对测试图像的右视点图像以帧内编码方式进行编码，获得所需的N幅质量各不相同的右视点图像，其中，对测试图像的右视点图像进行编码所采用的N个不同的编码量化参数分别为QP_L-1、QP_L、QP_L+1、QP_L+2、……，如果(51-(QP_L-1)+1)＞15，则N＝15，否则，N＝51-(QP_L-1)+1；②从采用编码量化参数QP_L-1、QP_L、QP_L+1进行编码得到的3幅质量各不相同的右视点图像中选取一幅采用客观质量评价标准评价时质量与A质量点的左视点图像L_A的质量最为接近的右视点图像，并将该选定的右视点图像定义为A质量点的右视点图像，记为R_A，将A质量点的右视点图像R_A编码采用的编码量化参数记为QP_RA，将A质量点的左视点图像L_A和A质量点的右视点图像R_A所构成的最优立体图像记为S_AA；记N幅质量各不相同的右视点图像中编码量化参数大于QP_RA的右视点图像的数量为M幅，将A质量点的左视点图像L_A与M幅采用大于QP_RA的编码量化参数编码得到的右视点图像一一构成M幅立体图像，记为S_m，1≤m≤M，S_m为由A质量点的左视点图像L_A和采用编码量化参数QP_RA+m编码得到的右视点图像所构成的立体图像；③组织参与进行图像主观质量评价的观察者若干名，先将m＝1时的立体图像S_m作为当前待评价立体图像，然后将内容相同但质量不同的最优立体图像S_AA和当前待评价立体图像S_m同时播放在屏幕上，要求每位观察者对这2幅立体图像的质量进行独立评价，看观察者是否能辨别出这2幅立体图像的质量差异，并记录下每位观察者对这2幅立体图像的质量的评价结果，再将m加1后的立体图像S_m作为当前待评价立体图像，重复上述评价过程，直至m＞M时结束评价过程；根据所有观察者的评价结果选择B、C、D、E另外4个质量点的右视点图像，选择方法如下：如果立体图像S_m与最优立体图像S_AA对比后大多数观察者都不能分辨出该S_m与S_AA的质量差异，则将该S_m对应的右视点图像定义为B质量点的右视点图像，记为R_B，并将该立体图像S_m记为S_AB，将B质量点的右视点图像R_B编码采用的编码量化参数记为QP_RB；如果立体图像S_m与立体图像S_AA对比后大多数观察者都可以分辨出该S_m与S_AA的质量差异，则将该S_m对应的右视点图像定义为E质量点的右视点图像，记为R_E，并将该立体图像S_m记为S_AE，将E质量点的右视点图像R_E编码采用的编码量化参数记为QP_RE；再在B质量点的右视点图像R_B与E质量点的右视点图像R_E之间等量化步长选取C质量点的右视点图像和D质量点的右视点图像，将C质量点的右视点图像记为R_C，将C质量点的右视点图像R_C编码采用的编码量化参数记为QP_RC，将D质量点的右视点图像记为R_D，将D质量点的右视点图像R_D编码采用的编码量化参数记为QP_RD，(QP_RB-QP_RC)≈(QP_RC-QP_RD)≈(QP_RD-QP_RE)，将A质量点的左视点图像L_A和C质量点的右视点图像R_C所构成的立体图像记为S_AC，将A质量点的左视点图像L_A和D质量点的右视点图像R_D所构成的立体图像记为S_AD；④将经上述步骤获得的5幅质量逐次递减的立体图像S_AA、S_AB、S_AC、S_AD和S_AE两两组合，共组成十组不同的立体图像对比组合，分别为S_AA S_AB、S_AA S_AC、S_AA S_AD、S_AA S_AE、S_AB S_AC、S_AB S_AD、S_AB S_AE、S_AC S_AD、S_AC S_AE和S_AD S_AE；随机播放这十组立体图像对比组合，要求每位观察者分别对所有立体图像对比组合中的2幅立体图像两两对比进行独立的主观质量评价，指出其认为立体图像对比组合中的2幅立体图像质量相对较好的立体图像，并记录评价数据；⑤对于十组立体图像对比组合中的其中一组立体图像对比组合，令Q_i和Q_j分别表示该立体图像对比组合中的2幅立体图像分别对应的2幅不同的右视点图像的质量点，Q_i∈{A，B，C，D，E}，Q_j∈{A，B，C，D，E}，且Q_i≠Q_j；然后根据记录的评价数据统计出参与图像主观质量评价的观察者认为Q_i质量点的右视点图像对应的立体图像的质量高于Q_j质量点的右视点图像对应的立体图像的质量的概率，记为p_ij，表示比例为p_ij的观察者认为Q_i质量点的右视点图像对应的立体图像的质量高于Q_j质量点的右视点图像对应的立体图像的质量；再根据十组立体图像对比组合各自的概率p_ij，构造十组立体图像对比组合的偏好概率矩阵；⑥根据偏好概率矩阵构造适用于建立广义线性模型框架下的Thurstone模型所需的回归矩阵，其中，回归矩阵的总行数为10行，每一行对应一组立体图像对比组合，每行包括7项数据，分别记为N、A_s、B_s、C_s、D_s、E_s、p，其中，N为参与对该组立体图像对比组合进行主观质量评价的观察者人数，A_s、B_s、C_s、D_s、E_s分别对应于由A质量点的左视点图像L_A和A、B、C、D、E 5个质量点的右视点图像分别构成的立体图像S_AA、S_AB、S_AC、S_AD和S_AE，对于回归矩阵中的其中一行，如果A_s、B_s、C_s、D_s、E_s5项中的3项值为0，1项值为1，另1项值为-1，则表示该行数据反映的是非零的2项所对应的2幅立体图像的主观评价结果，p为偏好概率，表示参与评价的N名观察者中有比例为p的观察者认为A_s、B_s、C_s、D_s、E_s5项中值为1的项所对应的立体图像的质量要优于值为-1的项所对应的立体图像；⑦根据回归矩阵建立广义线性模型框架下的Thurstone模型，Thurstone模型的形式为：Φ^-1(p)＝a×A_s+b×B_s+c×C_s+d×D_s+e×E_s，其中，a、b、c、d和e分别为对应于立体图像S_AA、S_AB、S_AC、S_AD和S_AE的Z分数，且e＝0，Φ^-1(p)为二项分布的概率函数的反函数；然后将回归矩阵数据代入Thurstone模型进行回归分析得到a、b、c、d的估计值，分别记为a^est、b^est、c^est和d^est，并令e的估计值e^est＝e＝0；⑧逐一计算Z分数对a和b、a和c、a和d及a和e的置信区间，Z分数对a和b的置信区间为a^est-b^est-BOUND＜a-b＜a^est-b^est+BOUND，Z分数对a和c的置信区间为a^est-c^est-BOUND＜a-c＜a^est-c^est+BOUND，Z分数对a和d的置信区间为a^est-d^est-BOUND＜a-d＜a^est-d^est+BOUND，Z分数对a和e的置信区间为a^est-e^est-BOUND＜a-e＜a^est-e^est+BOUND，χ_dim²为卡方分布，其自由度dim＝4，α表示分位数，x表示相应的检验向量，x^T为x的转置矩阵，COV为随机向量(a，b，c，d)的协方差矩阵；⑨按英文字母顺序排列b、c、d和e，依次判断Z分数对a和b、a和c、a和d及a和e的每一对中所对应的2幅立体图像的质量是否是可分辨的，具体过程如下：定义当前正在处理的Z分数对为a和q，q∈{b，c，d，e}，判断数值0是否在区间(a^est-q^est-BOUND，a^est-q^est+BOUND)内，如果是，则认为a和q是不具有显著性差异的，表示a对应的最优立体图像S_AA与由A质量点的左视点图像和q对应的质量点的右视点图像构成的立体图像S_AQ之间的图像质量差异是不可分辨的，否则，认为a和q是具有显著性差异的，表示a对应的最优立体图像S_AA与由A质量点的左视点图像和q对应的质量点的右视点图像构成的立体图像S_AQ之间的图像质量差异是可分辨的，其中，Q∈{B，C，D，E}；⑩如果a对应的最优立体图像S_AA与由A质量点的左视点图像和q对应的质量点的右视点图像构成的立体图像S_AQ之间的图像质量差异是可分辨的，而a对应的最优立体图像S_AA与由A质量点的左视点图像和以英文字母顺序排在q对应的质量点之前的各个质量点所对应的右视点图像构成的立体图像之间的图像质量差异均是不可分辨的，则定义a对应的最优立体图像S_AA与由A质量点的左视点图像和q对应的质量点的右视点图像构成的立体图像S_AQ的信噪比差值为测试图像的左视点图像采用预设的编码量化参数QP_L编码时的最小可辨变化值，其中，q∈{b，c，d，e}。