结合多视差和运动的立体视频舒适度评价方法

摘要

结合多视差和运动的立体视频舒适度评价方法属立体视频视觉舒适度评价技术领域，本发明提出了将物体的三种视差与物体的运动特性作为影响立体视频舒适度重要因素；提取帧内显著物体视差、帧内相关背景视差、帧间视差和运动变量这四个对立体视频舒适度有影响的因素，合成视差图并提取水平视差，计算深度视差；结合深度感知理论和最小二乘拟和方法建立主观评价与四大因素的函数关系，得到立体视频舒适度评价模型，再利用主观评价的方法对模型进行评定；本发明提出了一种新的对立体视频舒适度评价的方法，所建立的模型可以很好地模拟人眼的主观感受，对于研究人眼观看立体视频的舒适度有重要意义。

主权项

一种结合多视差与运动的立体视频视觉舒适度评价方法，其特征在于包括下列步骤：1.1提取影响立体视频舒适度的多种视差与运动量，具体包括下列步骤：1.1.1帧内显著物体区域的提取：选取进行实验的视频序列第T帧左、右立体视图，利用谱分析算法进行处理，得到显著物体区域的分布图；1.1.2帧内相关背景区域的提取：用场景相关的显著区域提取法对立体视频第T帧左、右立体视图进行处理，得到帧内相关背景区域图；1.1.3帧内视差提取：首先选取第T帧左、右两幅匹配视图，求出其标准视差图，然后将得到的标准视差图分别与步骤1.1.1中所提取的显著物体区域、步骤1.1.2中提取的帧内相关背景区域结合，得到帧内显著物体视差图、帧内相关背景视差图后，提取水平视差，计算视差深度；1.1.4帧间视差提取：选取视频序列的左视图，用块匹配法得到帧间标准视差图，提取水平视差，计算视差深度；1.1.5运动量提取：利用步骤1.1.1中显著物体提取方式，提取第T帧与第T+1帧的左视图的显著物体区域进行融合，再结合步骤1.1.4中的帧间标准视差图进行运动量的提取；1.2建立结合视差与运动的立体视频视觉舒适度的评价模型，具体包括下列步骤：1.2.1对实验场景和实验片源的要求：实验场景中设定屏幕与观测者间的观测距离L为屏幕高度H的3倍；实验片源采用由国际视频组织发布的标准立体视频序列，播放间隔设定为20s；1.2.2对观测者的要求：观测者无对观测结果产生影响的眼部疾病；双目裸视或佩戴眼镜矫正视力需要达到1.0；年龄为20‑‑35岁的男性和女性；分为普通人和有相关经验的专家；佩戴主动快门眼镜无不良反应；1.2.3获取主观评价的实验结果：由观测者根据立体视频视觉舒适度的5个等级，对国际标准立体视频序列进行评分，获得人类主观评价得分MOS值；1.2.4计算相关视差深度：根据水平视差的定义和立体感原理，水平视差得到相应的视差深度d为：由此计算步骤1.1.3所提取的帧内显著物体视差、相关背景视差，以及步骤1.1.4的帧间视差对应的视差深度d_n、d_b、d_j；上述公式中：L为步骤1.2.1所设定的已知量，s为瞳距65mm，d_s是在忽略掉垂直视差的情况下，相邻帧两幅视图的水平视差；1.2.5计算运动量：根据步骤1.1.5中运动量的大小设定阈值，进行运动量区间的划分；1.2.6根据步骤1.2.3主观评价的实验结果与步骤1.2.4中得到的帧内显著区域视差d_n、帧内相关背景视差d_b、帧间视差d_j以及步骤1.2.5所述的运动量进行最小二乘拟合，确定立体视频视觉舒适度评价与四种影响因素的关系函数式为：$V_{c1}=a_0{d}_n^3+a_1{d}_n^2+a_2{d}_n+a_3---\left(1\right)$$V_{c2}=b_0*e^{b_1*d_b}---\left(2\right)$$V_{c3}=c_0+c_1*\sqrt{\frac{d_j}{v}}---\left(3\right)$1.2.7根据人眼立体视觉特性和对立体视频的评价经验，对步骤1.2.6中得到的影响舒适度各因素的函数分别进行加权处理；得到相应的视觉舒适度评分函数模型VC：$\mathrm{VC}=w_1(a_0{d}_n^3+a_1{d}_n^2+a_2{d}_n+a_3)+w_2(b_0*e^{b_1*d_b})+w_3(c_0+c_1*\sqrt{\frac{d_j}{v}})--\left(4\right)$1.2.6和1.2.7步骤的(1)、(2)、(3)、(4)式中：V_c1，V_c2，V_c3分别为帧内显著物体、帧内相关背景、帧间视差以及物体运动与评分由最小二乘拟合得到的函数关系式；VC为视觉舒适度评分；w₁,w₂,w₃是根据视觉特性赋予的经验权值，其值分别为0.7，0.2，0.1；d_n为帧内显著区域视差；d_b为帧内相关背景视差；d_j为帧间视差；v为运动变量；a₀、a₁、a₂、a₃、b₀、b₁、c₀、c₁为进行最小二乘拟合时得到的系数。