发明名称 一种立体图像视觉舒适度评价方法
摘要 本发明公开了一种立体图像视觉舒适度评价方法,其在训练阶段,选取多对立体图像对构成偏好立体图像对组训练集,建立差分特征矢量与偏好值之间的支持向量回归训练模型;在测试阶段,计算测试立体图像与每对训练立体图像的差分特征矢量,并根据已训练得到的支持向量回归训练模型,预测得到每个差分特征矢量对应的偏好预测值,并最终得到测试立体图像的客观视觉舒适度评价预测值;优点是在训练阶段并不需要知道训练立体图像的主观评价值,得到的客观视觉舒适度评价预测值与主观评价值保持了较高的一致性。
申请公布号 CN104581141A 申请公布日期 2015.04.29
申请号 CN201510010148.8 申请日期 2015.01.09
申请人 宁波大学 发明人 邵枫;姜求平;李福
分类号 H04N17/00(2006.01)I;H04N13/00(2006.01)I 主分类号 H04N17/00(2006.01)I
代理机构 宁波奥圣专利代理事务所(普通合伙) 33226 代理人 周珏
主权项 一种立体图像视觉舒适度评价方法,包括训练阶段和测试阶段两个过程,其特征在于所述的训练阶段包括以下步骤:①‑1、平均选取五个不同舒适度等级的共M对立体图像对构成初始训练图像集,记为{S<sub>i</sub>|1≤i≤M},其中,M&gt;5,S<sub>i</sub>表示{S<sub>i</sub>|1≤i≤M}中的第i对立体图像对;①‑2、计算{S<sub>i</sub>|1≤i≤M}中的每对立体图像对的用于反映视觉舒适度的特征矢量,将{S<sub>i</sub>|1≤i≤M}中的第i对立体图像对的用于反映视觉舒适度的特征矢量记为F<sub>i</sub>,<img file="FDA0000653763650000011.GIF" wi="771" he="97" />其中,此处符号“[]”为矢量表示符号,χ<sub>i</sub>表示{S<sub>i</sub>|1≤i≤M}中的第i对立体图像对的左视点图像与右视点图像之间的视差图像中的所有像素点的视差范围,<img file="FDA0000653763650000012.GIF" wi="163" he="77" />和l<sub>i</sub>对应表示{S<sub>i</sub>|1≤i≤M}中的第i对立体图像对的左视点图像与右视点图像之间的视差图像的交叉视差均值、非交叉视差均值和相对深度,<img file="FDA0000653763650000013.GIF" wi="66" he="75" />和<img file="FDA0000653763650000014.GIF" wi="61" he="68" />对应表示{S<sub>i</sub>|1≤i≤M}中的第i对立体图像对的左视点图像与右视点图像之间的视差图像的焦点深度图像的正焦点深度均值和负焦点深度均值,f<sub>i</sub>、τ<sub>i</sub>、υ<sub>i</sub>和<img file="FDA00006537636500000110.GIF" wi="44" he="55" />表示{S<sub>i</sub>|1≤i≤M}中的第i对立体图像对的左视点图像的边缘图像的与空间频率相关的四个特征,F<sub>i</sub>的维数为10;①‑3、从{S<sub>i</sub>|1≤i≤M}中随机选取1对舒适度高的立体图像对和1对舒适度低的立体图像对,构成一组正偏好立体图像对组和一组对应的负偏好立体图像对组,重复随机选取N次,这样共获得N组正偏好立体图像对组和N组负偏好立体图像对组,且每组正偏好立体图像对组与一组负偏好立体图像对组一一对应,将用于代表第j组正偏好立体图像对组的正偏好特征记为<img file="FDA0000653763650000015.GIF" wi="84" he="82" /><img file="FDA0000653763650000016.GIF" wi="308" he="100" />将用于代表第j组负偏好立体图像对组的负偏好特征记为<img file="FDA0000653763650000017.GIF" wi="93" he="78" /><img file="FDA0000653763650000018.GIF" wi="335" he="98" />再将N个正偏好特征和N个负偏好特征构成初始的偏好立体图像对组训练集,记为<img file="FDA0000653763650000019.GIF" wi="673" he="98" />其中,从{S<sub>i</sub>|1≤i≤M}中随机选取的1对舒适度高的立体图像对与1对舒适度低的立体图像对两者的舒适度等级至少相差两级,N≥1,1≤j≤N,D<sub>j</sub>表示第j组正偏好立体图像对组中舒适度高的立体图像对的用于反映视觉舒适度的特征矢量<img file="FDA0000653763650000021.GIF" wi="94" he="92" />与舒适度低的立体图像对的用于反映视觉舒适度的特征矢量<img file="FDA0000653763650000022.GIF" wi="92" he="84" />的差分特征矢量,<img file="FDA0000653763650000023.GIF" wi="358" he="84" />L<sub>j</sub>表示第j组正偏好立体图像对组的偏好值,L<sub>j</sub>=+1,D<sub>j</sub>'表示第j组负偏好立体图像对组中舒适度低的立体图像对的用于反映视觉舒适度的特征矢量<img file="FDA0000653763650000024.GIF" wi="82" he="85" />与舒适度高的立体图像对的用于反映视觉舒适度的特征矢量<img file="FDA0000653763650000025.GIF" wi="102" he="89" />的差分特征矢量,<img file="FDA0000653763650000026.GIF" wi="370" he="92" />L<sub>j</sub>'表示第j组负偏好立体图像对组的偏好值,L<sub>j</sub>'=‑1;①‑4、从<img file="FDA0000653763650000027.GIF" wi="308" he="100" />中随机选择T/2个正偏好特征,排除与已选择的正偏好特征相对应的负偏好特征,从剩余的所有负偏好特征中随机选择T/2个负偏好特征,将选择的T/2个正偏好特征和T/2个负偏好特征构成偏好立体图像对组训练集,记为<img file="FDA0000653763650000028.GIF" wi="318" he="102" />其中,T取区间[2,N]内的偶数,<img file="FDA0000653763650000029.GIF" wi="53" he="82" />表示<img file="FDA00006537636500000210.GIF" wi="283" he="106" />中的第t个特征,<img file="FDA00006537636500000211.GIF" wi="55" he="81" />为正偏好特征或为负偏好特征,<img file="FDA00006537636500000212.GIF" wi="287" he="103" /><img file="FDA00006537636500000213.GIF" wi="66" he="85" />表示<img file="FDA00006537636500000214.GIF" wi="284" he="100" />中的第t个特征<img file="FDA00006537636500000215.GIF" wi="53" he="85" />代表的一组正偏好立体图像对组或代表的一组负偏好立体图像对组所对应的差分特征矢量,<img file="FDA00006537636500000216.GIF" wi="49" he="83" />表示<img file="FDA00006537636500000217.GIF" wi="286" he="106" />中的第t个特征<img file="FDA00006537636500000218.GIF" wi="54" he="83" />代表的一组正偏好立体图像对组或代表的一组负偏好立体图像对组的偏好值,<img file="FDA00006537636500000219.GIF" wi="283" he="90" />①‑5、采用支持向量回归,对<img file="FDA00006537636500000220.GIF" wi="284" he="98" />中的所有差分特征矢量进行训练,并使得经过训练得到的回归函数值与偏好值之间的误差最小,得到最优的权重矢量w<sup>opt</sup>和最优的偏置项b<sup>opt</sup>,然后利用得到的最优的权重矢量w<sup>opt</sup>和最优的偏置项b<sup>opt</sup>构造支持向量回归训练模型,记为f(D<sub>inp</sub>),<img file="FDA00006537636500000221.GIF" wi="624" he="84" />其中,D<sub>inp</sub>表示支持向量回归训练模型的输入矢量,(w<sup>opt</sup>)<sup>T</sup>为w<sup>opt</sup>的转置矢量,<img file="FDA00006537636500000222.GIF" wi="155" he="77" />表示支持向量回归训练模型的输入矢量D<sub>inp</sub>的线性函数;所述的测试阶段包括以下步骤:②对于任意一对测试立体图像对S<sub>test</sub>,按照步骤①‑2的过程,以相同的操作获取S<sub>test</sub>的用于反映视觉舒适度的特征矢量,记为F<sub>test</sub>;然后计算F<sub>test</sub>与{S<sub>i</sub>|1≤i≤M}中的每对立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量;接着根据训练阶段构造的支持向量回归训练模型f(D<sub>inp</sub>),通过对F<sub>test</sub>与{S<sub>i</sub>|1≤i≤M}中的每对立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量进行测试,获取S<sub>test</sub>的客观视觉舒适度评价预测值,记为Q<sub>test</sub>。
地址 315211 浙江省宁波市江北区风华路818号