一种面向视频会议编码的客观质量评估方法

摘要

本发明公开了一种面向视频会议编码的客观质量评估方法，包括训练和评估两部分；训练部分包括步骤一：脸部及脸部区域提取；步骤二：获取单个像素点的受关注程度；步骤三：对脸部区域进行校准和归一化；步骤四：获取高斯混合模型；评估部分包括步骤一：针对一组视频，自动提取出背景、脸部、左眼、右眼、嘴、鼻子区域内像素个数；步骤二：对脸部区域进行校准和归一化；步骤三：获取权重图谱；步骤四：计算基于高斯混合模型的峰值信噪比，评估视频会议系统编码后的图像质量。本发明避免了传统方法未考虑到视频内容的不足，可通过赋予视频图像脸部更多的权重，提升图像质量评估的精度，使其更加反映主观质量评估的结果。

主权项

一种面向视频会议编码的客观质量评估方法，包括训练和评估两部分；训练部分包括以下几个步骤：步骤一：脸部及脸部区域提取；利用脸部特征自动标定算法在给定的视频会议序列中自动提取出背景、脸部、左眼、右眼、嘴、鼻子区域内像素个数；步骤二：进行眼动仪实验，获取测试者观看视频时对于每一帧图像的关键点坐标位置，得到单个像素点的受关注程度；设单个区域的受关注程度为眼睛关键点数目/该区域像素个数efp/p，其中单个区域为左眼、右眼、嘴、鼻子、脸部其他区域或者背景，则：$\left\{\begin{array}{c}{c}_r=f_r/p_r\\ c_l=f_l/p_l\\ c_m=f_m/p_m\\ c_n=f_n/p_n\\ c_o=f_o/p_o\\ c_b=f_b/p_b\end{array}\right.$其中：c_r、c_l、c_m、c_n、c_o、c_b分别表示右眼、左眼、口、鼻子、脸部其他区域、背景区域的单个像素点的关注程度，f_r、f_l、f_m、f_n、f_o、f_b分别表示在眼动仪实验中，测试者落在右眼、左眼、口、鼻、脸部其他区域、背景区域的眼睛关键点数目，p_r、p_l、p_m、p_n、p_o、p_b分别表示右眼、左眼、口、鼻、脸部其他区域、背景区域中的像素点数目；步骤三：对脸部区域进行校准和归一化；具体方法为：随机选取一帧图像，采用图像脸部区域关键点中最左侧点，作为校准原始点B，获取其他图像中脸部区域关键点中最左侧点A，获取A、B之间坐标转换关系，将其他图像中关键点根据坐标转换关系进行转换，完成校准；随机选取一帧图像，采用图像中人物右眼的横坐标长度作为归一化单元，将其他图像中的关键点根据归一化单元进行归一化处理；步骤四：获取高斯混合模型；假设眼睛注视点服从高斯混合模型，在归一化与校准眼动仪数据的基础上，通过高斯混合模型写成高斯分量的线性叠加如下：其中：表示一个高斯分量，π_k,μ_k和Σ_k是第k个高斯分量的混合系数，均值和方差，且x^*表示二维校准和归一化后的眼睛注视点；K代表GMM的高斯分量的数量；上述步骤1‑4在离线情况下，针对一组训练视频，获得用于评估视频会议系统客观质量的高斯混合模型；评估部分包括以下几个步骤：步骤一：针对一组视频，重复训练部分步骤一，自动提取出背景、脸部、左眼、右眼、嘴、鼻子区域内像素个数；步骤二：重复训练过程的步骤三，对脸部区域进行校准和归一化；步骤三：在训练阶段获得高斯混合模型基础上，计算出右眼、左眼、口、鼻、脸部其他区域、背景区域的权重及以上各区域周围的高斯分布权重，得到权重图谱；步骤四：在权重图谱基础上，计算基于高斯混合模型的峰值信噪比，评估视频会议系统编码后的图像质量。