一种实时表情特征提取及表情识别方法

摘要

本发明涉及一种实时表情特征提取及识别方法，包括以下步骤：运用Kinect从实时视频数据中追踪人脸、提取面部运动单元信息AUs和特征点坐标FPPs；然后，将这两类特征信息并行处理，在它们各自的特征通道中，特征数据经7元1-vs-1分类器组进行预识别，将得到的预识别结果存入缓存用于情感置信统计，置信度最高的即为此通道中的表情识别结果，最后，融合AUs和FPPs这两个特征通道的结果即可得到最终的表情识别结果。本发明解决了常用的表情识别方法速度和精度不理想的问题，基于Kinect提取的面部特征，可实现实时高精度表情识别。

主权项

一种实时表情特征提取方法，其特征在于包括下列步骤：步骤一，制定基于Kinect的表情特征数据库规范，包括表情表现规范、录制规范及特征文件命名规范；步骤二，收集表情特征数据：运用Face Tracking改编的录制软件从Kinect的实时视频流中追踪人脸并提取运动单元信息即AUs和特征点坐标信息即FPPs，每次记录的数据包括RGB图、AUs和FPPs，具体过程如下：过程一，记录表情表现者的个人信息即编号，并要求表情表现者在距离Kinect合适位置上1‑1.5m处以标准的方式做表情，表情表现者以制定的表情及面部姿态表现某一表情，每种表情在每个面部姿态下，重复20遍；过程二，表情表现者对录制的RGB图进行个人评价，当录制的RGB图符合表情表现者的表达意愿，则将RGB图、AUs和FPPs记录下来，否则重复过程一；过程三，分别以愤怒、厌恶、害怕、高兴、平静、悲伤以及惊讶7种表情,和5种面部姿态即当前面部与正面人脸的夹角分别为0°,±15°,±30°时的姿态，重复所述过程一和过程二；过程四，更换表情表现者，重复所述过程一至过程三，去除重复数据，得到10名表情表现者实验所获得的6000组数据；步骤三，表情有效性评测，即有区别于表情表现者至少10名测评者对过程四中得到的数据组中的RGB图进行主观测评实验，如测评者肯定RGB图表现的有效性，则认为提取的AUs和FPPs是有效的。