一种基于表情识别的人机情感交互系统及方法

摘要

本发明提供了一种基于表情识别的人机情感交互系统及方法；系统包括图像采集模块、图像处理模块、表情识别模块、人机交互模块和统计与存储模块；通过图像采集模块采集人脸图像，利用图像处理模块对所采集的人脸图像进行灰度化及尺寸调节等处理，利用表情识别方法识别人脸图像的表情，人机交互模块根据人脸表情提供回应给使用者；利用统计与存储模块分析得人物此时的心理状态并进行记录，同时提供统计查询功能给使用者。本发明用于智能设备时，可给出特定的人性化的回应，提高了机器的智能性；用于心理护理型机器人时，可实时捕捉患者表情，并与患者进行简单而有效地交流，实现对心理疾病患者的安全型实时监护，并为医生提供治疗的有效数据依据。

主权项

一种基于表情识别的人机情感交互方法，其特征在于，包括如下步骤：步骤一：通过图像采集模块采集人脸图像；步骤二：图像处理模块对所采集的人脸图像进行处理，包括：灰度化、尺寸调节及图像配准；步骤三：根据表情识别方法，从步骤二处理后的图像中，识别出人脸表情，并判断出表情种类，将代表表情种类的返回值输送给人机交互模块；通过如下步骤3.1到3.5实现：步骤3.1：选取表情特征点，具体是：分别选取人脸图像中左侧眉毛的眉头、眉峰和眉尾三点，左眼眼眶的上下左右四个顶点，右眼的左顶点，以及嘴唇轮廓的上下左右四个顶点，一共12个点作为最能代表表情特征的表情特征点；步骤3.2：根据表情特征点，提取表情特征量t,a,b,c,d,e,f,g,h；其中，t代表两内眼角距，其余8个表情特征量分别代表八个具有物理意义的几何向量；a代表左眼外眼角到右眼内眼角的水平距离，b代表两嘴角的距离，c代表左眼外眼角到左侧眉尾的垂直距离，d代表左眼眼眶的上顶点到左侧眉毛眉峰的垂直距离，e代表左眼眼眶的下顶点到左侧眉毛眉峰的垂直距离，f代表左眼眼眶的上顶点到下顶点的垂直距离，g代表左眼内眼角到嘴唇左顶点的垂直距离，h代表上下嘴唇的高度差；b和h两个表情特征量结合起来可以体现嘴巴的张开程度；步骤3.3：用表情特征量表示人脸表情，得到表情特征向量设代表正常、开心、生气、惊讶、悲伤、厌恶和恐惧的表情特征向量分别为i为整数，且0≤i≤6，其中i＝0时为正常的表情特征向量；步骤3.4：用表情特征点偏移系数来表征人脸表情：步骤3.5：首先依据某人脸表情数据库，统计每种表情的表情特征点偏移系数的平均值，然后计算当前人脸表情相对于每种表情特征点的判别系数，将其中最小判别系数对应的表情作为当前人脸表情，并返回对应的i值；其中，第i种表情的表情特征点偏移系数的平均值表示为当前人脸表情相对于第i种表情特征点的判别系数D_i为：i为正整数，且0＜i≤6；步骤四：人机交互模块根据接受到的返回值，利用所设计的人机交互方式，提供回应给使用者；步骤五：根据本次人脸表情分析得出人物此时的心理状态并进行记录，同时提供统计查询功能给使用者。