基于人脸识别技术的混合显示眼镜交互展示方法

摘要

基于人脸识别技术的混合显示眼镜交互展示方法，基于混合现实技术，将采集的现实中用户脸部图像与眼镜的三维虚拟模型叠加，并显示给用户。本发明针对现有技术中的问题，结合人脸识别技术和混合现实技术，提供一种应用在人机交互领域的虚拟眼镜交互展示方法，通过摄像采集技术，将人脸图像进行数字化采集，之后通过人脸识别模块将图像中的人脸信息分割提取，识别出人脸的三维姿态信息；对虚拟眼镜同人脸的位置变化进行实时配准，最终在显示屏上呈现出虚拟的且具有真实感的眼镜“戴”在人脸上的效果。

主权项

基于人脸识别技术的混合显示眼镜交互展示方法，其特征是基于混合现实技术，将采集的现实中用户脸部图像与虚拟眼镜的三维模型叠加，并显示给用户，包括以下步骤：1)准备阶段，对人脸与虚拟眼镜进行配准：11)由图像采集装置采集包含人脸的图像；12)利用主动外观模型算法对采集图像中的人脸进行识别；13)将人脸识别结果转换为对人脸的位置和旋转的六自由度信息；14)根据步骤13)的识别结果，将虚拟的眼镜模型与人脸位置进行配准：首先给出至少6个不同角度和位置下的虚拟眼镜的三维模型，并将这些三维模型分别叠加显示到采集的实时人脸图像中，通过调整人脸位置使虚拟眼镜与脸部位置匹配，通过主动外观模型算法计算获得此时人脸的脸型、位置及角度特征数据并保存，同时将所述位置及角度特征数据同虚拟眼镜在虚拟世界坐标系中的位置与旋转数据相对应，每个角度至少获得一对对应点，一个对应点为根据图像采集后计算出的人脸位置及角度信息，一个对应点为虚拟眼镜在虚拟世界坐标系中的位置及角度信息；15)通过至少六对对应位置和角度配准对，计算得到3×3变换矩阵，所述变换矩阵表示虚拟眼镜所处的虚拟世界坐标系与现实中的现实世界坐标系之间的变换映射关系，具体为：通过步骤14)至少6个不同角度和位置下的虚拟眼镜的配准，获得至少6个对应点，即至少六对对应位置和角度配准对，在此基础上按照单点动态匹配法及最小二乘法建立3×3的变换矩阵，所述变换矩阵中包含位置及旋转的转换数；2)实时跟踪阶段，虚拟眼镜同人脸进行实时跟踪匹配：21)实时获得图像采集装置采集的包含用户脸部的图像，识别出用户脸部位置和角度信息，根据变换矩阵，对应实时变换虚拟眼镜的位置和角度；22)将步骤21)得到用户脸部图像与对应的虚拟眼镜叠加并显示，用户脸部转动时，虚拟眼镜配合转动，实现眼镜的跟随动作，实时展示用户佩戴眼镜的图像。