一种用于视频会议的眼神交互方法及系统

摘要

本发明提供一种用于视频会议的眼神交互方法及系统，该方法包括：步骤100，通过彩色摄像机获取彩色图像，通过深度摄像机获取与所述彩色图像对齐后的深度图像；步骤200，对所述彩色图像和深度图像进行前期处理，获得虚拟坐标系下的三维信息，并将其投影到虚拟摄像机平面获得眼神矫正的图像；步骤300，对所述眼神矫正的图像进行中值滤波，获得眼神直视的图像。本发明操作方便、实时性高，对参与视频会议的人员的不同位置具有自适应性，实现简单，能增强参与视频会议的沉浸感。

主权项

一种用于视频会议的眼神交互方法，其特征在于，包括：步骤1，通过彩色摄像机获取彩色图像，通过深度摄像机获取与所述彩色图像对齐后的深度图像，其中所述彩色摄像机的摄像头与所述深度摄像机的摄像头的平面平行于屏幕平面；步骤2，对所述彩色图像和深度图像进行前期处理，获得虚拟坐标系下的三维信息，并将其投影到虚拟摄像机平面获得眼神矫正的图像，所述步骤2包括步骤21，对所述彩色图像进行前景提取，获得前景的彩色图像；同时对应的将所述与彩色图像对齐的深度图像的非前景区域设置为零，并对其进行深度图像预处理，所述深度图像预处理包括步骤221，将误判为前景区域的深度值设置为零，并将像素深度符合规定的深度值设置为背景区域；步骤222，所述前景区域的深度值为零的区域进行最近邻补全，获得与所述前景的彩色图像对齐的深度图像；步骤22，利用所述彩色图像对彩色摄像机进行一次参数标定，获取彩色摄像机内参数；步骤23，设定虚拟坐标系，对所述前景的彩色图像提取眼睛的位置特征，并通过所述位置特征计算眼睛距离彩色摄像头的水平和垂直偏移量，根据所述水平和垂直偏移量得到虚拟摄像机外参数；步骤24，根据所述彩色摄像机内参数与所述前景的彩色图像对齐的深度图像，获得前景区域三维信息；步骤25，利用所述前景区域三维信息和所述虚拟摄像机外参数，获得虚拟坐标系下的三维信息；步骤26，利用所述彩色摄像机内参数将所述虚拟坐标系下的三维信息投影到虚拟摄像机平面获得眼神矫正的图像；步骤3，对所述眼神矫正的图像进行中值滤波，获得眼神直视的图像。