一种面向智能家居环境的人机交互控制方法

摘要

本发明涉及一种面向智能家居环境的人机交互控制方法，属于基于音视频的人机交互系统的智能家居环境控制方法。本发明集成了人脸检测、语音识别与合成、智能会话等人机交互模式，并在智能家居环境中进行了有效应用，能够实时检测视频区域中的人脸，识别非特定人语音，基于会话库实现人机语音交互，合成的语音正确流畅，家居环境中设备的系统响应时间快，联动正确，实现了在智能家居环境中的人机交互控制功能。本发明可应用性强，能够应用于各类家居环境中，为用户的生活提供了极大的便利。

主权项

一种面向智能家居环境的人机交互控制方法，其特征在于该方法包含如下步骤：A、开启程序：保证在程序启动后，各类家居设备均处于关闭状态，摄像头处于开启状态，对准需检测区域；B、“回家模式”的人机交互：实现在智能家具环境中，基于人脸检测和语音合成的人机交互控制:（1）、人脸检测模块：基于VC++平台，使用OpenCV计算机视觉库提供的haar检测器实现人脸检测功能，并框出人脸区域；可通过设定在前后两次扫描中搜索窗口的比例系数及构成检测目标的相邻矩形的最小个数的值，满足对检测视域的要求；（2）、语音合成模块：检测到人脸后，以此触发语音合成线程，基于Mi​c​r​o​s​o​f​t​ S​p​e​e​c​h ​S​D​K实现语音合成功能，调用TTS核心API接口ISpVoice中的speak函数，将预先设定的文本“欢迎回家” 输入到speak函数中完成语音合成；通过CvoiceText类中的SpeedSet、TTSModeSet函数可改变语音的速度、音调、性别、年龄等，使计算机发现不同的声音；（3）、Zigbee控制功能模块：通过内部无线网络，向网关发送触发对应家居设备开启的无线数据信号，通过zigbee网络向指定路由节点或终端节点发送控制命令，驱动相应的家居设备，实现“回家模式”开启的功能；C、“学习模式”等室内情景模式的人机交互：实现在智能家具环境中的语音识别与合成、智能会话的人机交互过程；（1）、语音识别模块：主要分为录音阶段和发送至讯飞云平台识别阶段：首先录音过程采用Windows自带的API函数，通过录音程序获取需要识别的音频文件；然后将音频文件输入到讯飞语音识别函数接口中进行处理，输出与音频相对应的文本；（2）、Zigbee控制功能模块：根据语音识别结果中的关键词，获取相应的情景模式的驱动信号；通过内部无线网络，向网关发送触发对应各家居设备开启的无线数据信号，驱动相应的家居设备，实现“学习模式”中设备的开启；（3）、智能会话模块：根据输入语音识别结果中的关键词，基于会话库，找到会话库中对应的应答语句；（4）、语音合成模块：根据会话库匹配结果，以音频的方式输出的应答文本，基于Mi​c​r​o​s​o​f​t​ S​p​e​e​c​h ​S​D​K实现语音合成功能，调用TTS核心API接口ISpVoice中的speak函数，将应答文本输入speak函数中完成语音合成，完成人机对话过程；D、“出门模式”的人机交互：实现在智能家具环境中的语音识别与合成、智能会话及关闭所有家居设备的人机交互过程；（1）、语音识别模块：根据用户的语音输入，实现非特定人的语音识别功能，得到与用户输入语音相对应的文本；（2）、Zigbee控制功能模块：根据语音识别文本中的关键词，得到对应“出门模式”的驱动信号，得到“出门模式”的命令后，通过Zigbee技术关闭所有家居设备；（3）、智能会话模块：同时，根据识别结果中的关键词，基于会话库，找到会话库中对应的应答语句；（4）、语音合成模块：根据会话库匹配的文本结果，基于Mi​c​r​o​s​o​f​t​ S​p​e​e​c​h ​S​D​K实现语音合成功能，以音频的方式输出应答文本；E、程序重置：关闭所有家居设备后，程序初始化，返回人脸检测线程，使“回家模式”处于待触发状态。