一种基于手势和语音识别的机器人人机交互方法和装置

摘要

本发明公开了一种基于手势和语音识别的机器人人机交互方法和装置，属于人机交互和机器人技术领域。所述装置包括传感器模块、手势识别模块、语音识别模块、信息融合模块、信息确认模块、机器人控制模块和应急求救模块。所述方法为，由信息融合模块对手势识别结果和语音识别结果进行融合，得到的最终融合结果发送给信息确认模块或者机器人控制模块，用于实现应急求救和机器人的动作执行。本发明将手势和语音两个通道结合起来，克服单一通道的不足，更好控制机器人。本发明可用于远程控制机器人，让机器人代替人类在空间站、危险品处理以及公共安全等领域作业，也可进行人与机器人的面对面直接交互，用于医疗、家庭服务等领域。

主权项

一种基于手势和语音识别的机器人人机交互装置，其特征在于：包括传感器模块、手势识别模块、语音识别模块、信息融合模块、信息确认模块、机器人控制模块和应急求救模块；传感器模块包括RGB‑D摄像头、温湿度传感器、CH₄检测传感器和CO检测传感器，所述的RGB‑D摄像头采集的RGB图像信息和深度图像信息发送给手势识别模块或应急求救模块；所述的RGB‑D摄像头具有内置的麦克，麦克采集的语音信息发送给语音识别模块；所述的信息确认模块通过喇叭广播的形式向用户广播应急信息，以便得到用户确认；所述的温湿度传感器、CH₄检测传感器和CO检测传感器分别用于采集温湿度、空气中CH₄和CO气体浓度，并将采集的数据发送给应急求救模块；手势识别模块根据RGB‑D摄像头采集的RGB图像信息和深度图像信息进行手势识别，得到手势识别结果发送给信息融合模块；语音识别模块将麦克采集的语音信息进行语音识别，得到特定文字信息，作为语音识别结果，并将识别结果发送给信息融合模块；信息融合模块是将手势识别结果和语音识别结果在语义层进行信息融合，生成一个最终融合结果，当最终融合结果是控制信息时，信息融合模块则将控制信息发送给机器人控制模块，控制机器人完成特定任务；当最终融合结果是应急信息时，信息融合模块则发送应急信息给信息确认模块，信息确认模块通过喇叭广播的形式询问用户是否要执行，得到肯定答复或在设定时间内没有应答，信息确认模块向应急求救模块发送应急信息；应急求救模块接收到信息确认模块传来的应急消息后，或传感器模块采集到的温度、CH₄含量或CO含量超过一定值时，则应急求救模块向登记的特定人发送语音、短信和彩信求救。