一种基于语音和手势的多通道人机交互方法

摘要

本发明公开了一种基于语音和手势的多通道人机交互方法，从语音信息中提取语音指称对象约束信息，从手势信息中提取手势指称对象约束信息，其中，手势指称对象约束信息包括当前指点手势所限定的指点区域内的任一点到达指点手势的指点中心的距离统计量以及指点手势所维持的时间统计量。在进行手势指称对象约束信息的分析时，获取距离统计量和时间统计量，降低三维交互中的指点模糊性。在对指称对象进行确定的过程中，是将虚拟环境中的模型对象划分为四类，并依据指称对象所出现在某一类型中的可能性来将指称对象与某一类型模型对象进行对比，也有助于缩小指称对象的寻找范围，降低指点模糊性的影响。

主权项

一种基于语音和手势的多通道人机交互方法，其特征在于，包括以下步骤：步骤一、构建语音通道和手势通道，并分别通过语音通道和手势通道对人机交互的指称对象进行语音信息和手势信息的输入；步骤二、从上述语音信息中提取语音指称对象约束信息，从上述手势信息中提取手势指称对象约束信息，其中，所述手势指称对象约束信息包括当前指点手势所限定的指点区域内的任一点到达指点手势的指点中心的距离统计量以及上述指点手势所维持的时间统计量；步骤三、将上述语音指称对象约束信息及手势指称对象约束信息与虚拟环境中模型对象的特征信息进行对比，确定出人机交互的指称对象，从上述语音指称对象约束信息中提取对指称对象的命令信息，将命令信息作用于指称对象，完成一次人机交互。