结合影音的行为辨识系统及其辨识方法

摘要

本发明是有关于一种结合影音的行为辨识系统及其辨识方法，此系统包括一数据分析模块、一数据库与一计算模块。数据库储存多种相异的影音关系模块，每一影音关系模块包括一特征撷取参数与一影音关系参数。数据分析模块取得相对应的手势影像与语音数据，将其导入各特征撷取参数，以形成对应各影音关系模块的影像特征序列与语音特征序列。数据分析模块再利用各影音关系参数以计算出多个影音状态参数。计算模块再利用影音状态参数、影像特征序列与语音特征序列以计算出对应各影音关系参数的识别机率，以从中取出最大值者作为一目标参数。

主权项

一种结合影音的行为辨识系统，其特征在于其包括：一数据库，储存多个影音关系模块，每一影音关系模块包括一特征撷取参数与一影音关系参数；一数据分析模块，将相互对应的一手势影像与一语音数据导入各该特征撷取参数以取得多个影像特征序列与多个语音特征序列，并以对应相同的该影音关系模块为条件，将各该影像特征序列与各该语音特征序列导入各该影音关系参数，以计算出多个影音状态参数；以及一计算模块，利用该影像特征序列、该语音特征序列与该影音状态参数以计算出对应每一影音关系模块的一识别机率，并从该识别机率中取出一目标参数。