一种手语语音互译系统及手语语音互译方法

摘要

本发明公开了一种手语语音互译系统，手势图像采集模块101采集手势的视频数据输入图像预处理模块102进行图像预处理，采用图像特征提取模块103对经图像预处理后的视频数据进行图像特征提取后输出56维特征向量，利用56维特征向量构建手语模型104，连续动态手语识别模块105识别手语模型104，输出识别结果，识别结果经中文发声模块106转化为中文语音；声音信号采集装置采集的声音信号输入Microsoft Speech SDK 5.1的语音识别编程接口转换为文字输出；通过三维建模软件建立三维模型和三维动画；利用Panda插件将三维模型和三维动画信息导出成.x格式文件；利用DirectX 3D加载.x格式的三维模型和动画输出手语动画。

主权项

一种手语语音互译系统，其特征在于：该系统由基于视觉的手语识别子系统(1)、语音翻译子系统(2)构成；所述基于视觉的手语识别子系统(1)由手势图像采集模块(101)、图像预处理模块(102)、图像特征提取模块(103)、手语模型(104)、连续动态手语识别模块(105)、中文发声模块(106)组成；手势图像采集模块(101)采集手势的视频数据输入图像预处理模块(102)进行图像预处理，采用图像特征提取模块(103)对经图像预处理后的视频数据进行图像特征提取后输出56维特征向量，利用56维特征向量构建手语模型(104)，连续动态手语识别模块(105)识别手语模型(104)，输出识别结果，识别结果经中文发声模块(106)转化为中文语音；所述语音翻译子系统(2)由语音识别模块(201)和手语动画模块(202)组成，语音识别模块(201)输出的信号经手语动画模块(202)处理后输出手语图像；所述手语模型(104)采用隐马尔可夫模型HMM刻画动态手语；所述语音识别模块(201)由声音信号采集装置和语音识别编程接口组成，声音信号采集装置采集的声音信号输入Microsoft Speech SDK 5.1的语音识别编程接口转换为文字输出；通过三维建模软件将文字转换为三维模型和三维动画；利用Panda插件将三维模型和三维动画信息导出成.x格式文件；利用DirectX 3D加载.x格式的三维模型和动画输出手语图像。