一种手语语音双向翻译系统

摘要

本发明涉及基于传感技术和模式识别技术的肢体动作识别技术以及语音识别技术，属于传感技术和惯性信号处理、语音处理技术领域，特指一种手语语音双向翻译系统，其以微惯导传感器网络和手语动作分类器为核心，通过安装在聋哑人手指、手臂以及头部的传感器，检测聋哑人做出的手语动作，并正确识别，然后将其代表的含义通过语音和发声系统连贯的表达出来，以达到让正常人“看懂”手语的效果；同时，正常人的语言可以被翻译成特定的连贯的手语动作，并以动画或视频的形式显示出来，以达到聋哑人间接“听到”正常人说话的效果。该系统有效解决了聋哑人与正常人双向交流的障碍，且廉价便携，有着巨大的社会效益和经济效益。

主权项

一种手语语音双向翻译系统，其特征在于，所述系统包括：基于微惯导传感的手语动作捕捉系统(1)、微惯导信号处理与分析系统(2)、一训练完整的手语动作分类器(3)、用来训练手语动作分类器(3)的手语动作特征数据库(0)、语音文字数据库(6)、视频/动画数据库(9)、语音信号采集系统(4)、语音分析系统(5)、发声系统(7)和显示系统(8)；其中：所述手语动作捕捉系统(1)与所述微惯导信号处理与分析系统(2)通信连接，所述手语动作分类器(3)分别与所述手语动作特征数据库(0)、微惯导信号处理与分析系统(2)、语音文字数据库(6)、视频/动画数据库(9)、显示系统(8)通信连接，所述语音文字数据库(6)还与所述语音分析系统(5)和视频/动画数据库(9)通信连接，所述语音信号采集系统(4)和发声系统(7)分别与所述语音分析系统(5)通信连接；所述手语动作捕捉系统(1)包括主控单元、信号滤波和放大单元、AD转换单元以及发送单元，还包括若干个微惯导传感节点，每一个传感节点包含三维加速度传感器和三维陀螺仪；所述微惯导信号处理与分析系统(2)接收手语动作捕捉系统(1)传送来的微惯导数字信号，通过采用基于矢量的Kalman滤波法对这些信号进行运算和分析，并采用基于主成分分析法(PC A)或者特征频率描述方法包括快速傅里叶变换(FFT)或离散余弦变换(DCT)的特征提取方法和最优搜索法、次优搜索法、模拟退火法、遗传算法，根据可分离性判据来选择可分性最大的特征组；所述手语动作特征数据库(0)包含多个常用的手语动作，每条手语动作包含多个不同样本的手语动作特征信息，且信息量可扩充；采集不同身高，不同体型，不同年龄，不同性别，不同动 作习惯的多组同一手语动作样本，使用BP神经网络算法或SVM算法或基于隐马尔可夫模型(HMM)训练生成手语动作分类器，使经这些样本训练而成的分类器拥有较高的动作识别率；所述手语动作分类器(3)通过接收来自微惯导信号处理和分析系统提供的实时手语动作特征信息，并对其进行动作识别，得到手语动作相应的含义，将从手语动作翻译得来的分离词语整合成类自然语言，并能通过查询语音数据库实时输出语音信号，驱动所述发声系统发声，完成手语向语音的翻译，所述手语动作分类器(3)亦可与视频/动画数据库，语音文字数据库相关联，根据分离出的词语实时查询包含对应手语动作的视频/动画，并将资料实时提供给所述显示系统，完成语音向手语的翻译。