一种基于动作识别的手语翻译系统

摘要

本发明公开了一种基于动作识别的手语翻译系统，包括有盒体，盒体内设置有主控制器、接入主控制器的DSP、接入DSP的FPGA，接入主控制器的语音芯片，盒体侧壁上设置有一对摄像头，摄像头分别接入FPGA、DSP。本发明能有效地对手语者的手语动作进行翻译，并且利用设定的标点动作图像按意思进行翻译，翻译准确可靠，能大大促进听力障碍人群的交流工作。

主权项

一种基于动作识别的手语翻译系统，其特征在于：包括有盒体，盒体内设置有主控制器、接入主控制器的DSP、接入DSP的FPGA，以及接入主控制器的语音芯片，盒体侧壁上设置有一对摄像头，所述摄像头分别接入FPGA，所述DSP分别通过I²C总线与两摄像头连接；所述主控制器内设有标准手语动作图像数据、每个手语动作对应的字母信息，两摄像头在FPGA、DSP控制下采集手语者的手语动作图像，并通过DSP将采集到的手语动作图像传送至主控制器，所述主控制器将传送来的手语动作图像与标准手语动作图像进行比对，并根据比对结果判断手语者的手语动作对应的字母信息，然后主控制器将手语者完整手语动作所包含的字母信息排序后并按正常人语法翻译成语句，最后主控制器控制语音芯片将语句读出；所述主控制器中设定若干标点动作图像，所述标点动作图像与标点符号一一对应，所述主控制器接收手语者手语动作图像时，首先判断是否包含标点动作图像，若没有标点动作图像则不进行比对，若有标点动作图像，对于第一个标点动作图像以第一个标点动作图像前的手语者手语动作图像为一组进行比对，对于最后一个标点动作图像以最后个标点动作图像后的手语者手语动作图像为一组进行比对；对于其他标点动作图像以相邻标点动作图像之间的手语者手语动作图像为一组进行比对。