一种基于唇读技术的唇语输入方法

摘要

本发明涉及一种基于唇读技术的唇语输入方式，主要针对常用汉字及阿拉伯数字。属于计算机智能识别技术，是一个典型的图像模式分析、理解和分类计算的问题，涉及模式识别，计算机视觉，智能人机交互，认知科学等多个学科。对所拍摄的嘴部唇动视频进行关键帧提取，利用灰度处理、中值滤波、动态阈值二值化处理及扫描去除噪点对提取的图像进行规格化处理，之后进行特征向量提取获取具有唇形特征的参数，与口型模板库进行匹配将图片识别为汉语拼音字母序列，最终结合输入法模块获得对应的汉字或阿拉伯数字。

主权项

一种基于唇读技术的唇语输入方法(主要针对常用汉字及阿拉伯数字)，它包括视频采集单元、视频解码单元、图像预处理单元，特征提取单元，口型模板库，唇语识别单元以及文字输出单元：(A)视频采集单元通过摄像头获取只包含用户唇部口型变化的唇动视频序列并输入视频解码单元；(B)视频解码单元将输入的唇动视频利用关键帧采集技术获取视频流中具有代表性的关键帧，并将提取的关键帧序列(归一化的唇部色彩静态图片)送入图像预处理单元；(C)图像预处理单元对上一单元获得的关键帧图像，利用OpenCV库函数进行灰度化和中值滤波处理，而后利用大津法获得的动态阈值对图片进行二值化处理，最后对图片进行扫描去噪获得规格化的唇部二值化图片。(D)特征提取单元针对经过图像处理后的规格化二值化图片，利用模板法进行唇部特征提取，获得表示唇部特征的特征向量；(E)口型模板库是预先建立的用于存储标准口型特征向量的模块，储存了先期试验中采集的标准口型模板，包括所有汉语拼音字母发音时的唇动图像(单张或多张)样本及针对唇动图像利用模板法提取的特征向量；(F)唇语识别单元对处理后的规格化二值化图像进行识别，从特征提取单元中获得序列中每张图片的特征向量，从模板库索引得到匹配的汉语拼音字母序列输入文字输出单元。(G)文字输出单元对汉语拼音字母序列进行智能识别，在用户协助选取所需内容之后，输出最终结果。