一种人像语音视频同步校准装置及方法

摘要

本发明公开了一种人像语音视频同步校准装置及方法，使用现有的成熟的人脸识别技术、动态嘴唇识别技术、人声提取技术等，通过信息化手段和硬件设备的设计，实现人像语音视频同步校准功能。本发明只采用低时间复杂度的左移位，右移位和异或计算，提高了计算性能，而且不需要语音和视频文件中加入时间戳信息，减少了信息存储量。本发明可应用于人像语音视频的同步检测以及对异步语音视频的校准。

主权项

一种人像语音视频同步校准装置，其特征在于包括：人脸识别模块、动态嘴唇识别模块、人声提取模块、时间差计算模块和同步调节模块；所述人脸识别模块与动态嘴唇识别模块连接；所述时间差计算模块分别与动态嘴唇识别模块、人声提取模块、同步调节模块连接；所述人脸识别模块用于识别图片信息中的人脸区域；所述动态嘴唇识别模块用于识别出人脸区域中的嘴唇区域，并且判断嘴唇闭合状态，进一步判断嘴唇是否处于发音状态；所述人声提取模块用于提取语音信息中的人声部分；所述时间差计算模块用于计算动态嘴唇绝对时刻和人声时刻的距离；所述同步调节模块用于调节动态嘴唇绝对时刻和人声时刻。