一种音视频信息融合的麦克风阵列语音增强系统及方法

摘要

本发明公开一种音视频信息融合的麦克风阵列语音增强系统及方法。所述系统包括视频采集模块、麦克风阵列接收模块、音视频来波方向联合估计模块、麦克风阵列语音增强模块和音视频联合语音增强模块，视频采集模块用于采集应用场景中说话人的视频信号；麦克风阵列接收模块用于接收说话人的音频信号；音视频来波方向联合估计模块利用音视频信息联合估计说话人音频的来波方向；麦克风阵列语音增强模块利用麦克风阵列接收模块接收到的阵列语音信号来对语音信号进行增强；音视频联合语音增强模块利用语音和视频信号联合对语音进行二次增强处理。本发明能显著提高麦克风阵列语音增强系统的性能，能广泛应用于视频会议、车载电话、移动视频通话终端等场合。

主权项

一种音视频信息融合的麦克风阵列语音增强系统，其特征在于包括视频采集模块、麦克风阵列接收模块、音视频来波方向联合估计模块、麦克风阵列语音增强模块和音视频联合语音增强模块，其中视频采集模块与音视频来波方向联合估计模块、音视频联合语音增强模块连接，用于采集应用场景中说话人的视频信号；麦克风阵列接收模块与音视频来波方向联合估计模块、麦克风阵列语音增强模块连接，用于接收说话人的音频信号；音视频来波方向联合估计模块与视频采集模块、麦克风阵列接收模块、麦克风阵列语音增强模块连接，利用音视频信息联合估计说话人音频的来波方向；麦克风阵列语音增强模块与麦克风阵列接收模块、音视频来波方向联合估计模块、音视频联合语音增强模块连接，利用麦克风阵列接收模块接收到的阵列语音信号来对语音信号进行增强；音视频联合语音增强模块与视频采集模块、麦克风阵列语音增强模块连接，利用经麦克风阵列语音增强模块增强后的语音和视频采集模块输出的视频信号联合对语音进行二次增强处理。