一种基于多摄像机的视频实时拼接方法

摘要

本发明公开了一种基于多摄像机的视频实时拼接方法，其步骤如下：获取同步多路视频数据；对同一时刻的帧图像进行预处理：把彩色图像变成灰度图像；进行图像增强处理，采用直方图均衡方法扩大图像灰度的动态范围；采用SURF算法进行对应帧特征点的提取；采用最近邻匹配法、随机抽样一致性匹配算法求出视频对应帧图像间匹配特征点对；求解视频初始k帧的最优单应性矩阵：根据匹配后的特征点对确定拼接重叠区域；把重叠区域相似度最大的帧对应的单应性矩阵作为最优的单应性矩阵，据此进行后继视频帧场景的拼接；输出拼接后的视频。本发明可以减少视频帧单帧图像拼接的计算量并提高交通监控视频拼接速度，达到实时处理效果。

主权项

一种基于多摄像机的视频实时拼接方法，硬件是基于多摄像机的交通监控视频拼接装置，主要包括处理器、视频采集模块、电源模块、显示模块和存储模块；其步骤如下：步骤1、启动操作，获取同步多路视频数据；步骤2、对同一时刻的帧图像进行预处理：把彩色图像变成256灰度的灰度图像，并采用直方图均衡方法对图像进行增强处理；步骤3、采用SURF算法进行对应帧特征点的提取；步骤4、采用最近邻匹配法、随机抽样一致性匹配算法对视频图像对应帧的特征点对进行匹配；步骤5、求解视频初始k帧的最优单应性矩阵：步骤5‑1、确定拼接图像的重叠区域按照图像的透视映射关系，根据单应性矩阵得到保留特征点在另一对应帧图像的匹配点；如果计算出的匹配点没有落在图像内，说明这一点并不在两幅图像的重叠区内，反之，如果特征点映射前后都落在图像内，说明它处在重叠区内；用这种方法遍历一遍，即对一幅图像中所有保留特征点进行透视映射变换，得到映射对应特征点确定的区域；取以另一幅图像的边缘为边界，取重叠区的最小内接多边形作为重叠区域；步骤5‑2、求取前k帧对应图像拼接重叠区域的相似度相似度测度由归一化协方差相关函数来定义，如下公式1所述： C ( I 1 , I 2 ) = Σ m = 0 w Σ n = 0 h [ I 1 ( i 1 , j 1 ) - I 1 ( i 1 , j 1 ) ‾ ] × [ I 2 ( i 2 , j 2 ) - I 2 ( i 2 , j 2 ) ‾ ] { Σ m = 0 w Σ n = 0 h [ I 1 ( i 1 , j 1 ) - I 1 ( i 1 , j 1 ) ‾ ] 2 } × { Σ m = 0 w Σ n = 0 h [ I 2 ( i 2 , j 2 ) - I 2 ( i 2 , j 2 ) ‾ ] 2 } - - - ( 1 ) 式中，w，k为重叠区的宽高。显然，相似度C取值范围是(‑1，1)，取值越大说明重叠区相关程度越高；步骤5‑3、确定前k帧的最优单应性矩阵对连续前k帧重叠区域相似度求极大值，把相关性最高的图像帧的单应性矩阵作为最优的单应性矩阵，并将其作为后继帧的单应性矩阵；步骤6、根据最优的单应性矩阵进行后继视频帧场景的拼接；步骤7、输出拼接后的视频。