一种半自动化对齐的视频融合系统和方法

摘要

本发明公开了一种半自动化对齐的视频融合系统及方法，该方法包括如下步骤：通过摄像机采集真实场景视频，创建虚拟几何模型；摄像机的标定；选取虚拟几何模型的三维特征点；选取真实场景视频中研究对象的二维特征点：在第一帧视频中的研究对象上选择8个二维特征点，将第一帧视频作为当前帧视频；当前帧视频中特征点跟踪和匹配；将真实场景视频的下一帧视频作为当前帧视频，直至真实场景视频结束；进行误差反馈控制。本发明成本低、设备简单、执行效率高、可操作性强，能够将真实视频与虚拟几何模型高效率进行重叠融合，以半自动化对齐的视频融合达到了将虚拟几何模型和现实场景相结合的目的。

主权项

1.一种半自动化对齐的视频融合系统的视频融合方法，其特征在于，该方法所采用的系统包括用于对摄像机（2）进行标定的A4棋盘网格纸（1）、采集真实场景视频的摄像机（2）、与摄像机（2）相连接且对虚拟几何模型进行虚拟识别，对研究对象和虚拟几何模型动态叠加的PC机（3），PC机（3）包括控制器（3-1）、显示器（3-2）、鼠标和键盘，其中，控制器（3-1）用于分析处理视频数据，显示器（3-2）用于将分析处理的结果同步显示，鼠标和键盘构成参数设置单元；该方法具体按以下步骤进行：步骤1），首先通过摄像机采集真实场景视频，启动PC机打开该视频，将该真实场景视频中的研究对象创建虚拟几何模型，所述虚拟几何模型与研究对象的尺寸成比例；步骤2），摄像机的标定：通过对棋盘网格对摄像机进行标定获得摄像机的内参数；摄像机的内参数$M_1=\left[\begin{array}{ccc}\mathrm{fx}& 0& u0\\ 0& \mathrm{fy}& v0\\ 0& 0& 1\end{array}\right],$其中包括摄像机的焦距(fx,fy)，图像中心点位置(u0,v0)4个参数，采用的摄像机模型是针孔模型，针孔模型是线性的，不考虑镜头畸变；步骤3），选取虚拟几何模型的三维特征点：获取采集的真实场景视频的第一帧视频中的所有二维特征点，在研究对象上随机选取8处二维特征点分布密集的位置，在研究对象的虚拟几何模型上相对应的8处位置各选取并标出一个三维特征点；步骤4），选取真实场景视频中研究对象的二维特征点：在第一帧视频中的研究对象上选择8个二维特征点，将第一帧视频作为当前帧视频；步骤5），当前帧视频中特征点跟踪和匹配：依次计算当前帧视频中每个二维特征点对应的虚拟相机的外参数从而得到当前帧视频时间段中的虚拟相机的位置和方向，进而实现当前帧视频中的研究对象和虚拟几何模型重合叠加显示；所述依次计算当前帧视频的每个二维特征点对应的虚拟相机的外参数是指：根据公式1所示的三维特征点和二维特征点的匹配关系，按照8个二维特征点的选取顺序进行计算得到；$M_2^{\prime }=\left[\begin{array}{cccc}{r}_{11}^{\prime }& r_{12}^{\prime }& r_{13}^{\prime }& t_x^{\prime }\\ r_{21}^{\prime }& r_{22}^{\prime }& r_{23}^{\prime }& t_y^{\prime }\\ r_{31}^{\prime }& r_{32}^{\prime }& r_{33}^{\prime }& t_z^{\prime }\end{array}\right]={\left[\begin{array}{ccc}\mathrm{fx}& 0& u0\\ 0& \mathrm{fy}& v0\\ 0& 0& 1\end{array}\right]}^{-1}s\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]{\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]}^{-1}$公式1式中，s为齐次坐标的尺度缩放因子，(u,v)是二维特征点的世界坐标投影在真实场景视频的坐标；(X,Y,Z)是二维特征点的世界坐标，$\left[\begin{array}{ccc}\mathrm{fx}& 0& u0\\ 0& \mathrm{fy}& v0\\ 0& 0& 1\end{array}\right]$是摄像头的内参数M₁；是虚拟相机的外参数，包括旋转与平移参数；步骤6），将真实场景视频的下一帧视频作为当前帧视频，通过子像素跟踪算法得到当前帧视频中8个二维特征点新的位置，循环执行步骤5），直至真实场景视频结束，即实现真实场景视频的研究对象与虚拟三维模型在同一窗口中动态叠加显示；步骤7），误差控制：计算特征点跟踪过程中每个三维特征点与其对应的二维特征点的位置绝对误差，如果有一个或一个以上三维特征点与二维特征点的位置绝对误差大于设定的阈值，则转入执行步骤4）重新进行试验，直至误差被控制在允许范围内，否则结束。