一种采煤综掘工作面动态视频图像融合方法

摘要

一种采煤综掘工作面动态视频图像融合方法，属于动态视频图像融合方法。该动态视频图像融合方法：选择摄像机放置轴心，围绕摄像机轴心，放置两台或多台高清网络摄像机，将整个采煤综掘工作面完全覆盖；并且相邻摄像机获取的视频帧图像要有三分之一左右的重叠区域；然后将获得的采煤综掘工作面动态视频进行融合。优点：级联哈希特征匹配算法使用两次哈希映射，保证了特征匹配的精度和匹配速度；视差容忍变换模型使用特征点生长准则结合动态规划算法，提高了视频融合的速度，降低了视频融合过程中对摄像机位置的要求，对于存在较大视差及发生较大旋转的摄像机，仍然能够取得很好的动态视频融合效果。提高了煤矿开采工作效率，保障了煤矿安全生产。

主权项

一种采煤综掘工作面动态视频图像融合方法，其特征是：该动态视频图像融合方法：选择摄像机放置轴心，围绕摄像机轴心，放置两台或多台高清网络摄像机，将整个采煤综掘工作面完全覆盖；并且相邻摄像机获取的视频帧图像要有三分之一左右的重叠区域；然后将获得的采煤综掘工作面动态视频进行融合，采煤综掘工作面动态视频进行融合步骤如下：一、摄像机标定与视频帧图像畸变校正摄像机获取视频流过程中，对视频帧图像处理之前对摄像机进行标定，以建立二维空间图像与三维空间物体的对应关系，所述的摄像机标定方法是张正友标定方法；通过摄像机标定，求得摄像机内部参数，找到引起图像畸变的因素，然后对视频帧图像进行畸变校正，得到理想的待处理图像；二、视频帧图像配准，具体步骤如下：(1)特征提取本发明使用通用的尺度不变特征转换算法(SIFT)进行特征提取，先对畸变校正后的视频帧图像构建高斯金字塔，然后得到相应的高斯差分金字塔，求得高斯差分金字塔中的极值点，之后进行关键点精确定位，得到各摄像机获取的帧图像的特征点；最后，用特征向量对每一个特征点进行特征描述；$m(x,y)=\sqrt{{(L(x+1,y)-L(x-1,y))}^2+{(L(x,y+1)-L(x,y-1))}^2}---\left(1\right)$θ(x,y)＝tan^‑1((L(x,y+1)‑L(x,y‑1))/(L(x+1,y)‑L(x‑1,y)))        (2)其中，(x,y)表示图像特征点坐标，L是高斯函数与特征点的卷积运算，m(x,y)与θ(x,y)分别表示是特征点的梯度模制与方向；SIFT算法利用关键点的模值与方向生成关键点特征向量即128维的向量；(2)特征匹配特征匹配是一个最近邻搜索的问题，采用级联哈希特征匹配，所述的级联哈希特征匹配有下述三个步骤：(A)多表哈希查找：首先使用局部敏感哈希(LSH)算法将待匹配的两帧图像的特征点进行一次哈希映射，使得每个特征点都嵌入一个m位的二进制代码；对于目标图像中的待匹配的特征点p，为了精确地找到其在参考图像中的匹配点，使用构建L个哈希表的策略；先构造满足LSH算法的L个哈希函数，将所有的特征点映射到相应的哈希桶内，得到L个哈希表，将每个哈希表中与特征点p处于同一个哈希桶的特征点作为p的候选匹配特征点；(B)哈希重映射：由于通过第一次哈希映射之后得到的候选特征点的数量较多，如果使用计算欧氏距离的算法查找最佳匹配点，需要较长的时间。所以本发明进行第二次哈希映射，将特征点映射到汉明空间，通过计算待匹配点p与候选匹配特征点之间的汉明距离，进一步缩小候选匹配特征点的数目；保留汉明距离等于0与1的候选匹配特征点，得到精确候选匹配特征点；(C)精确匹配：在得到精确的候选匹配特征点之后，在欧式空间中找到特征点p的匹配点，也就是找到距离p欧氏距离最近的特征点；(3)计算变换矩阵：得到匹配的特征点对之后，使用现有的随机采样一致性算法(RANSAC)去除错配的特征点对，利用内点求得相应的投影变换矩阵$\hat{H}=\left[\begin{array}{ccc}{\hat{h}}_1& {\hat{h}}_2& {\hat{h}}_3\\ {\hat{h}}_4& {\hat{h}}_5& {\hat{h}}_6\\ {\hat{h}}_7& {\hat{h}}_8& 1\end{array}\right]---\left(3\right)$其中，都是RANSAC算法求得的系数；三、视差容忍的视频融合变换模型在图像配准过程求得了投影变换采用视差容忍的视频融合变换模型；所述的视差容忍的视频融合变换模型，首先使用最佳变换矩阵对帧图像做粗调整，在粗调整之后再使用特征点生长准则找到一个特征点密集生长区域，在该区域使用动态规划算法，查找最佳拼接缝，最后使用内容保护变形算法对帧图像做变形处理；具体步骤如下：(1)特征点生长准则：(A)随机选择一个特征点作为种子节点，然后生长该节点的邻域，直到生长的邻域不再满足单应矩阵预定义的阀值时停止生长，标记出生长区域；(B)重复执行过程(A)，如果新的生长区域中特征点密集程度更高，则用新的生长区域替代原来区域；直到生长区域中特征点个数达到特征点总数的1/3，或者执行次数达到特征点个数时，执行过程(C)；(C)将最终得到的生长区域标记为特征点密集生长区域；(2)动态规划算法查找最佳接缝：首先定义最优缝合线的特征：两源图像的颜色强度上差值最小，并且几何结构上最相似；定义最佳缝合线准则：E(x,y)＝E_dif(x,y)‑λE_edge(x,y)  (4)其中：$E_{\mathrm{dif}}(x,y)=\frac{1}{N_V}\underset{i,j\in V}{\Sigma }|I_1(x+i,y+i)-I_2(x+i,y+i)|---\left(5\right)$E_edge＝min(g₁(x,y),g₂(x,y))  (6)I₁与I₂表示两原始帧图像，g₁与g₂表示两原始帧图像的梯度图像；E_dif体现了两源图像的颜色强度差异，E_edge体现了两原始帧图像的机构差异；使用该准则找到特征点密集生长区域的最佳缝合线；(3)内容保护变形算法用m*n个均一的网格划分视频的帧图像，将图像变形问题转变成网格变形问题；使用I、分别表示原始帧图像、预变形帧图像、最终变形图像，用V_i、分别表示I、对应的顶点；网格变形问题被定义为最优化问题，将预变形的帧图像调整到参考图像，同时避免一些显著的变形，一共有两个优化的能量项；第一、局部调整能量项：$E_p=\underset{j=1}{\overset{n}{\Sigma }}{\left|\right|\Sigma {\alpha }_{j,k}{\hat{V}}_{j,k}-{\tilde{P}}_j\left|\right|}^2---\left(7\right)$其中，n表示特征点集中特征点的个数，α是双线性组合的系数，是包含的网格的顶点，是相应的参考图像中的特征点，要求的未知量就是第二、圩全局调整能量项：$E_g=\underset{i}{\Sigma }{\tau }_i{\left|\right|{\hat{V}}_i-{\bar{V}}_i\left|\right|}^2---\left(8\right)$该能量项是针对没有特征点的网格区域，与分别是最终变形之后的图像与预变形图像的顶点，τ_i是一个布尔值，当V_i邻域有特征点的时候取1，否则取0；最终的优化表达式为：E＝E_p+0.01E_g  (9)最终的问题是一个二次表达式，通过标准的稀疏线性方法求解，求得变形之后的网格的坐标就得到了最终的变形图像；四、视频帧图像融合利用视差容忍的视频融合变换模型对帧图像进行几何变换，然后对变形之后的帧图像进行融合，融合过程对速度有较高要求，在融合过程中采用简单有效的方法为线性加权过渡法，所述的线性加权过渡法对重叠区域进行加权叠加再平均处理，使得重叠区域有较强的连续性，同时具有较快的速度。线性加权过渡法如公式(20)：$\frac{d_1}{d_1+d_2}\times \mathrm{pixellmg}1+\frac{d_2}{d_1+d_2}\times \mathrm{pixellmg}2---\left(10\right)$其中，d1为中间重合部分中点到重叠区域左边界的距离，d2为到其右边界的距离，pixellmg1为左图在该位置的像素值，pixellmg2为右图在该位置的像素值。