一种基于马尔科夫随机场的车辆遮挡处理方法

摘要

本发明公开了一种基于马尔科夫随机场的车辆遮挡处理方法，包括以下步骤：步骤10）建立背景图；步骤20）建立车辆前景轮廓图；步骤30）在车辆轮廓里填充块；步骤40）进行块的遮挡处理，包括步骤401）至步骤405）：步骤401）在车辆K包含的所有n个块中，以第t-1帧灰度图像中的第i个块为模板，利用三步搜索法确定在第t帧灰度图像中，与最为匹配的匹配块步骤402）测算的运动矢量；步骤403）对匹配块进行验证处理；步骤404）对块进行遮挡判断和遮挡处理；步骤405）返回步骤401），直至i=n，完成所有块的验证处理和遮挡处理。该车辆遮挡处理方法对车辆的跟踪精度高，处理准确，且具有良好的实时性。

主权项

一种基于马尔科夫随机场的车辆遮挡处理方法，其特征在于：该处理方法包括以下步骤：步骤10)建立背景图，包括步骤101)至步骤104)：步骤101)通过计算机读取由摄像装置拍摄的含有运动车辆的m帧图像的视频，并获取第d‑1帧灰度图像G_d‑1与第d帧灰度图像G_d的帧差图|G_d‑G_d‑1|，同时获取第d帧灰度图像G_d与第d+1帧灰度图像G_d+1的帧差图|G_d‑G_d+1|，将上述连续两个帧差图作图像的与运算，得到第d帧图像的车辆掩码图Vmask_d，Vmask_d＝|G_d‑G_d‑1|&|G_d‑G_d+1|，其中，m和d均为正整数，2<d+1<m；步骤102)建立初始背景图BcG_d：利用式(1)，将第d帧灰度图像G_d与车辆掩码图Vmask_d做差得到的绝对值，作为初始背景图BcG_d：BcG_d＝|G_d‑Vmask_d|  式(1)步骤103)将车辆掩码图Vmask_d作取反运算，得到车辆掩码取反结果图M_d，M_d＝|Fg_d‑Vmask_d|，其中，Fg_d是一个与当前第d帧灰度图像G_d同样大小和规格的图像矩阵，且该图像矩阵中每个像素点的值为255；再将M_d进行二值化处理，利用式(2)，得到初始背景二值图Mu_d(x,y)：${\mathrm{Mu}}_d(x,y)=\left\{\begin{array}{cc}1& [M_d(x,y)>T_1]\\ 0& else\end{array}\right.$  式(2)其中，M_d(x,y)表示车辆掩码取反结果图M_d中处于(x,y)位置的像素值，T₁表示初始背景二值化阈值，然后累计k帧灰度图像的初始背景二值图，得到背景累计次数$\frac{1}{10}m<k<\frac{1}{5}m;$步骤104)累计k帧灰度图像的初始背景图，得到背景累计图将背景累计图除以背景累计次数，得到背景图BackG：$BackG=\underset{d=1}{\overset{k}{\Sigma }}{\mathrm{BcG}}_d÷\underset{d=1}{\overset{k}{\Sigma }}{\mathrm{Mu}}_d(x,y);$步骤20)建立车辆前景轮廓图，包括步骤201)—步骤203)：步骤201)当第l帧视频出现车辆K，将第l帧灰度图像G_l与背景图BackG做差得到的绝对值，作为车辆K的前景图Vpro_l：Vpro_l＝|G_l‑BackG|，再将车辆K的前景图Vpro_l进行二值化处理，去除背景干扰，利用式(3)得到车辆前景二值图Vpro_l2(x,y)，${\mathrm{Vpro}}_{l}2(x,y)=\left\{\begin{array}{cc}{\mathrm{Vpro}}_l(x,y)& \left({\mathrm{Vpro}}_l\right(x,y)>T_2)\\ 0& else\end{array}\right.$  式(3)其中，Vpro_l(x,y)表示车辆前景图Vpro_l处于(x,y)位置的像素值，T₂表示车辆前景二值化阈值；步骤202)对车辆前景二值图Vpro_l2(x,y)进行形态学闭运算，使车辆的前景区域具有连通性，得到车辆前景连通图Vcon_l；步骤203)利用链码跟踪方法提取车辆前景连通图Vcon_l中车辆K的轮廓，再利用格雷厄姆扫描法获取车辆K的前景轮廓的凸包OutB_l，对凸包OutB_l进行滤波处理，排除背景噪声：若凸包OutB_l的面积sizeof(OutB_l)>T₃，则保留该车辆；若凸包OutB_l的面积sizeof(OutB_l)≤T₃，则删除该车辆，T₃表示凸包面积阈值；步骤30)在车辆轮廓里填充块，包括步骤301)至步骤303)：步骤301)依据车辆K的轮廓，首先取车辆轮廓线上一点为块的一个顶点，块的其余三个顶点均设定在轮廓线内部，沿着车辆轮廓线，每隔2个像素单位增加一个大小为c×c像素的块，c的取值为3、4或5；步骤302)获取车辆K轮廓的最小纵坐标y_b和最大纵坐标y_t，当车辆K远离检测区域，从y_i＝y_b+2p处开始逐行扫描，在第y_i行，获取车辆K轮廓的最小横坐标x_l和最大横坐标x_r，自坐标为(x_l,y_i)至坐标为(x_r,y_i)的同一行中，每隔2个像素增加一个大小为c×c像素的块，且每个块的四个顶点都在车辆K的轮廓内，其中，p表示步骤303)返回步骤302)的次数，p的初始值为0，y_b≤y_i≤y_t；步骤303)返回步骤302)，直至y_i＝y_t，记填充块的个数为n；步骤40)进行块的遮挡处理，包括步骤401)至步骤405)：步骤401)在车辆K包含的所有n个块中，以第t‑1帧灰度图像中的第i个块为模板，利用三步搜索法确定在第t帧灰度图像中，与最为匹配的匹配块块中心在第t‑1帧灰度图像中的位置为匹配块中心在第t帧灰度图像中的位置为其中，i＝q+1，q表示步骤405)返回步骤401)的次数，q的初始值为0；步骤402)测算的运动矢量${\mathrm{Mv}}_i=\left\{(x,y)\right|(x,y)=(x_i^t-x_i^{t-1},y_i^t-y_i^{t-1})\},$其中，(x,y)表示运动矢量Mv_i的坐标；步骤403)对匹配块进行验证处理；步骤404)对块进行遮挡判断和遮挡处理；所述的步骤404)包括步骤4041)至步骤4045)：步骤4041)判断车辆K内部是否存在遮挡车辆：在第t‑1帧灰度图像中，在车辆K的轮廓Vcon_t‑1内检测新轮廓newCont_t‑1，新轮廓newCont_t‑1的面积为sizeof(newCont_t‑1)，若sizeof(newCont_t‑1)≥40c²，则判定新轮廓属于另一新车V₂，则车辆K被划分为车辆V₁和与车辆V₁发生遮挡的新车V₂，并进入步骤4042)；若sizeof(newCont_t‑1)<40c²，则判定该新轮廓属于车辆K，在第t‑1帧灰度图像中没有出现遮挡车辆，删除新轮廓newCont_t‑1，返回步骤20)，对视频图像中的下一车辆V_new进行操作；步骤4042)将位于新车V₂轮廓里面的块记为属于新车V₂的块，将位于新车V₂轮廓外侧的块记为属于车辆V₁的块；步骤4043)判断块是否为遮挡块：在第t‑1帧灰度图像中，设车辆V₁处于该车辆轮廓中心位置的中心块为块的位置为的位置为设以和为对角顶点的矩形区域Rct1_occ，Rct1_occ的四个顶点为和在第t‑1帧灰度图像中，设新车V₂处于该车辆轮廓中心位置的中心块为块的位置为的位置为设以和为对角顶点的矩形区域Rct2_occ，Rct2_occ的四个顶点为和在Rct1_occ区域内，将分为c×c个像素点，测算块与车辆V₁重叠的像素点个数若则为遮挡块，进入步骤4044)；若则不是遮挡块，不对该块进行遮挡处理，返回步骤401)，对第i+a个块进行处理,a表示步骤4043)返回步骤401)的次数；若则是属于车辆V₁的块，不是遮挡块，不对该块进行遮挡处理，返回步骤401)，对第i+a个块进行处理,a表示步骤4043)返回步骤401)的次数；T₅表示块与不同车辆的重叠像素点阈值；在Rct2_occ区域内，将分为c×c个像素点，测算块与新车V₂重叠的像素点个数若则为遮挡块，进入步骤4044)；若则不是遮挡块，不对该块进行遮挡处理，返回步骤401)，对第i+a个块进行处理,a表示步骤4043)返回步骤401)的次数；若则是属于新车V₂的块，不是遮挡块，不对该块进行遮挡处理，返回步骤401)，对第i+a个块进行处理,a表示步骤4043)返回步骤401)的次数；T₅表示块与不同车辆的的重叠像素点阈值；步骤4044)确定遮挡块的马尔科夫随机场能量函数：首先：块属于车辆V₁的概率为w₁，块属于新车V₂的概率为w₂，定义三组基团函数V_c1和V'_c1，V_c2和V'_c2，V_c3和V'_c3，其中，V_c1表示在块的邻域中，被属于车辆V₁的其他相邻块包围的程度，V'_c1表示在块的邻域中，被属于新车V₂的其他相邻块包围的程度；V_c2表示块与车辆V₁掩码像素重叠的程度，V'_c2表示块与新车V₂掩码像素重叠的程度；V_c3表示块的运动矢量与其他属于车辆V₁的块的运动矢量的相似程度，V'_c3表示块的运动矢量与其他属于新车V₂的块的运动矢量的相似程度；然后，建立块的能量函数：依据式(11)，建立块属于车辆V₁的概率w₁的能量函数：$\begin{array}{c}U\left(w_1\right|G_{t-1})=V_{c_1}+V_{c_2}+V_{c_3}\\ =\alpha \times {[8-Sector1\left(B_i^{t-1}\right)]}^2+\beta \times {(c^2-Num{1}_i^{t-1})}^2+\gamma \times |{\mathrm{Mv}}_i-Mv{1}_{mid}|\end{array}$                           式(11)依据式(12)，建立遮挡块属于新车V₂的概率w₂的能量函数：$\begin{array}{c}U\left(w_2\right|G_{t-1})=V_{c1}^{\prime }+V_{c2}^{\prime }+V_{c3}^{\prime }\\ =\alpha \times {[8-Sector2\left(B_i^{t-1}\right)]}^2+\beta \times {(c^2-Num{2}_i^{t-1})}^2+\gamma \times |{\mathrm{Mv}}_i-Mv{2}_{mid}|\end{array}$                             式(12)其中，α表示第一加权系数,β表示第二加权系数,γ表示第三加权系数，Mv1_mid表示车辆V₁的中心块前后两帧的运动矢量，Mv2_mid表示新车V₂的中心块为前后两帧运动矢量，表示车辆V₁的有效扇区个数，表示新车V₂的有效扇区个数；最后判定块的归属车辆，并进行遮挡处理：若U(w₁|G_t‑1)>U(w₂|G_t‑1)，则块属于新车V₂，将块从车辆V₁的块集合中删除，并添加至新车V₂的块集合；若U(w₁|G_t‑1)≤U(w₂|G_t‑1)，则块属于车辆V₁，块保留在车辆V₁的块集合中；步骤4045)完成遮挡块的遮挡处理，返回步骤401)，对第i+s个块进行处理,s表示步骤4045)返回步骤401)的次数，直至完成所有块的处理，将遮挡块处理完后，分开遮挡车辆；步骤405)返回步骤401)，直至i＝n，完成所有块的验证处理和遮挡处理。