基于视频技术的车辆检测与跟踪方法

摘要

本发明提供一种通过对交通场景的视频图像进行处理来进行车辆检测与跟踪的方法，该方法为：采集交通场景的图像，将交通图像按8×8像素进行分块，初始化背景图像并不断进行背景图像更新，在车道入口处设置与车道方向垂直的宽度为8像素的虚拟检测线，通过计算虚拟检测线上的块相对于背景图像的灰度变化来检测车辆，利用车辆到达检测线的次序对属于车辆区域的块进行标号，得到车辆标号的初始位置，之后结合三步法及全搜索法计算车辆的运动矢量并利用运动矢量对车辆标号的位置不断进行更新，实现了车辆的跟踪。本发明还针对复杂交通场景内可能出现的车辆间遮挡现象进行了检测和分割，因此具有检测和跟踪精度高、实时性好的优点。

主权项

1.一种基于视频技术的车辆检测与跟踪方法，其特征在于：①交通场景背景图像的不断更新设背景初始化之后得到的背景图像为B₀，每当重新采集到第i帧图像P_i时，计算对应于第i-1帧图像P_i-1的背景图像B_i-1，设当i＝2时不需对背景进行更新，即B₁＝B₀，B₁为第1帧图像P₁的背景图像；而当i＞2时，首先利用连续三帧图像P_i-2、P_i-1和P_i计算对称帧差图像|P_i-1-P_i-2|和|P_i-P_i-1|，并利用这两幅对称帧差图像进行二值化计算，得到与所采集第i帧图像P_i大小相等的第1标号图L₁，$L_1(x,y)=\left\{\begin{array}{cc}1& \mathrm{if}|P_{i-1}(x,y)-P_{i-2}(x,y)|>t_1\mathrm{and}|P_i(x,y)-P_{i-1}(x,y)|>t_1\\ 0& \mathrm{else}\end{array}\right.$式中，P_i(x，y)表示第i帧图像P_i中坐标为(x，y)的像素的灰度，L₁(x，y)表示第1标号图L₁中坐标为(x，y)的点的标号，L₁(x，y)取1时表示点(x，y)在连续三帧图像P_i-2、P_i-1和P_i中是运动的，L₁(x，y)取0时表示点(x，y)在连续三帧图像P_i-2、P_i-1和P_i中是静止的，t₁表示二值化计算时的阈值，预先设定为5～10，在得到第1标号图L₁之后，接着对第1标号图L₁进行种子填充，得到新的第1标号图L₁′，其次，对第i-1帧图像P_i-1中所有像素的灰度P_i-1(x，y)进行四邻域平均计算，得到图像P_i-1′，即：P_i-1′(x，y)＝(P_i-1(x-1，y)+P_i-1(x，y-1)+P_i-1(x，y)+P_i-1(x，y+1)+P_i-1(x+1，y))/5接着，利用图像P_i-1′和背景图像B_i-2计算背景差图像|P_i-1′-B_i-2|，并对该背景差图像进行二值化计算，得到第2标号图L₂，$L_2(x,y)=\left\{\begin{array}{cc}1& \mathrm{if}|{P_{i-1}}^{\prime }(x,y)-B_{i-2}(x,y)|>t_2\\ 0& \mathrm{else}\end{array}\right.$其中B_i-2为第i-2帧图像的背景图像，t₂为二值化计算时的阈值，通过车辆检测过程中的阈值计算方法计算得到，最后，根据新的第1标号图L₁′和第2标号图L₂中对应点之间的4种逻辑关系，将第i-2帧图像的背景图像B_i-2分为4个区域，并对该4个区域采用下列灰度更新方法进行更新，得到更新后的背景图像B_i-1：$B_{i-1}(x,y)=\left\{\begin{array}{cc}{P}_{i-1}(x,y)& \mathrm{if}{L_1}^{\prime }(x,y)=0{\mathrm{andL}}_2(x,y)=0\\ B_{i-2}(x,y)+M& \mathrm{if}{L_1}^{\prime }(x,y)=0{\mathrm{andL}}_2(x,y)=1\mathrm{and}{P}_{i-1}(x,y)>B_{i-2(x,y)}\\ B_{i-2}(x,y)-M& \mathrm{if}{L_1}^{\prime }(x,y)=0\mathrm{and}{L}_2(x,y)=1\mathrm{and}{P}_{i-1}(x,y)<B_{i-2}(x,y)\\ B_{i-2}(x,y)& \mathrm{else}\end{array}\right.$其中，M取值决定背景更新的速度，取1或2；②设置虚拟检测线，当车辆通过检测线时对其进行检测，得到车辆的初始标号在背景初始化完成之后，重新开始采集图像，设重新采集的第i帧图像为P_i，在图像P_i-1上的车道入口处设置与车道垂直的虚拟检测线Line，其宽度为8像素，设图像矩阵P_i的大小为M×N，以8×8像素为块，得到块的矩阵D_i，其大小为m×n，其中m＝M/8，n＝N/8，块矩阵D_i中的每个元素都表示一个大小为8×8的块D_i(x，y)，定义大小为m×n的块标号矩阵Label_i，其中块标号矩阵Label_i中的元素Label_i(x，y)表示块D_i(x，y)的标号，将背景区域的块D_i(x，y)的标号Label_i(x，y)设为0，将第h辆车区域的块D_i(x，y)的标号Label_i(x，y)设为h，h为自然数，Label_i中的所有元素初始化为0，设检测线Line在块矩阵D_i中的x方向坐标为l，则它在图像P_i-1中上边缘线的x坐标为(l-1)×8+1，下边缘线的x坐标为l×8，将当前帧图像P_i-1与背景图像B_i-1进行相减，并取绝对值，得到背景差图像BP_i-1：BP_i-1＝|P_i-1-B_i-1|BP_i-1中检测线区域的图像设为Line_i-1，其大小为8×N，可以分成为1×n个块，车辆检测的步骤如下：步骤一：计算检测线图像Line_i-1的分割阈值T，该分割阈值T采用迭代法得到，步骤二：分别计算检测线图像Line_i-1中n个块的平均灰度值，对第j个块而言，其平均灰度值K_j为：$K_j=\left(\underset{x=1}{\overset{8}{\Sigma }}\underset{y=(j-1)\times 8+1}{\overset{j\times 8}{\Sigma }}{\mathrm{Line}}_{i-1}(x,y)\right)/64$其中，Line_i-1(x，y)是检测线图像Line_i-1中坐标为(x，y)的像素的灰度，步骤三：分别对检测线图像Line_i-1中n个块的平均灰度值和阈值T进行比较，如果第j个块的平均灰度值K_j大于或等于阈值T，则说明检测线图像Line_i-1上检测到了车辆，并给该块赋予标号h，表示该块属于第h次到达检测线的车辆，如果第j个块的平均灰度值K_j小于阈值T，则第j个块的标号仍然为0，表示该块属于背景区域，即，如果K_j≥T，则Label_i-1(l，j)＝h；如果K_j＜T，则Label_i-1(l，j)＝0其中，Label_i-1(l，j)是块标号矩阵Label_i-1中坐标为(l，j)的块的标号，h表示该车到达检测线的次序，且当前两帧检测线图像Line_i-3和Line_i-2中没有检测到车辆，而当前帧检测线图像Line_i-1中检测到车辆时，对h进行一次更新，即h＝h+1；③检测到车辆之后，计算车辆的运动矢量，利用运动矢量进行标号移位在对第i-1帧图像P_i-1进行车辆检测之后，如果第i-2帧图像P_i-2中存在第h次到达的车辆，则首先确定所有属于该车辆的块的集合Block_i-2＝{D_i-2(m，n)|Label_i-2(m，n)＝h}，然后分别计算块集合Block_i-2中每个块D_i-2(m，n)在第i-2帧图像P_i-2和第i-1帧图像P_i-1之间的运动矢量，记为(v_mx，v_ny)，这些运动矢量的集合为计算集合V中出现频率最大的运动矢量作为车辆的运动矢量(vt_x，vt_y)，并利用运动矢量(vt_x，vt_y)对车辆标号的位置进行更新，即，对于任意的块而言，块D_i-2(m，n)的位置从第i-2帧图像P_i-2中的坐标(m，n)运动到第i-1帧图像P_i-1中的坐标(m+vt_x，n+vt_y)，故令Label_i-1(m+vt_x，n+vt_y)＝h，完成车辆标号位置的更新，所述车辆的运动矢量(vt_x，vt_y)的计算方法为：选择车辆后部分的运动矢量代表整辆车的运动矢量，即对车辆最后两行的所有块进行运动矢量计算，并从这些运动矢量中找出出现频率最大的矢量，以之作为车辆的运动矢量，所述运动矢量(v_mx，v_ny)的计算方法为：首先采用三步法，然后，在运动矢量长度小于2个像素时，采用全搜索法；④车辆标号的校正车辆标号的校正只需在包含车辆标号h的最小矩阵框[x_min x_max y_min y_max]中进行，其中x_min、y_min分别是块标号矩阵Label_i-1中所有标号为h的块的最小横纵坐标，x_max、y_max分别是块标号矩阵Label_i-1中所有标号为h的块的最大横纵坐标，首先利用在车辆检测中用到的阈值计算方法计算背景差图像BP_i-1的分割阈值T2，再分别计算最小矩阵框中的所有块的平均灰度，如果块的平均灰度大于阈值T2，则给该块标上车辆的标号h；否则将该块的标号设置为0，即：对于任意的块D(x，y)，x_min≤x≤x_max且y_min≤y≤y_max，其平均灰度为：$K(x,y)=\left(\underset{m=(x-1)\times 8+1}{\overset{x\times 8}{\Sigma }}\underset{n=(j-1)\times 8+1}{\overset{y\times 8}{\Sigma }}{\mathrm{BP}}_{i-1}(m,n)\right)/64$如果K(x，y)≥T2，则Label_i-1(x，y)＝h；如果K(x，y)＜T2，则Label_i-1(x，y)＝0；⑤检测车辆间的遮挡现象并进行分割(1)遮挡现象的检测对单辆车而言，以包含所有标号的最小矩形框[x_min x_max y_min y_max]作为该车的位置，则当前图像P_i-1中的所有车辆分别由各自的最小矩形框来表示，且矩形框的标号与框内块的标号一致，对所有的矩形框进行两两比较和判断，若两个矩形框存在重叠部分，则表明矩形框所代表的车辆间存在遮挡现象，并将重叠部分定义为遮挡区域；反之，若两个矩形框不存在重叠部分，则表明矩形框所代表的车辆间不存在遮挡现象，(2)遮挡区域的分割检测到遮挡现象并得到遮挡区域之后，针对遮挡区域建立Markov模型，模型中标号的个数即为遮挡区域中块的个数，给遮挡区域中所有块的标号都设定一个确定值便得到一组标号组合，每组标号组合都对应一个能量函数，在所有可能的标号组合的范围内，对能量函数进行最小优化，得到的最小能量函数所对应的标号组合即为遮挡区域的分割结果。