面向智能视频监控的实时部分遮挡车辆分割及阴影消除方法

摘要

本发明提出一种面向应用的实时部分遮挡车辆分割及阴影消除方法RVSSE(Real-time Vehicles Segmentation and Shadow Elimination)，针对不同车辆阴影类型获取反映车辆阴影几何形态特征且仅包含稀少像素的阴影线，利用阴影线稀少像素的梯度信息实现阴影消除；通过视频信息统计，针对绝大多数情况采用几何形态特征分割部分遮挡车辆，针对稀少的特殊情况采用预测跟踪与模版匹配相结合的方法实现部分遮挡车辆分割。理论分析和实验结果证明，RVSSE不仅具有较高准确性，而且能在现有硬件条件下满足实时性。

主权项

1.面向智能视频监控的实时部分遮挡车辆分割及阴影消除方法，其特征是，包括如下步骤：1）获取前景连通域FS几何形态特征，包括前景连通域FS中的等势线与局部极小点：将采用减背景和形态学闭算子获得的填充空洞后的前景区域中的每个连通域称为一个前景连通域，用FS表示；将视频图像中除前景连通域以外的区域称为背景区域，用BS表示；用N₈(x)表述与像素x相邻的八个像素；前景连通域的几何形态特征通过初始化为0的图像标记Label获取：步骤1）令像素集HASet:=Φ；扫描图像一次,设一条竖向灰色扫描线L，若像素x∈L∩BS则令Label(x)=XA＋1，其中设XA=w+h，w为视频图像长，h为视频图像宽；若相邻两像素x₁∈L∩BS,x₂∈L∩FS则令像素集TSet:={x|x∈N₈(x₁)∩FS，Label(x)=0}，令HASet:=HASet＋TSet，并对令Label(x)=XA；扫描图像一次，对每条横向扫描线的处理与竖向扫描线L相同；令像素集LMSet:=Φ，转步骤2；步骤2）若HASet≠Φ，设HASet中像素的Label值为LA，则令$\mathrm{LMSet}:=\mathrm{LMSet}+\left\{x\right|x\in$$\mathrm{HASet},\forall y\in N_8\left(x\right)·\mathrm{Label}\left(x\right)\ne 0\},$令像素集$\mathrm{LASet}:=\left\{x\right|\exists y\in \mathrm{HASet}·x\in N_8\left(y\right),\mathrm{Label}\left(x\right)=0\},$对令Label(y)=LA﹣1，然后令HASet:=LASet，重复步骤2；若HASet=Φ，则运行终止；上述步骤1获得前景连通域FS边缘的像素集HASet；步骤2以前景连通域FS边缘像素集为起点，反复迭代，获得前景连通域FS中的逐层等势线和局部极小点集LMSet；等势线是指前景连通域FS中具有相同Label值的，连通的线状的像素集；如果像素x∈FS且满足则称像素x为局部极小点；若前景连通域FS包含像素个数小于阈值T_n，则将前景连通域FS视为噪声去除，阈值T_n取值为视频图像包含像素总数的1/200；2）如果为长方向线的车辆阴影，对短截线车辆阴影进行消除：为了从局部极小点集LMSet中分离出分布在短截线车辆阴影区域中心的局部极小点，获取像素集$\mathrm{EMSet}={\cup }_y{\in }_{\mathrm{LMSet}}\left\{x\right|x\in N_8\left(y\right),x\notin \mathrm{LMSet},\mathrm{Label}\left(x\right)=\mathrm{Label}\left(y\right)\},$筛选出LMSet∪EMSet中像素个数大于阈值T_s的连通域C₁,C₂,…,C_k，设前景连通域FS中最小的Label值为NA，则阈值T_s取值1.5(XA﹣NA)；筛选出C_i∩LMSet中Label值最大的像素集为正向端点XS_i和Label值最小的像素集为反向端点NS_i，以反向端点NS_i为起点正向端点XS_i为终点的方向为C_i的方向d_i，筛选出C_i的方向d_i与已知的车辆阴影方向d_sh夹角小于阈值T_d，阈值T_d取值弧度π/12；且正向端点XS_i中像素Label值大于阈值T_a的C_i，阈值T_a取值XA﹣0.25(XA﹣NA)，将筛选出的C_i称为阴影线，阴影线包含了局部极小点集LMSet中分布在短截线车辆阴影区域中心的局部极小点；再通过所述阴影线的梯度信息消除短截线车辆阴影，其中车辆运动方向d_m通过背景标记获取；设阴影线像素集为SLSet，为了获取阴影线像素集SLSet中处于车辆边缘的像素，对采用3×3结构元素中插值的方法计算x在车辆运动方向d_m和与车辆运动方向垂直的方向d_v两个方向上的梯度；对令x的梯度为其在车辆运行方向d_m和与车辆运动方向垂直的方向d_v两个方向上梯度的最大值，即Grad(x)=max(Grad_dm(x),Grad_dv(x))，将阴影线SLSet中像素按其方向排序，其中第i个像素用SLSet[i]表示，若i<j，则SLSet[i]比SLSet[j]更接近于阴影线正向端点；计算阴影线像素SLSet[i]分别在背景图像的梯度Grad^B(i)和前景图像的梯度Grad^F(i)，然后计算梯度比率Grad^F(i)/Grad^B(i)，其中Grad^B(i)=0时，令Grad^B(i)=1；为了区分阴影线SLSet中处于车辆边缘的像素，对梯度比率自适应阈值T分割，将梯度比率值大于梯度比率自适应阈值T的像素的集合用VBSet表示，像素集VBSet将短截线阴影线SLSet分割成若干线状连通域在像素个数大于阈值T_c的CL_i中筛选出离阴影线正向端点最近的线状连通域CL_s，其中1≤i≤kl，以线状连通域CL_s的两端点为分割点沿与已知的车辆阴影方向垂直的方向分割，即消除了短截线车辆阴影；其中阈值T_c取值0.5(XA﹣NA)，将被消除的短截线车辆阴影区域像素的Label值改赋为XA＋1；3）采用邻近涨潮分割车辆：设短截线车辆阴影消除后剩余的局部极小点集为RMSet；如果像素集Set中像素处于同一等势线，则设Set所在等势线为EAL(Set)；步骤1设剩余局部极小点集RMSet包含的连通域个数为kr，获取连通域和集合LRS={CR_s|1≤s≤kr,EAL(CR_s)/CR_s=Φ}；设LRS包含元素个数为RC，并设LRS[i]为LRS的第i个元素；令i:=1，转步骤2；步骤2若i≤RC，则令像素集VS_i:=Φ，转步骤3，否则终止；步骤3设LRS[i]包含像素的Label值为LI，获取像素集$\mathrm{LASet}:=\left\{z\right|\exists y\in \mathrm{LRS}\left[i\right]·z\in N_8\left(y\right),$$\mathrm{Label}\left(z\right)=\mathrm{LI}+1\};$令VS_i:=VS_i＋LRS[i]；令像素集RS_i:=Φ，转步骤4；步骤4设LASet包含像素的Label值为LA，若LA<XA＋1，则转步骤5，否则令VS_i:=VS_i＋RS_i，令i:=i＋1，转步骤2；步骤5设EAL(LASet)/LASet包含的连通域个数为ke，获取连通域${\mathrm{CE}}_1,{\mathrm{CE}}_2,···,{\mathrm{CE}}_{\mathrm{ke}}\subseteq$$\mathrm{EAL}\left(\mathrm{LASet}\right)/\mathrm{LASet};$设VS_i所在车辆区域为VS，对因此，获取集合FES={s|1≤s≤ke,CE_s包含像素个数小于阈值T_e}和集合令LASet:=LASet＋∑_s∈_FESCE_s，令VS_i:=VS_i＋LASet；对获取像素集DE_s={y|y∈CE_s,y到LASet距离不大于XA﹣LA}，令RS_i:=RS_i＋∑_s∈_MESDE_s；获取像素集$\mathrm{HASet}:=\left\{z\right|\exists y\in \mathrm{LASet}·z\in N_8\left(y\right),\mathrm{Label}\left(z\right)=\mathrm{LA}+1\},$令LASet:=HASet，转步骤4；其中车辆阴影方向与车辆运动方向一致时，阈值T_e取值3.5(XA﹣NA)，车辆阴影方向与车辆运动方向不一致时，阈值T_e取值1.5(XA﹣NA)；4）如果为长方向线的车辆阴影，且无短截线阴影，则利用长截线阴影类型阴影线LLSet像素的梯度信息消除长截线车辆阴影：将前景连通域FS分割成车辆区域VS_i(i=1,2,…)；车辆区域VS_i中心被邻近涨潮方法步骤1的集合LRS记录，沿车辆阴影方向d_sh设有一条经过车辆区域VS_i中心的直线L_i，设前景连通域FS中不同车辆区域的交集为INS，若L_i∩INS=Φ，则将L_i∩VS_i称为长截线阴影类型的阴影线LLSet，否则，设与L_i平行且最近的直线为LL_i，使得LL_i∩INS=Φ，将LL_i∩VS_i称为长截线阴影类型的阴影线LLSet；其中车辆运动方向d_m通过背景标记获取,方向d_v与车辆运动方向d_m垂直；阴影线像素集为LLSet，对采用3×3结构元素中插值的方法计算x在与车辆运动方向垂直的方向d_v上的梯度，即Grad(x)=Grad_dv(x)；再对梯度比率自适应阈值T分割，以线状连通域CL_s的两端点为分割点沿与已知的车辆运动方向d_m分割，即消除了长截线车辆阴影，完成部分遮挡车辆分割及阴影消除。