一种基于时空多特征的车辆阴影消除方法

摘要

本发明公开了一种基于时空多特征的车辆阴影消除方法。本发明首先获取待处理视频帧图像的背景图像及初始前景区域，然后基于其获取色度、光谱方向和纹理特征的前景掩膜，并进行加权求和得到空域多特征前景概率谱图像，接着对空域多特征前景概率谱图像进行时间滑动窗的时域滤波，得到对应的时域前景概率谱，对时域前景概率谱进行加权处理后得到最终的前景掩膜，完成对视频帧图像的车辆阴影消除处理，本发明相较于传统基于单一特征和多特征级联的阴影去除方法，阴影去除更干净，前景轮廓更完整。在保障了较高的阴影辨识率的同时也维持较高的阴影检测率。

主权项

一种基于时空多特征的车辆阴影消除方法，其特征在于包括下列步骤：步骤1：输入待处理视频帧I；步骤2：对当前视频帧I的背景进行建模，得到背景图像B并计算对应的初始前景区域F₀；步骤3：分别计算色度、光谱方向、纹理三种特征的前景掩膜F_chr，F_phy，F_tex；步骤301：计算色的特征的前景掩膜F_chr。将视频帧I和背景图像B转换到色彩空间W，色彩空间W包括图像的亮度、色度信息；对初始前景区域F₀中的任意像素(x,y)计算视频帧I和背景图像B中的亮度比其中I^V(x,y)、B^V(x,y)表示视频帧I和背景图像B中像素(x,y)的亮度分量；以及计算视频帧I和背景图像B中以任意像素(x,y)为中心、k1为半径的邻域的色度分量差分均值其中表示视频帧I和背景图像B中像素(x,y)的邻域内所有像素的色度分量累加和；根据亮度比V_ratio、C_avg计算色度特征的的阴影掩膜S_chr以及对应的前景F_chr：对任意像素(x,y)，若α≤V_ratio≤β，且C_avg≤τ_C，则阴影掩膜S_chr中对应像素值S_chr(x,y)＝1；否则S_chr(x,y)＝0，其中α、β分别表示亮度阈值的下限、上限，τ_C表示色度阈值；对任意像素(x,y)，若S_chr(x,y)＝0且F₀(x,y)＝1，则前景掩膜F_chr中对应像素值F_chr(x,y)＝1；否则F_chr(x,y)＝0，其中F₀(x,y)表示初始前景区域F₀中像素(x,y)的像素值；步骤302：计算光谱方向特征的前景掩膜F_phy：对于初始前景区域F₀中的任意前景像素(x,y)，计算(x,y)在视频帧I和背景图像B中RGB三个色彩通道的差分向量v(x,y)、以及v(x,y)与B(x,y)的模之比α(x,y)、v(x,y)的G分量v^G(x,y)与R分量v^R(x,y)的夹角θ(x,y)、以及B分量与v(x,y)模的夹角形成光谱方向特征其中对初始前景区域F₀中任意前景像素的光谱方向特征f(x,y)聚类得到阴影模型M_s(μ,σ²)，并计算基于光谱方向的阴影掩膜S_phy以及前景掩膜F_phy：对任意像素(x,y)，若||f(x,y)‑μ||＜σ²，则阴影掩膜S_phy中对应像素值S_phy(x,y)＝1；否则S_phy(x,y)＝0，其中，μ,σ²分别表示M_s(μ,σ²)的均值和方差；对任意像素(x,y)，若S_phy(x,y)＝0且F₀(x,y)＝1，则前景掩膜F_phy中对应像素值F_phy(x,y)＝1；否则F_phy(x,y)＝0；步骤303：计算纹理特征的前景掩膜F_tex。将初始前景区域F₀转换到色彩空间W；根据视频帧I和背景图像B中像素(x,y)的亮度分量I^V(x,y)、B^V(x,y)，以及色度分量I^C(x,y)、B^C(x,y)计算初选阴影掩膜S_W：若I^V(x,y)＜B^V(x,y)且|I^C(x,y)‑B^C(x,y)|＜T_C，则初选阴影掩膜S_W中对应像素值S_W(x,y)＝1；否则S_W(x,y)＝0，其中T_C表示色度差阈值；计算频帧I和背景图像B的边缘图像I_edge和B_edge，并差分得到前景边缘像素集合F_edge；根据F_edge优化初选阴影S_W得到边缘阴影掩膜S_edge：对任意像素(x,y)，若S_hsv(x,y)＝1且则边缘阴影掩膜S_edge中对应像素值S_edge(x,y)＝1；若S_hsv(x,y)∈Ω_k2(u,v)，则S_edge(x,y)＝0，其中Ω_k2(u,v)表示以F_edge(u,v)为中心、k2为半径的邻域，F_edge(u,v)表示前景边缘像素集合F_edge中的任意像素(u,v)；计算边缘阴影掩膜S_edge中每个连通域的前景与背景的梯度纹理特征夹角其中分别表示水平和竖直方向的梯度，上标F和B分别用于区分前景与背景；统计S_edge中每个连通域中纹理特征与背景相近的像素及其所占比例其中n表示连通域像素总数，τ_α表示相似像素的数量阈值，H(·)表示阶跃函数；计算纹理特征的阴影掩膜S_tex对应的前景掩膜F_tex：对任意像素(x,y)，若d＞T_tex，则阴影掩膜S_tex中对应像素值S_tex(x,y)＝1；否则S_tex(x,y)＝0，其中T_tex表示相似度阈值；对任意像素(x,y)，若S_tex(x,y)＝1且F₀(x,y)＝1，则前景掩膜F_tex中对应像素值F_tes(x,y)＝1；否则F_tes(x,y)＝0；步骤4：基于色度、光谱方向、纹理三种特征的前景掩膜F_chr，F_phy，F_tex的加权求和得到空域前景概率谱图像其中ω_c表示加权权值；步骤5：基于空域前景概率谱图像M_prob计算时域前景概率普M_prob(t)：基于大小为w的时间滑动窗口，对窗口内的空域前景概率谱进行时域滤波，计算出当前时刻t的空域前景概率谱图像，即时域前景概率普其中ω_i表示(t‑i)时刻空域前景概率谱对应的权值：若i＜w‑1，则ω_i＝1/2ⁱ⁺¹；否则ω_i＝1/2^w；步骤6：计算最终前景掩膜F_final，完成对车辆阴影的消除处理：比较时域前景概率普M_prob(t)与前景置信度阈值T_c，计算出当前时刻t的空域前景概率谱图像的最终前景掩膜F_final(t)：若M_prob(t)＞T_c，则F_final(t)＝1；否则F_final(t)＝0。