一种视频图像的前景识别提取和拼接方法

摘要

本发明涉及一种视频图像的前景识别提取和拼接方法，该方法针对视频图像背景更新过程中目标与背景相互转化的动态不确定性，以及前景图像提取的准确与完整性，建立相应的模型和方法，对背景学速率进行自适应控制，在粗提取前景图像之后，对破碎的前景进行拼接以及噪声去除，最终检测并分离出前景图像，并进行前景图像连通，构成整体前景图像，达到前景提取的正确性和有效性。属于计算机图像处理领域。

主权项

一种视频图像的前景识别提取和拼接方法，其特征在于该方法包括以下步骤：步骤一：前景图像模型建立设图像中的像素点(x₀,y₀)在t时刻的观察值X_t属于背景的概率为：$P\left(X_t\right)=\underset{i=1}{\overset{K}{\Sigma }}{\omega }_{i,t}*\eta (X_t,{\mu }_{i,t},{\Sigma }_{i,t})$其中，K为模型中的高斯分布个数；为t时刻第i个高斯分布的权值；μ_i,t为t时刻第i个高斯分布的均值；Σ_i,t为t时刻第i个高斯分布的协方差矩阵，其定义如下：${\Sigma }_{i,t}={\sigma }_i^{2}I$为第i个高斯分布的方差，I为i行i列的单位阵；η为高斯分布的概率密度函数：$\eta (X_t,{\mu }_{i,t},{\Sigma }_{i,t})=\frac{1}{{\left(2\pi \right)}^{\frac{\pi }{2}}{\left|{\Sigma }_{i,t}\right|}^{\frac{1}{2}}}*e^{-\frac{1}{2}{(X_t-{\mu }_{t,t})}^T{\Sigma }^{-1}(X_t-{\mu }_{i,t})}$取K＝5，初始化时第1个高斯分布的权值设为1，均值为当前像素点的值X_t，方差取为12.5，匹配次数取为1；除第1个高斯分布之外的其他分布的权值、均值均取为0，方差取为12.5，匹配次数取为0；步骤二：模型更新对K个高斯分布按照优先级从高到低排列，每个新观测值X_t与K个高斯分布按下式进行匹配计算：|X_t‑μ_i,t‑1|＜2.5σ_i在匹配过程中，高斯分布的权值按下式进行更新：ω_i,t＝(1‑α)ω_i,t‑1+α(M_i,t)α为学习速率，默认值为0.005；当新观察值与第i个高斯分布匹配时，M_i,t取值为1，若不匹配，则取0；对于匹配的高斯分布，其均值和方差按下式更新：μ_i,t＝(1‑β)μ_i,t‑1+βX_t${\sigma }_{i,t}^2={(1-\beta )\sigma }_{i,t-1}^2+\beta {(X_t-{\mu }_{i,t})}^T(X_T-{\mu }_{i,t})$β＝αη(X_tμ_i,t,σ_i,t)没有匹配的高斯分布维持不变；对于每个高斯分布设置一个计数值用来记录每帧中每个高斯分布的匹配次数，每匹配一次该计数值加1，该计数值称为高斯分布匹配次数m_i,t；α和β是模型更新过程中两个重要的参数，β为均值和方差的学习速率；如果X_t与任何一个高斯分布都不匹配，则优先级最低的高斯分布将用一个新的高斯分布替换，取分布的权值为K个高斯分布的匹配次数之和的倒数、分布的均值取值为X_t、方差取值为900、匹配次数取值为1；将K个高斯分布按优先级由高到低排列，取前B个高斯分布生成背景，如下式：$X_{\mathrm{bg}}=\underset{i=1}{\overset{B}{\Sigma }}{\omega }_{i,t}{\mu }_{i,t}$$B={\arg \min }_b(\underset{i=1}{\overset{b}{\Sigma }}{\omega }_i>T)$其中，函数为求出满足的最小的b，以此作为b的值，并将b的值赋给B，T为背景选取的阈值，其值为T＝0.7；步骤三：自适应学习速率更新对于步骤二中取得的高斯分布匹配次数m_i,t，取优先级最高的高斯分布的匹配次数进行处理，称之为主匹配次数m_1,t，将当前帧及其之前的每一帧更新得到的主匹配次数累加起来，得到历次m_1,t的累计值sum_match；同时，设定计数值num_match记录得到sum_match所需的累计次数；主匹配次数的均值E和标准差S由下式计算：$E=\frac{{\mathrm{sum}}_{\mathrm{match}}}{{\mathrm{num}}_{\mathrm{match}}}$$S=\sqrt{{(m_{i,t}-E)}^2}$根据以下不同情况对背景学习速率α进行自适应更新：1)当标准差S＞4500时，当前帧的主匹配次数m_i,t相对历史值有较大变动，此时暂不更新α的值，清空计数值num_match和累计值sum_match，将当前帧作为累计的起始帧，将均值E更改为当前帧的主分布匹配次数m_1,t；2)当标准差S的取值范围为4500≥S＞500，且当前主匹配次数m_i,t大于均值E时，背景学习速率α更改为0.004；3)当标准差S的取值范围为4500≥S＞500，且当前主匹配次数m_i,t小于等于均值E时，背景学习速率α更改为0.02；4)当标准差S≤500时，背景学习速率α稳定在0.005；步骤四：前景粗提取1)将当前视频图像和构造出的背景图像化为灰度图像，计算方法为：Gray＝0.072169B+0.715160G+0.202671R其中R、G、B分别表示每个像素红、绿、蓝值，Gray是转换后的灰度值；2)将转化为灰度图像的当前视频图像和背景图像进行灰度平衡处理，首先统计灰度值为j所对应的像素个数，记为n_j，其中j＝0,1,2,…,255，取n_j为对应灰度值为j的直方图的高，记为H(j)＝n_j；计算直方图的面积，记为H’(x)，即：$H^{\prime }\left(x\right)={\int }_0^{x}H\left(\zeta \right)\mathrm{d\zeta },$其中x＝0,1,2,……,255.根据直方图的面积计算值，对得到的当前视频图像和背景图像的灰度图，重新计算像素值，取值为H’(x),x＝0,1,2,……,255；3)将经过灰度平衡处理后的当前视频图像帧和背景图像帧中每个对应像素值相减，得到差值图像；4)对差值图像的每个像素，统计灰度值为j对应的像素个数n_j，再计算每个灰度级上的像素个数占该图像总像素个数的比例w_j，设分割阈值为ψ，其中ψ可取值范围为0,1,2,…,255；将灰度级j≤ψ的所有像素视为背景像素，灰度级j>ψ的所有像素视为前景像素；则背景像素个数占该图像总像素个数比例W₀＝w₀+w₁+w₂+……+w_ψ，并计算平均灰度$U_0=\frac{\underset{k=0}{\overset{\psi }{\Sigma }}k*w_k}{W_0},$计算前景像素个数占该图像总像素个数比例$W_1=\underset{k=\psi +1}{\overset{255}{\Sigma }}{w}_k,$并计算平均灰度：$U_1=\frac{\underset{k=\psi +1}{\overset{255}{\Sigma }}k*w_k}{W_1},$则图像的总平均灰度为:u＝W₀*U₀+W₁*U₁，将分割阈值ψ从0到255依次遍历，计算g的值：g＝W₀*(U₀‑u)²+W₁*(U₁‑u)²取其中一个ψ的值，使g取最大值；利用上述求得的ψ进行差值图像二值化分割，将灰度级j≤ψ的所有像素视为背景像素，将像素值设置为0；而将灰度级j＞ψ的所有像素视为前景像素，将像素值设置为255，从而得到粗提取的前景图像；步骤五：前景图像列像素拼接与噪点去除自左向右依次扫描二值化处理后的前景图像，若一列中两个前景像素点之间距离小于15像素时，将这两个像素点之间所有像素点的灰度值更改为255，即相当于对填充两个相邻像素点之间的缝隙，完成前景拼接；若一列中两个非前景像素点之间距离小于4像素时，将这个两个像素点之间的所有像素点的灰度值更改为0，即相当于去除面积较小的前景部分，完成噪点去除；步骤六：前景图像团块检测再次扫描二值化处理后的前景图像，将图像中每两列之间相连的团块连接起来，构成更大的团块，并计算该前景团块的面积、周长、外接矩形和外接矩形形心，这些大的团块即构成了前景图像。