基于环路图模型的视频异常检测方法

摘要

本发明公开了一种基于LDA‑HMM的环路图模型视频异常检测方法。现有的方法在HMM状态确定LDA主题特征的概率推理中，视频异常检测会受到概率拖尾问题和模型过度拟合或欠拟合问题的困扰。本发明首先选取正常场景的视频段作为训练数据，经过低层特征提取，LDA主题特征提取，通过环路模型参数推理，训练出一个LDA‑HMM环路模型。异常检测时，将正常场景视频段和含异常事件视频段数据处理后分布送入已训练好的环路模型中，根据前向算法，得到每一帧的似然函数，当似然函数差大于某一阈值时，判断该帧出现异常。本发明很好地解决了概率拖尾及模型阶数需人为设定的问题，使视频异常检测达到更加精确的效果。

主权项

基于环路图模型的视频异常检测方法，其特征在于该方法的具体步骤是：步骤1.底层特征提取：对已录制的视频，采用SIFT算法对每一帧图像抽取二维图像位置信息特征，得到若干个特征点的128维方向参数，将这些特征点聚类，构建BOW词袋的形式；步骤2.将视频帧序列的BOW词袋作为词袋D，通过LDA模型进行主题语义特征的提取，获取得到表示每帧图像主题特征的主题特征矩阵γ；步骤3.将主题特征矩阵γ作为环路HMM‑LDA模型的观测量进行环路HMM‑LDA的上一部分的参数推理，通过引入辅助变量u，使得潜在状态轨迹中的状态数量为一有限值，利用动态规划的方法计算状态轨迹的条件概率并对整个轨迹进行采样；采样u：在已知状态转移概率矩阵π、t‑1和t时刻的轨迹状态s_t‑1、s_t情况下，u_t服从条件分布采样s：s_t的后验概率为：$\begin{array}{c}p\left(s_t|z_{n,1:t},u_{1:t}\right)\propto p\left(s_t,u_t,z_{n,t}|z_{n,1:t-1},u_{1:t-1}\right)\\ ={\Sigma }_{s_{t-1}}p\left(z_{n,t}|s_t\right)p\left(u_t|s_t,s_{t-1}\right)p\left(s_t|s_{t-1}\right)p\left(s_{t-1}|z_{n,1:t-1},u_{1:t-1}\right)\\ =p\left(z_{n,t}|s_t\right){\Sigma }_{s_{t-1}}II\left(u_t<{\pi }_{s_{t-1},s_t}\right)p\left(s_{t-1}|z_{n,1:t-1},u_{1:t-1}\right)\\ =p\left(z_{n,t}|s_t\right){\Sigma }_{s_{t-1:}{u}_t<{\pi }_{s_{t-1},s_t}}p\left(s_{t-1}|z_{n,1:t-1},u_{1:t-1}\right)\end{array}$其中z_n,t表示t时刻的观测量，n为设定的观测个数，ΙΙ(C)表示如果满足条件C则ΙΙ(C)＝1，否则ΙΙ(C)＝0；采样π：令m_ij表示从状态i转移到状态j的次数，s中不同状态的数目为K，这些状态被标记为1,2…,K,将s中所有未出现的无限多个状态融合在一起，则π_k可表示为在给定轨迹状态s,共享DP基础测量β和精度测量α下，其后验分布为：$p\left({\pi }_k\right|S,\beta ,\alpha )\propto Dirichlet(n_{k1}+{\mathrm{\alpha \beta }}_1+n_{k2}+{\mathrm{\alpha \beta }}_2+...+n_{kK}+{\mathrm{\alpha \beta }}_K,{\mathrm{\alpha \Sigma }}_{i=K+1}^{\infty }{\beta }_i)$采样α：假设α服从参数为a和b的Gamma分布，则其后验概率分布为：$p\left(\alpha \right|\omega ,v)\propto {\alpha }^{a-1+{\Sigma }_{j=1}^J{m}_j-v_j}{e}^{-\alpha (b-{\Sigma }_{j=1}^J{\mathrm{log\omega }}_j)}$其中和为辅助变量，ω_j在[0,1]内取值，v_j是一二进制{0,1}变量；采样θ：每一项θ_m关于s,z及它们的先验分布H条件独立服从分布：p(θ|s,z,H)＝∏_kp(θ_m|s,z,H)由于基分布Dir(α)和数据分布F多项式分布为共轭分布，每一个θ_m可以迅速的采集到；步骤4.选取新的视频段序列重复步骤1，得到新的BOW词袋，将步骤3采样得到的α作为LDA模型的超先验参数，进行环路HMM‑LDA下一部分的参数推理；在给定词袋D＝{Y₁,...,Y_M}条件下，参数推理的目的是为了获得数据对数似然函数最大化的参数作为α和φ的估计值，首先引入变分参数γ和将寻找对数下限的问题转化成下面的优化问题：其中z表示主题，y表示词汇，θ表示主题‑文档分布矩阵，然后将变分分布和真实分布p(θ,z_n,t|y_n,t,α,φ)之间的Kullback‑Leibler散度最小化得到最佳的变分参数值和计算KL散度的导数并设置为0，得到一组更新方程：${\gamma }_i={\alpha }_i+{\Sigma }_{n=1}^N{\phi }_{ni}$运用EM算法，进行反复迭代，直到超先验参数α和β收敛，求出此时α和β的值，根据θ～Dir(α)，可以继而推导出参数θ；步骤5.将环路HMM‑LDA关联树上的参数进行树重加权处理，把环路模型分解为iHMM结构和LDA结构的两个无环生成树，由步骤3、步骤4的参数推理过程，可以得到α_ihmm，θ_ihmm和α_lda，θ_lda，环路模型的参数可以表示为：α＝λ_ihmmα_ihmm+λ_ldaα_ldaθ＝μ_ihmmθ_ihmm+μ_ldaθ_lda其中λ_ihmm，μ_ihmm和λ_lda，μ_lda分别为iHMM和LDA树结构参数α和θ的权值，取最理想的加权状态，令两个树的参数的加权值都为0.5，完成建模；步骤6.异常检测，将正常场景的视频段和含有异常事件的视频段分别进行步骤1和步骤2，得到的语义特征作为已训练好的环路HMM‑LDA模型的输入值，根据前向算法，计算得到两视频段每一帧的似然函数，将两似然函数作差并设置一个阈值，绝对值大于阈值时设定为异常事件，小于等于阈值时设定为正常事件。