一种基于KOD能量特征的群体异常行为识别方法

摘要

本发明公开了一种基于KOD能量特征的群体异常行为识别方法，该方法首先对运动目标进行检测，获得运动目标区域；然后提取群体行为KOD能量特征，并进行归一化；最后通过训练隐马尔可夫模型实现群体异常行为识别。实验结果表明，使用KOD能量特征能够有效地检测出群体异常行为并识别出其类型，能够达到92%的准确率。

主权项

一种基于KOD能量特征的群体异常行为识别方法，其特征在于，包括以下步骤：A1、运动目标检测；具体包括以下步骤：1)将视频图像转换为灰度图像；2)利用当前视频帧灰度图像减去上一帧得到帧间差图像；3)采用中值滤波滤除图像中的噪声，然后对滤波后图像进行二值化；4)采用形态学原理对二值图像进行膨胀，得到连通区域，然后得到运动目标区域；A2、KOD能量特征提取；A21基本特征提取采用基于灰度的Harris角点检测方法提取角点；通过计算图像像素点的梯度及曲率来检测目标边缘的角点，并用角点代表群体中的个体；然后采用基于金字塔模型的Lucas‑Kanade光流计算法通过特征匹配求得角点处的光流，得到群体行为的基本特征；A22能量特征提取分别定义群体动能、方向势能和距离势能三种群体行为能量，分别描述群体的运动激烈程度、群体的主流运动方向、群体中个体的位置分布以及群体随时间的相对位置变化情况，包含丰富的特征信息对群体全局运动状态进行表征：1)群体动能使用式(1)计算所有代表个体的特征角点的运动能量之和，即群体动能E_k(n)：$E_k\left(n\right)=\frac{\underset{i=1}{\overset{I}{\Sigma }}{m}_i|v_i{|}^2}{I}---\left(1\right)$其中，m_i表示第i个角点的质量权重值，群体行为发生时，假设群体中的个体在群体行为中所占的权重相同，因此，质量权重值m_i取相同常量值；I表示第n帧中角点的个数；v_i代表了第i个角点的光流矢量(v_ix,v_iy)，|v_i|表示光流失量的幅值，计算方法如式(2)所示：$\left|v_i\right|=\sqrt{{v_{ix}}^2+{v_{iy}}^2}---\left(2\right)$2)方向势能群体行为分析中假设每一个角点代表群体中的一个个体，因此，定义c_i和c_j角点运动之间的差异性S_ij为运动方向差异性及运动速度大小差异性的加权和，如式(3)所示；群体的方向势能即为所有个体与个体之间的方向势能总和，计算各个角点间差异性的总和，归一化后得到第n帧中群体的方向能量E_o(n)，如式(4)所示：$S_{ij}=\alpha \left[\arccos \right(\frac{v_i{v}_j}{\left|v_i\right|\left|v_j\right|}\left)\right]+\beta \left|\right|v_i|-|v_j\left|\right|---\left(3\right)$$E_o\left(n\right)=\gamma \frac{\underset{i=1}{\overset{I}{\Sigma }}\underset{j=i}{\overset{I}{\Sigma }}{S}_{ij}}{\underset{i=1}{\overset{I}{\Sigma }}(i-1)}---\left(4\right)$其中，v_i和v_j分别表示第i和j个角点的光流矢量；α与β分别代表群体运动方向及运动速度大小所占的权重，一般取经验值且满足α＞β，另外α和β的取值需要使得方向及大小两种差异性接近相同数量级；γ为归一化常量；3)距离势能通过计算角点与中心的欧氏距离代替个体之间的距离，并由式(5)计算得到归一化后的群体的总距离势能E_d(n)：其中，是修正因子，取常量；A23行为模式提取通过计算角点光流特征，计算群体动能、方向势能和距离势能三种行为能量并生成高层KOD能量特征后，提取群体异常行为模式；首先通过提取正常和异常行为中能量特征，针对不同场景不同视角下的视频序列统计得到群体正常行为的动能阈值方向势能阈值分别表示正常行走与奔跑的动能分界线和群体正常与异常行为的方向散度分界线；当群体动能大于一定的阈值时，定义其为动能异常，即表示群体运动较剧烈，因此群体异常行为序列中第t帧的特征向量P_t中元素p₁^t由式(6)计算；${p_1}^t=\left\{\begin{array}{c}1,E_k\left(t\right)>{\theta }_{E_k}\\ 0,E_k\left(t\right)<{\theta }_{E_k}\end{array}\right.---\left(6\right)$群体方向势能越大代表群体中个体的运动方向越发散，群体运动方向越不统一，特征向量中元素p₂^t由式(7)计算；${p_2}^t=\left\{\begin{array}{c}1,E_o\left(t\right)>{\theta }_{E_o}\\ 0,E_o\left(t\right)<{\theta }_{E_o}\end{array}\right.---\left(7\right)$当群体距离势能随着视频序列显示出递增趋势，表示群体正在扩散，反之，表明群体正在聚集；考虑当前帧与前一帧的距离势能变化趋势，计算特征向量中元素p₃^t，如式(8)所示；${p_3}^t=\left\{\begin{array}{c}1,E_d(t-1)<E_d\left(t\right)\\ 0,E_d(t-1)>E_d\left(t\right)\end{array}\right.---\left(8\right)$然后分别将每一帧的能量特征元素连接起来共同生成特征向量P_t＝(p₁^t,p₂^t,p₃^t),将一类异常行为的多帧图像序列特征向量联合起来生成行为模式P＝(...,P_t‑1,P_t,P_t+1,…)；A3分类识别提取能量特征构造特征向量并生成行为模式后，通过构建隐马尔可夫模型对未知行为进行分类识别；首先定义HMM中涉及到的参数：训练HMM即优化模型参数λ＝{A,B,П}，使得观测序列产生的概率P(O|λ_i)最大化；在为群体异常行为构建HMM时，首先定义模型的隐状态，根据群体异常行为典型行为模式P定义相应行为的隐状态集合，确定状态集合Q和观测值集合V后，根据经验初始化初始状态矩阵П；然后，分别定义前向变量式(9)、后向变量式(10)，中间变量式(11)和式(12)用于模型参数估计，前向变量：α_t(i)＝P(O₁,O₂,...,O_t,s_t＝q_i|λ)  (9)后向变量：β_t(i)＝P(O_t+1,...,O_T|s_t＝q_i,λ)   (10)中间变量：γ_t(i)＝P(s_t＝q_i|O₁,...,O_T,λ)   (11)ξ_t(i,j)＝P(s_t＝q_i,s_t+1＝q_j|O₁,...,O_T,λ)    (12)最后，使用Baum‑Welch算法对模型参数进行估计，如式(13)～(15)所示；${\bar{a}}_{ij}=\frac{\underset{t=1}{\overset{T-1}{\Sigma }}{\xi }_t(i,j)}{\underset{t=1}{\overset{T-1}{\Sigma }}{\gamma }_t\left(i\right)}---\left(13\right)$${\bar{b}}_i\left(k\right)=\frac{{\Sigma }_{t\in \left\{t\right|O_t=v_k\}}{\gamma }_t\left(i\right)}{\underset{t=1}{\overset{T}{\Sigma }}{\gamma }_t\left(i\right)}---\left(14\right)$${\bar{\pi }}_i={\gamma }_1\left(i\right)---\left(15\right)$优化模型参数后，得到群体异常行为最佳模型；为识别未知类型观测序列所属行为类型，首先为每一类异常行为构建并训练一个HMMλ_i＝{A_i,B_i,∏_i}，在识别阶段，选择观察序列最匹配的模型即该行为所属分类，用式(16)实现；$c^{*}=\arg \underset{i}{max}\left(P\right({\lambda }_i|O\left)\right)---\left(16\right)$另外，当给定观测序列O和模型参数λ_i时，根据贝叶斯准则，即可由前向算法将该分类问题转化为计算P(O|λ_i)，产生该观测序列的概率最大的模型，即所属异常行为类型。