一种拥挤场景下视频异常事件检测方法

摘要

本发明涉及一种拥挤场景下视频异常事件检测方法。具体步骤是：训练阶段，首先对视频分块并提取块的光流信息表示块的局部特征，然后以块的局部特征作为原子构建图，采用拉普拉斯特征映射降维并采用自适应聚类方法对局部特征分类，获得类中心作为码字；最后由码字组成码本。测试阶段，先对视频分块提取局部特征，然后计算与码本的特征距离相似度，并结合前一时刻的8-邻域信息检测事件。本发明只需对光流特征构成的原子集合进行聚类即可建立正常事件模型，历史时刻的邻域信息进一步提高了异常事件检测的准确性。

主权项

一种拥挤场景下视频异常事件检测方法，其特征在于包括如下步骤：步骤(1)特征提取，具体如下：将视频中每一帧分割成互不重叠且大小为N×N的块，并连续取M帧，得到大小为N×N×M的立体块，因此M帧长的视频由若干个立体块组成，每个立体块称为原子；设视频帧的分辨率大小为W×H，每一帧得到块的数量其中表示向下取整；t时刻loci位置块的运动信息用一个直方图表示1≤loci≤f_block，loci是整数，其中h_i，1≤i≤4，是loci位置块根据光流方向按90度间隔量化获得的4个方向上的光流幅值之和；当前时刻为t，结合t时刻的前(M‑1)/2帧与后(M‑1)/2帧的直方图信息，t时刻loci位置上的原子表示为$x_{loci}=[h_{loci}^{t-(M-1)/2}...h_{loci}^{t+(M-1)/2}],$M取奇数，1≤loci≤f_block；对于一段视频，以M帧为单位分成P小段，得到的原子数量为P×f_block，由这些原子构成该视频的原子集合；步骤(2)特征学习，具体如下：2‑1.采用拉普拉斯特征映射方法把原子集合映射到低维空间中，再对其进行聚类；首先对原子集构建图G＝(V,E)，顶点集V表示各个原子，带权重的边E表示各个原子之间的相似度，图中第i个原子与第j个原子之间边的权重按式(1)计算，1≤i≤P×f_block，1≤j≤P×f_block:$w_{ij}=\exp \left(\frac{-(1-d_f^{i,j})}{{\sigma }_i{\sigma }_j}\right)\exp \left(\frac{-d_s^{i.j}}{{\sigma }_s}\right)---\left(1\right)$公式(1)右边第一项中的数学表达式为：$d_f^{i,j}={\alpha }^{i,j}\times d_f(x_i,x_j)---\left(2\right)$余弦距离其中<x_i,x_j>表示求x_i与x_j的内积，定义$d_f(x_i,x_j)=\frac{\underset{k=0}{\overset{4M-1}{\Sigma }}min[x_i\left(k\right),x_j\left(k\right)]}{\max [\underset{k=0}{\overset{4M-1}{\Sigma }}{x}_i\left(k\right),\underset{k=0}{\overset{4M-1}{\Sigma }}{x}_j\left(k\right)]};{\sigma }_r=\sqrt{(1-d_f^{r,G})},$σ_r是尺度因子，其中x_G是x_r第G个近邻点，近邻的距离度量采用欧氏距离，r＝i或j；公式(1)右边第二项中，表示第i个原子与第j个原子空间上的欧氏距离；σ_s为空间尺度因子；构建完图后，借助于图对原子进行谱聚类；在图论中，聚类的问题转变为图割的问题；其原则是子图内的边权重最大化和各子图间的边权重最小化；被切断的边权重之和最小，即使式(3)所示目标函数最小化；$E\left(r\right)=\underset{ij}{\Sigma }{w}_{ij}\left|\right|y_i-y_j|{|}^2---\left(3\right)$其中w_ij由公式(1)给出；y_i和y_j分别是x_i和x_j映射到目标空间上的坐标向量，Y由向量y_i组成，1≤i≤P×f_block；目标函数最小化的问题等价于求解最优的Y：Y_opt＝argmin(YLY)s.t.Y^TDY＝1   (4)公式(4)中，拉普拉斯矩阵L＝D‑W；D是对角阵，其对角线上元素值d_ii＝∑_jw_ij；W由w_ij构成；计算L相对于D的广义特征值和特征向量，选取l个最小非零特征值以及对应的特征向量；将求得的l个特征向量并成一个(P×f_block)×l的特征向量空间，其中每一行代表原子在l维空间的坐标；最后根据每个原子的l维空间坐标，采用Lihi Zelnik‑Manor的自适应聚类方法在l维空间对原子进行聚类，聚类后得到Num0个类，每一类的类中心表示一类事件的局部特征，类中心按式(5)计算:${\mu }_k=\frac{1}{N_k}\underset{i=1}{\overset{N_k}{\Sigma }}{x}_i---\left(5\right)$N_k表示属于第k类事件的原子个数；类中心作为码字，位置loci上所有可能的码字组成码本；2‑2.在loci位置块上建立码本的过程如下：(a)建立初始码本，将训练数据进行步骤2‑1的特征学习得到Num类事件，Num＝Num0；按式(6)计算w_k,loci，如果w_k,loci>0，则把第k类的类中心作为码字添加到位置loci上的码本中，同时保存第k类局部特征的训练数据，k＝{1,2,...........Num0}；$w_{k,loci}=\frac{n_{k,loci}}{{\Sigma }_k{n}_{k,loci}},k=\{1,2,.........··Num0\}---\left(6\right)$其中n_k,loci表示位置loci上第k类事件发生的次数，1≤loci≤f_block；(b)输入新的训练数据将它与loci位置块上的码本比较，若满足特征距离相似度时，th为设定的阈值；将加入到一个新的集合U中，否则把加入到位置loci上最相似类局部特征的训练数据中，然后重新计算这类局部特征的类中心，更新码本中码字,其中是按式(7)计算的特征距离的相似度；$d_{max}\left(x_{loci}^{new}\right)=\underset{k}{max}\left(d_f\right(x_{loci}^{new},c_{loci}^k\left)\right)---\left(7\right)$其中表示在位置loci上的码本中第k个码字,1≤k≤Num；(c)当集合U中的数据数量未达到Q时，返回步骤(b)；当集合U中的数据数量达到Q时，重新对集合U进行步骤2‑1操作，聚类成Num1类，更新Num0为Num0＝Num1，如果w_k,loci>0，则就把第k类事件类中心作为码字添加到位置loci上的码本中，同时保存第k类局部特征的训练数据，k＝{1,2,...........Num0}；清空集合U，类目总数Num更新为Num＝Num+Num1，判断所有输入的训练数据是否训练完毕，若未完毕则返回步骤(b)；步骤(3)视频异常事件检测，具体是：将测试数据与训练阶段建立的loci位置块的码本进行比较,1≤loci≤f_block，若满足时，则初步认为在loci位置块上有异常事件发生，否则没有发生；步骤(4)时空后处理，具体是：在t时刻，若loci位置块的初始被判有异常事件发生，则考虑loci位置块在t‑1时刻的8‑邻域，如果在邻域中至少有两个位置存在异常，则判loci位置块上有异常事件发生，否则没有异常事件发生。