一种基于异常行为检测的视频摘要方法

摘要

本发明公开了一种基于异常行为检测的视频摘要方法，其特征是按如下步骤进行：1提取视频帧的运动标签；2获取基于尺寸的目标描述符；3联合运动标签和目标描述符建立事件模型，获得运动目标在一段固定时间内的行为信号；4学只包含正常行为的训练视频序列，获得行为背景图；5对当前测试视频序列进行异常检测，标记异常行为；6截取包含异常行为的视频片段形成视频摘要。本发明能提高异常行为检测的准确性和效率，并能将异常行为总结成一段视频摘要，从而方便人工查询。

主权项

一种基于异常行为检测的视频摘要方法，其特征是按如下步骤进行：步骤1、利用一固定的摄像头获取在时间段T＝(t₁,t₂,...t_d...,t_s)内的视频，每一时刻对应一帧视频，从而获得视频帧表示在t_d时刻下的视频帧；1≤d≤s；s为视频的总帧数；从所述视频帧中选取在时间段T'＝(t_α,t_α+1,...t_β...,t_α+N)内的视频帧作为训练视频帧，N为训练视频的总帧数；表示在t_β时刻下的视频帧；α≤β≤α+N；则其余视频帧为测试视频帧V₂＝V‑V₁；所述训练视频帧V₁只包含正常行为；所述测试视频帧V₂包含正常行为和异常行为；步骤2、利用中值滤波法获得所述视频帧V的背景图像b；步骤3、利用式(1)获得t_d时刻下视频帧中任意像素点位置的运动标签从而获得t_d时刻下视频帧中所有像素点位置的运动标签式(1)中：表示视频帧中的像素点位置；表示t_d时刻下视频帧中像素点位置的像素值，表示t_d时刻下视频帧中的背景图像；α为判断阈值；步骤4、利用式(2)获得t_d时刻下视频帧中任意像素点位置的基于尺寸的目标描述符从而获得t_d时刻下视频帧中所有像素点位置的目标描述符$r_{t_d}\left(\overrightarrow{x}\right)=\frac{1}{W\times W}\underset{\overrightarrow{y}\in W\left(\overrightarrow{x}\right)}{\Sigma }\delta (m_{t_d}\left(\overrightarrow{x}\right),m_{t_d}\left(\overrightarrow{y}\right))---\left(2\right)$式(2)中：表示t_d时刻下视频帧中以像素点位置为中心，以W×W为大小的窗口；表示在窗口内与像素点位置相邻的像素点位置；并有：式(3)中：表示t_d时刻下视频帧中像素点位置的运动标签；步骤5、联合所述运动标签序列M_Γ和目标描述符序列R_Γ，从而建立事件模型步骤5.1、利用式(1)获得在时间窗Γ＝[t_d‑γ+1,t_d]内运动标签序列M_Γ，利用式(2)获得在时间窗Γ＝[t_d‑γ+1,t_d]内目标描述符序列R_Γ，$R_{\Gamma }=(r_{t_d-\gamma +1}\left(\overrightarrow{x}\right),r_{t_d-\gamma +2}\left(\overrightarrow{x}\right),...,r_{t_d}\left(\overrightarrow{x}\right));$γ为参数；1≤γ≤s；步骤5.2、利用式(4)所示的隐马尔可夫模型获得所述运动标签序列M_Γ的概率$P_{\overrightarrow{x}}\left(M_{\Gamma }\right)={\mathrm{\omega q}}^{{\Sigma }_{k_1}{\beta }_{k_1}}{p}^{{\Sigma }_{k_2}{\theta }_{k_2}}{(1-q)}^l{(1-p)}^n---\left(4\right)$式(4)中：ω为隐马尔科夫模型的初始运动状态概率；p为静止状态概率，1‑p为静止转移概率；q为运动状态概率，1‑q为运动转移概率；表示静止状态的时间间隔，表示运动状态的时间间隔；l表示从运动到静止状态的转移次数；n表示从静止到运动状态的转移次数；1≤k₁≤l；1≤k₂≤n；步骤5.3、利用式(5)获得所述运动标签序列M_Γ和目标描述符序列R_Γ的联合概率$P_{\overrightarrow{x}}(R_{\Gamma },M_{\Gamma })=P_{\overrightarrow{x}}\left(R_{\Gamma }\right|M_{\Gamma })·P_{\overrightarrow{x}}\left(M_{\Gamma }\right)---\left(5\right)$式(5)中，为条件概率函数，并有：$P_{\overrightarrow{x}}\left(R_{\Gamma }\right|M_{\Gamma })=\underset{k}{\Pi }{P}_{\overrightarrow{x}}\left(R_{{\beta }_k}\right|M_{{\beta }_k})P_{\overrightarrow{x}}\left(R_{{\theta }_k}\right|M_{{\theta }_k})---\left(6\right)$步骤5.4、对式(5)取负对数后获得如式(7)所示的t_d时刻下视频帧中任意像素点位置的事件模型从而获得t_d时刻下视频帧中所有像素点位置的事件模型$e_{t_d}\left(\overrightarrow{x}\right)={\Sigma }_{{i=t}_d-\gamma +1}^{t_d}\left((D_1+D_3{r}_i\left(\overrightarrow{x}\right))m_i\left(\overrightarrow{x}\right)\right)+D_2{\Omega }_d\left(\overrightarrow{x}\right)---\left(7\right)$式(7)中：D₁,D₂,D₃为所设定的参数；表示在时间窗Γ中的像素点位置处的状态转移总数；t_d‑γ+1≤i≤t_d；步骤6：学习训练视频帧V₁获得行为背景图步骤6.1、重复步骤3‑步骤5获得所述训练视频帧V₁中t_β时刻下视频帧中所有像素点位置的事件模型步骤6.2、利用式(8)和式(9)分别估计所述训练视频帧V₁中事件模型的均值和方差$\hat{\mu }=\frac{1}{N}\underset{t_{\beta }=1}{\overset{N}{\Sigma }}\widetilde{e_{t_{\beta }}}\left(\overrightarrow{x}\right)---\left(8\right)$${\hat{\sigma }}^2=\frac{1}{N-1}\underset{t_{\beta }=1}{\overset{N}{\Sigma }}{(\widetilde{e_{t_{\beta }}}\left(\overrightarrow{x}\right)-\frac{1}{N}\underset{t_{\beta }=1}{\overset{N}{\Sigma }}\widetilde{e_{t_{\beta }}}\left(\overrightarrow{x}\right))}^2---\left(9\right)$步骤6.3、根据高斯分布和区间估计原理，获得如式(10)所示的所述训练视频帧V₁中事件模型的均值的置信区间：$(\frac{1}{N}\underset{t_{\beta }=1}{\overset{N}{\Sigma }}\widetilde{e_{t_{\beta }}}\left(\overrightarrow{x}\right)-t_{\eta /2}(N-1)\frac{\hat{\sigma }}{\sqrt{N}},\frac{1}{N}\underset{t_{\beta }=1}{\overset{N}{\Sigma }}\widetilde{e_{t_{\beta }}}\left(\overrightarrow{x}\right)+t_{\eta /2}(N-1)\frac{\hat{\sigma }}{\sqrt{N}})---\left(10\right)$式(10)中：t_η/2(N‑1)表示自由度为N‑1的t分布，η为t分布的显著水平；步骤6.4、利用式(11)获得所述训练视频帧V₁中像素点位置处的行为背景图从而获得所述训练视频帧V₁中所有像素点位置的行为背景图B：$B\left(\overrightarrow{x}\right)=\frac{1}{N}\underset{t_{\beta }=1}{\overset{N}{\Sigma }}\widetilde{e_{t_{\beta }}}\left(\overrightarrow{x}\right)+t_{\eta /2}(N-1)\frac{\hat{\sigma }}{\sqrt{N}}---\left(11\right)$步骤7：利用式(12)获得所述测试视频帧V₂中，在t_d时刻下视频帧中像素点位置处的异常行为从而获得所述训练视频帧V₂中所有像素点位置的异常行为X：$X_{t_d}\left(\overrightarrow{x}\right)=\left\{\begin{array}{cc}1,& e_{t_d}\left(\overrightarrow{x}\right)-B\left(\overrightarrow{x}\right)>\Theta \\ 0,& e_{t_d}\left(\overrightarrow{x}\right)-B\left(\overrightarrow{x}\right)<\Theta \end{array}\right.---\left(12\right)$式(12)中：表示测试视频帧V₂中，在t_d时刻下视频帧中像素点位置处出现异常行为；表示测试视频帧V₂中，在t_d时刻下视频帧中像素点位置处没有出现异常行为；为所述方差的区间估计，并有$\Theta \in (\sqrt{\frac{(N-1){\hat{\sigma }}^2}{{\chi }_{\xi /2}^2(N-1)}},\sqrt{\frac{(N-1){\hat{\sigma }}^2}{{\chi }_{1-\xi /2}^2(N-1)}})---\left(13\right)$式(13)中：表示自由度为N‑1的χ²分布；ξ为χ²分布的显著水平；步骤8：在所述测试视频帧V₂中截取包含异常行为的所有视频帧作为视频摘要。