基于光流方向直方图和肤色流形变分的敏感视频识别方法

摘要

本发明涉及一种基于光流方向直方图和肤色流形变分的敏感视频识别方法，是通过以下步骤实现的：下载原始视频、并对视频解压；计算每一帧的运动特征：计算光流方向直方图并通过光流直方图分类器进行分类；同时计算图像特征：根据肤色流形分类器进行肤色分割，判别其肤色比例是否超过阈值；当运动特征和图像特征都敏感的时候，判定这一帧敏感；本发明的有益效果是：用于检测互联网上的黄色视频信息，使用户免受黄色信息的毒害。

主权项

1.一种基于光流方向直方图和肤色流形变分的敏感视频识别方法，是通过以下步骤实现的：下载原始视频、并对视频解压；计算每一帧的运动特征：计算光流方向直方图并通过光流直方图分类器进行分类；同时计算图像特征：根据肤色流形分类器进行肤色分割，判别其肤色比例是否超过阈值；当运动特征和图像特征都敏感的时候，判定这一帧敏感；所述的光流方向直方图并与光流直方图分类器比较是通过以下步骤实现的：光流的约束方程：考虑图象的象素m＝(x，y)^T，时刻t的灰度值I(x，y，t)，令点m的速度为V_m＝(v_x+v_y)^T，若点m的速度保持不变，那么在很短的时间间隔dt内，有：I(x+V_xdt，y+v_ydt，t+dt)＝I(x，y，t)$I(x,y,t)+\frac{\partial I}{\partial x}{v}_x+\frac{\partial I}{\partial y}{v}_y+\frac{\partial I}{\partial t}+O\left({\mathrm{dt}}^2\right)=I(x,y,t)$$▿I·v_m+\frac{\partial I}{\partial t}=0$其中$▿I={[\frac{\partial I}{\partial x},\frac{\partial I}{\partial y}]}^T$设v_x＝u，v_y＝v$\frac{\partial I}{\partial t}=\frac{\partial I}{\partial x}u+\frac{\partial I}{\partial y}v$可以用正则化技术求光流使下式最小：$\int \int {(▿I·v+\frac{\partial I}{\partial t})}^2+\lambda ({\left|\right|{▿v}_x\left|\right|}^2+{\left|\right|{▿v}_y\left|\right|}^2)\mathrm{dxdy}$${▿v}_x={(\frac{{\partial v}_x}{\partial x},\frac{{\partial v}_x}{\partial y})}^T;{▿v}_y={(\frac{{\partial v}_y}{\partial x},\frac{\partial v_y}{\partial y})}^T$在求得每一点的光流后，对整个图像求取光流方向直方图；在训练过程中将敏感视频中每帧的光流方向直方图和正常视频中每帧的光流直方图作为两类样本，输入到SVM分类器中训练；在识别阶段，用被测试视频中每帧的光流方向直方图在分类器中投影，计算其是否具有属于敏感运动特征；所述的根据肤色流形分类器进行肤色分割，判别其肤色比例是否超过阈值是通过以下步骤实现的：肤色流形参数变分估计：参数描述：假设观测为y＝(y₁，…y_N)，其中y₁，…y_N均为p维向量，N为观测样本的总数；假设隐藏变量为x＝(x₁，…x_N)，其中x₁，…x_N均为k维向量，分别表示对应观测的状态，在所处理的混合高斯模型中，k＝1；假设对每一类样本c_j，其均值和逆协方差阵分别为即p(y_j|x_j)＝N(y_j；μ_j，Γ_j)；设p(x_j)＝π_j，这样模型参数为(π_j，μ_j，Γ_j)；同时对模型参数设定先验概率分布，为了使得模型的先验分布和后验分布性质一致，设定π_j服从Dirichelet分布，μ_j服从高斯分布，Γ_j服从Wishart分布，即：$p\left(\right\{{\pi }_j\};\{{\lambda }_j\left\}\right)=\frac{\Gamma \left({\mathrm{m\lambda }}_0\right)}{\Gamma \left({\lambda }_0\right)...\Gamma \left({\lambda }_0\right)}\underset{j=1}{\overset{m}{\Pi }}{\pi }_j^{{\lambda }_j-1}---\left(1\right)$其中${\pi }_1,...,{\pi }_m\ge 0;\underset{j=1}{\overset{m}{\Sigma }}{\pi }_j=1$$p\left({\mu }_j\right|{\Gamma }_j)=N({\mu }_j;{\rho }^0,{\beta }^0{\Gamma }_j)---\left(2\right)$$p\left({\Gamma }_j\right)=\frac{1}{Z}{\left|{\Gamma }_j\right|}^{(v^0-k-1)/2}{e}^{-\mathrm{tr}\left[{\Phi }^0{\Gamma }_j\right]/2}---\left(3\right)$其中$Z=2^{\mathrm{vk}/2}{\pi }^{k(k-1)/4}{\Pi }_{i=1}^k\Gamma \left(\frac{v+1-i}{2}\right)\times {\left|{\Phi }^0\right|}^{-v/2}$Gamma函数$\Gamma \left(x\right)={\int }_0^{+\infty }{t}^{x-1}{e}^{-t}\mathrm{dt}${λ_j}，ρ⁰，β⁰，v⁰，Φ⁰均为超参数，代表模型结构；根据Hinton的观点，优化p(y|θ)的过程可以转化为优化其下界的过程；设m表示结构，我们同样可以求取p(y|m)的相应下界：$p\left(y\right|m)\ge \int q(x,\theta )\ln \frac{p(x,y,\theta )}{q(x,\theta )}\mathrm{dxd\theta }$$=\int q\left(x\right)q\left(\theta \right)\ln \frac{p(x,y,\theta )}{q\left(x\right)q\left(\theta \right)}\mathrm{dxd\theta }=F$假设x和θ独立，需要分别求出q(x)和q(θ)使得p(y|m)的下界F最大；q(x)和q(θ)可以分别看成是相应真实分布的变分估计，当这个估计与真实一致时，p(y|m)的下界F取最大；通过F分别对q(x)和q(θ)求导作变分求解：$\frac{\partial F}{\partial q\left(x\right)}=0\Rightarrow q\left(x\right)\propto e^{\int q\left(\theta \right)\ln p(x,y)\mathrm{d\theta }}---\left(4\right)$$\frac{\partial F}{\partial q\left(\theta \right)}=0\Rightarrow q\left(\theta \right)\propto p\left(\theta \right)e^{\int q\left(x\right)\ln p(x,y)\mathrm{dx}}---\left(5\right)$其中对q(x)估计的过程可以看成是E step，对q(θ)估计的过程可以看成是M step，由于q(θ)是对θ的后验估计，所以这个θ参数比经典EM中最大化p(y|θ)中的参数要可靠；变分混合高斯模型参数估计具体到混合高斯模型，我们分别按照(4)和(5)来求q(x)和q(θ)，首先对ln p(x，y)作具体化：$\ln p(x,y|\theta )=\underset{i=1}{\overset{m}{\Sigma }}\ln p(x_i,y_i|\theta )=\underset{i=1}{\overset{m}{\Sigma }}\ln p\left(x_i\right)p\left(y_i\right|x_i,\theta )---\left(6\right)$然后求q(x)：$\int q\left(\theta \right)\ln p(x,y)\mathrm{d\theta }=\underset{i=1}{\overset{m}{\Sigma }}\int q\left(\theta \right)\ln p\left(x_i\right)p\left(y_i\right|x_i,\theta )\mathrm{d\theta }$$q\left(x\right)\propto e^{\int q\left(\theta \right)\ln p(x,y)\mathrm{d\theta }}\Rightarrow q(x_i=j|y_i)\propto e^{\int q\left(\theta \right)\ln p(x_i=j,y_i)\mathrm{d\theta }}$$\Rightarrow {\gamma }_j^i=q(x_i=j|y_i)\propto <\ln {\pi }_j>e^{<\ln \left|{\Gamma }_j\right|>/2}{e}^{-{(y_i-{\rho }_j)}^T<{\Gamma }_j>(y_i-{\rho }_j)/2}{e}^{-d/2{\beta }_j}---\left(7\right)$其中：$<\ln {\pi }_j>=\psi \left({\lambda }_j^{\prime }\right)-\psi \left(\underset{k}{\Sigma }{\lambda }_k^{\prime }\right)$$\psi \left(x\right)=\frac{d\ln \Gamma \left(x\right)}{\mathrm{dx}}$$<\ln \left|{\Gamma }_j\right|>=\underset{i=1}{\overset{d}{\Sigma }}\psi ((v_j+1-i)/2)-\ln \left|{\Phi }_j\right|+d\ln 2$$<{\Gamma }_j>=v_j{\Phi }_j^{-1}$这是E step，接下来是通过M step估计参数的后验分布，预先定义几个变量：${\bar{\pi }}_j=\frac{1}{N}\underset{i=1}{\overset{N}{\Sigma }}{\gamma }_j^i$N_j＝Nπ_j${\bar{\mu }}_j=\frac{1}{{\bar{N}}_j}\underset{i=1}{\overset{N}{\Sigma }}{\gamma }_j^i{y}_i$${\bar{\Sigma }}_j=\frac{1}{{\bar{N}}_j}\underset{i=1}{\overset{N}{\Sigma }}{\gamma }_j^i(y_i-{\bar{\mu }}_j){(y_i-{\bar{\mu }}_j)}^T$将(1)(2)(3)(6)代入(5)得到关于(π_j，μ_j，Γ_j)的新的Dirichelet分布，正态分布和Wishart分布，假设新参数形式如下：$q\left(\right\{{\pi }_j\};\{{\lambda }_j^{\prime }\left\}\right)=\frac{\Gamma \left({\lambda }_0^{\prime }\right)}{\Gamma \left({\lambda }_1^{\prime }\right)...\Gamma \left({\lambda }_m^{\prime }\right)}\underset{j=1}{\overset{m}{\Pi }}{\pi }_j^{{\lambda }_j^{\prime }-1}---\left(8\right)$p(μ_j|Γ_j)＝N(μ_j；ρ^j，β^jΓ_j)    (9)$p\left({\Gamma }_j\right)=\frac{1}{Z}{\left|{\Gamma }_j\right|}^{(v^j-k-1)/2}{e}^{-\mathrm{tr}\left[{\Phi }^j{\Gamma }_j\right]/2}---\left(10\right)$可以求得新的参数分别为：λ′_j＝N_j+λ⁰β_j＝N_j+β⁰ρ_j＝(N_jμ_j+β⁰ρ⁰)/(N_j+β⁰)v_j＝N_j+v⁰Φ_j＝N_j∑_j+N_jβ⁰(μ_j-ρ⁰)(μ_j-ρ⁰)^T /(N_j+β⁰)+Φ⁰并且有：$<{\pi }_j>={\lambda }_j^{\prime }/\underset{k}{\Sigma }{\lambda }_k^{\prime }$<μ_j>＝ρ_j$<{\Gamma }_j>=v_j{\Phi }_j^{-1}$这就是对(π_j，μ_j，Γ_j)的估计；肤色分类器设原来的样本为Y，新来一个样本y，则p(y|Y)服从混合的t分布：$p\left(y\right|Y)=\underset{j=1}{\overset{m}{\Sigma }}<{\pi }_j>t_{{\omega }_j}\left(y\right|{\rho }_j,(({\beta }_j+1)/{\beta }_j{\omega }_j){\Phi }_j$ω_j＝v_j+1-d当样本数目趋于无穷大时，p(y|Y)趋于混合高斯分布；设y的状态为x，则：$j=\underset{j}{\arg \max }p(y,x=j|Y)$其中$p(y,x=j|Y)=<{\pi }_j>t_{{\omega }_j}\left(y\right|{\rho }_j,(({\beta }_j+1)/{\beta }_j{\omega }_j){\Phi }_j.$