基于属性层次的视音频融合方法

摘要

本发明涉及一种基于属性层次的视音频融合方法。包括以下步骤：1】在Hollywood2行为数据库基础上任意抽取4组行为数据建立实验数据库，实验数据库包括训练集和测试集；对训练集和测试集的视音频进行预处理；2】对预处理后的训练集数据进行属性特征提取；3】利用提取到的属性特征对测试集进行度量，得到分类结果。本发明提出了一种可以提高识别率，同时增强应用的可扩展性的基于属性层次的视音频融合方法。

主权项

一种基于属性层次的视音频融合方法，其特征在于：包括以下步骤：1】在Hollywood2行为数据库基础上任意抽取4组行为数据建立实验数据库，所述实验数据库包括训练集和测试集；对训练集和测试集的视音频进行预处理，预处理方法具体如下：1a]提取训练集与测试集的视频特征；所述视频特征采用密集轨迹特征和运动边界特征；并根据密集轨迹特征和运动边界特征组成视频数据；所述视频数据在帧的层次上进行密集采样，以保证特征点均等的覆盖所有的空间位置；1b]提取训练集与测试集的音频特征；所述音频特征在声音帧的层次上进行提取；一个音频会由多个特征进行联合表示，将多个特征组成一个矩阵；所述矩阵为音频数据；1c]聚类处理；对所有训练集中的视频特征和音频特征分别进行k‑means聚类，其结果为预处理后的训练集数据，具体公式如下：$C^A:\{c_1^A,c_2^A,...,c_p^A\}$$C^V:\{c_1^V,c_2^V,...,c_p^V\}$其中，由于视觉信息量远大于听觉信息量，故而q>p；2】对预处理后的训练集数据进行属性特征提取；根据得到的预处理后的训练集数据，提出以下的目标表达式，通过对它进行优化，以得到有监督聚类后的视音频弱行为描述包，即若干聚类中心。$\underset{W,C^A,C^V}{\min }\underset{i=1}{\overset{n}{\Sigma }}{\left|\right|W\left[\begin{array}{c}{\phi }^A\left(x_i^A\right)\\ {\phi }^V\left(x_i^V\right)\end{array}\right]-y_i\left|\right|}_2^2+{\beta }_1\theta ({\left\{x_i^A\right\}}_{i=1}^n,C^A)+{\beta }_2\theta ({\left\{x_i^V\right\}}_{i=1}^n,C^V)+\alpha {\left|\right|W\left|\right|}_{\mathrm{2,1}}$其中，和是视音频训练行为描述包；C^V和C^A是视音频弱行为描述包；W是相应的线性分类超平面；β₁，β₂以及α是平衡系数；对W采取l_2,1‑范式约束，使其既能满足能量约束，也同时能满足稀疏约束；其中的函数用于获取聚类中心，即弱行为描述包，其具体如下：$\theta ({\left\{x_i\right\}}_{i=1}^m,C)=\underset{i=1}{\overset{m}{\Sigma }}\underset{j=1,...,n}{\min }\left\{H(x_i,c_j)\right\}$其中，是相应的训练行为包；H(x_i,c_j)用以测量两包之间的豪斯多夫距离；对于每个x_i需要找出与它豪斯多夫距离最小的聚类中心c_j，通过对所有最短距离的求和及不断改变C来获得局部最小值；3】利用提取到的属性特征对测试集进行度量，得到分类结果，具体方法如下：3a]获取相似度；用豪斯多夫距离测量学习得到的弱行为描述包和测试视频行为包之间的相似度，具体如下：$\phi \left(x_i^A\right)=[s(x_i^A,c_1^A),s(x_i^A,c_2^A),...,s(x_i^A,c_p^A)]$$\phi \left(x_i^V\right)=[s(x_i^V,c_1^V),s(x_i^V,c_2^V),...,s(x_i^V,c_p^V)]$上式中，和用以度量待检测行为包和每个弱行为描述包间的相似度，并且是已进行归一化后的距离，而下式用于度量高斯分布下两包的相似度：s(x_i,c_j)＝exp(‑H(x_i,c_j)²/δ)其中，δ是在所有弱行为描述包间的平均豪斯多夫距离；3b]获取分类结果；将上述获取的相似度度量结果和和优化目标表达式所得到的超平面W共同带入下式：$y_i=W\left[\begin{array}{c}{\phi }^A\left(x_i^A\right)\\ {\phi }^V\left(x_i^V\right)\end{array}\right]$其中，y_i为对于测试视频的分类结果。