基于时空关系的互联网视频片段间关系识别方法

摘要

本发明涉及一种基于时空关系的互联网视频片段间关系识别方法，包括以下步骤：对视频库中的视频片段，检测出其所包含的所有镜头，检测出每个镜头中的每一个关键帧，并描述其颜色特征、轮廓特征和局部极值点个数；基于关键帧的图像特征信息相似性得出两个关键帧之间的相似性，根据关键帧相似性信息计算出镜头之间的相似性，根据镜头间相似性，归纳出视频片段间的关系。本发明为用户提供了一种网络视频库浏览和查询引导的工具，不受外界因素的限制和干扰。该系统能在没有附加条件的指引下快速浏览所有的视频信息，同时以直观的网状关系图展示出视频间的相互关系，引导用户直观而快速地查询所需的内容。

主权项

1.一种基于时空关系的互联网视频片段间关系识别方法，其特征在于，包括以下步骤：步骤一：对视频库C中的视频片段C_i，检测出其所包含的所有镜头步骤二：对于每个镜头检测出其关键帧；步骤三：对每个关键帧用颜色直方图去描述该关键帧的颜色特征，利用GIST算法求出该关键帧的轮廓特征利用SIFT算法求出该关键帧的局部极值点个数步骤四：对于视频库C中任意两个视频片段C_i和C_p，计算其关键帧和之间的相似性能量函数其中，为颜色直方图的距离，为GIST特征之间的不一致性，为SIFT特征之间的不一致性，α、β和γ分别为这三个变量的系数，取值范围为0-1.0；的定义如下：$\omega (f_i^{\mathrm{jk}},f_p^{\mathrm{qt}})=-\exp (1/\max (m_i^{\mathrm{jk}}/m_p^{\mathrm{qt}},n_i^{\mathrm{jk}}/n_p^{\mathrm{qt}}))$其中，和分别表示关键帧匹配关键帧时所匹配的特征点个数和关键帧匹配关键帧时所匹配的特征点个数；然后，设置一个阈值，根据计算出的关键帧能量函数的值是否小于这个阈值，判定关键帧和是否相似;步骤五：根据关键帧对和之间的对应关系，定义镜头S_i和S_j间的相似度能量函数为：$\eta (S_i,S_j)=\underset{k=1}{\overset{T_1}{\Sigma }}s(f_i^{\mathrm{jk}},\sigma \left(f_i^{\mathrm{jk}}\right))+\underset{t=1}{\overset{T_2}{\Sigma }}s(f_p^{\mathrm{qt}},\sigma \left(f_p^{\mathrm{qt}}\right))$其中，s(.)为关键帧间相似性能量函数，和分别为关键帧和所对应的相似关键帧，T₁为镜头S_i和S_j比对时所找到的相似关键帧对数，T₂为镜头S_j和S_i比对时所找到的相似关键帧对数；然后，设置一个阈值，根据镜头间的相似度能量函数的值是否小于这个阈值，判定两个镜头间是否相似；步骤六：根据镜头间相似性，得到一个描述该视频片段整体特征信息的相似性序列，归纳出视频片段间是否具有前后、包含结构性关系：对于视频片段对C_i和C_j，如果C_i的前半部分镜头和C_j的后半部分镜头相对应，则C_i在C_j之后；如果C_i的后半部分镜头和C_j的前半部分镜头相对应，则C_i在C_j之前；如果C_i的所有镜头和C_j的中间部分镜头相对应，则C_i包含于C_j之中；如果C_i的中间部分镜头和C_j的所有镜头相对应，则C_i包含C_j；如果具有前后、包含结构性关系，则将视频片段对C_i和C_j之间的关系变量Re_ij赋值为当前关系，并对它们之间的相似性变量ρ_ij赋一个对应的值；ρ_ij的赋值规则为：步骤七：设置一个旋转关系阈值，对于镜头间相似性能量函数大于旋转关系阈值但没有结构性关系的视频片段对，判定为同一场景，抽取其中相似的镜头，并利用SFM算法估计拍摄该镜头时的摄像机位置及视角，将视频片段对Ci和C_j之间的关系变量Re_ij赋值为旋转关系，并对它们之间的相似性变量ρ_ij赋值0.8；步骤八：对于不具有结构性关系也不具有旋转关系的视频片段对C_i和C_j，对关键帧做重要性区域检测，采用基于直方图对比的显著性检测方法分割出每个关键帧和的特征区域和步骤九：对于视频片段对C_i和C_j中的两个特征区域和采用步骤三和步骤四中关键帧相似性对比的方法，对区域和进行比对，求出关键帧中特征区域的相似性，将视频片段对C_i和C_j之间的关系变量赋值为弱关系，并对它们之间的相似性变量ρ_ij赋值：${\rho }_{\mathrm{ij}}=0.7*\underset{k=1}{\overset{K}{\Sigma }}\underset{t=1}{\overset{T}{\Sigma }}\exp (-s(R_i^{\mathrm{jk}},R_p^{\mathrm{qt}}))/(K.T)$其中，s(,)为步骤四中定义的相似性能量函数，K和T分别为视频片段C_i和C_j对应的总的关键帧个数。