一种从视频中提取视频关键帧的方法

摘要

本发明涉及一种从视频中提取视频关键帧的方法，属于图像处理技术领域。本发明的从视频中提取视频关键帧的方法，操作人员通过装置对感兴趣的场景进行视频拍摄。在拍摄过程中装置同步记录视频的视频帧、加速度信息、方位信息和尺度信息。拍摄完成后直接根据加速度信息、方位信息和尺度信息，对每一帧视频帧计算其权重。最后根据权重和期望的关键帧数目来提取期望的视频关键帧。本发明提出的从视频中提取视频关键帧的方法，可以用更小的计算量更准确的从视频中提取视频关键帧。

主权项

1.一种从视频中提取视频关键帧的方法，其特征在于，该方法包括以下步骤：（1）使用视频拍摄装置，拍摄现场场景，得到视频，设定视频中共有T帧视频帧，并记录每一拍摄时刻拍摄装置摄像头的缩放尺度信息；（2）使用与拍摄视频相同的频率，分别记录每一拍摄时刻拍摄装置在直角坐标系中沿x、y、z轴的线性加速度信息；（3）使用与拍摄视频相同的频率，用方位传感器记录每一拍摄时刻拍摄装备在上述直角坐标系中的方位信息；（4）根据上述记录的方位信息、线性加速度信息和尺度信息，从视频中提取关键帧，包括以下步骤：（4-1）提取视频中拍摄第k帧视频帧时的装置的特征信息，包括：第k帧视频帧拍摄时刻的拍摄装置方位信息o_k＝[o_x,k,o_y,k,o_z,k]^T，其中o_x,k表示第k帧视频帧拍摄时刻拍摄装置的滚转角度，即装置短边与水平面的夹角，o_y,k表示第k帧视频帧拍摄时刻拍摄装置的俯仰角度，即装置长边与水平面的夹角，o_z,k表示第k帧视频帧拍摄时刻拍摄装置的左右摇摆角度，即装置顶端指向的方向与正北方向的夹角；第k帧视频帧拍摄时刻的拍摄装置的加速度信息α_k＝[a_x,k,a_y,k,a_z,k]^T，其中a_x,k,a_y,k,a_z,k为装置分别在直角坐标系的x，y，z轴上的加速度，尺度信息s_k表示在拍摄第k帧时摄像头的缩放尺度；（4-2）采用离散余弦变换，对上述得到的视频进行特征信息提取，得到视频中第k帧视频帧的视频帧特征信息f_k；（4-3）重复步骤（4-1）和步骤（4-2），得到上述视频中每一帧视频帧的拍摄装置方位信息、拍摄装置的加速度信息、摄像头的缩放尺度和视频帧特征信息；（4-5）计算视频中每一帧视频帧的加速度权重ω_ak：ω_ak＝exp(-λ₁||a_k||₂)，其中λ₁为加速度调节参数，||a_k||₂代表加速度信息a_k向量的二范数，λ₁的取值范围可根据加速度的数量级确定，一般在0.1～1；（4-6）计算视频中每一帧视频帧的的尺度权重ω_sk：ω_sk＝exp(λ₂s_k)，其中λ₂为尺度调节参数，λ₂的取值范围为：0.5～1；（4-7）计算视频中每一帧视频帧的总权重ω_k：ω_k＝ω_akω_sk；（4-8）采用K均值算法，对上述视频中所有视频帧拍摄时刻的拍摄装置方位信息进行聚类，得到C个聚类中心，C为根据视频长度等信息选取的参数，C的取值范围为：1～T，T为视频中所有视频帧的帧数，并将所有的视频帧归类到与相应拍摄装置的方位信息最接近的聚类中心所属的类中；（4-9）建立一个优化目标函数如下：$J=\underset{k=1}{\overset{T}{\Sigma }}\underset{j=1}{\overset{C}{\Sigma }}{\omega }_k{\mu }_{\mathrm{kj}}^2{\left|\right|o_k-{\upsilon }_j^{\left(p\right)}\left|\right||}_2^2,$约束条件为：$\underset{j=1}{\overset{C}{\Sigma }}{\mu }_{\mathrm{kj}}=\mathrm{1,0}\le {\mu }_{\mathrm{kj}}\le 1$其中k为视频帧的序号，j为聚类中心的类别，j∈[1,C]，μ_kj是待求解的参数，υ_j聚类中心，p为当前迭代次数；（4-10）初始化时，设p=0，的初始值为第j个聚类中心的向量；（4-11）计算μ_kj：${\mu }_{\mathrm{kj}}=1/{\left|\right|o_k-{\upsilon }_j^{\left(p\right)}\left|\right|}_2^2$（4-12）根据上述计算结果，更新μ_kj的值，计算μ_kj：${\mu }_{\mathrm{kj}}={\mu }_{\mathrm{kj}}/\underset{j=1}{\overset{C}{\Sigma }}{\mu }_{\mathrm{kj}}$（4-13）根据步骤（4-12）计算得到的μ_kj，计算（4-14）设定一个迭代终止阈值ε，若则使p=p+1，并返回步骤（4-11），若则进行步骤（4-15），ε的取值范围为：0.01～0.001；（4-15）通过下式，得到一个初始关键帧集合K＝{t₁,t₁,…,t_C}：$t_j=\underset{k\in [1,T]}{\arg \max }{\mu }_{\mathrm{kj}},$其中j∈[1,C]；（4-16）计算上述初始关键帧集合K中任意两幅视频帧的视频帧特征信息的相似度$S_{t_i,t_j}={\left|\right|f_{t_i}-f_{t_j}\left|\right|}_2^2,$其中i，j∈[1，C]；（4-17）设定一个相似度阈值，遍历步骤（4-16）计算得到的初始关键帧集合K中的任意两帧，计算任意两帧的视频帧特征信息的相似度与相似度阈值进行比较，若则从上述初始关键帧集合K中删除t_j；若且则从上述初始关键帧集合K中删除t_i；若则在上述初始关键帧集合K中保留t_i和t_j，重复本步骤，得到的集合K即为视频关键帧，δ的取值范围为：0.2～0.3。