基于光流聚类的视频语义块分割方法

摘要

本发明提供了一种基于光流聚类的视频语义块分割方法，它根据同一运动模式下的一致运动区域检测的结果与光流信息结合，构建相关性矩阵，并进行谱聚类聚类，并将聚类得到的标号作为特征向量，对不同运动模式进行二次聚类。本发明可以很好地应用一致运动区域检测结果，有效地把握场景运动的相同运动模式下的相关信息与不同运动模式的全局信息。本发明对场景运动信息把握准确，对模式识别等相关应用准确率的提高有着重要作用。

主权项

一种基于光流聚类的视频语义块分割方法，其特征在于，包含以下步骤：步骤一：输入含有不同运动模式的视频的光流场，其中，所述视频共有T帧，每帧含M×N个像素,M、N分别为每帧图像的长宽，所述光流场共有T‑1个，每个光流场为两个大小为M×N的二维矩阵,一个为x方向，一个为y方向；步骤二：对于T‑1个光流场中的每一个光流场进行聚类，得到U个一致运动区域，U>T‑1；步骤三：将U个一致运动区域归类为S个一致运动区域组，S<U，并用一致运动区域组的标号标示每个一致运动区域作为区域类别标号；步骤四：利用步骤三得到的区域类别标号对M×N个像素里的每一个像素进行构建特征向量，共得到M×N个特征向量C₁,C₂,…,C_M×N；第m个像素的特征向量通过将m在每个光流场中所属的一致运动区域组的标号级联起来得到；步骤五：根据特征向量C₁,C₂,…,C_M×N，对M×N个点进行K‑means聚类得到分割出来的语义块；所述步骤三包括如下步骤：步骤a)设T‑1个光流场中，一共有U个一致运动区域，对每个一致运动区域进行给定序号，序号为1～U，并建立U×2维矩阵F；步骤b)对于每个一致运动区域，计算其平均光流，放入F中的相应位置；步骤c)建立大小为U×U的二维矩阵W；其中，W(i,j)为F(i,1)·F(j,1)+F(i,2)·F(j,2)，W(i,j)为第i个一致运动区域与第j个一致运动区域运动相关性，F(i,1)为第i个一致运动区域平均光流的x方向分量，F(j,1)为第j个一致运动区域平均光流的x方向分量，F(i,2)为第i个一致运动区域平均光流的y方向分量，F(j,2)为第j个一致运动区域平均光流的y方向分量，运算符号·表示乘号；步骤d)利用谱聚类方法对矩阵W进行聚类，形成S个聚类，并用这S个聚类对应的聚类标号标示每个一致运动区域，即用S个标号标示U个一致运动区域。