基于混合图模型的图像序列类别标注方法

摘要

本发明公开了一种基于混合图模型的图像序列类别标注方法，包括：对图像序列进行超像素分割，对超像素进行特征描述；对连续两帧图像进行帧间超像素的最近邻匹配；基于单帧图像超像素间空间域的邻接关系和多帧图像超像素间时间域的匹配关系，使用混合图模型对图像序列类别标注问题进行全局优化建模；该全局优化问题使用线性方法求解，得到连续多帧图像超像素的类别标签；本发明构建的混合图模型与以往图模型相比，既可以描述单帧图像中超像素之间的一阶的、对称的关系，也可以描述连续两帧图像超像素之间的高阶的、非对称的关系，并通过线性方法求解，有效地赋予了图像序列每个超像素一个时域上一致性更好、准确率更高的类别标签。

主权项

一种基于混合图模型的图像序列类别标注方法，其特征在于，包括如下步骤：(1)输入图像序列，使用SLIC算法对图像序列中每一帧图像进行超像素分割，获得超像素p，将得到的第t帧图像的第i个超像素记为p_i^t；(2)使用Kernel描述符对步骤1中获得的超像素进行特征描述，得到超像素的特征向量，将超像素p_i^t的特征向量记为f_i^t；(3)采用KNN算法对步骤1中连续两帧图像的超像素进行时间域的匹配；(4)构建基于混合图模型的全局优化问题，该混合图模型由顶点、两种简单边和一种超边组成；该混合图模型的顶点的集合记为ν，每一个顶点v表示一个超像素的类别标签；该混合图模型的第一种简单边代表顶点ν的先验信息，该先验信息用势能函数E_E(f_c)描述；该混合图模型的第二种简单边代表单帧图像空间域上邻接的顶点之间对称的、成对的关系，这种关系用势能函数E_S(f_c)描述；该混合图模型的超边代表连续帧图像时间域上匹配的顶点之间不对称的、高阶的关系，这种关系用势能函数E_H(f_c)描述；所述势能函数E_E(f_c)的定义为：$E_E\left(f_c\right)=\underset{\exists \mathrm{seed}\in v}{\Sigma }{|f_c\left(v\right)-{\bar{f}}_c\left(v\right)|}^2,---\left(1\right)$其中，表示的是存在类别种子点的超像素v，种子点通过人工标注部分像素点类别标签的方法获得；f_c是一个|ν|维的列向量，由f_c(v),v∈ν组成，其中f_c(v)为分类函数，其值表示顶点v属于类别c的置信度，取值范围在[0,1]之间；表示超像素v属于类别c的置信度的观测值，该观测值通过卷积递归神经网络分类器获得，c∈{1,2,...,C}，C表示类别总数；所述势能函数E_S(f_c)的定义为：$E_S\left(f_c\right)=\underset{v\in \nu }{\Sigma }\underset{u\in N\left(v\right)}{\Sigma }{e}_S(u,v),---\left(2\right)$其中，e_S(u,v)为一条第二种简单边，即单帧图像内相邻两个超像素u,v之间的关系，定义为：e_S(u,v)＝w_s(u,v)·||f_c(u)‑f_c(v)||²，   (3)其中f_c(u)∈[0,1]为超像素u属于类别c的置信度，该置信度通过递归卷积神经网络学习获得，w_s(u,v)为超像素u,v之间简单边的权重：$w_s(u,v)=\exp (-\frac{{\left|\right|f_v-f_u\left|\right|}^2}{{{\sigma }_s}^2}),---\left(4\right)$σ_s是根据实验经验设置的常数；所述势能函数E_H(f_c)的定义为：$E_H\left(f_c\right)=\underset{e\in {ϵ}_H}{\Sigma }{e}_H\left(e\right),---\left(5\right)$其中，ε_H表示混合图模型中超边的集合，e_H(e)为一条超边e∈ε_H描述的帧间时域上匹配的多个超像素之间的关系，定义为：$e_H\left(e\right)=\underset{u,v\in \nu }{\Sigma }\frac{w_H\left(e\right)H(u,e)H(v,e)}{\delta \left(e\right)}\times {(\frac{f\left(u\right)}{\sqrt{d\left(u\right)}}-\frac{f\left(v\right)}{\sqrt{d\left(v\right)}})}^2,---\left(6\right)$其中，每一条超边e∈ε_H的权重为w_H(e)，定义为：$w_H\left(e\right)=\underset{u\in M\left(v\right)}{\Sigma }{w}_s(u,v),---\left(7\right)$M(v)表示在时序上与超像素v匹配的超像素的集合，Η为关联矩阵，该矩阵的大小为|ν|×|ε_H|，Η(v,e)的定义为：$H(v,e)=\left\{\begin{array}{cc}1,& v\in e\\ 0,& v\notin e\end{array}\right.,---\left(8\right)$Η(u,e)的定义为：$H(u,e)=\left\{\begin{array}{cc}1,& u\in e\\ 0,& u\notin e\end{array}\right.,---\left(9\right)$d(v)为超图中顶点v∈ν的度，定义为：$d\left(v\right)=\underset{e\in {ϵ}_H}{\Sigma }{w}_H\left(e\right)·H(v,e),---\left(10\right)$d(u)为超图中顶点u∈V的度，定义为：$d\left(u\right)=\underset{e\in E_H}{\Sigma }{w}_H\left(e\right)·H(u,e),---\left(11\right)$δ(e)为超边e∈ε_H的度，定义为：$\delta \left(e\right)=\underset{v\in \nu }{\Sigma }H(v,e).---\left(12\right)$该混合图模型的全局优化问题描述如下：$\underset{f_c}{\arg \min E_E}\left(f_c\right)+{\lambda }_1{E}_S\left(f_c\right)+{\lambda }_2{E}_H\left(f_c\right),---\left(13\right)$其中，λ₁和λ₂为调整三项势能函数之间比例关系的权重；(5)对每一个类别c求解公式(13)中的向量f_c，得到顶点v∈ν属于类别c的置信度，具体包括以下子步骤：(5.1)将全局优化函数，公式(13)矩阵化为：其中，S为种子点标识矩阵，它是一个|ν|×|v|维的对角矩阵，定义如下$S(i,i)=\left\{\begin{array}{cc}1,& \exists \mathrm{seeds}\in v_i\\ 0,& \mathrm{otherwise},\end{array}\right.---\left(15\right)$该对角矩阵仅在存在目标假设种子点的超像素_i对应的位置S(i,i)值为1，其它位置值为0，W_s是一个K×|ν|的稀疏矩阵，其每一行代表一对空间相邻的两个超像素u,v之间的差运算，分别用与作为对应超像素点u,v位置的权重，是超图的拉普拉斯矩阵，I是一个|ν|×|ν|的单位阵，Θ＝D_v^‑1/2HW_HD_e^‑1H^TD_v^‑1/2，D_v是一个|ν|×|ν|的对角阵，每个对角线上的元素为超图中对应的顶点的度d(v)，D_e是一个|ε_H|×|ε_H|的对角阵，每个对角线上的元素为超图中对应的超边的度δ(e)，W_H是一个|ε_H|×|ε_H|的对角阵，每个对角线上的元素为超图中对应的超边的权重w_H(e)；(5.2)对全局优化函数公式(14)中的每个类别c的置信度f_c，进行线性优化，利用一阶导数等于零得到f_c的全局最优解：(6)将步骤5中所有类别c∈{1,2,...,C}求解得到的向量用矩阵F＝(f₁,f₂,...,f_C)表示，每个顶点v∈ν的类别标签由该顶点的类别置信度最大值决定，如下所示：$L=\underset{c}{\arg \max F},---\left(17\right)$其中，L为每个顶点类别标签组成的列向量。