基于概率图模型的非参数化的RGB-D场景理解方法

摘要

本发明公开了一种基于概率图模型的非参数化的RGB-D场景理解方法。将待标注图像与训练集中已标注的图像进行全局特征匹配，构建待标注图像相似图像的检索集；将待标注图像及其相似图像检索集中的图像进行过分割，生成超像素，并对生成的超像素进行特征提取；计算训练集中各个类别所占的比例，构建稀有类别的词典，与相似图像的检索集一起作为待标注图像的标签源；将待标注图像中的每个超像素与该图像标签源中的所有超像素进行特征匹配；构建概率图模型，利用马尔科夫随机场将最大化后验概率转化成最小化能量函数的优化问题，利用图割方法求解该问题得到待标注图像每个超像素的语义标注。本发明整合了全局和局部的几何信息，提高了RGB-D场景理解的性能。

主权项

一种基于概率图模型的非参数化的RGB‑D场景理解方法，其特征在于，包括如下步骤：(1)输入待标注图像，利用GIST特征、颜色直方图、法向量直方图三种全局特征将待标注图像与训练集中的图像进行特征匹配，构建待标注图像的相似图像检索集；(2)将步骤1输入的待标注图像及得到的相似图像检索集中的图像进行过分割，生成超像素，并利用梯度核描述符、颜色核描述符以及深度梯度核描述符三种核描述符(Kernel descriptor)提取超像素的特征f_i，其中i表示超像素的索引值；计算训练集中各个语义类别所占的比例，分别对各个稀有类别的超像素进行K‑means聚类，取每个聚类的中心构建该稀有类别的词典；将所有稀有类别的词典与步骤1得到的相似图像检索集一起作为待标注图像的标签源；(3)将步骤2得到的待标注图像中的每个超像素的特征与该图像标签源中的所有超像素的特征进行双向特征匹配，生成匹配集匹配度用基于协同表示分类(CRC)的残差度量；其中P，Q分别表示待标注图像中所有超像素的数量和标签源中所有超像素的数量；(4)把步骤2得到的超像素的特征作为节点，将具有共同边界的超像素相连，构建概率图模型，将求解最大化后验概率的问题转化成求解最小化能量函数的马尔科夫随机场(MRF)，其描述如下：$E\left(L\right)=\underset{i}{\Sigma }{\psi }_{\mathrm{data}}\left(l_i\right)+\lambda \underset{i,j}{\Sigma }{\psi }_{\mathrm{smooth}}(l_i,l_j)---\left(1\right)$其中，L表示待标注图像所有超像素的标签集，ψ_data是马尔科夫随机场(MRF)的数据项，ψ_smooth是马尔科夫随机场(MRF)的平滑项，l_i和l_j分别表示索引值为i和j的超像素的语义标签，λ是平衡系数；(5)根据步骤3得到的匹配结果构建马尔科夫随机场(MRF)的数据项ψ_data，其描述如下：${\psi }_{\mathrm{data}}(l_i=c)=\left\{\begin{array}{cc}{\left|\right|f_i-F_c{\alpha }_c^{*}\left|\right|}_2& \begin{array}{cc}\mathrm{if}& c\in C\left(S_i\right)\end{array}\\ \beta & \mathrm{otherwisr}\end{array}\right.---\left(2\right)$其中s_i表示索引值为i的超像素，F_c表示步骤4得到的匹配集m_i中标签为c的超像素的核描述符按列排列构建得到的测量矩阵，为测量矩阵F_c对应的系数矩阵，C(s_i)表示匹配集m_i中语义类别集合，β是一个自定义的比大的常数，用来惩罚的情况；根据图像超像素邻域间的平滑关系构建马尔科夫随机场(MRF)的平滑项ψ_smooth，其描述如下：其中$\delta (c\ne c^{\prime })=\left\{\begin{array}{cc}1& c\ne c^{\prime }\\ 0& c=c^{\prime }\end{array}\right.---\left(4\right)$其中表示相邻超像素表面法向量间的平滑性，表示相邻超像素的核描述符之间的平滑性。