一种具有尺度无关特性的快速多模态图像协同分割方法

摘要

本发明公开了一种具有尺度无关特性的快速多模态图像协同分割方法，该方法包括：步骤一、打开输入的图像组文件，对当前输入图像组中图像利用SLIC算法依次提取个超像素，提取各张图像的超像素，计算所述超像素的颜色特征、区域协方差矩阵；进行图像的前景、背景区域初始化；步骤二、构建超像素多模态特征和前景区域、背景区域模型，步骤三、优化求解。本发明设计了简单实用的基于超像素的多模态特征融合与度量的方法，进一步将多模态特征引入图像协同分割的能量方程，能够在保证较高的正确率的同时，提高算法的运行速度。此外，由于多模态特征的引入，也极大地扩展了图像协同分割所能处理的场景，对复杂图像背景具有一定鲁棒性。

主权项

1.一种具有尺度无关特性的快速多模态图像协同分割方法，其特征在于，该方法具体包括以下步骤：步骤一、打开输入的图像组文件，对当前输入图像组中图像利用SLIC算法依次提取K个超像素，记为集合$S^{\left(t\right)}=\{S_1^{\left(t\right)},S_2^{\left(t\right)},...,S_i^{\left(t\right)},...,S_k^{\left(t\right)}\},$其中，代表第t张图像的第i个超像素，K∈N,t＝1,2，提取各张图像的超像素，计算所述超像素的颜色特征、区域协方差矩阵；进行图像的前景、背景区域初始化，具体处理为；对于一个给定的超像素计算其颜色特征${\bar{c}}_p=\frac{1}{\left|S_p\right|}{\Sigma }_{j\in S_p}{c}_j,$其中，S_p为超像素p中所包含像素的集合，|S_p|为超像素p中像素的个数，c_i=[R_j，G_j，B_j]^T是像素j的RGB颜色值；对于一个给定的超像素集合计算其区域协方差矩阵V_P，V_p=(F_p-μ(F_p))^T(F_p-μ(F_p))，其中，是超像素p的特征矩阵，f_j，p=[x_j，y_j，R_j，G_j，B_j]^T为超像素p中第j个像素的特征向量，像素坐标为(x，y)，μ(·)是特征矩阵的均值，T为向量的转置，采用PatchMatch算法，获得两幅图像中各自相应的前景区域和背景区域步骤二、在获得超像素的颜色特征、区域协方差矩阵的基础上，使用联合聚类方法构建超像素多模态特征和前景区域、背景区域模型，进一步使用BP算法完成图像协同分割;对于集合S⁽¹⁾、S⁽²⁾使用非相似性度量D(p，q)进行联合聚类，形成C个簇，其中，$D(p,q)=:\lambda {\left|\right|\overline{c_p}-\overline{c_q}\left|\right|}_2+(1-\lambda ){\left({\Sigma }_{f=1}^5{\ln }^2{\rho }_f(V_p,V_q)\right)}^{\frac{1}{2}},$||·||₂为欧式距离，ρ_f(V_p，V_q)为区域协方差矩阵V_p和V_q第f个特征值，参数0≤λ≤1为权重系数，分别代表超像素p，q的颜色均值；以C个簇的中心作为一个字典γ={C₁，…，C_K}，将超像素的多模态特征表示为一个基于字典γ非归一化的直方图，记为H_p；对前景区域和背景区域分别统计其所包含的超像素的联合聚类的分布情况，统计前景区域和背景区域中各个超像素各自所属聚类中心形成统计直方图，分别作为前景区域模型H_fg和背景区域模型步骤三，利用上述结果，建立一个不规则图，超像素作为不规则图的节点,结合输入图像组中每幅图像中超像素的空间邻接矩阵M^(t)，建立节点间的连接边以及边上的权重,将能量方程$E_{\cos \mathrm{eg}}\left(X\right)={\Sigma }_{i=1}^2({\Sigma }_p{\omega }_{p,i}{x}_{p,i}+{\Sigma }_{p~q}{\omega }_{\mathrm{pq},i}|x_{p,i}-x_{q,i}\left|\right)+{\Sigma }_{\mathrm{global}}\left(X\right),$转化为不规则图的最大流/最小割问题，使用BP算法进行求解。