基于稀疏组群结构的图像标注方法

摘要

本发明公开了一种基于稀疏组群结构的图像标注方法。包括如下步骤：1)对图像数据集进行特征提取；2)对每个图像数据集选取n个数据作为训练集，其余作为测试集，使每个标注单词都出现在训练集合中；3)利用稀疏组群结构对图像进行特征选择；4)利用图像标注单词之间的关系进一步优化标注结果。本发明充分利用了图像异构特征的组群性质来对图像特征进行筛选，利用图像标注单词之间的相关性来优化图像标注，比传统标注方法产生的标注结果更准确。

主权项

1.一种基于稀疏组群结构的图像标注方法，其特征在于包括如下步骤：1)对图像数据集进行特征提取；2)对每个图像数据集选取n个数据作为训练集，其余作为测试集，使每个标注单词都出现在训练集合中；3)利用稀疏组群结构对图像进行特征选择；4)利用图像标注单词之间的关系进一步优化标注结果；所述的对图像数据集进行特征提取的步骤为：1)对图像数据进行特征提取，特征包括全局特征和局部特征，全局特征包括颜色、纹理、形状，局部特征包括SIFT、形状上下文；2)将每幅图像用多种异构特征向量的组合来表示，即，一幅图像表示为(x_i，y_i)∈R^p×{0，1}^C，其中x_i＝(x_i1，...，x_ip)^T∈R^p表示图像的特征向量，p表示特征维数，y_i＝(y_i1，...，y_iC)^T∈{0，1}^C是相应的标注向量，C表示数据集的标注单词总数，y_ij＝1表示第i幅图像有第j个标注，否则，y_ij＝0，假设从图像数据中提取G类特征，d_g表示第g类特征的维数，g∈{1，...，G}，那么图像的特征向量重新表示为$x_i={(x_{i,1}^T,...,x_{i,G}^T)}^T;$所述的利用图像标注单词之间的关系进一步优化标注结果的步骤为：1)假设给定n个有标注单词的图像样例，X＝(x₁，x₂，...，x_n)∈R^p×n，Y＝(y_x，y₂，...，y_n)∈R^c×n，分别表示图像的特征向量和标注单词向量；2)运用典型相关分析选择向量w_x和w_y使X和Y之间相关性最大，即求解以下最优化问题：$(w_x,w_y)=\underset{w_x,w_y}{\arg \max }\left\{\mathrm{corr}(w_x^{T}X,w_y^{T}Y)\right\}$$\mathrm{corr}(w_x^{T}X,w_y^{T}Y)=\frac{w_x^{T}X{Y}^T{w}_y}{\sqrt{\left(w_x^{T}X{X}^T{w}_x\right)\left(w_y^{T}Y{Y}^T{w}_y\right)}}$解得相关向量w_x和w_y；3)优化的标注结果其中是前一步通过回归模型解得的，B＝T^-1DT，T是一个C×C的矩阵，其中的每一行是运用典型相关分析得到的典型相关坐标，即D是一个C×C的对角矩阵D＝diag(d₁，d₂，...，d_C)，其对角线上的元素通过典型相关分析以后的X和Y的协方差得到：$d_k=\frac{{\rho }_k^2}{{\rho }_k^2+\gamma (1-{\rho }_k^2)}$其中${\rho }_k=\mathrm{corr}(w_{\mathrm{xk}}^{T}X,w_{\mathrm{yk}}^{T}Y),$k＝1，2，...，C，γ＝p/n。