基于邻域与距离度量学的图像语义自动标注方法

摘要

本发明提供一种基于邻域与距离度量学的图像语义自动标注方法，包括通过引入变换矩阵，从训练集中随机取任意两幅图像求得距离度量；计算标注词的先验概率，对于训练集中的每个图像获取邻域，记录训练集中标注词出现与不出现的次数，计算条件概率；对于测试集中的每个图像获取邻域，通过计算图像系数得到标准词向量并输出。本发明无需事先确定标注词的个数比较现有技术智能化程度更高，标注结果更准确。而且，本发明的图像邻域完全是通过学所获得的距离度量得到的，精确度更高。

主权项

一种基于邻域与距离度量学习的图像语义自动标注方法，其特征在于：设训练集Tr为有标注词的图像集合{I₁,I₂,...,I_N1}，N1为训练集Tr中图像个数，测试集Te为无标注词的图像集合{I₁,I₂,...,I_N2}，N2为测试集Te中图像个数；任一幅图像I由M个视觉特征x¹,x²,...,x^M表示成M维向量I＝(x¹,x²,...,x^M)，L＝{k₁,k₂,...,k_m}是标注词集合，每幅图像I∈Tr都与对应，Y＝(y¹,y²,...,y^m)，Y称为图像I的标注词向量；y^j＝1表示图像I有标注词k_j，y^j＝0表示图像I没有标注词k_j，j的取值为1,2,…,m；训练集表示为Tr＝{(I_u,Y_u)|u＝1,2,...N1}，表示第j个标注词k_j属于图像I_u，表示第j个标注词k_j不属于图像I_u，Y_u为图像I_u的标注词向量；执行以下步骤，步骤一，从训练集中随机取任意两幅图像I_u,I_v∈Tr，求得距离度量Δ(I_u,I_v)，实现如下，令S＝A^TA，其中A是变换矩阵；对于训练集中的任意两幅图像I_u,I_v∈Tr，它们之间的距离Δ(I_u,I_v)是Δ(I_u,I_v)＝(I_u,I_v)^TS(I_u,I_v)＝(AI_u,AI_v)^T(AI_u,AI_v)其中，S＝A^TA是由变换矩阵A生成的度量矩阵，(I_u,I_v)^T是图像I_u与I_v向量之间欧几里得距离的转置，AI_u是A与I_u的内积，AI_v是A与I_v的内积，(AI_u,AI_v)是计算两个内积AI_u、AI_v的欧几里得距离后所获得的向量，(I_u,I_v)^TS(I_u,I_v)是(I_u,I_v)^T、S和(I_u,I_v)的内积；图像I_u选择训练集Tr中的另一图像I_v作为自己近邻的概率P_uv按下式计算，$P_{\mathrm{uv}}=\frac{w\left(I_v\right)\exp (-{\left|\right|{\mathrm{AI}}_u-{\mathrm{AI}}_v\left|\right|}^2)}{\underset{k\ne u}{\Sigma }w\left(I_k\right)\exp (-{\left|\right|{\mathrm{AI}}_u-{\mathrm{AI}}_k\left|\right|}^2)}$其中，w(I)＝P₂(I)/P₁(I)是待定向量，其中P₁(I)和P₂(I)分别是训练集Tr和测试集Te的概率密度函数，I_k表示训练集Tr中图像I_u以外的任意图像，则I_u、I_k相应的待定向量w(I_v)＝P₂(I_v)/P₁(I_v)、w(I_k)＝P₂(I_k)/P₁(I_k)；记训练集Tr中所有与I_u具有相同标注词的图像集合为Ω_u，则Ω_u中的图像都是图像I_u的近邻的概率P_u是$P_u=\underset{I_v\in {\Omega }_u}{\Sigma }{P}_{\mathrm{uv}}$概率P_u的加权均值f(A)如下，$f\left(A\right)=\underset{u=1}{\overset{N1}{\Sigma }}w\left(I_u\right)\log P_u$其中，I_u相应的待定向量w(I_u)＝P₂(I_u)/P₁(I_u)；按下式计算f(A)的梯度$\frac{\partial f}{\partial A}=2A\underset{u=1}{\overset{N2}{\Sigma }}w\left(I_u\right)(\underset{k\ne u}{\Sigma }{P}_{\mathrm{uk}}(I_u-I_k){(I_u-I_k)}^T-\frac{\underset{I_v\in {\Omega }_u}{\Sigma }{P}_{\mathrm{uv}}(I_u-I_v){(I_u-I_v)}^T}{\underset{I_v\in {\Omega }_u}{\Sigma }{P}_{\mathrm{uv}}})$利用梯度下降法求得变换矩阵A，由此得到图像距离Δ(I_u,I_v)；步骤二，对于标注词k_j∈L和训练集Tr中的每个图像I_u∈Tr，按照下式分别计算标注词的先验概率和：$P\left(k_j^{+}\right)=\frac{1+\underset{u=1}{\overset{N1}{\Sigma }}{y}_u^j}{1+N1},P\left(k_j^{-}\right)=1-P\left(k_j^{+}\right)$其中，和分别表示标注词k_j出现或不出现；步骤三，对于训练集Tr中的每个图像I_u∈Tr，利用步骤一所获得的距离度量Δ(I_u,I_v)，获得I_u的邻域δ(I_u)，实现如下，δ(I_u)＝{I_v|Δ(I_u,I_v)≤τ,I_v∈Tr}其中，τ是预设的邻域半径，τ＞0；步骤四，对于标注词k_j∈L，记录训练集Tr中标注词k_j出现与不出现的次数a_j和b_j；步骤五，计算条件概率$P\left(C_{k_j}\right|k_j^{+})=\frac{1+a_j}{M+\Sigma a_j},P\left(C_{k_j}\right|k_j^{-})=\frac{1+b_j}{M+\Sigma b_j}$其中，是训练集Tr中在图像I_u的邻域δ(I_u)内有标注词k_j的图像的个数，M是图像视觉特征的个数；步骤六，对于测试集Te中的任意图像I_u∈Te，获得图像I_u的邻域δ(I_u)，实现如下，首先，对于测试集中任意图像I_u∈Te，利用步骤一所获得的距离度量Δ(I_u,I_v)，获得I_u的邻域δ(I_u)，实现如下，δ(I_u)＝{I_v|Δ(I_u,I_v)≤τ,I_v∈Te}其中，τ是预设的邻域半径，τ＞0，I_v表示测试集Te中图像I_u以外的任意图像；步骤七，通过计算图像系数得到标准词向量并输出，实现如下，对于每个标注词k_j∈L，计算测试集中任一图像I_u∈Te的邻域δ(I_u)内所包含的图像中有标注词k_j的图像系数如果则，其中│δ(I_u)│表示邻域δ(I_u)内所有图像的数目；否则，如果则；否则，按照下式计算$\omega (I_u,k_j)=P\left(k_j^{+}\right|C_{k_j})=\underset{z\in \{+,-\}}{\arg \max }P\left(k_j^z\right)P\left(C_{k_j}\right|k_j^z)$其中，为计算获得的后验概率，如果新计算的ω(I_u,k_j)＞λ，则否则λ为预设阈值，λ∈(0,1)。