一种基于超图的图像混合摘要生成方法

摘要

本发明提供了一种基于超图的图像混合摘要生成方法，具体包括：步骤1：输入原始图像；步骤2：输入标签列表；步骤3：抽取视觉特征；步骤4：建立超图；步骤5：超图分割；步骤6：选取混合摘要。本发明使用的超图模型，不仅可以利用图像与图像、标签与标签之间的同质关系，同时还可以利用图像与标签之间的异质关系；本发明提出的选取图像摘要和标签摘要的方法，同时考虑了语义和视觉的代表性，选取的图像摘要和标签摘要能够较好地代表所属分组。

主权项

一种基于超图的图像混合摘要生成方法，其特征在于，包括以下步骤：步骤1、输入N张原始图像，每一张原始图像应满足以下条件：附带的标签个数不少于1个；步骤2、输入标签列表：2.1)输入原始图像的标签列表：每一张原始图像附带的标签的集合，称为该张原始图像的标签列表；2.2)从所有原始图像的标签列表中统计出独立标签集合L＝{l₁,l₂,...,l_j,...,l_M}，其中独立标签集合L中任意两个标签l都不重复，M为独立标签的个数；步骤3、抽取原始图像的视觉特征集合：抽取原始图像的视觉特征集合其中k表示k种视觉特征，表示第i张图像的第z种视觉特征；步骤4、建立超图，建立超图的过程包括以下两个步骤：4.1)建立超图的顶点集合V，顶点集合V包括V¹，V²：V¹表示第1种类型的顶点即原始图像的视觉特征集合V²表示第2种类型的顶点即原始图像的独立标签集合L；4.2)建立超图的超边集合E，超边集合E包括E¹，E²，E³：E¹表示第1种超边，连接的是V¹类型的顶点；E²表示第2种超边，连接的是V²类型的顶点；E³表示第3种超边，连接的是V¹和V²类型的顶点；所述的E¹，E²，E³分别定义如下：1)超边定义为其中，$e_{ix}^1{|}_{x=1}^N=\left\{\begin{array}{cc}1,& \left|\right|F_i-F_x|{|}_2\ge {\mathrm{TH}}^1\\ 0,& \left|\right|F_i-F_x|{|}_2<{\mathrm{TH}}^1\end{array}\right.$TH¹表示阈值，||·||₂表示2‑范数；的权重定义为：$w_i^1=\frac{1}{N}\underset{x=1}{\overset{N}{\Sigma }}(e_{ix}^1\times ||F_i-F_x|{|}_2)$2)超边定义为其中，$e_{jy}^2{|}_{y=1}^M=\left\{\begin{array}{cc}1,& d_{jy}\ge {\mathrm{TH}}^2\\ 0,& d_{jy}<{\mathrm{TH}}^2\end{array}\right.$TH²表示阈值，d_jy表示标签l_j和标签l_y之间的关联程度，定义为：$d_{jy}=\frac{\max \left(\log f\left(l_j\right),\log f\left(l_y\right)\right)-\log f\left(l_j,l_y\right)}{\log N-\min \left(\log f\left(l_j\right),\log f\left(l_y\right)\right)}$f(l_j)和f(l_y)表示N张原始图像中分别包含标签l_j和标签l_y的图像数量，f(l_j,l_y)表示N张原始图像中同时包括标签l_j和标签l_y的图像数量；的权重定义为：$w_j^2=\frac{1}{M}\underset{y=1}{\overset{M}{\Sigma }}{e}_{jy}^2\times d_{jy}$3)超边定义为其中的权重定义为：步骤5、使用超图谱分解技术对超图的顶点集合V进行分割，将超图的顶点集合V分割成若干组；步骤6、选取摘要，选取摘要的过程包括以下两个步骤：6.1)在每一组中选取m个V²类型的顶点对应的独立标签，作为该组的标签摘要集合T；6.2)在每一组中选取n个V¹类型的顶点对应的原始图像，作为该组的图像摘要集合I。