发明名称 一种有学能力之影像内容检索方法与装置
摘要 一种有学能力之影像内容检索方法与装置,可让系统即时地根据使用者不同的问题,正确地从查询影像中检索出使用者想要的目标影像。包括:产生一第一部份复数个训练影像(正向或负向)及一第二部分的测试影像资料库;从第一部份的训练影像中,产生第一部份的所有正向询例特征;并利用前述第二部分的测试影像资料库产生一暂时的视觉意念;再利用负向训练影像对暂时标的视觉意念作修正,以产生一最后期望的标的视觉意念,并利用此最后期望的标的视觉意从影像资料库中检索出使用者想要的目标影像。
申请公布号 TW463108 申请公布日期 2001.11.11
申请号 TW088121139 申请日期 1999.12.03
申请人 财团法人工业技术研究院 发明人 谢君伟;江政钦;黄雅轩
分类号 G06F17/30;G06F15/18 主分类号 G06F17/30
代理机构 代理人
主权项 1.一种有学习能力之影像内容检索方法,包括: (a)产生复数个训练影像; (b)从该训练影像之正向训练影像中,利用一测试影 像资料库产生一暂时的视觉意念; (c)利用该训练影像之负向训练影像对该暂时的视 觉意念作修正,以产生一最后期望的标的视觉意念 ;以及 (d)根据所找到的该最后期望的标的视觉意念,从一 影像资料库中检索出一组目标影像。2.如申请专 利范围第1项所述之方法,其中该步骤(a)中之该复 数个训练影像(training images)包括一第一部分与一 第二部分,且该第一部份为一使用者所给定的该正 向训练影像或进一步包括至少一负向训练影像;第 二部份为根据一使用者之一前一个查询所找到的 该测试影像资料库;且更进一步地包括将该第一部 份之训练影像标示为该正向或负向训练影像,以及 在步骤(b)中如何计算第一部份训练影像中的每一 询例特征之第一优越函数(goodness function),该第一 优越函数之计算系根据所有的该第一部份之正向 训练影像是否能被排在前N个检索结果内之情况来 决定,该情况是以该第二部分根据该使用者之该前 一个查询所找到的复数个影像当作该测试影像资 料库。3.如申请专利范围第1项所述之方法,其中步 骤(c)包括如何计算由步骤(b)所得的该暂时的视觉 意念(preliminary target concept)的询例特征之第二优越 函数,该第二优越函数之计算系根据所有的该第一 部份之负向训练影像是否不被排在前N个检索结果 内之情况来决定,该情况是以该第二部分根据使用 者该前一个查询所找到的复数个影像当作该测试 影像资料库。4.如申请专利范围第1项所述之方法, 其中该步骤(a)中之复数个训练影像(training images) 包括一第一部份与一第二部份,且该第一部份为该 使用者所给定的一训练影像;该第二部份为根据该 使用者之一前一个查询所找到的复数个影像当作 该测试影像资料库;该第一部份的该训练影像系由 该使用者标示为正向或负向训练影像。5.一种有 学习能力之影像内容检索方法,包括: (a)产生复数个训练影像以包括一第一部份的训练 影像及一第二部分的测试影像资料库; (b)从该第一部份的训练影像中,产生一组第一部份 的该训练影像的所有询例特征; (c)将该第一部份的训练影像的所有询例特征标示 为正向或负向询例特征; (d)若一训练影像被选为一正向训练影像(positive training image),则该正向训练影像中至少含有一正向 询例特征;如果该训练影像被标示为负向训练影像 ,则该训练影像不能有任何的正向询例特征; (e)从该第一部份之该正向训练影像与依该第一部 份之正向询例特征来查询该第二部份之该测试影 像资料库,以产生一暂时的视觉意念; (f)利用该第一部份之该负向训练影像与从该暂时 的视觉意念之询例特征来查询该第二部份之该测 试影像资料库,以产生一最后期望的标的视觉意念 ;以及 (g)根据所找到的该最后期望的标的视觉意念,从一 影像资料库中检索出一组目标影像。6.如申请专 利范围第5项所述之方法,其中步骤(e)包括(1)计算 该第一部份之正向训练影像中的正向询例特征与 第一部份之每一正向训练影像间的第一距离;(2)计 算该第一部份正向训练影像中的正向询例特征与 该第二部份之测试影像资料库间每一影像Bk的第 二距离;(3)计算所有第二距离小于在(1)所计算的第 一距离之影像个数;(4)如果该个数小于一筛选値, 则对该第一部份之正向训练影像作标示,如果第一 部份之正向训练影像皆被标示,则在(1)中之正向询 例特征视为该暂时视觉意念之集合内之成员。7. 如申请专利范围第6项所述之方法,其中步骤(f)包 括(1)计算该暂时视觉意念集合内的正向询例特征 与该第一部份之负向训练影像间的第三距离;(2)计 算该正向询例特征与该第二部份之测试影像资料 库间之影像Bk的第四距离;(3)计算所有第四距离小 于在(1)所计算的第三距离之影像个数;(4)如果该个 数大于一筛选値,则对该第一部份之负向训练影像 作标示,如果第一部份之负向训练影像皆被标示, 则在(1)中之正向询例特征视为该最后期望的标的 视觉意念之集合内成员之一。8.如申请专利范围 第5项所述之方法,其中该训练影像(training images)包 括两部分:第一部份,为使用者所给定的正向训练 影像或进一步包括至少一负向训练影像;该第二部 份为一前一个查询所找到的该测试影像资料库;且 更进一步地包括将该第一部份之训练影像标示为 该正向或负向训练影像。9.一种有学习能力之影 像内容检索装置,包括: (a)一查询单元,以从一影像资料库查询复数个影像 ; (b)一询例特征产生器,用来将查询所给定的一训练 影像产生一组询例特征; (c)一第一标示装置,用以标示该训练影像为正向或 负向训练影像; (d)一测试影像资料库产生器,利用一前一个查询结 果当作一测试影像资料库;以及 (e)一视觉意念学习单元,根据该训练影像和该测试 影像资料库,学习到该最后期望的标的视觉意念, 并利用该最后期望的标的视觉意念从该影像资料 库中检索出一组目标影像。10.如申请专利范围第9 项所述之装置,进一步包括一第二标示装置,如果 该训练影像包括有至少一正向询例特征,则将该训 练影像标示为正向训练影像;如果该训练影像没有 包括任何一正向询例特征,则该训练影像标示为该 负向训练影像,该视觉意念学习单元会根据该正向 训练影像学习到一暂时的视觉意念,并进一步再根 据该负向训练影像,对该暂时的视觉意念作修正, 以学习到该最后期望的标的视觉意念。11.如申请 专利范围第10项所述之装置,其中该视觉意念学习 单元包括: (1)一第一距离计算装置,用以计算该第一部份之正 向训练影像的询例特征与该第一部份之正向训练 影像间的第一距离; (2)一第二距离计算装置,用以计算该第一部份之正 向训练影像的询例特征与该第二部份测试影像资 料库内影像Bk的第二距离; (3)一计数器,用以计算所有第二距离小于在(1)所计 算的第一距离之影像个数;以及 (4)一优越函数评估器,利用该计数器所计算的该影 像个数来评估该询例特征是否为暂时视觉意念集 合内之成员。12.如申请专利范围第11项所述之装 置,其中该视觉意念学习单元,进一步包括: (1)一第三距离计算装置,用以计算该暂时视觉意念 之集合内的正向训练询例特征与该第一部份之负 向训练影像间的第三距离; (2)一第四距离计算装置,用以计算该正向询例特征 与该第二部份测试影像资料库内影像的第四距离; (3)一计数器,用以计算所有第三距离小于在(1)所计 算的第四距离之影像个数; (4)一标示器,如果该个数大于一筛选値,则对该第 一部份之正向训练影像作标示,如所有该第一部份 之正向训练影像皆被标示,则该询例特征为最后期 望的标的视觉意念内之成员。13.如申请专利范围 第10项所述之装置,所用到的第一与第二标示装置( labeling meaning),可合并为一独立单元。图式简单说 明: 第一图整个影像内容检索系统的区块分析图 第二图第一图的影像内容检索系统之流程图 第三图各种不同型态的询例特征 第四图陈述系统怎麽从正向与负向询例特征中学 习最后期望标的视觉意念(target visual concept)之流 程图。 第五图用来陈述系统怎麽从正向的询例特征集合 中,得到重要的询例特征以作为暂时的视觉意念之 流程图。 第六图用来陈述系统怎麽利用负向训练影像( negative training examples)从前面第五图所得的询例特 征集合中得到最后期望的标的视觉意念之流程图 。 第七图第五图之更详细的系统流程图。 第八图第六图之更详细的系统流程图。 第九图系统寻找“夕阳"视觉意念的检索结果。 第十图系统寻找“女孩"视觉意念的检索结果。
地址 新竹县竹东镇中兴路四段一九五号