发明名称 一种基于Wiki的图像分类体系动态演化方法
摘要 本发明公开了一种基于Wiki的图像分类体系动态演化方法:(1)通过基于机器学的分类器检测,基于语义关联矩阵的类别推荐以及人工标注获得初始类别版本L0;(2)基于维基(Wiki)模式,允许并鼓励大众直接或间接更新系统数据类别信息;(3)根据像所属类别动态演化模型,判定图像所属类别;(4)根据类别自身组织结构动态演化模型,调整类别组织结构;(5)基于统计模型,统计用户操作信息,调整步骤3和步骤4的相关参数。本发明利用维基模式的开放共享性和平等共创性,聚集众多用户独立的决策来提高图像分类的精确性,调整类别组织结构,提高图像检索效果。
申请公布号 CN102306298B 申请公布日期 2012.12.12
申请号 CN201110201849.1 申请日期 2011.07.19
申请人 北京航空航天大学 发明人 李未;黄雷;郎波
分类号 G06K9/62(2006.01)I;G06F17/30(2006.01)I 主分类号 G06K9/62(2006.01)I
代理机构 北京科迪生专利代理有限责任公司 11251 代理人 李新华
主权项 1.一种基于Wiki的图像分类体系动态演化方法,其特征与步骤如下:(1)通过图像分类器和语义关联矩阵自动产生相关的类别建议词汇,得到图像的初始类别标注,包括主类别和副类别,主类别即图像所属的类别,副类别指图像所属的候选类别,即此图像有可能属于此类别,用来和主类别竞争;其具体过程为,用户在上传图像时,抽取图像的底层SIFT特征,用特征向量X表示,将此特征向量与训练好的图像SIFT特征集Y={y1,y2,…yn}计算其相似度,Y中的每一个特征向量对应着一个类别词,将此图像赋予与特征向量X最相似的向量yk的类别词,将此类别词提交给语义关联推荐模块,根据系统中维护的语义关系表,向用户推荐类别词,由用户选择主类别或者副类别,也允许用户添加未推荐的类别词;这些由上传图像的用户确定的图像主类别C<sub>main</sub>和副类别<img file="FDA00001964636700011.GIF" wi="167" he="81" />初始类别词,作为图像的初始类别标注,构成一个图像所属类别初始版本L0;(2)基于维基wiki模式,即大规模的开放协作和资源共享模式,允许并鼓励普通用户大众对大规模图像数据管理系统的数据进行类别更新操作,包括所属类别判定,投票,标签添加以及语义描述方式;(3)对于步骤(2)的更新操作,根据图像所属类别的动态演化模型,进行图像所属类别的判定;(4)对于步骤(2)的更新操作,根据类别自身组织结构动态演化模型,调整类别组织结构;(5)基于统计模型对用户的操作进行统计,用来调整步骤(3)和步骤(4)的相关参数;所述的步骤(4)包括:(4.a)增加新类别词;对于出现的新的类别词汇“newType”,将其放入待定集preserve_set中,当“newType”的使用频度fnewType超过频度阈值 ThresT,将“newType”放入类别词集中,由系统管理员将其加入到原组织结构的某一结点中;新类别词“newType”的使用频度fnewType的增加,包括以下三方面:(a1)用户上传图像时使用“Word”进行类别标注,令其发生的次数为W<sub>1</sub>,其权值为G<sub>1</sub>;(a2)用户通过修改某一图像的类别时引入了类别词“Word”,令其发生次数为W<sub>2</sub>,权值为G<sub>2</sub>;(a3)用户使用“Word”进行检索,令其次数为W<sub>3</sub>,权值为G<sub>3</sub>;关于新类别词的添加与否,主要依据其频度值的大小,某一待定类别词“Word”的频度值<img file="FDA00001964636700021.GIF" wi="494" he="113" />(4.b)调整类别结构,管理员根据用户的反馈信息以及自身的领域知识对类别树进行调整;所述的步骤(2)包括如下行为:(2.a)点击查看行为;用户输入某一类别词“type”,检索到图像P,并进行点击放大查看;(2.b)简单判定行为,用户浏览图像P时,可以简单判定其主类别“type”是否正确;(2.c)修改类别行为,用户认为图像P不属于其主类别,并且手动编辑修改其类别为“type”;(2.d)投票行为,用户可以对图像P所属的各类别,即主类别和副类别投票;(2.e)添加标签行为;用户在图像的关键区域添加标签;(2.f)添加描述行为;用户对图像P添加语义描述;所述的步骤(3)包括:(3.a)计算图像P属于类别“type”的信心值C<sub>p,type</sub>,图像属于某一类别 的信心值,即指此图像属于该类别的可能性,可能性越高,其信心值越大,信心值C<sub>p,type</sub>的计算主要包括如下方式:(a1)初始信心值<img file="FDA00001964636700031.GIF" wi="129" he="76" />计算,用户在上传图像时,至少填写此图像属于的主类别,选择填写1-6个副类别;对于主类别,系统赋予其信心值为C<sub>main</sub>,副类别系统赋予其信心值为C<sub>vice</sub>;若“type”为主类别,则<img file="FDA00001964636700032.GIF" wi="348" he="100" />若“type”为副类别,则<img file="FDA00001964636700033.GIF" wi="338" he="103" />(a2)点击查看行为信心值<img file="FDA00001964636700034.GIF" wi="511" he="98" />其中,<img file="FDA00001964636700035.GIF" wi="147" he="83" />表示以类别词“type”查询到图像P,并点击查看的总次数;D<sub>hit</sub>表示该行为的权值,<img file="FDA00001964636700036.GIF" wi="129" he="77" />表示以类别词“type”查询到图像P,并点击查看获得的信心值;(a3)简单判定行为信心值<img file="FDA00001964636700037.GIF" wi="925" he="89" />其中,<img file="FDA00001964636700038.GIF" wi="217" he="76" />表示用户认为图像P属于主类别“type”的次数,用<img file="FDA00001964636700039.GIF" wi="251" he="81" />表示用户认为P不属于主类别“type”的次数,用D<sub>judge</sub>表示该行为的权值,<img file="FDA000019646367000310.GIF" wi="137" he="81" />表示图像P的类别词“type”通过简单判定获得的信心值;(a4)修改类别行为信心值<img file="FDA000019646367000311.GIF" wi="482" he="96" />其中,<img file="FDA000019646367000312.GIF" wi="138" he="79" />表示用户修改图像P的原类别为“type”的总次数,D<sub>ch</sub>表示该行为的权值,<img file="FDA000019646367000313.GIF" wi="124" he="74" />表示通过将图像P修改为类别“type”所获得的信心值;(a5)投票行为信心值<img file="FDA000019646367000314.GIF" wi="555" he="99" />其中,<img file="FDA000019646367000315.GIF" wi="134" he="72" />表示用户对图像P的类别“type”所投的总票数,D<sub>vote</sub>表示该行为的权值,<img file="FDA000019646367000316.GIF" wi="139" he="78" />表示图像P的类别“type”通过投票所获得的信心值;(a6)添加标签行为信心值<img file="FDA000019646367000317.GIF" wi="517" he="90" />其中,<img file="FDA000019646367000318.GIF" wi="153" he="80" />表示用户 对图像P添加的标签中,类别“type”所出现的次数,D<sub>tag</sub>表示添加标签行为的权值,<img file="FDA00001964636700041.GIF" wi="146" he="79" />表示图像P的类别“type”通过添加标签所获得的信心值;(a7)添加描述行为信心值<img file="FDA00001964636700042.GIF" wi="510" he="98" />其中系统统计描述中类别词“type”出现的次数<img file="FDA00001964636700043.GIF" wi="170" he="97" />该行为的权值为D<sub>des</sub>;(a8)计算图像P属于类别“type”的信心值C<sub>p,type</sub>;<img file="FDA00001964636700044.GIF" wi="1481" he="96" />(3.b)进行图像所属类别调整,通过计算图像P的主类别“type<sub>main</sub>”的信心值<img file="FDA00001964636700045.GIF" wi="194" he="73" />及其各副类别“type<sub>i</sub>”的信心值<img file="FDA00001964636700046.GIF" wi="187" he="87" />如果存在副类别“type”,其信心值C<sub>p,type</sub>满足<img file="FDA00001964636700047.GIF" wi="651" he="86" />其中Thres<sub>c</sub>为使类别改变的信心值距离阈值,则“type”即演化为图像P的主类别,之前的主类别“type<sub>main</sub>”变为副类别。
地址 100191 北京市海淀区学院路37号