一种基于演示视频的多模式索引方法及系统

摘要

本发明涉及一种基于演示视频的多模式索引系统，包括文本索引模块，人脸索引模块和图表索引模块，可以通过演示视频中的文本信息，如PPT上的文字或者讲解人说的话中的文字信息进行检索，也可以通过讲解人的面部特征进行索引，或者通过演示视频中的图表进行索引，通过上述索引方式，无需利用其他信息，只需要借助视频本身的信息就能进行检索，本发明所述的基于演示视频的多模式索引系统有效避免了现有技术中仅使用文本信息进行检索，适用范围小的问题，是一种可以采用多种检索模式，仅依靠视频本身的信息进行检索的基于演示视频的多模式索引系统。

主权项

一种基于演示视频的多模式索引系统，其特征在于，包括：文本索引模块，包括文本检测识别单元和文本匹配单元，所述文本检测识别单元从视频库的视频中提取文本信息并建立文本特征库，文本匹配单元将文本索引信息与所述文本特征库中的信息进行比较，识别出匹配的视频；人脸索引模块，包括人脸识别单元和人脸匹配单元，人脸识别单元用于对视频库中视频中的演讲者进行面部识别，建立人脸特征库，然后通过人脸匹配单元将输入的人脸索引信息与所述人脸特征库中的信息进行比较，识别出匹配的视频；图表索引模块，包括图表识别单元和图表匹配单元，图表识别单元用于对视频库中视频中的图表进行识别，建立图表特征库；然后通过图表匹配单元将输入的图表索引信息与所述图表特征库中的信息进行比较，识别出匹配的视频；其中，图表识别单元对对视频库中视频中的图表进行识别，包括：a)通过色彩饱和度估计量从视频画面中识别出各帧图像；b)通过识别程序获取图表所在的位置；c)结合视觉信息，根据实时平均连接算法汇集成图表区域；d)在汇集过程中，选择最大的区域作为形成的图表区域；e)调用灰度自动白平衡算法进行颜色矫正。