一种多模态的智能问答系统及方法

摘要

本发明公开一种多模态的智能问答系统和方法，其方法中用户可输入多模态信息问题，而用户输入的多模态信息问题经过映射处理为统一的向量空间，最后根据统一的向量空间进行转换分析后获取对应该多模态信息问题的精准的答案。本发明对于多模态信息，无论是文本、图片，视频及以上三种信息类型的任意组合均可统一进行处理，具有并行分布处理、高度鲁棒性和容错能力、分布存储及学能力、能充分逼近复杂的非线性关系等突出特点，从而使得智能问答系统具备针对多模态信息的统一计算和处理能力，可以提高用户信息查询的丰富性，提高了用户问答的体验，使问答系统更加智能化。

主权项

一种多模态的智能问答系统，其特征在于，包括多模态信息接收模块，用于接收用户输入的多模态信息问题，所述多模态信息包括文本信息、图片信息、视频信息、文本图片组合信息、文本视频组合信息、文本图片视频组合信息；分类模块，用于对输入的信息进行分类，分类后的信息类别包括文本信息、图片信息、视频信息、文本图片组合信息、文本视频组合信息和文本图片视频组合信息；映射模块，用于将分类后的信息分别映射到相应的向量空间；答复生成模块，用于对所述映射模块映射得到的向量空间进行转换分析后生成对所述多模态信息问题的答复。