用于跨模态检索的多模态多类Boosting框架构建方法及装置

摘要

本发明涉及用于跨模态检索的多模态多类Boosting框架构建方法及装置，该方法包括：构造目标风险函数，目标风险函数包括各个模态的模态内损耗和各个模态之间的模态间损耗；根据梯度下降策略，依次更新风险函数中每一个模态的预测器，而固定其他模态的预测器，当所有模态的预测器均被更新后，称为一次循环迭代，如此经过T次循环迭代，学出使目标函数最小的各个模态的最优预测器；利用Sigmoid函数将各个模态的最优预测器所产生的拟边缘转换到一个共同的语义空间，以实现跨模态检索。本发明的方法考虑到模态间的语义相关性，在一定程度上可以增强那些质量较差的模态内语义信息，在跨模态检索的任务中拥有较好的性能。

主权项

用于跨模态检索的多模态多类Boosting框架构建方法，其特征在于，该方法包括如下步骤：1)构造目标风险函数R[f₁,...,f_M]，目标风险函数包括各个模态的模态内损耗和各个模态之间的模态间损耗，其中，f₁为第一个模态的预测器，f_M为第M个模态的预测器，M≥2；2)根据梯度下降策略，依次更新目标风险函数中每一个模态的预测器，而固定其他M‑1个模态的预测器，当所有模态的预测器均被更新后，称为一次循环迭代，如此经过T次循环迭代后，学习出使目标风险函数最小的各模态的最优预测器，其中T≥1；3)将各模态的最优预测器所产生的拟边缘转换到一个共同的语义空间，以实现跨模态检索。