一种基于因果推理的跨模态检索装置

    公开(公告)号:CN117131461A

    公开(公告)日:2023-11-28

    申请号:CN202310953455.4

    申请日:2023-08-01

    Abstract: 本发明公开了一种基于因果推理的跨模态检索装置,包括:特征提取模块:对图像、文本和音频提取媒体的特征;维度对齐模块:对每个媒体类型的特征进行维度对齐,以确保可以在后续步骤中进行融合;权重分配模块:为每个媒体类型的特征分配权重,并对特征进行加权求和;融合模块:使用支持向量机将融合后的特征与相关的标签进行训练,以建立跨模态特征之间的映射关系;评估优化模块:对融合后的特征进行评估和优化。本发明结合了不同媒体类型特征的融合、灵活的特征提取和维度对齐、加权融合的灵活性以及机器学习方法的学习能力,能够有效地解决跨模态检索中特征融合的问题,提高检索的精度和效果。

Patent Agency Ranking