-
公开(公告)号:CN116975316A
公开(公告)日:2023-10-31
申请号:CN202310499615.2
申请日:2023-05-05
Applicant: 哈尔滨工业大学(深圳)
IPC: G06F16/383 , G06F16/583 , G06F40/126 , G06F40/30 , G06N3/04 , G06N5/04
Abstract: 本发明公开了基于神经分治推理框架的复杂文本‑图像检索方法及设备,所述方法包括:构建端到端的神经分治推理框架,获取语言复杂文本和一组相似的图像;神经分治推理框架将语言复杂文本进行划分得到简单命题句,并处理得到全局表示;神经分治推理框架将获取图像的图像编码与全局表示进行融合得到融合序列,并进行上下文信息交互得到初始推理状态;对所述初始推理状态进行处理得到第一目标置信度分数;神经分治推理框架基于推理状态得到第二目标置信度分数;将第一目标置信度分数和第二目标置信度分数结合得到对应的目标图像。本发明提出的推理框架解决了复杂文本‑图像检索任务中简单命题分解错误或缺失的问题,显著提高图像推理性能。