公开(公告)号：CN118886402B

公开(公告)日：2025-02-25

申请号：CN202410997490.0

申请日：2024-07-24

Applicant: 北京邮电大学

Inventor： 尹斯星 ,  王星人 ,  向新源 ,  尹文宇 ,  李书芳

IPC: G06F40/166 ,  G06F40/126 ,  G06V10/764 ,  G06F18/22 ,  G16H15/00 ,  G06N20/00

Abstract: 本发明公开了一种跨模态文本生成方法、装置、电子设备及存储介质，该方法包括：加载图像‑文本迁移模型，图像‑文本迁移模型包括图像编码器和文本编码器；基于图像编码器构建图像分类模型，并对图像分类模型进行微调，更新图像分类模型；获取医学图像数据，基于图像分类模型对医学图像数据进行分类处理，得到分类结果；分类结果包括多个维度的分类标签以及分类标签对应的提示数据；基于文本编码器对分类标签对应的提示数据进行编码处理，形成特征空间；在特征空间中进行检索，得到与医学图像数据的医学图像特征匹配的提示数据组；基于提示数据组生成医学图像数据对应的文本数据。实现图像到文本的跨模态生成。

公开(公告)号：CN118886402A

公开(公告)日：2024-11-01

申请号：CN202410997490.0

申请日：2024-07-24

Applicant: 北京邮电大学

Inventor： 尹斯星 ,  王星人 ,  向新源 ,  尹文宇 ,  李书芳

IPC: G06F40/166 ,  G06F40/126 ,  G06V10/764 ,  G06F18/22 ,  G16H15/00 ,  G06N20/00

Abstract: 本发明公开了一种跨模态文本生成方法、装置、电子设备及存储介质，该方法包括：加载图像‑文本迁移模型，图像‑文本迁移模型包括图像编码器和文本编码器；基于图像编码器构建图像分类模型，并对图像分类模型进行微调，更新图像分类模型；获取医学图像数据，基于图像分类模型对医学图像数据进行分类处理，得到分类结果；分类结果包括多个维度的分类标签以及分类标签对应的提示数据；基于文本编码器对分类标签对应的提示数据进行编码处理，形成特征空间；在特征空间中进行检索，得到与医学图像数据的医学图像特征匹配的提示数据组；基于提示数据组生成医学图像数据对应的文本数据。实现图像到文本的跨模态生成。