公开(公告)号：CN118447993A

公开(公告)日：2024-08-06

申请号：CN202410645444.4

申请日：2024-05-23

Applicant: 西安电子科技大学

Inventor： 王笛 ,  张焱磊 ,  梁潇 ,  田玉敏 ,  李少峰 ,  钟昊迪 ,  王泉 ,  万波 ,  罗雪梅 ,  王义峰

IPC: G16H15/00 ,  G16H30/00 ,  G16H30/20

Abstract: 本发明提出了一种基于状态信息分离知识图谱增强的胸部X光影像报告生成方法，实现步骤为：获取训练和测试样本集；构建基于状态信息分离知识图谱增强的胸部X光影像报告生成网络模型并对其进行迭代训练；获取胸部X光影像报告生成结果。本发明在对胸部X光影像报告生成网络模型进行训练和胸部X光影像报告生成结果的过程中，分离子图生成模块通过三元组构建异常子图和正常子图，利用两个状态信息分离的子图分别学习异常信息和正常信息内部的关系，避免了现有技术因不同状态信息混杂导致的相互干扰，减小了模型需要学习知识与生成的报告之间的差异，从而提高了生成报告的准确性。

公开(公告)号：CN117649628A

公开(公告)日：2024-03-05

申请号：CN202311681462.X

申请日：2023-12-08

Applicant: 西安电子科技大学

Inventor： 王笛 ,  张焱磊 ,  梁潇 ,  罗楠 ,  万波 ,  罗雪梅 ,  王义峰

IPC: G06V20/40 ,  G06V20/70 ,  G06F18/25 ,  G06F18/22 ,  G06F16/9032 ,  G06N3/0495 ,  G06N3/0499

Abstract: 本发明公开了基于提示增强和稀疏注意力的视频问答方法，包括以下步骤；步骤1：使用预训练CLIP模型进行特征提取和提示构建；步骤2：输入步骤1提取的特征，构建概率稀疏自注意力PSSA提取视频关键特征；步骤3：通过步骤2提取的视频关键特征，融合视频特征与文本提示，通过融合特征与候选答案特征的相似度判断答案。本发明利用预训练的CLIP模型的强大的视觉文本泛化能力，以解决视频文本预训练的成本问题。通过充分利用CLIP对比学习的特性，考虑概率稀疏自注意力和视觉语言交叉注意力，以有效地消除视频特征中的冗余信息。