公开(公告)号：CN118039124B

公开(公告)日：2024-08-20

申请号：CN202410129641.0

申请日：2024-01-30

Applicant: 清华大学 ,  上海交通大学

Inventor： 黄天荫 ,  盛斌 ,  沈成兴 ,  李华婷 ,  舒佳 ,  管洲榆

IPC: G16H50/20 ,  G16H30/20 ,  G06V10/44 ,  G06V10/764 ,  G06V10/82

Abstract: 本申请涉及一种对象分析方法、装置、计算机设备和存储介质。本方法包括：获取目标对象对应的待检测图像和训练完成的多模态对话语言模型；多模态对话语言模型包括预训练视觉结构、注意力结构和语言结构；根据预训练视觉结构对待检测图像进行特征提取，得到待检测图像对应的图像特征；基于注意力结构对图像特征进行数据处理，得到目标对象对应的初始诊断结果；初始诊断结果包括多种预设指标中的至少一种；基于语言结构对初始诊断结果进行数据处理，得到目标对象对应的对象分析结果。采用本方法能够提高提供冠心病诊疗结果的效率。

公开(公告)号：CN118039124A

公开(公告)日：2024-05-14

申请号：CN202410129641.0

申请日：2024-01-30

Applicant: 清华大学 ,  上海交通大学

Inventor： 黄天荫 ,  盛斌 ,  沈成兴 ,  李华婷 ,  舒佳 ,  管洲榆

IPC: G16H50/20 ,  G16H30/20 ,  G06V10/44 ,  G06V10/764 ,  G06V10/82

Abstract: 本申请涉及一种对象分析方法、装置、计算机设备和存储介质。本方法包括：获取目标对象对应的待检测图像和训练完成的多模态对话语言模型；多模态对话语言模型包括预训练视觉结构、注意力结构和语言结构；根据预训练视觉结构对待检测图像进行特征提取，得到待检测图像对应的图像特征；基于注意力结构对图像特征进行数据处理，得到目标对象对应的初始诊断结果；初始诊断结果包括多种预设指标中的至少一种；基于语言结构对初始诊断结果进行数据处理，得到目标对象对应的对象分析结果。采用本方法能够提高提供冠心病诊疗结果的效率。