公开(公告)号：CN114201592B

公开(公告)日：2024-07-23

申请号：CN202111461563.7

申请日：2021-12-02

Applicant: 重庆邮电大学

Inventor： 蔡林沁 ,  陈珂佳 ,  方豪度 ,  赖廷杰

IPC: G06F16/332 ,  G16H50/20 ,  G06V10/764 ,  G06V10/766 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N5/04

Abstract: 本发明请求保护一种面向医学图像诊断的视觉问答方法，属于及医学图像处理、自然语言处理、多模态融合领域，其包括以下步骤：获取医学影像和对应相关医学问题；对图像病灶目标和医学问题文本分别进行特征提取，捕捉问题词之间的依赖关系进行文本表示学习，得到每个图像区域和问题的相关性；通过与影像特征和位置特征交互，对同一病灶目标进行处理，实现关系关联建模，获得不同目标的相对位置关系，用于多模态特征的匹配；引入交叉引导的多模态特征融合堆叠方式，捕捉多模态之间的复杂交互关系；设计选取融合方式和分类器，运用到医学问答中，实现面向医学图像诊断的视觉问答研究。

公开(公告)号：CN114201592A

公开(公告)日：2022-03-18

申请号：CN202111461563.7

申请日：2021-12-02

Applicant: 重庆邮电大学

Inventor： 蔡林沁 ,  陈珂佳 ,  方豪度 ,  赖廷杰

IPC: G06F16/332 ,  G06K9/62 ,  G06N3/04 ,  G16H50/20 ,  G06V10/764 ,  G06V10/766 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明请求保护一种面向医学图像诊断的视觉问答方法，属于及医学图像处理、自然语言处理、多模态融合领域，其包括以下步骤：获取医学影像和对应相关医学问题；对图像病灶目标和医学问题文本分别进行特征提取，捕捉问题词之间的依赖关系进行文本表示学习，得到每个图像区域和问题的相关性；通过与影像特征和位置特征交互，对同一病灶目标进行处理，实现关系关联建模，获得不同目标的相对位置关系，用于多模态特征的匹配；引入交叉引导的多模态特征融合堆叠方式，捕捉多模态之间的复杂交互关系；设计选取融合方式和分类器，运用到医学问答中，实现面向医学图像诊断的视觉问答研究。

公开(公告)号：CN114529984B

公开(公告)日：2024-09-24

申请号：CN202210050116.0

申请日：2022-01-17

Applicant: 重庆邮电大学

Inventor： 蔡林沁 ,  潘锐 ,  方豪度 ,  赖廷杰

IPC: G06V40/20 ,  G06V40/10 ,  G06V20/40 ,  G06T7/73 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/084 ,  G06N3/0442 ,  G06V10/764 ,  G06N3/042 ,  G06N3/045

Abstract: 本发明请求保护一种基于可学习PL‑GCN和ECLSTM的骨骼动作识别方法，涉及动作识别领域。可以解决骨骼动作识别过程中关键帧和显著运动关节的特征捕获能力有限和相似动作分类能力较弱等问题，该方法包括：针对相似动作识别易混淆的问题提出了一种可学习图卷积网络(PL‑GCN)用于改善模型的物理结构；针对关键帧捕获能力较弱的问题提出了特征增强的长短时记忆网络(ECLSTM)用于增强时序特征；利用骨骼序列数据的图拓扑结构完成骨骼图的构建；融合来自图卷积后的空间特征和由ECLSTM网络提取后的时序特征；对融合后的特征经过平均池化、卷积后进行最后的特征分类。本专利提出的方法在动作识别进度，算法复杂度以及特征提取能力均优于当前的一些方法。

公开(公告)号：CN114529984A

公开(公告)日：2022-05-24

申请号：CN202210050116.0

申请日：2022-01-17

Applicant: 重庆邮电大学

Inventor： 蔡林沁 ,  潘锐 ,  方豪度 ,  赖廷杰

IPC: G06V40/20 ,  G06V40/10 ,  G06V20/40 ,  G06T7/73 ,  G06N3/08 ,  G06N3/04 ,  G06K9/62 ,  G06V10/764 ,  G06V10/82

Abstract: 本发明请求保护一种基于可学习PL‑GCN和ECLSTM的骨骼动作识别方法，涉及动作识别领域。可以解决骨骼动作识别过程中关键帧和显著运动关节的特征捕获能力有限和相似动作分类能力较弱等问题，该方法包括：针对相似动作识别易混淆的问题提出了一种可学习图卷积网络(PL‑GCN)用于改善模型的物理结构；针对关键帧捕获能力较弱的问题提出了特征增强的长短时记忆网络(ECLSTM)用于增强时序特征；利用骨骼序列数据的图拓扑结构完成骨骼图的构建；融合来自图卷积后的空间特征和由ECLSTM网络提取后的时序特征；对融合后的特征经过平均池化、卷积后进行最后的特征分类。本专利提出的方法在动作识别进度，算法复杂度以及特征提取能力均优于当前的一些方法。