公开(公告)号：CN118154940A

公开(公告)日：2024-06-07

申请号：CN202410148882.X

申请日：2024-02-02

Applicant: 安徽大学

Inventor： 徐晨初 ,  朱行来 ,  刘金豪 ,  齐荣辉 ,  陈洁 ,  赵姝 ,  夏志强

IPC: G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/084 ,  G06T7/00

Abstract: 本发明涉及医学图像、深度学习和计算机视觉领域，公开了一种基于商空间理论的多模态内窥镜多组织病灶识别方法，包括如下步骤：步骤S1，收集消化道的内窥镜图像数据集，这些数据集包含了消化道不同组织的内窥镜图像以及相应的组织和病变概念标注，将数据集划分成训练集和测试集，并对训练数据进行数据处理；步骤S2，构建基础Transformer编码器和详细CNN编码器从输入的消化道内窥镜图像中提取到不同粒度的有用视觉特征。本发明通过构建基本Transformer编码器和详细CNN编码器模块，使用分类器将商空间编码器的输出激活映射到最终的概念标签上，输出每个概念在图像病变中的位置可视化的特征图和病变区域概念。