公开(公告)号：CN117726814A

公开(公告)日：2024-03-19

申请号：CN202311752136.3

申请日：2023-12-19

Applicant: 浙江大学

Inventor： 冯天 ,  王嘉恒 ,  沈骏翱 ,  竺致远 ,  张微

IPC: G06V10/26 ,  G06V10/40 ,  G06V10/80 ,  G06V10/82 ,  G06T7/00 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/048

Abstract: 本发明公开了一种基于交叉注意力和双分支池化融合的视网膜血管分割方法。将待分割的视网膜眼底图像输入到经过训练的视网膜血管分割模型中，获得视网膜眼底图像的血管分割结果，其中，视网膜血管分割模型采用左右对称的编码器‑解码器架构。本发明在视网膜眼底图像分割任务中引入一种新颖的粗分割掩码引导的交叉注意力模块，以减少传统U‑Net跳跃连接时编码器特征与解码器特征中所存在语义差距。此外，考虑到视网膜血管较细、较薄的特点，提出双分支池化融合模块来代替U‑Net原本的下采样模块，以减少传统U‑Net中多次下采样操作造成的血管空间信息损失。本发明所提出的视网膜血管分割方法能够显著提升视网膜血管分割的性能。

公开(公告)号：CN117635563A

公开(公告)日：2024-03-01

申请号：CN202311613896.6

申请日：2023-11-29

Applicant: 浙江大学

Inventor： 冯天 ,  竺致远 ,  沈骏翱 ,  王嘉恒 ,  张微

IPC: G06T7/00 ,  G06T7/11

Abstract: 本发明公开了一种基于模态交叉注意力的多模态MRI脑肿瘤图像分割方法。将待语义分割的多模态MRI脑肿瘤图像输入到经过训练的语义分割模型中，获得语义分割结果。通过模态嵌入变压器模块，将数据按模态划分并扩展至数倍，为模型训练做好数据准备，并为每个模态分配唯一编码，与图像信息拼接后同时训练，辅助单模态私有特征的提取；由模态交叉注意力特征融合模块计算每个单模态私有特征和模态间共享特征的相关性。本发明不但利用单个自定义的变压器块完成对不同模态MRI图像特征的提取，还解决了多种特征融合不完全的问题；本发明为充分发挥多模态数据优势提供了一种新的方案，提高了多模态MRI脑肿瘤图像分割的性能。