公开(公告)号：CN114049361A

公开(公告)日：2022-02-15

申请号：CN202111303258.5

申请日：2021-11-04

Applicant: 上海交通大学

Inventor： 张娅 ,  张小嫚 ,  黄潮钦 ,  王延峰

IPC: G06T7/11 ,  G06T5/00 ,  G06T7/136 ,  G06T5/50 ,  G06T7/529 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供了一种基于图层分解的自监督肿瘤分割系统，包括：模块M1：正常图像通过随机生成的三维掩码和变换得到纹理生成模拟的肿瘤区域；模块M2：将模拟的肿瘤区域与正常图像进行融合，得到合成的肿瘤图像；模块M3：训练深度卷积神经网络学习图层分解，合成的肿瘤图像利用训练后的深度卷积神经网络得到肿瘤分割图、恢复出肿瘤区域图像、恢复出正常图像以及合成图像。本发明能够根据正常图像合成肿瘤图像，通过有效的基于图层分解的自监督学习模型，提取对肿瘤区域具有较强判别力的特征，从而实现无标签情况下的肿瘤分割。

公开(公告)号：CN115858817A

公开(公告)日：2023-03-28

申请号：CN202211690422.7

申请日：2022-12-27

Applicant: 上海人工智能创新中心 ,  上海交通大学

Inventor： 王延峰 ,  吴超逸 ,  张小嫚 ,  谢伟迪 ,  张娅

IPC: G06F16/36 ,  G06F40/295 ,  G06F18/25 ,  G06N3/09 ,  G06F18/214

Abstract: 本发明涉及医学人工智能技术领域，具体公开了一种医学知识增强的图文预训练系统及方法，所述系统包括：数据获取模块，用于获取一辆数据中的文本‑图像数据对；三元组化理模块；用于对于数据获取模块的医学文本进行三元组化的预处理，其中三元组包含三个部分：实体名称、实体位置、实体存在与否；多模态融合训练模块，用于对图像进行编码并结合实体描述内容，通过融入编码器。本发明利用医学实体过滤技术重构出的实体层面的全新医疗预训练范式；利用医学描述编码的医学图文预训练的知识融合技术；利用transformer结构实现的预训练系统中较好的病灶定位功能。

公开(公告)号：CN112651916A

公开(公告)日：2021-04-13

申请号：CN202011567684.5

申请日：2020-12-25

Applicant: 上海交通大学

Inventor： 张娅 ,  张小嫚 ,  张小云 ,  王延峰

IPC: G06T5/50 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供了一种自监督模型预训练方法、系统及介质，包括：对不同模态图像使用归一化方法进行预处理；对归一化图像使用非线性变换、局部扰动、内部填充和外部填充得到变换后的图像；对变换后的图像使用深度卷积神经网络提取图像的模态不变图像特征；对变换后的图像，使用密集连接模态判别网络提取图像特征，与模态不变图像特征进行对抗学习；对模态不变图像特征，使用多层次特征学习网络进行尺度预测；对模态不变特征图像特征使用图像恢复网络得到恢复图像；根据恢复图像和归一化图像实现自监督学习。本发明对不同模态图像提取模态不变的且有较强多层次判别力的特征，通过有效的自监督学习，提高了预训练模型的泛化能力，实现良好的通用性。

公开(公告)号：CN118196785A

公开(公告)日：2024-06-14

申请号：CN202410158863.5

申请日：2024-02-04

Applicant: 上海人工智能创新中心 ,  上海交通大学

Inventor： 王延峰 ,  周晓 ,  张小嫚 ,  吴超逸 ,  谢伟迪 ,  张娅

IPC: G06V20/69 ,  G06V10/82 ,  G06N5/02 ,  G06N3/0455 ,  G06N3/084 ,  G06N3/09

Abstract: 本发明涉及一种基于医疗知识增强的组织病理切片自动识别方法与系统，方法包括：获取人体组织架构以及疾病属性；采用知识编码器对疾病属性特征进行编码，得到表征向量，以每类疾病属性特征的表征向量的相似度、不同疾病属性特征的表征向量的差异度作为度量学习损失，对知识编码器进行训练；构建图像编码器和文本编码器；获取病理图像和文本对，分别输入三种编码器中，并对输出的编码结果进行交叉对比，构建总损失，从而对图像编码器和文本编码器进行训练；获取病理图像和对应的模板化疾病名称集合，分别输入图像编码器和文本编码器中，获取识别结果。与现有技术相比，本发明对病理图像块的诊断任务取得了更加优异和稳定的性能。

公开(公告)号：CN116665877A

公开(公告)日：2023-08-29

申请号：CN202310100048.9

申请日：2023-02-09

Applicant: 上海人工智能创新中心 ,  上海交通大学

Inventor： 王延峰 ,  张小嫚 ,  吴超逸 ,  谢伟迪 ,  张娅

IPC: G16H50/20 ,  G16H50/70 ,  G06F40/295 ,  G06F16/33 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及智能系统技术领域，提出一种医学知识增强的胸片自动诊断系统，该系统摆阔第一模块，被配置为提供知识增强的文本编码器φtext，其根据医疗知识库来进行构造，其中所述文本编码器φtext被配置为进行第一阶段预训练；第二模块，被配置为提供图像编码器φimage，其被配置为于第一阶段预训练后的文本编码器φtext进行对比学习；以及第三模块，被配置为提供疾病查询网络φDQN，其被配置为进行疾病预测，其中图像编码器φimage、第一阶段预训练后的文本编码器φtext、疾病查询网络φDQN被配置为进行第二阶段预训练。本发明基于专业医疗知识库，通过对比学习技术对医疗术语建模，进一步实现知识增强的基于胸片和诊断报告的自动诊断系统，在多种医疗场景下取得了显著的效果提升。