公开(公告)号：CN117237381A

公开(公告)日：2023-12-15

申请号：CN202311244917.1

申请日：2023-09-25

Applicant: 上海交通大学

Inventor： 张娅 ,  邢琳煜 ,  陈梦茜 ,  姚江超 ,  王延峰

IPC: G06T7/11 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明提供了一种对于缺失模态鲁棒的多模态MRI脑瘤图像分割方法及系统，包括：步骤S1：采集多模态MRI图像数据，并对多模态MRI图像数据进行预处理得到预处理后的多模态MRI图像数据；步骤S2：将预处理后的单模态MRI图像数据分别输入多个不同的编码器‑解码器3D‑UNet网络得到各自模态的判别性表征；步骤S3：将预处理后的多模态MRI图像数据在通道维度上进行连接，并输入至前交互的编码器‑解码器3D‑UNet网络得到前交互融合表征；步骤S4：将前交互融合表征和各自模态的判别性表征基于注意力机制进行自适应动态融合，得到后交互融合表征；步骤S5：将各自模态的判别性表征、前交互融合表征和后交互融合表征分别输入不同的一层深度卷积神经网络得到各自的肿瘤分割图。

公开(公告)号：CN118503468A

公开(公告)日：2024-08-16

申请号：CN202410624128.9

申请日：2024-05-20

Applicant: 上海人工智能创新中心 ,  上海交通大学

Inventor： 王延峰 ,  赵孜铧 ,  陈梦茜 ,  戴天杰 ,  姚江超 ,  张娅

IPC: G06F16/535 ,  G06F16/583

Abstract: 本发明涉及一种基于几何结构一致性的鲁棒跨模态检索方法、设备及介质，该方法利用跨模态和模态内几何结构一致性对噪声样本识别进行识别，同时针对几何结构一致性设定来设计相应训练流程，并采用基于动量的变量更新策略与双网络架构来改进训练流程。与现有技术相比，本发明具有在跨模态和模态内两个层面上进行识别大幅提升了噪声识别的准确性等优点。

公开(公告)号：CN117316166A

公开(公告)日：2023-12-29

申请号：CN202311389985.7

申请日：2023-10-24

Applicant: 上海交通大学

Inventor： 王钰 ,  王延峰 ,  杨晨宇 ,  陈梦茜

IPC: G10L17/02 ,  G10L17/18 ,  G10L17/10 ,  G10L25/60 ,  G10L17/14

Abstract: 本发明提供一种说话人日志提取方法及系统，包括：对音频与视频分别进行预处理，并分别提取模态对齐后的音频数据及各说话人视频数据的初始语义表征；利用视频的语义信息得到说话人活跃片段的粗略划分，并由此提取说话人的声学特征；根据语义信息及说话人特征对各模态进行帧级别的不确定性建模，对音频和视频的质量进行评估；利用置信度分数指导音频和视频模态语义表征的融合，得到融合后的各说话人音视频语义信息流；解码器根据融合后的各说话人音视频语义信息流对各说话人各个时刻的活跃状态分别进行估计。本发明利用置信度分数来指导不同模态信息的动态融合，相较于其他方法对带噪片段有着更好的鲁棒性，同时对多通道音频也具有良好的兼容性。

公开(公告)号：CN116992396A

公开(公告)日：2023-11-03

申请号：CN202310981766.1

申请日：2023-08-04

Applicant: 上海交通大学

Inventor： 王延峰 ,  陈梦茜 ,  姚江超 ,  邢琳煜 ,  王钰 ,  张娅

IPC: G06F18/25 ,  G06F18/2415 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/08 ,  G06F18/213

Abstract: 本发明提供了一种冗余自适应的多模态鲁棒融合学习方法及系统，包括：使用预训练好的单模态特征提取网络提取单模态初始特征；将各单模态初始特征编码为概率分布；对各单模态概率分布进行正则化约束；为每个单模态均值分配元素级特征权重；利用各权重分配后的单模态均值产生多模态特征；对各单模态分布采样，产生相应的单模态特征向量；利用各单模态、多模态特征向量得到相应特征的概率预测分布。本发明考虑多模态数据间冗余性对模型鲁棒性的影响，促使模型在捕获全部单模态信息的同时，动态地识别其中的无损信息用于融合，实现更鲁棒且准确的多模态预测。

公开(公告)号：CN119808988A

公开(公告)日：2025-04-11

申请号：CN202411731983.6

申请日：2024-11-29

Applicant: 上海人工智能创新中心 ,  上海交通大学

Inventor： 王延峰 ,  陈梦茜 ,  张菲 ,  赵孜铧 ,  姚江超 ,  张娅

IPC: G06N20/00 ,  G06F17/10

Abstract: 本发明涉及一种基于多模态概率保形蒸馏的缺失模态鲁棒性增强训练方法，包括以下步骤：获取模态完整的第一多模态训练集，定义辅助指示向量表示模态是否缺失，从而构建存在模态缺失的第二多模态训练集；将第二多模态训练集中的每一输入模态分别映射为单独的D维正态分布，并融合得到融合D维正态分布；基于自蒸馏框架进行端到端蒸馏，在训练阶段，教师模型处理第一多模态训练集，提供完整模态表征，学生模型处理第二多模态训练集，提供完整模态表征监督，基于每一输入模态单独的D维正态分布、融合D维正态分布和完整模态表征计算概率极值优化损失和几何一致优化损失，构建损失函数进行模型训练。与现有技术相比，本发明具有能够提高了信息迁移的有效性、提升了模型对缺失模态的处理能力等优点。