公开(公告)号：CN114842384A

公开(公告)日：2022-08-02

申请号：CN202210476817.0

申请日：2022-04-30

Applicant: 南京邮电大学

Inventor： 周亮 ,  李昂 ,  李沛林 ,  陈顺 ,  曹宇 ,  楼婧蕾 ,  倪守祥 ,  陈亚男 ,  陈建新 ,  魏昕

IPC: G06V20/40 ,  G06V10/82 ,  G06N3/04

Abstract: 本发明公开了一种面向6G的触觉模态信号重建方法，此重建方法包括，采集数据样本，构建包含视频和触觉模态信号的数据集；通过利用两种模态信号间的语义关联性，基于深度学习构建具有内在语义关联驱动下的跨模态信号重建模型；使用数据集对跨模态信号重建模型进行训练，直至重建信号质量满足要求或偏差无法继续优化；本发明中为面向6G跨模态应用场景，构建包括视频和触觉的模态数据集VisTouch；基于深度学习技术将具有语义关联性的视频模态信号重建为触觉模态信号；为提升信号重建质量，利用对抗损失与均方误差损失这两类损失函数作为目标函数，并基于VisTouch进行训练，验证了该重建方法的准确性。

公开(公告)号：CN114842384B

公开(公告)日：2024-05-31

申请号：CN202210476817.0

申请日：2022-04-30

Applicant: 南京邮电大学

Inventor： 周亮 ,  李昂 ,  李沛林 ,  陈顺 ,  曹宇 ,  楼婧蕾 ,  倪守祥 ,  陈亚男 ,  陈建新 ,  魏昕

IPC: G06V20/40 ,  G06V10/82 ,  G06N3/0464

Abstract: 本发明公开了一种面向6G的触觉模态信号重建方法，此重建方法包括，采集数据样本，构建包含视频和触觉模态信号的数据集；通过利用两种模态信号间的语义关联性，基于深度学习构建具有内在语义关联驱动下的跨模态信号重建模型；使用数据集对跨模态信号重建模型进行训练，直至重建信号质量满足要求或偏差无法继续优化；本发明中为面向6G跨模态应用场景，构建包括视频和触觉的模态数据集VisTouch；基于深度学习技术将具有语义关联性的视频模态信号重建为触觉模态信号；为提升信号重建质量，利用对抗损失与均方误差损失这两类损失函数作为目标函数，并基于VisTouch进行训练，验证了该重建方法的准确性。

公开(公告)号：CN115512110A

公开(公告)日：2022-12-23

申请号：CN202211163664.0

申请日：2022-09-23

Applicant: 南京邮电大学

Inventor： 周亮 ,  陈顺 ,  陈建新 ,  李昂 ,  魏昕

IPC: G06V10/26 ,  G06V10/80 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开一种涉及跨模态注意力机制的医学图像肿瘤分割方法，包括以下步骤：获取正电子发射型计算机断层显像PET图像和电子计算机断层扫描CT图像，将PET图像和CT图像横向缩放为同分辨率的图像数据对；将图像数据对输入至训练好的跨模态图像分割模型，生成目标分割图像；其中，跨模态图像分割模型包括图像特征提取模块、图像特征融合模块和跨模态语义增强模块，所述跨模态语义增强模块包括一组扩展编码器和基于聚合注意力单元的语义融合网络，跨模态图像分割模型训练通过历史正电子发射型计算机断层显像PET图像和电子计算机断层扫描CT图像训练。本发明提供的一种涉及跨模态注意力机制的医学图像肿瘤分割方法，能够实现跨模态的医学图像精准分割。