公开(公告)号：CN119672422A

公开(公告)日：2025-03-21

申请号：CN202411746529.8

申请日：2024-12-02

Applicant: 上海大学 ,  上海大学温州研究院

Inventor： 刘志 ,  陈子晖 ,  宋英杰 ,  陆小锋 ,  刘学锋

IPC: G06V10/764 ,  G06V10/82 ,  G06V10/80 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/098

Abstract: 本发明涉及一种专家注视点引导的基于视觉Transformer的胸片分类模型构建方法，属于胸片图像领域，构建专家注视点引导的基于视觉Transformer的胸片分类模型，能够利用专家注视点信息指导模型关注胸片中的潜在疾病区域；采用混合学习策略，通过在训练时选择一部分胸片图像样本及相应的专家注视点作为输入，而另一部分仅用胸片图像作为输入，使得模型可在推理阶段只需要胸片图像作为输入，采用包含专家注视点的胸片分类数据集，并基于其中专家注视点标注生成嵌入向量，完成对视觉Transformer的胸片分类模型的端到端训练。该构建系统、应用方法、终端及介质，将专家注视点特征与图像特征有效结合，具有预测效率高、成本低、易于实现、并且部署十分灵活等特点。

公开(公告)号：CN117478949A

公开(公告)日：2024-01-30

申请号：CN202311307902.5

申请日：2023-10-11

Applicant: 上海大学 ,  上海大学温州研究院

Inventor： 刘志 ,  谢佳伟 ,  宋英杰 ,  李恭杨 ,  陆小锋 ,  刘学锋

IPC: H04N21/439 ,  H04N21/44 ,  G06F18/24 ,  G06F18/25 ,  G06F18/214 ,  G06N3/0895 ,  G06V40/18 ,  G06V40/20 ,  G10L15/16 ,  G06V10/764 ,  G06V10/82 ,  G06V10/774 ,  G06V10/762

Abstract: 本发明提供了一种多模态架构的视听觉注意力预测模型的构建方法，针对视频这一种含有多感官刺激的媒介，包括：构建多模态架构的视听觉注意力预测模型，能够获取视频中音频特征以及图像静态和动态显著性特征；采用已知的图像眼动数据集对图像级的视觉注意力预测模型进行端到端预训练，将训练好的模型作为视听觉注意力模型的图像显著性特征提取层，将图像级的显著性信息融入到视听觉注意力预测模型当中；采用大数据预训练音频分类网络以及视频分类网络作为音频和视频的特征提取网络，通过自监督架构的音频和视觉特征融合模块充分融合两种模态的特征。该一种多模态架构的视听觉注意力预测模型的构建方法将视频的音频和图像时空特征有效结合，具有预测效率高，成本低，易于实现，并且部署十分灵活等特点。

公开(公告)号：CN110223310B

公开(公告)日：2023-07-18

申请号：CN201910426770.5

申请日：2019-05-22

Applicant: 上海大学

Inventor： 张之江 ,  彭涛 ,  黄臻臻 ,  宋英杰 ,  邰意纯

IPC: G06T7/13 ,  G06T7/66 ,  G06T7/73

Abstract: 本发明涉及一种基于深度学习的线结构光中心线和箱体边缘检测方法，使用深度神经网络对含有线结构光的箱体图像的特定边缘进行检测，包括如下操作步骤：1）箱体数据集制作与标注。2）网络搭建与优化。3）使用图像处理方法进行八个点检测。本发明通过采用深度学习的边缘检测方法识别线结构光及箱体边缘，经过卷积神经网络的训练得到边缘二值图，最后获得线结构光中心线和箱体边缘相交的八个特征点。本方法有算法复杂度低，鲁棒性强，稳定性高，对复杂环境适应良好等诸多优点。

公开(公告)号：CN117617973A

公开(公告)日：2024-03-01

申请号：CN202311598220.4

申请日：2023-11-27

Applicant: 上海大学

Inventor： 宋英杰 ,  刘志 ,  刘毅博 ,  徐丽华 ,  张天宏 ,  王继军

IPC: A61B5/16 ,  A61B5/00 ,  G16H50/20 ,  G16H50/30 ,  G06V40/18 ,  G06V10/774 ,  G06V10/82

Abstract: 本发明提供一种基于眼动特征自适应的精神分裂症早期识别方法及系统，包括：获取精神分裂症数据集的眼动数据，得到显著区域的先验知识；获取多名精神分裂症患者和多名正常人作为被试者观看的N张图像以及记录下的他们的注视点，形成多个注视点序列；将N张图像及相应的注视点序列作为训练集，用序号标签表示注视点序列对应的被试者；构建被试者级别的精神分裂症早期识别模型；对模型进行训练；采集新的被试者观看实验范式的眼动数据，输入训练好的模型，输出精神分裂症患病风险。本发明采用被试者级别的模型，其中输入包含被试者对多张图片的注视点，这有助于克服组内差异性，可有效缓解组内差异性，使得识别的准确率更高。

公开(公告)号：CN110223310A

公开(公告)日：2019-09-10

申请号：CN201910426770.5

申请日：2019-05-22

Applicant: 上海大学

Inventor： 张之江 ,  彭涛 ,  黄臻臻 ,  宋英杰 ,  邰意纯

IPC: G06T7/13 ,  G06T7/66 ,  G06T7/73

Abstract: 本发明涉及一种基于深度学习的线结构光中心线和箱体边缘检测方法，使用深度神经网络对含有线结构光的箱体图像的特定边缘进行检测，包括如下操作步骤：1）箱体数据集制作与标注。2）网络搭建与优化。3）使用图像处理方法进行八个点检测。本发明通过采用深度学习的边缘检测方法识别线结构光及箱体边缘，经过卷积神经网络的训练得到边缘二值图，最后获得线结构光中心线和箱体边缘相交的八个特征点。本方法有算法复杂度低，鲁棒性强，稳定性高，对复杂环境适应良好等诸多优点。