-
公开(公告)号:CN108898618A
公开(公告)日:2018-11-27
申请号:CN201810573374.0
申请日:2018-06-06
Applicant: 上海交通大学
Abstract: 本发明公开了一种弱监督视频物体分割方法,包括构建视频物体分割模型,输入测试视频首帧和测试物体边界框后,基于迭代式算法对视频分物体割模型进行预训练;对测试视频首帧后的每一帧中的测试物体边界框进行追踪;对测试视频首帧后的每一帧进行像素级别的预测,生成当前帧的包含前后景信息的图像掩码;基于追踪结果对图像掩码进行优化,得到当前帧的最终物体分割计算结果。本发明还公开了一种弱监督视频物体分割装置,包括弱监督视频物体分割预训练模块、视频物体追踪模块、视频物体分割测试模块和视频物体分割优化模块。本发明减少了视频物体分割需要的人工成本,提升了视频物体分割的性能。
-
公开(公告)号:CN112309528B
公开(公告)日:2023-04-07
申请号:CN202011164568.9
申请日:2020-10-27
Applicant: 上海交通大学
IPC: G16H15/00 , G06F18/214 , G06F18/23213 , G06F40/216 , G06N3/0464 , G06N3/0442 , G06F16/35 , G06F16/332 , G06V10/82
Abstract: 本发明公开了一种基于视觉问答方法的医疗影像报告生成方法,涉及计算机视觉方向的图片处理领域和自然语言处理的问答领域,包括问答数据集生成模块、视觉问答模块和报告生成模块,其中,所述问答数据集生成模块可以基于现有医疗影像报告生成可供视觉问答模型训练的数据集,所述视觉问答模块基于医疗影像图片和给定问题生成回答。该方法生成的报告内容有实际意义且有据可循,可帮助影像科实现更少人手、更短时间内完成更多的诊断。
-
公开(公告)号:CN111339863B
公开(公告)日:2022-12-20
申请号:CN202010097320.9
申请日:2020-02-17
Applicant: 上海交通大学
Abstract: 本发明公开了一种基于物体导向外部记忆模块的视频物体检测模型,涉及计算机视觉方向的视频物体检测领域,包括外部记忆模块,以及与所述外部记忆模块相连接的外部记忆输入模块和外部记忆输出模块;所述外部记忆模块为物体导向的多级外部记忆模块;所述外部记忆模块包括特征存储矩阵,用于存储特征;所述特征由所述外部记忆输入模块从特征图中进行选择并输入;所述外部记忆输出模块将所述外部记忆模块中的所述特征输出到所述特征图中。本发明具有更好的存储空间利用率和更好的保存长时记忆的能力,同时达到更好的视频物体检测性能。
-
公开(公告)号:CN108898618B
公开(公告)日:2021-09-24
申请号:CN201810573374.0
申请日:2018-06-06
Applicant: 上海交通大学
Abstract: 本发明公开了一种弱监督视频物体分割方法,包括构建视频物体分割模型,输入测试视频首帧和测试物体边界框后,基于迭代式算法对视频分物体割模型进行预训练;对测试视频首帧后的每一帧中的测试物体边界框进行追踪;对测试视频首帧后的每一帧进行像素级别的预测,生成当前帧的包含前后景信息的图像掩码;基于追踪结果对图像掩码进行优化,得到当前帧的最终物体分割计算结果。本发明还公开了一种弱监督视频物体分割装置,包括弱监督视频物体分割预训练模块、视频物体追踪模块、视频物体分割测试模块和视频物体分割优化模块。本发明减少了视频物体分割需要的人工成本,提升了视频物体分割的性能。
-
公开(公告)号:CN116451184A
公开(公告)日:2023-07-18
申请号:CN202310155600.4
申请日:2023-02-23
Applicant: 上海交通大学
IPC: G06F21/12 , G06F21/16 , G06V10/774
Abstract: 本发明公开了一种基于扩散模型和对抗攻击的图像版权保护方法,涉及图像处理领域,包括以下步骤:步骤1、初始化对抗扰动;步骤2、根据当前对抗扰动得到当前对抗样本;步骤3、将当前对抗样本输入至扩散模型中,计算当前对抗样本在扩散模型中的损失函数;步骤4、计算损失函数对对抗样本的梯度,并取该梯度的符号函数,得到符号梯度;步骤5、根据符号梯度优化对抗扰动;步骤6、令步骤5得到的对抗扰动为新的对抗扰动,重复所述步骤2至步骤6。本发明使得基于扩散模型的AI绘画软件无法通过风格迁移等方法模仿画作,可以有效保护艺术工作的权益。
-
公开(公告)号:CN114253728A
公开(公告)日:2022-03-29
申请号:CN202111587860.6
申请日:2021-12-23
Applicant: 上海交通大学
Abstract: 一种基于网页生态的异构多节点协同分布式神经网络部署系统,通过设置多节点协同工作并进行任务分配,从而提高计算节点利用率和任务处理时间,从而探测计算节点装载的异构设备和计算能力并加载对应的神经网络。在运行阶段,实时探测各个计算节点的实时计算能力,并依据实时探测的计算能力对任务进行分布式计算节点之间的调度。利用提前退出网络的特性和能力,实现利用边缘节点和云节点协同工作从而获得更高的系统整体利用率和更低的整体处理时间。
-
公开(公告)号:CN110413838B
公开(公告)日:2021-06-22
申请号:CN201910636677.7
申请日:2019-07-15
Applicant: 上海交通大学
IPC: G06F16/738 , G06K9/00 , G06K9/62
Abstract: 本发明公开了一种无监督视频摘要模型,涉及计算机视觉方向的视频处理领域,所述模型包括条件特征选择模块,帧级自注意力模块和条件生成对抗网络模块,其中,所述条件特征选择模块选取输出视频中较重要的帧特征引导所述条件生成对抗网络模块训练,使其可以更多的关注此区域特征;所述帧级自注意力模块可以获取视频中帧与帧的长时依赖,使模型可以更好的学习到全局特征,尽可能避免去掉视觉上相似但具有一定时间距离的帧;所述条件生成对抗网络模块,包含生成器和鉴别器,可实现无监督学习,不需任何人工标定数据,克服原有方法的信息损失、部分网络需要预训练、模型复杂等问题,可实现端到端训练,提升视频摘要性能。
-
公开(公告)号:CN109005060B
公开(公告)日:2022-01-25
申请号:CN201810870834.6
申请日:2018-08-02
Applicant: 上海交通大学
IPC: H04L41/0823 , H04L41/0833 , H04L41/14 , H04L67/10 , H04L9/40 , G06N3/04
Abstract: 本发明公开了一种基于层级化高度异构分布式系统的深度学习应用优化框架,涉及计算科学方向深度学习领域,包括运行准备阶段和运行阶段,所述运行准备阶段用于进行深度神经网络训练,所述运行阶段对分布式系统中各类设备进行任务分配,并使用数据加密模块对用户敏感数据进行隐私保护。本发明的系统任务异构特性,在保证整体性能的前提下,降低系统响应时间,保证用户体验,基于神经网络的数据加密模块,能够以较低的计算代价和存储代价对用户敏感数据进行隐私保护,保障用户数据安全。
-
公开(公告)号:CN113742778A
公开(公告)日:2021-12-03
申请号:CN202111092031.0
申请日:2021-09-17
Applicant: 上海交通大学
Abstract: 本发明涉及一种基于联邦学习和ALQ压缩的分布式机器学习方法及系统,所述系统包括一个服务器端和多个客户端,服务器端的功能包括初始化全局机器学习模型、分发模型至客户端、收集客户端的模型并计算新的全局模型;客户端的功能包括接收全局模型、用本地数据对模型进行训练以及上传训练好的本地模型,服务器端和客户端之间的通信数据通过ALQ压缩算法进行压缩。与现有技术相比,本发明具有保证数据隐私安全性、适用于对通信量和扩展性有严格要求的空间信息网络等优点。
-
公开(公告)号:CN112560760A
公开(公告)日:2021-03-26
申请号:CN202011550924.0
申请日:2020-12-24
Applicant: 上海交通大学
IPC: G06K9/00 , G06F16/738 , G06K9/62 , G06N3/08
Abstract: 本发明公开了一种注意力辅助的无监督视频摘要系统。本发明涉及深度学习,计算机视觉,视频分析等领域,所述系统包括挖掘视频帧长时依赖关系的全局自注意力模块,以无监督的方式学习视频帧表征的生成对抗网络模块。本发明在基于深度神经网络的视频摘要任务基础上实现了无监督的训练方式,从而减少了人工大规模标注数据的成本,克服部分网络需要预训练、模型参数过大过多等问题,提升了视频摘要模型的性能。
-
-
-
-
-
-
-
-
-