基于网页生态的异构多节点协同分布式神经网络部署系统

    公开(公告)号:CN114253728B

    公开(公告)日:2024-07-09

    申请号:CN202111587860.6

    申请日:2021-12-23

    Abstract: 一种基于网页生态的异构多节点协同分布式神经网络部署系统,通过设置多节点协同工作并进行任务分配,从而提高计算节点利用率和任务处理时间,从而探测计算节点装载的异构设备和计算能力并加载对应的神经网络。在运行阶段,实时探测各个计算节点的实时计算能力,并依据实时探测的计算能力对任务进行分布式计算节点之间的调度。利用提前退出网络的特性和能力,实现利用边缘节点和云节点协同工作从而获得更高的系统整体利用率和更低的整体处理时间。

    一种注意力辅助的无监督视频摘要系统

    公开(公告)号:CN112560760B

    公开(公告)日:2023-03-10

    申请号:CN202011550924.0

    申请日:2020-12-24

    Abstract: 本发明公开了一种注意力辅助的无监督视频摘要系统。本发明涉及深度学习,计算机视觉,视频分析等领域,所述系统包括挖掘视频帧长时依赖关系的全局自注意力模块,以无监督的方式学习视频帧表征的生成对抗网络模块。本发明在基于深度神经网络的视频摘要任务基础上实现了无监督的训练方式,从而减少了人工大规模标注数据的成本,克服部分网络需要预训练、模型参数过大过多等问题,提升了视频摘要模型的性能。

    一种基于迭代搜索策略的单目深度估计方法

    公开(公告)号:CN112308893B

    公开(公告)日:2022-11-04

    申请号:CN202011133503.8

    申请日:2020-10-21

    Abstract: 一种基于迭代搜索策略的单目深度估计方法,包括:标签选择及生成模块选取图片中的关键区域并以点对的形式提供少量相对深度标签,使用少量相对深度标签进行训练深度估计模型,输出稠密的深度估计结果及对应置信度,反馈给标签选择及生成模块,选择新的关键区域,生成新的关键区域的相对深度标签,更新深度估计模块的结果,由此迭代至收敛,获取最优的深度估计模型。该方法有益效果为:可以降低深度真值获取难度,相对于直接根据深度真值进行回归拟合的方法相比更具一般性,通过置信度反映深度信息缺失情况,参与相对深度标签选择过程,与一次性提供深度标签的方法相比,可使深度估计模型高效获取到更多的深度信息,从而提高性能。

    一种基于迭代搜索策略的单目深度估计方法

    公开(公告)号:CN112308893A

    公开(公告)日:2021-02-02

    申请号:CN202011133503.8

    申请日:2020-10-21

    Abstract: 一种基于迭代搜索策略的单目深度估计方法,包括:标签选择及生成模块选取图片中的关键区域并以点对的形式提供少量相对深度标签,使用少量相对深度标签进行训练深度估计模型,输出稠密的深度估计结果及对应置信度,反馈给标签选择及生成模块,选择新的关键区域,生成新的关键区域的相对深度标签,更新深度估计模块的结果,由此迭代至收敛,获取最优的深度估计模型。该方法有益效果为:可以降低深度真值获取难度,相对于直接根据深度真值进行回归拟合的方法相比更具一般性,通过置信度反映深度信息缺失情况,参与相对深度标签选择过程,与一次性提供深度标签的方法相比,可使深度估计模型高效获取到更多的深度信息,从而提高性能。

    基于联邦学习和ALQ压缩的分布式机器学习方法及系统

    公开(公告)号:CN113742778B

    公开(公告)日:2023-10-31

    申请号:CN202111092031.0

    申请日:2021-09-17

    Abstract: 本发明涉及一种基于联邦学习和ALQ压缩的分布式机器学习方法及系统,所述系统包括一个服务器端和多个客户端,服务器端的功能包括初始化全局机器学习模型、分发模型至客户端、收集客户端的模型并计算新的全局模型;客户端的功能包括接收全局模型、用本地数据对模型进行训练以及上传训练好的本地模型,服务器端和客户端之间的通信数据通过ALQ压缩算法进行压缩。与现有技术相比,本发明具有保证数据隐私安全性、适用于对通信量和扩展性有严格要求的空间信息网络等优点。

    一种利用位置掩码注意力机制的视频帧增强方法

    公开(公告)号:CN112307939B

    公开(公告)日:2022-10-04

    申请号:CN202011172682.6

    申请日:2020-10-28

    Abstract: 一种利用位置掩码注意力机制的视频帧增强方法,输入相邻两个视频帧的特征图,通过位置信息对齐同一像素在不同帧上的位置,从而利用之前帧的信息增强当前帧的信息量,包括位置距离掩码生成和位置注意力信息融合两部分;位置距离掩码生成根据输入特征图的大小,利用相邻两帧像素点的距离生成一个和特征图大小匹配的掩码;位置注意力信息融合利用生成的位置距离掩码,指导原始的注意力机制赋予对齐的像素点更大的权重,从而生成一个增强的特征图来取代当前帧原始的特征图用于后续处理。本发明基于注意力机制,不需要额外的训练参数,可以达到比原始的注意力机制更快的收敛速度和更好的预测结果,可以广泛利用于各种视频任务中。

    一种基于视觉问答方法的医疗影像报告生成方法

    公开(公告)号:CN112309528A

    公开(公告)日:2021-02-02

    申请号:CN202011164568.9

    申请日:2020-10-27

    Abstract: 本发明公开了一种基于视觉问答方法的医疗影像报告生成方法,涉及计算机视觉方向的图片处理领域和自然语言处理的问答领域,包括问答数据集生成模块、视觉问答模块和报告生成模块,其中,所述问答数据集生成模块可以基于现有医疗影像报告生成可供视觉问答模型训练的数据集,所述视觉问答模块基于医疗影像图片和给定问题生成回答。该方法生成的报告内容有实际意义且有据可循,可帮助影像科实现更少人手、更短时间内完成更多的诊断。

    一种利用位置掩码注意力机制的视频帧增强方法

    公开(公告)号:CN112307939A

    公开(公告)日:2021-02-02

    申请号:CN202011172682.6

    申请日:2020-10-28

    Abstract: 一种利用位置掩码注意力机制的视频帧增强方法,输入相邻两个视频帧的特征图,通过位置信息对齐同一像素在不同帧上的位置,从而利用之前帧的信息增强当前帧的信息量,包括位置距离掩码生成和位置注意力信息融合两部分;位置距离掩码生成根据输入特征图的大小,利用相邻两帧像素点的距离生成一个和特征图大小匹配的掩码;位置注意力信息融合利用生成的位置距离掩码,指导原始的注意力机制赋予对齐的像素点更大的权重,从而生成一个增强的特征图来取代当前帧原始的特征图用于后续处理。本发明基于注意力机制,不需要额外的训练参数,可以达到比原始的注意力机制更快的收敛速度和更好的预测结果,可以广泛利用于各种视频任务中。

    一种基于物体导向外部记忆模块的视频物体检测模型

    公开(公告)号:CN111339863A

    公开(公告)日:2020-06-26

    申请号:CN202010097320.9

    申请日:2020-02-17

    Abstract: 本发明公开了一种基于物体导向外部记忆模块的视频物体检测模型,涉及计算机视觉方向的视频物体检测领域,包括外部记忆模块,以及与所述外部记忆模块相连接的外部记忆输入模块和外部记忆输出模块;所述外部记忆模块为物体导向的多级外部记忆模块;所述外部记忆模块包括特征存储矩阵,用于存储特征;所述特征由所述外部记忆输入模块从特征图中进行选择并输入;所述外部记忆输出模块将所述外部记忆模块中的所述特征输出到所述特征图中。本发明具有更好的存储空间利用率和更好的保存长时记忆的能力,同时达到更好的视频物体检测性能。

    一种无监督视频摘要模型及其建立方法

    公开(公告)号:CN110413838A

    公开(公告)日:2019-11-05

    申请号:CN201910636677.7

    申请日:2019-07-15

    Abstract: 本发明公开了一种无监督视频摘要模型,涉及计算机视觉方向的视频处理领域,所述模型包括条件特征选择模块,帧级自注意力模块和条件生成对抗网络模块,其中,所述条件特征选择模块选取输出视频中较重要的帧特征引导所述条件生成对抗网络模块训练,使其可以更多的关注此区域特征;所述帧级自注意力模块可以获取视频中帧与帧的长时依赖,使模型可以更好的学习到全局特征,尽可能避免去掉视觉上相似但具有一定时间距离的帧;所述条件生成对抗网络模块,包含生成器和鉴别器,可实现无监督学习,不需任何人工标定数据,克服原有方法的信息损失、部分网络需要预训练、模型复杂等问题,可实现端到端训练,提升视频摘要性能。

Patent Agency Ranking