一种超算中心间的大文件分片传输方法和传输架构

    公开(公告)号:CN115242782A

    公开(公告)日:2022-10-25

    申请号:CN202211148476.0

    申请日:2022-09-21

    Abstract: 本发明涉及超级计算机的资源管理技术领域,公开一种超算中心间的大文件分片传输方法和传输架构,该方法包括:步骤一,收集超算中心间传包的文件数据,对其中作为发送方的超算中心进行初始化工作;步骤二,完成初始化工作后,发送方的超算中心获取初始状态,利用强化学习算法,动态调整文件数据的分片大小,后根据分片大小进行文件数据分片后传输给接收方的超算中心;步骤三,接收方的超算中心根据其接收状态,发送传输反馈给发送方的超算中心;步骤四,更新并判断剩余的文件数据的大小,以此判断文件数据是否传输完毕,若未传输完毕,则重复步骤二至步骤四,直至整个文件数据传输完成。本发明可以有效降低系统资源的浪费,提升整体的系统效率。

    一种多计算中心场景下的任务调度器、调度方法及装置

    公开(公告)号:CN114936086A

    公开(公告)日:2022-08-23

    申请号:CN202210881811.1

    申请日:2022-07-26

    Abstract: 本发明公开了一种多计算中心场景下的任务调度器、调度方法及装置,通过感知计算中心当前和未来的资源使用情况,可以根据计算中心当前与未来一定时间内的资源占用情况,为提交到调度器的带截止日期的任务分配合适的计算中心,提前将用户计算任务下发到计算中心内;并在计算中心启动用户计算任务前,利用计算中心内专用硬件设备提前进行数据传输,将用户计算任务所依赖的数据提前下载至本计算中心内部的存储设备中,用户任务数据准备阶段无需依赖于计算中心宝贵的算力资源,从而实现计算资源和网络资源的灵活分配。本发明充分利用计算中心有限资源,实现方法简便,计算中心资源的使用率可以得到进一步的提升,且与具体计算任务无关。

    一种用于分布式环境下多深度学习任务的异构GPU分配系统和方法

    公开(公告)号:CN114820278A

    公开(公告)日:2022-07-29

    申请号:CN202210463699.X

    申请日:2022-04-29

    Abstract: 本发明属于人工智能下的深度学习领域,公开了一种用于分布式环境下多深度学习任务的异构GPU分配系统和方法,所述系统包括GPU Profile模块、任务信息采集模块、GPU选择模块和深度学习训练模块;本发明的一种用于分布式环境下多深度学习任务的异构GPU分配方法可以通过将不同计算能力的GPU分配给对应需求的任务,将模型层次复杂且批次数据量大的任务适配到性能最佳的GPU且显存足够存储的节点上运行,加快需要更长时间做深度学习训练的任务,从而明显提高异构环境下的多任务执行效率;而且当多深度学习任务并发执行,多深度学习能够整体更快地完成,可以节约程序员或用户等待结果的时间。

    一种基于递归算法的多级表单界面可视化生成方法及装置

    公开(公告)号:CN116627418A

    公开(公告)日:2023-08-22

    申请号:CN202310898879.5

    申请日:2023-07-21

    Inventor: 江宇薇 方启明

    Abstract: 本发明公开了一种基于递归算法的多级表单界面可视化生成方法及装置,属于网络信息技术领域;方法主要包括:建立组件JSON规范,设计组件类型,定义多级组件递归结构,开发可视化搭建面板,创建表单组件编辑面板,以及开发JSON文件生成工具。递归算法在此发明中用于实现各层级初始数据的设置,以及复杂对象类型的渲染和操作。装置主要包括:负责存储基础类型组件和复合类型组件的组件列表模块,实现复合组件的渲染的显示面板模块,实现对组件的编辑和复用等功能的组件编辑操作模块,以及生成符合平台JSON规范的JSON的预构置器模块。本发明能够简化表单开发过程,提高开发效率,具备较高的灵活性和可扩展性,适用于处理多层级嵌套的复杂表单场景。

    一种缓存数据的处理方法、深度学习训练方法和系统

    公开(公告)号:CN117215973B

    公开(公告)日:2024-05-28

    申请号:CN202311179609.5

    申请日:2023-09-13

    Abstract: 本申请涉及一种缓存数据的处理方法、深度学习训练方法和系统。应用于本地节点,本地节点连接远程节点以及服务器,本地节点设置有本地命中缓存区和本地淘汰缓存区:从本地命中缓存区中读取第一已缓存数据,并得到当前读取数据;其中,第一已缓存数据包括已分配至本地节点并缓存在本地命中缓存区的第一历史训练数据,以及本地节点从远程节点预读取并缓存至本地命中缓存区的第二历史训练数据;在服务器基于当前读取数据生成深度学习模型的情况下,本地节点将当前读取数据转移至淘汰缓存区中,得到第二已缓存数据。采用本方法能够提高深度学习训练的效率。

    一种基于浏览器指纹的跨域单点登录方法及系统

    公开(公告)号:CN116668190A

    公开(公告)日:2023-08-29

    申请号:CN202310900116.X

    申请日:2023-07-21

    Abstract: 本发明公开了一种基于浏览器指纹的跨域单点登录方法及系统,属于网络安全和用户认证领域,其中,跨域单点登录方法包括:在客户端生成浏览器指纹并加密;用户输入凭据;发送指纹与凭据至认证服务器;认证服务器验证用户凭据;风险监控;认证状态管理服务器根据加密指纹查询用户登录状态等。跨域单点登录方法包括客户端、认证服务器、认证状态管理服务器、双因素认证模块和风险监控模块。通过本发明,解决了同应用多个跨域子系统间频繁登录的问题,大幅提高用户体验,同时确保登录过程的安全性。

    一种多计算中心场景下的任务调度器、调度方法及装置

    公开(公告)号:CN114936086B

    公开(公告)日:2022-11-18

    申请号:CN202210881811.1

    申请日:2022-07-26

    Abstract: 本发明公开了一种多计算中心场景下的任务调度器、调度方法及装置,通过感知计算中心当前和未来的资源使用情况,可以根据计算中心当前与未来一定时间内的资源占用情况,为提交到调度器的带截止日期的任务分配合适的计算中心,提前将用户计算任务下发到计算中心内;并在计算中心启动用户计算任务前,利用计算中心内专用硬件设备提前进行数据传输,将用户计算任务所依赖的数据提前下载至本计算中心内部的存储设备中,用户任务数据准备阶段无需依赖于计算中心宝贵的算力资源,从而实现计算资源和网络资源的灵活分配。本发明充分利用计算中心有限资源,实现方法简便,计算中心资源的使用率可以得到进一步的提升,且与具体计算任务无关。

Patent Agency Ranking