一种基于插桩的自动化性能数据获取和分析方法及装置

    公开(公告)号:CN117349134A

    公开(公告)日:2024-01-05

    申请号:CN202311278119.0

    申请日:2023-09-28

    Abstract: 本发明公开了一种基于插桩的自动化性能数据获取和分析方法及装置,所述方法包括以下步骤:通过配置选项选择待插桩的源代码范围,定位待插桩的源代码范围中的原始函数定义处的函数名,进行更名操作;生成包括性能数据获取块一、更名后的函数调用块、性能数据获取块二的插桩器;为每个更名后的函数生成一个与原始函数同名、具有相同参数列表和返回类型的函数,并在函数中插入插桩器以存储原始函数的性能数据;获取原始函数的性能数据进行分析,并生成结果报告。上述方案在保证插桩结果正确性的前提下,简化了性能数据获取的插桩过程和工作量。

    一种超算中心间的大文件分片传输方法和传输架构

    公开(公告)号:CN115242782A

    公开(公告)日:2022-10-25

    申请号:CN202211148476.0

    申请日:2022-09-21

    Abstract: 本发明涉及超级计算机的资源管理技术领域,公开一种超算中心间的大文件分片传输方法和传输架构,该方法包括:步骤一,收集超算中心间传包的文件数据,对其中作为发送方的超算中心进行初始化工作;步骤二,完成初始化工作后,发送方的超算中心获取初始状态,利用强化学习算法,动态调整文件数据的分片大小,后根据分片大小进行文件数据分片后传输给接收方的超算中心;步骤三,接收方的超算中心根据其接收状态,发送传输反馈给发送方的超算中心;步骤四,更新并判断剩余的文件数据的大小,以此判断文件数据是否传输完毕,若未传输完毕,则重复步骤二至步骤四,直至整个文件数据传输完成。本发明可以有效降低系统资源的浪费,提升整体的系统效率。

    一种多计算中心场景下的任务调度器、调度方法及装置

    公开(公告)号:CN114936086A

    公开(公告)日:2022-08-23

    申请号:CN202210881811.1

    申请日:2022-07-26

    Abstract: 本发明公开了一种多计算中心场景下的任务调度器、调度方法及装置,通过感知计算中心当前和未来的资源使用情况,可以根据计算中心当前与未来一定时间内的资源占用情况,为提交到调度器的带截止日期的任务分配合适的计算中心,提前将用户计算任务下发到计算中心内;并在计算中心启动用户计算任务前,利用计算中心内专用硬件设备提前进行数据传输,将用户计算任务所依赖的数据提前下载至本计算中心内部的存储设备中,用户任务数据准备阶段无需依赖于计算中心宝贵的算力资源,从而实现计算资源和网络资源的灵活分配。本发明充分利用计算中心有限资源,实现方法简便,计算中心资源的使用率可以得到进一步的提升,且与具体计算任务无关。

    一种跨集群数据处理方法及装置
    4.
    发明公开

    公开(公告)号:CN120011112A

    公开(公告)日:2025-05-16

    申请号:CN202510488492.1

    申请日:2025-04-18

    Abstract: 本说明书公开了一种跨集群数据处理方法及装置。所述方法包括:将各计算节点所存储的第一结果数据拆分为多个数据切片;按照每个数据切片在第一结果数据中的先后顺序,依次将各数据切片从各计算节点发送给第一计算集群的主机内存,以使主机内存对已接收的数据切片和第二计算集群的主机内存中存储的数据切片进行规约计算,得到已接收的数据切片对应的第二结果数据;控制主机内存在接收后续的数据切片的同时,将第二结果数据从第一计算集群的主机内存发送给每个已接收的数据切片对应的计算节点;在各计算节点接收到全部数据切片对应的第二结果数据后,得到目标计算结果。本方案提高了跨集群通信效率,进一步提高了跨集群数据处理效率。

    一种超算中心间的大文件分片传输方法和传输架构

    公开(公告)号:CN115242782B

    公开(公告)日:2023-01-03

    申请号:CN202211148476.0

    申请日:2022-09-21

    Abstract: 本发明涉及超级计算机的资源管理技术领域,公开一种超算中心间的大文件分片传输方法和传输架构,该方法包括:步骤一,收集超算中心间传包的文件数据,对其中作为发送方的超算中心进行初始化工作;步骤二,完成初始化工作后,发送方的超算中心获取初始状态,利用强化学习算法,动态调整文件数据的分片大小,后根据分片大小进行文件数据分片后传输给接收方的超算中心;步骤三,接收方的超算中心根据其接收状态,发送传输反馈给发送方的超算中心;步骤四,更新并判断剩余的文件数据的大小,以此判断文件数据是否传输完毕,若未传输完毕,则重复步骤二至步骤四,直至整个文件数据传输完成。本发明可以有效降低系统资源的浪费,提升整体的系统效率。

    一种多计算中心场景下的任务调度器、调度方法及装置

    公开(公告)号:CN114936086B

    公开(公告)日:2022-11-18

    申请号:CN202210881811.1

    申请日:2022-07-26

    Abstract: 本发明公开了一种多计算中心场景下的任务调度器、调度方法及装置,通过感知计算中心当前和未来的资源使用情况,可以根据计算中心当前与未来一定时间内的资源占用情况,为提交到调度器的带截止日期的任务分配合适的计算中心,提前将用户计算任务下发到计算中心内;并在计算中心启动用户计算任务前,利用计算中心内专用硬件设备提前进行数据传输,将用户计算任务所依赖的数据提前下载至本计算中心内部的存储设备中,用户任务数据准备阶段无需依赖于计算中心宝贵的算力资源,从而实现计算资源和网络资源的灵活分配。本发明充分利用计算中心有限资源,实现方法简便,计算中心资源的使用率可以得到进一步的提升,且与具体计算任务无关。

Patent Agency Ranking