一种跨主机跨网络的文件传输方法及系统

    公开(公告)号:CN114866537A

    公开(公告)日:2022-08-05

    申请号:CN202210607876.7

    申请日:2022-05-31

    Inventor: 潘景山 郭猛 涂阳

    Abstract: 本发明涉及文件传输技术领域,提供了一种跨主机跨网络的文件传输方法及系统,包括:接收文件拷贝请求,文件拷贝请求中包括键值、待拷贝文件的源主机文件路径和目标主机文件路径;根据键值,在连接列表中查找内存地址,根据源主机的IP地址和文件路径,从源主机读取待拷贝文件,并缓存至所述内存地址中;根据目标主机的IP地址和文件路径,将所述内存地址中的待拷贝文件,拷贝至目标主机。解决了内网主机和外网主机之间文件互传操作复杂、效率低下且占用大量本地存储的问题。

    一种跨主机跨网络的文件传输方法及系统

    公开(公告)号:CN114866537B

    公开(公告)日:2023-08-04

    申请号:CN202210607876.7

    申请日:2022-05-31

    Inventor: 潘景山 郭猛 涂阳

    Abstract: 本发明涉及文件传输技术领域,提供了一种跨主机跨网络的文件传输方法及系统,包括:接收文件拷贝请求,文件拷贝请求中包括键值、待拷贝文件的源主机文件路径和目标主机文件路径;根据键值,在连接列表中查找内存地址,根据源主机的IP地址和文件路径,从源主机读取待拷贝文件,并缓存至所述内存地址中;根据目标主机的IP地址和文件路径,将所述内存地址中的待拷贝文件,拷贝至目标主机。解决了内网主机和外网主机之间文件互传操作复杂、效率低下且占用大量本地存储的问题。

    一种面向HPC计算任务的作业安全运行预警系统及方法

    公开(公告)号:CN116055290A

    公开(公告)日:2023-05-02

    申请号:CN202211728383.5

    申请日:2022-12-30

    Abstract: 本发明公开了一种面向HPC计算任务的作业安全运行预警系统及方法,该系统包括多个客户端、服务端和预警端;多个客户端分别部署在HPC计算任务中的各运行节点处,用于采集各节点的实时节点运行信息;服务端部署在第一服务器中,用于对采集的实时节点运行信息进行数据处理并将其封装为预警系统可识别的数据格式;预警端部署在第二服务器中,用于识别处理后的节点数据,根据预设的预警规则和作业预警模型进行数据分析,分析各节点状态和作业运行状态,获取分析结果,根据分析结果对当前作业进行标记,对可能出现异常的作业进行预警。本发明通过上述系统对异常情况进行提前识别与定位,实现作业安全运行的提前预警,保障HPC计算任务的准确性。

    一种基于申威众核处理器的主核与核组之间通信锁同步运行加速方法

    公开(公告)号:CN110262900A

    公开(公告)日:2019-09-20

    申请号:CN201910536896.8

    申请日:2019-06-20

    Abstract: 本发明涉及一种基于申威众核处理器的主核与核组之间通信锁同步运行加速方法,包括步骤如下:A、判断程序段A、程序段B、程序段C之间的程序上下文依赖关系;如果程序段A、程序段B、程序段C三者之间都存在程序上下文依赖关系,则顺序执行;否则,调整程序段A、程序段B、程序段C之间的执行顺序,进行执行;B、对连续的后三段程序段执行步骤A直至执行完所有的程序。本发明判断程序段之间的程序上下文依赖关系,分情况灵活处理,还引入了“通信锁”同步机制,节省了主核等待时间,实现了主核和核组的并行处理,程序执行过程中,减少了对spawn和join核组线程的需要次数,提高了程序的执行效率。

    一种基于申威众核处理器的主核与核组之间通信锁同步运行加速方法

    公开(公告)号:CN110262900B

    公开(公告)日:2023-09-29

    申请号:CN201910536896.8

    申请日:2019-06-20

    Abstract: 本发明涉及一种基于申威众核处理器的主核与核组之间通信锁同步运行加速方法,包括步骤如下:A、判断程序段A、程序段B、程序段C之间的程序上下文依赖关系;如果程序段A、程序段B、程序段C三者之间都存在程序上下文依赖关系,则顺序执行;否则,调整程序段A、程序段B、程序段C之间的执行顺序,进行执行;B、对连续的后三段程序段执行步骤A直至执行完所有的程序。本发明判断程序段之间的程序上下文依赖关系,分情况灵活处理,还引入了“通信锁”同步机制,节省了主核等待时间,实现了主核和核组的并行处理,程序执行过程中,减少了对spawn和join核组线程的需要次数,提高了程序的执行效率。

    一种面向I/O密集型高性能应用的自动化并行MPI-I/O加速方法

    公开(公告)号:CN111679859B

    公开(公告)日:2023-08-18

    申请号:CN202010528438.2

    申请日:2020-06-11

    Abstract: 本发明涉及一种面向I/O密集型高性能应用的自动化并行MPI‑I/O加速方法,将用户提交作业设置的进程,利用MPI通信器分成两个通信域,一组是计算进程,另一组是服务进程,I/O服务进程的数量是用户根据I/O密集程度配置,用于处理计算进程上数据输出的任务。计算进程主要处理数值计算任务,在数值计算过程中生成的所有I/O请求都将转发到服务进程。因此,计算进程可以连续执行,不用等待I/O完成。I/O服务进程在内存中形成一个缓冲池,多次缓冲之后,通过调用底层接口将数据写入文件。本发明可以最大程度上提升I/O密集型应用的I/O性能。

    一种面向I/O密集型高性能应用的自动化并行MPI-I/O加速方法

    公开(公告)号:CN111679859A

    公开(公告)日:2020-09-18

    申请号:CN202010528438.2

    申请日:2020-06-11

    Abstract: 本发明涉及一种面向I/O密集型高性能应用的自动化并行MPI-I/O加速方法,将用户提交作业设置的进程,利用MPI通信器分成两个通信域,一组是计算进程,另一组是服务进程,I/O服务进程的数量是用户根据I/O密集程度配置,用于处理计算进程上数据输出的任务。计算进程主要处理数值计算任务,在数值计算过程中生成的所有I/O请求都将转发到服务进程。因此,计算进程可以连续执行,不用等待I/O完成。I/O服务进程在内存中形成一个缓冲池,多次缓冲之后,通过调用底层接口将数据写入文件。本发明可以最大程度上提升I/O密集型应用的I/O性能。

Patent Agency Ranking