一种基于半结构化存储的树状层级集群用户管理方法

    公开(公告)号:CN117828127B

    公开(公告)日:2024-08-30

    申请号:CN202311745296.5

    申请日:2023-12-18

    Abstract: 本发明涉及资源管理技术领域,公开了一种基于半结构化存储的树状层级集群用户管理方法,本发明提供的方法包括:根据用户的功能需求及非功能需求,在非关系型数据库中使用半结构化数据创建树状层级的账户树逻辑结构;利用双拷贝的缓存策略对树状层级的账户树逻辑结构中的用户请求进行读写性能优化,完成树状层级的集群用户管理。通过本发明提供的方法在物理存储结构上采用半结构化数据库存储,在逻辑结构上采用树状层级结构维护账户树与用户关联关系,在保证数据低冗余的情况下提供了较高的灵活性,同时利用树状结构建立附属关系为系统提供群组管理能力。

    跨节点任务管理方法、计算机设备及存储介质

    公开(公告)号:CN118113434A

    公开(公告)日:2024-05-31

    申请号:CN202410009015.8

    申请日:2024-01-03

    Abstract: 本发明涉及高性能计算任务调度技术领域,公开了跨节点任务管理方法、计算机设备及存储介质,应用于计算任务调度系统,该方法包括:中央控制节点中的主控守护进程根据用户发送的待执行任务,确定待执行任务对应的多个目标计算节点,根据目标计算节点形成计算节点列表,将待执行任务下发至各目标计算节点的守护进程;目标计算节点中的守护进程用于运行待执行任务,并将运行结果发送至中央控制节点;若计算节点列表中的第一个目标计算节点上的任务进程结束,主控守护进程向各目标节点下发清除请求,以使各目标算节点中的守护进程清除待执行任务。本发明使得计算任务调度系统能够实现单节点和跨节点任务调度,具备高性能计算任务调度的基本功能。

    一种跨集群文件传输方法、系统及装置

    公开(公告)号:CN117201479B

    公开(公告)日:2024-07-26

    申请号:CN202311172622.8

    申请日:2023-09-12

    Abstract: 本发明涉及计算机技术领域,公开了一种跨集群文件传输方法、系统及装置。首先,通过主进程对待传输文件自动切分,并在切分后为每一个子文件分配线程;然后,通过调用线程从连接池中获取与子文件对应的加密通道,并调用线程创建与各子文件对应的子进程;最后,由各子进程按照对应的加密通道对各子文件进行并行传输。本发明在并行创建子进程的同时,也并行地建立了多个TCP连接,相比于rsync服务每传一个新的文件需要重新开启一次TCP连接而言,直接降低了TCP建连的时间开销,且各子文件通过并行方式传输,相当于加大了对带宽的利用效率。其次,在对待传输文件自动切分后再进行增量传输,使得各进程传输的数据量变小,传输效率更快。

    作业的调度方法、装置、存储介质和处理器

    公开(公告)号:CN117667356A

    公开(公告)日:2024-03-08

    申请号:CN202311706831.6

    申请日:2023-12-12

    Abstract: 本发明公开了一种作业的调度方法、装置、存储介质和处理器。该方法包括:在当前调度周期内,确定第一调度系统的第一控制节点和第二调度系统的第二控制节点;从第一控制节点的资源信息中,确定至少一计算节点在第一调度系统中占用的第一资源信息,并从第二控制节点的资源信息中,确定至少一计算节点在第二调度系统中占用的第二资源信息;基于第一资源信息和第二资源信息,确定第一控制节点和第二控制节点之间的目标调度设备的目标资源信息;基于目标调度设备的调度策略和目标资源信息,运行待运行作业,并进入当前调度周期的下一调度周期。本发明解决了物理集群整体的吞吐率较低的技术问题。

    任务队列管理方法、装置、计算机设备及存储介质

    公开(公告)号:CN117851011A

    公开(公告)日:2024-04-09

    申请号:CN202410010795.8

    申请日:2024-01-03

    Abstract: 本发明涉及计算机技术领域,公开了任务队列管理方法、装置、计算机设备及存储介质,本发明将任务按照任务状态进行划分,获得排队状态任务队列、运行状态任务队列和结束状态任务队列;对各任务队列采用多级存储;在内存中查询排队或正在运行的任务信息;对需更改任务状态的任务进行任务状态更改,并在嵌入式数据库中持久化更改后的任务状态;在全功能数据库中筛选已结束的任务信息;在任务集群需要重启或是遭遇故障恢复的情况下,按照预设恢复顺序进行任务队列恢复。本发明将不同状态任务在不同任务队列中维护,以此均摊针对不同状态任务的不同需求产生的查询或维护数据数据结构的压力,能够承受高并发压力且满足了抗故障要求。

    任务队列管理方法、装置、计算机设备及存储介质

    公开(公告)号:CN117851011B

    公开(公告)日:2024-07-16

    申请号:CN202410010795.8

    申请日:2024-01-03

    Abstract: 本发明涉及计算机技术领域,公开了任务队列管理方法、装置、计算机设备及存储介质,本发明将任务按照任务状态进行划分,获得排队状态任务队列、运行状态任务队列和结束状态任务队列;对各任务队列采用多级存储;在内存中查询排队或正在运行的任务信息;对需更改任务状态的任务进行任务状态更改,并在嵌入式数据库中持久化更改后的任务状态;在全功能数据库中筛选已结束的任务信息;在任务集群需要重启或是遭遇故障恢复的情况下,按照预设恢复顺序进行任务队列恢复。本发明将不同状态任务在不同任务队列中维护,以此均摊针对不同状态任务的不同需求产生的查询或维护数据数据结构的压力,能够承受高并发压力且满足了抗故障要求。

    一种跨集群文件传输方法、系统及装置

    公开(公告)号:CN117201479A

    公开(公告)日:2023-12-08

    申请号:CN202311172622.8

    申请日:2023-09-12

    Abstract: 本发明涉及计算机技术领域,公开了一种跨集群文件传输方法、系统及装置。首先,通过主进程对待传输文件自动切分,并在切分后为每一个子文件分配线程;然后,通过调用线程从连接池中获取与子文件对应的加密通道,并调用线程创建与各子文件对应的子进程;最后,由各子进程按照对应的加密通道对各子文件进行并行传输。本发明在并行创建子进程的同时,也并行地建立了多个TCP连接,相比于rsync服务每传一个新的文件需要重新开启一次TCP连接而言,直接降低了TCP建连的时间开销,且各子文件通过并行方式传输,相当于加大了对带宽的利用效率。其次,在对待传输文件自动切分后再进行增量传输,使得各进程传输的数据量变小,传输效率更快。

    一种基于半结构化存储的树状层级集群用户管理方法

    公开(公告)号:CN117828127A

    公开(公告)日:2024-04-05

    申请号:CN202311745296.5

    申请日:2023-12-18

    Abstract: 本发明涉及资源管理技术领域,公开了一种基于半结构化存储的树状层级集群用户管理方法,本发明提供的方法包括:根据用户的功能需求及非功能需求,在非关系型数据库中使用半结构化数据创建树状层级的账户树逻辑结构;利用双拷贝的缓存策略对树状层级的账户树逻辑结构中的用户请求进行读写性能优化,完成树状层级的集群用户管理。通过本发明提供的方法在物理存储结构上采用半结构化数据库存储,在逻辑结构上采用树状层级结构维护账户树与用户关联关系,在保证数据低冗余的情况下提供了较高的灵活性,同时利用树状结构建立附属关系为系统提供群组管理能力。

    论文收集管理方法及装置
    10.
    发明公开

    公开(公告)号:CN116842135A

    公开(公告)日:2023-10-03

    申请号:CN202310808960.X

    申请日:2023-07-03

    Applicant: 北京大学

    Abstract: 本申请公开了一种论文收集管理方法及装置。其中,该方法包括:从目标论文库中检索含有目标致谢关键词的目标论文的论文信息,其中,论文信息中至少包括论文名称和论文链接;依据论文链接确定目标论文的数字对象唯一标识,并依据数字对象唯一标识获取目标论文的元数据信息;依据元数据信息确定目标论文的论文分区信息;统计论文分区信息,并依据预设展示方式展示统计结果。本申请解决了相关技术中人工收集致谢公共科研平台的论文时效率较低且收集结果不完善的技术问题。

Patent Agency Ranking