-
公开(公告)号:CN117828127A
公开(公告)日:2024-04-05
申请号:CN202311745296.5
申请日:2023-12-18
Applicant: 北京大学 , 北京大学长沙计算与数字经济研究院
Abstract: 本发明涉及资源管理技术领域,公开了一种基于半结构化存储的树状层级集群用户管理方法,本发明提供的方法包括:根据用户的功能需求及非功能需求,在非关系型数据库中使用半结构化数据创建树状层级的账户树逻辑结构;利用双拷贝的缓存策略对树状层级的账户树逻辑结构中的用户请求进行读写性能优化,完成树状层级的集群用户管理。通过本发明提供的方法在物理存储结构上采用半结构化数据库存储,在逻辑结构上采用树状层级结构维护账户树与用户关联关系,在保证数据低冗余的情况下提供了较高的灵活性,同时利用树状结构建立附属关系为系统提供群组管理能力。
-
公开(公告)号:CN118733527A
公开(公告)日:2024-10-01
申请号:CN202410795696.5
申请日:2024-06-19
Applicant: 北京大学 , 北京大学长沙计算与数字经济研究院
IPC: G06F16/11 , G06F16/182 , G06F16/958
Abstract: 本发明公开了一种文件管理方法、装置、电子设备及计算机程序产品。其中,该方法包括:通过浏览器接收对计算机集群的文件管理命令;响应于文件管理命令,对计算机集群执行文件管理命令指示的文件管理操作;调用浏览器中的文件操作界面,展示文件管理操作的执行过程。本发明解决了文件管理效率低的技术问题。
-
公开(公告)号:CN117828127B
公开(公告)日:2024-08-30
申请号:CN202311745296.5
申请日:2023-12-18
Applicant: 北京大学 , 北京大学长沙计算与数字经济研究院
Abstract: 本发明涉及资源管理技术领域,公开了一种基于半结构化存储的树状层级集群用户管理方法,本发明提供的方法包括:根据用户的功能需求及非功能需求,在非关系型数据库中使用半结构化数据创建树状层级的账户树逻辑结构;利用双拷贝的缓存策略对树状层级的账户树逻辑结构中的用户请求进行读写性能优化,完成树状层级的集群用户管理。通过本发明提供的方法在物理存储结构上采用半结构化数据库存储,在逻辑结构上采用树状层级结构维护账户树与用户关联关系,在保证数据低冗余的情况下提供了较高的灵活性,同时利用树状结构建立附属关系为系统提供群组管理能力。
-
公开(公告)号:CN118113434A
公开(公告)日:2024-05-31
申请号:CN202410009015.8
申请日:2024-01-03
Applicant: 北京大学 , 北京大学长沙计算与数字经济研究院
Abstract: 本发明涉及高性能计算任务调度技术领域,公开了跨节点任务管理方法、计算机设备及存储介质,应用于计算任务调度系统,该方法包括:中央控制节点中的主控守护进程根据用户发送的待执行任务,确定待执行任务对应的多个目标计算节点,根据目标计算节点形成计算节点列表,将待执行任务下发至各目标计算节点的守护进程;目标计算节点中的守护进程用于运行待执行任务,并将运行结果发送至中央控制节点;若计算节点列表中的第一个目标计算节点上的任务进程结束,主控守护进程向各目标节点下发清除请求,以使各目标算节点中的守护进程清除待执行任务。本发明使得计算任务调度系统能够实现单节点和跨节点任务调度,具备高性能计算任务调度的基本功能。
-
公开(公告)号:CN117201479B
公开(公告)日:2024-07-26
申请号:CN202311172622.8
申请日:2023-09-12
Applicant: 北京大学 , 北京大学长沙计算与数字经济研究院
IPC: H04L67/06 , H04L67/1097 , H04L9/40
Abstract: 本发明涉及计算机技术领域,公开了一种跨集群文件传输方法、系统及装置。首先,通过主进程对待传输文件自动切分,并在切分后为每一个子文件分配线程;然后,通过调用线程从连接池中获取与子文件对应的加密通道,并调用线程创建与各子文件对应的子进程;最后,由各子进程按照对应的加密通道对各子文件进行并行传输。本发明在并行创建子进程的同时,也并行地建立了多个TCP连接,相比于rsync服务每传一个新的文件需要重新开启一次TCP连接而言,直接降低了TCP建连的时间开销,且各子文件通过并行方式传输,相当于加大了对带宽的利用效率。其次,在对待传输文件自动切分后再进行增量传输,使得各进程传输的数据量变小,传输效率更快。
-
公开(公告)号:CN117667356A
公开(公告)日:2024-03-08
申请号:CN202311706831.6
申请日:2023-12-12
Applicant: 北京大学 , 北京大学长沙计算与数字经济研究院
IPC: G06F9/48
Abstract: 本发明公开了一种作业的调度方法、装置、存储介质和处理器。该方法包括:在当前调度周期内,确定第一调度系统的第一控制节点和第二调度系统的第二控制节点;从第一控制节点的资源信息中,确定至少一计算节点在第一调度系统中占用的第一资源信息,并从第二控制节点的资源信息中,确定至少一计算节点在第二调度系统中占用的第二资源信息;基于第一资源信息和第二资源信息,确定第一控制节点和第二控制节点之间的目标调度设备的目标资源信息;基于目标调度设备的调度策略和目标资源信息,运行待运行作业,并进入当前调度周期的下一调度周期。本发明解决了物理集群整体的吞吐率较低的技术问题。
-
公开(公告)号:CN117851011B
公开(公告)日:2024-07-16
申请号:CN202410010795.8
申请日:2024-01-03
Applicant: 北京大学 , 北京大学长沙计算与数字经济研究院
Abstract: 本发明涉及计算机技术领域,公开了任务队列管理方法、装置、计算机设备及存储介质,本发明将任务按照任务状态进行划分,获得排队状态任务队列、运行状态任务队列和结束状态任务队列;对各任务队列采用多级存储;在内存中查询排队或正在运行的任务信息;对需更改任务状态的任务进行任务状态更改,并在嵌入式数据库中持久化更改后的任务状态;在全功能数据库中筛选已结束的任务信息;在任务集群需要重启或是遭遇故障恢复的情况下,按照预设恢复顺序进行任务队列恢复。本发明将不同状态任务在不同任务队列中维护,以此均摊针对不同状态任务的不同需求产生的查询或维护数据数据结构的压力,能够承受高并发压力且满足了抗故障要求。
-
公开(公告)号:CN117201479A
公开(公告)日:2023-12-08
申请号:CN202311172622.8
申请日:2023-09-12
Applicant: 北京大学 , 北京大学长沙计算与数字经济研究院
IPC: H04L67/06 , H04L67/1097 , H04L9/40
Abstract: 本发明涉及计算机技术领域,公开了一种跨集群文件传输方法、系统及装置。首先,通过主进程对待传输文件自动切分,并在切分后为每一个子文件分配线程;然后,通过调用线程从连接池中获取与子文件对应的加密通道,并调用线程创建与各子文件对应的子进程;最后,由各子进程按照对应的加密通道对各子文件进行并行传输。本发明在并行创建子进程的同时,也并行地建立了多个TCP连接,相比于rsync服务每传一个新的文件需要重新开启一次TCP连接而言,直接降低了TCP建连的时间开销,且各子文件通过并行方式传输,相当于加大了对带宽的利用效率。其次,在对待传输文件自动切分后再进行增量传输,使得各进程传输的数据量变小,传输效率更快。
-
公开(公告)号:CN117851011A
公开(公告)日:2024-04-09
申请号:CN202410010795.8
申请日:2024-01-03
Applicant: 北京大学 , 北京大学长沙计算与数字经济研究院
Abstract: 本发明涉及计算机技术领域,公开了任务队列管理方法、装置、计算机设备及存储介质,本发明将任务按照任务状态进行划分,获得排队状态任务队列、运行状态任务队列和结束状态任务队列;对各任务队列采用多级存储;在内存中查询排队或正在运行的任务信息;对需更改任务状态的任务进行任务状态更改,并在嵌入式数据库中持久化更改后的任务状态;在全功能数据库中筛选已结束的任务信息;在任务集群需要重启或是遭遇故障恢复的情况下,按照预设恢复顺序进行任务队列恢复。本发明将不同状态任务在不同任务队列中维护,以此均摊针对不同状态任务的不同需求产生的查询或维护数据数据结构的压力,能够承受高并发压力且满足了抗故障要求。
-
公开(公告)号:CN117579402B
公开(公告)日:2024-08-20
申请号:CN202410066426.0
申请日:2024-01-17
Applicant: 北京大学
IPC: H04L9/40
Abstract: 本申请公开了一种平台二次认证登录系统及方法。其中,该系统包括:目标平台和OTP管理服务器,目标平台对目标对象输入的账户名和密码进行一次认证,在认证通过时将账户名发送至OTP管理服务器,OTP管理服务器查询该账户名是否已注册;若其已注册则向目标平台发送输入OTP码的提示信息;若其未注册则向目标平台发送注册提示信息,在账户名完成注册后向目标平台发送输入OTP码的提示信息;目标平台将目标对象输入的OTP码发送至OTP管理服务器进行二次认证,在二次认证通过时执行与访问请求对应的访问操作。本申请解决了相关技术中OTP密钥本地化存储导致的高性能计算集群容易受到安全威胁的技术问题。
-
-
-
-
-
-
-
-
-