-
公开(公告)号:CN119149240B
公开(公告)日:2025-04-08
申请号:CN202411594962.4
申请日:2024-11-11
Applicant: 齐鲁工业大学(山东省科学院) , 山东省计算中心(国家超级计算济南中心)
IPC: G06F9/50
Abstract: 本发明提出面向深度学习的细粒度、干扰感知的GPU调度方法及系统,涉及GPU资源调度技术领域。包括在离线阶段收集工作负载的资源需求信息;生成每个应用程序对应的在GPU上执行的CUDA内核任务;拦截每个应用程序CUDA内核任务的启动请求,并将启动请求对应的CUDA内核任务缓存在每个应用程序对应的任务队列中;对于高优先级应用程序,直接将对应任务队列中的CUDA内核任务提交给GPU调度;对于低优先级应用程序,根据干扰评分以及资源需求判断是否提交CUDA内核任务至GPU进行调度。本发明能够减少任务之间的资源冲突和干扰,实现GPU资源共享,提高GPU资源利用率。
-
公开(公告)号:CN118779197A
公开(公告)日:2024-10-15
申请号:CN202411237023.4
申请日:2024-09-05
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F11/34 , G06F11/30 , G06F9/50 , G06N3/006 , G06F18/23213 , G06F18/2415
Abstract: 本发明涉及一种基于BWO和聚类算法的作业资源消耗模式分析方法,属于大数据计算技术领域;包括:(1)作业运行与任务调度;(2)工作节点资源指标监控;(3)数据预处理和生成数据集;(4)运行基于白鲸优化算法和K‑prototypes算法的BWO/K‑prototypes算法;(5)BWO/K‑prototypes算法最优解应用;(6)聚类结果分析;(7)Flink作业的资源消耗模式分析结果获取与保存。本发明不仅可以提升Flink集群的执行效率,避免异常抛出;还可以减少资源占用,避免不必要的资源浪费。
-
公开(公告)号:CN117707747B
公开(公告)日:2024-05-24
申请号:CN202410166795.7
申请日:2024-02-06
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
Abstract: 本公开提供了基于资源使用率预测的作业超量分配调度方法及系统,涉及高性能计算的作业调度技术领域,若目标作业为长作业,则将长作业注册到资源使用率预测模块的工作队列中,获取实时的各节点的资源使用率数据,并输入至资源使用率预测模块预测所有运行长作业的节点未来设定时间各类资源的使用率情况,并使用调度算法根据资源使用率预测模型输出的预测数据确定最优运行节点;若目标作业为短作业,则根据其总体资源使用率的估计值在所有运行长作业的节点中进行匹配,并分配到最佳匹配节点;本公开有效解决了集群中的资源闲置问题。
-
公开(公告)号:CN117667606A
公开(公告)日:2024-03-08
申请号:CN202410146277.9
申请日:2024-02-02
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F11/30 , G06N3/042 , G06N3/0464 , G06N3/0442 , G06N3/048 , G06N3/08
Abstract: 本公开提供了基于用户行为的高性能计算集群能耗预测方法及系统,涉及高性能计算、云计算技术领域,获取实时监视的所有处于活跃状态的用户会话以及各节点、机柜的能耗数据;提取用户会话中的用户行为序列,对所述用户行为序列进行分类编码并转换为图数据结构;将所述图数据结构输入至用户行为预测模型中,预测未来设定时间内的行为序列并作为协变量;将所述协变量与能耗数据进行数据合并、扩充特征序列,获取包含用户行为信息的高维时序能耗数据,将所述高维时序能耗数据输入至能耗预测模型中,得到对集群各机柜、节点未来设定时间内的能耗预测值。本公开考虑用户行为对能耗的影响,从而实现更精准的预测。
-
公开(公告)号:CN116069143A
公开(公告)日:2023-05-05
申请号:CN202310354094.1
申请日:2023-04-06
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
Abstract: 本发明属于高性能计算数据中心节能领域,提供了一种基于作业相似性判断功耗预测的节能方法及系统,针对数据中心高昂的运营成本,采用了基于各指标信息和作业日志信息与目标作业计算节点对应的各指标信息和日志信息进行相似度判断,计算出每个作业与目标作业的相似度得分,将大于相似度得分阈值的作业作为功耗预测的训练数据;基于功耗预测的训练数据对功耗预测模型进行训练,采用训练后的功耗预测模型预测目标作业所在节点未来的功耗情况;根据目标作业所在节点的功耗情况,对目标作业所在节点进行升温或降温操作。可以减少HPC集群中热点的出现,同时降低HPC集群中的冷却能耗,实现了HPC集群中节能的目标。
-
公开(公告)号:CN115220900A
公开(公告)日:2022-10-21
申请号:CN202211138391.4
申请日:2022-09-19
Applicant: 山东省计算中心(国家超级计算济南中心)
IPC: G06F9/48 , G06F9/50 , G06F11/30 , G06F16/215 , G06K9/62
Abstract: 本发明公开了一种基于作业功耗预测的节能调度方法及系统,涉及高性能计算数据中心节能领域。通过资源监控模块,功耗预测模块和作业调度模块三个模块实现了数据的监控和功耗的预测,进而根据预测结果实现了作业调度。在节能调度方法中基于机器学习对作业队列中的作业功耗进行预测,使得预测结果比传统的理论模型更加准确,根据预测结果对负载作业和负载机柜进行分类,将高负载作业和低负载作业以轮询的方式分别分配给高负载机柜和低负载机柜,可以保证HPC数据中心的整体负载均衡。在机柜内将服务器划分为高温服务器和低温服务器,将作业优先分配给低温服务器可以防止机柜内出现局部温度过高的情况,有效避免了热点的出现。
-
公开(公告)号:CN112148224A
公开(公告)日:2020-12-29
申请号:CN202011009002.9
申请日:2020-09-23
Applicant: 山东省计算中心(国家超级计算济南中心)
Abstract: 本发明公开了一种提升申威平台的虚拟化存储性能的方法及系统,包括:在申威平台的宿主机上形成磁盘阵列;在磁盘阵列上构建新的存储卷;基于新的存储卷构建文件系统;在构建的文件系统上创建虚拟机;宿主机通过虚拟机实现与客户机的读写操作。利用LVM cache结合RAID0技术,在申威平台上构建文件系统,并使用KVM虚拟化技术创建虚拟机,提升申威平台上虚拟化存储IO的读写性能。
-
公开(公告)号:CN119809381A
公开(公告)日:2025-04-11
申请号:CN202411871466.9
申请日:2024-12-18
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06Q10/0637 , G06Q50/26 , G06F18/214 , G06F18/2415
Abstract: 本发明提供了一种基于深度学习及偏差纠正的短期降水预测方法及系统,包括:获取预设区域内降水情况历史数据;基于所述历史数据,利用预先训练的基于深度学习的短期降水预测模型,获得未来预设阶段的初始降水预测结果;基于所述初始降水预测结果,结合预先计算的预测偏差,获得短期降水预测结果。
-
公开(公告)号:CN114491204B
公开(公告)日:2025-03-04
申请号:CN202111473648.7
申请日:2021-11-29
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F16/951 , G06F16/901 , G06Q50/20
Abstract: 本发明涉及一种用于信息类专业实验的课程自动搭建方法及系统,包括步骤如下:(1)初始化;A、爬虫网上信息类课程教材书籍信息,构建基于一门课程的知识点关键词词库以及知识图谱;B、对资源进行封装,对资源包推荐标签,进行标签处理;(2)根据用户需求构建实验课程:C、根据用户提供的教材书籍信息拉取出该教材或相似课程教材的关键词词库;D、根据步骤C匹配拉取出的关键词词库构造出实验课程。本发明依据系统提供最先进、最全面的信息资源,为教师提供最便捷的课程自动搭建模式,解决了教师繁琐备课的难题;本发明为信息类专业的学生提供了全面的自主学习和操作的平台;本发明增强了师生间的互动性,使实验教学的效率最大化。
-
公开(公告)号:CN118484321B
公开(公告)日:2024-10-18
申请号:CN202410946509.9
申请日:2024-07-16
Applicant: 齐鲁工业大学(山东省科学院) , 山东省计算中心(国家超级计算济南中心) , 山东省公安厅
IPC: G06F9/54 , G06N5/01 , G06F18/23213 , G06F18/2431
Abstract: 本发明涉及计算机存储技术领域,提供了一种基于组级学习的缓存学习方法及系统。该方法包括,获取组级特征和子组级特征;当缓存需要进行淘汰时,根据待预测组的组级特征,采用已训练的组的梯度提升树模型,得到该组的预测效用值;根据组内子组的子组级特征,采用已训练的子组的梯度提升树模型,得到该子组的预测效用值;分别将组的预测效用值和子组的预测效用值按照数值大小进行排序;从效用值最低的组开始,选择与该组写入时间最接近的N‑1个组,构成一个包含N个组的淘汰候选集合;从N个组的淘汰候选集合,选择保留效用值高于设定值的若干个子组,其余淘汰出缓存。本发明能够更准确地预测数据对象组的效用,且减少不必要的缓存淘汰。
-
-
-
-
-
-
-
-
-