-
公开(公告)号:CN117707741A
公开(公告)日:2024-03-15
申请号:CN202410159989.4
申请日:2024-02-05
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
Abstract: 本发明涉及高性能计算的作业调度技术领域,公开了基于空间位置的能耗均衡调度方法及系统;其中方法,包括:获取高性能计算机房中机柜的功耗数据和空间位置数据,以及机柜中计算节点的功耗数据和空间位置数据;将获取的数据映射到二维空间维度上,得到机柜位置与功耗关系;根据机柜位置与功耗关系和作业调度策略,筛选可用于执行作业任务的计算节点;将待调度作业,调度至已筛选出来的一个或多个计算节点;每轮调度结束后,对能耗异常的计算节点进行调度调优。可以有效地均衡集群整体的能耗并且避免机房中热点的产生。
-
公开(公告)号:CN117633232A
公开(公告)日:2024-03-01
申请号:CN202311661689.8
申请日:2023-12-06
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F16/35 , G06N3/0442
Abstract: 本发明涉及一种基于热点预测的Hudi异步数据聚类的方法和系统;包括:SQL查询语句解析,包括收集SQL语句、分词处理、建立词汇表、建立嵌入层;基于获取并解析后的SQL语句,采用训练好的基于在线学习算法的LSTM模型预测查询热点字段和查询热点表;获取训练好的基于在线学习算法的LSTM模型预测的查询热点字段和查询热点表,多次自动化进行异步数据聚类分析。本发明可以一定程度地避免异步聚类时产生的数据不一致问题,使得分区中的数据文件有较高的新鲜度;另外,通过优化热点数据布局,大大提高了以Hudi作为Presto引擎数据源时的查询效率。
-
公开(公告)号:CN117632530A
公开(公告)日:2024-03-01
申请号:CN202410100803.8
申请日:2024-01-25
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F9/52 , G06F15/173 , G06F15/78
Abstract: 本发明涉及基于新一代申威众核处理器的从核数量调整并行加速方法,属于电子信息技术领域。包括:定义初始临界资源控制器CRC精确度;在从核访问主存的过程中,通过临界资源控制器CRC控制的形式,以控制多次所得到从核数量对应的平均时间差值为基准,根据时间差值增大或减少的情况进行临界资源控制器CRC精确度大小的调整,在确定临界资源控制器CRC控制的精确度为1时,即比较相邻从核数量所对应的时间,以此得到最佳的时间和最合适的从核数量。本发明解决了从核执行程序段中的数量选择问题。该方法可以快捷、便利地找到最佳的从核数量,有效的降低程序执行的时间,从而提高应用程序的并行效率,可以适用于申威系列众核处理器。
-
公开(公告)号:CN117632520A
公开(公告)日:2024-03-01
申请号:CN202410100805.7
申请日:2024-01-25
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F9/50 , G06F15/173 , G06F15/78
Abstract: 本发明涉及基于申威众核处理器的主从核监测交互的计算量调度方法,属于电子信息技术领域。包括:在计算量传输过程中,通过从核状态监测器SW‑CSM实现主核对从核状态的判断与监测;通过主从核协作交互器MCCI实现将计算量均匀分配到每个从核中,完成主从核监测交互的计算量调度。本发明根据单个核组内的资源配置情况,针对因计算量不同而导致的负载不均衡问题,解决了主从核交互过程中执行程序段中的计算量分配问题。该方法可以快捷、便利地实现申威众核处理器主从核交互过程中计算量的均匀分配问题,有效的降低程序执行的时间,从而提高应用程序的并行效率。该方法可以适用于申威系列众核处理器。
-
公开(公告)号:CN117596246A
公开(公告)日:2024-02-23
申请号:CN202410043836.3
申请日:2024-01-12
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: H04L67/101 , H04L67/1012 , H04L67/1008 , H04L67/60
Abstract: 本发明提供了一种基于异构资源度量特征的算力网络工作流调度方法及系统,其属于算力网络资源调度技术领域,所述方案在细粒度资源描述度量基础上,综合考虑任务、算力、网络以及数据等资源状况,通过调度跨域数据中心资源协作,有效提升了任务处理速度,提高资源利用率;所述方案可根据任务多样化的需求,制定需求与资源高度契合的调度策略,可以更加准确地匹配任务与资源,选择最适合的数据中心来执行任务;所述方案中,工作流中的子任务通过合理分配资源,缩短了任务的执行过程,提高了工作流执行效率;同时,所述方案针对多个数据中心负载情况,避免部分数据中心过载而导致任务延迟或一些数据中心空闲造成资源浪费的情况。
-
公开(公告)号:CN117557093A
公开(公告)日:2024-02-13
申请号:CN202311468817.7
申请日:2023-11-07
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06Q10/0635 , G06Q10/04 , G06F16/906 , G06F16/9535 , G06F16/9537 , G06F18/213 , G06F18/2415 , G06N3/047 , G06N3/048 , G06N3/084 , G06Q50/20 , H04L67/02
Abstract: 本发明涉及一种基于在线学习平台的早期学业风险预警方法及系统,是指:将在线学习平台产生的学生原始数据集依次经过数据处理、特征选择、学业风险预测、学业预警,与在线学习平台进行集成,对其中有学业风险的学生发送预警信息进行提醒;特征选择,包括:接收学生数据集,经过基于支持向量机的遗传算法处理后,输出最优子集学生数据集;学业风险预测,包括:接收最优子集学生数据集,传入混合神经网络模型即H2AL模型中进行训练,得到训练好的H2AL模型;本发明能够进行自动特征提取,更好地反映数据的内在结构,能够有效地处理大量特征,从中提取出最相关的信息,有助于减少模型对噪声和不必要特征的过度拟合,从而提高模型的泛化能力。
-
公开(公告)号:CN117033026A
公开(公告)日:2023-11-10
申请号:CN202311038791.2
申请日:2023-08-17
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F9/54
Abstract: 本发明涉及一种基于新一代神威超级计算机硬件架构的多层次集合通信的优化方法,包括:根据应用程序所使用的进程数不同,确定应用程序属于哪一种情况;根据新一代神威超级计算机的硬件架构,对不同情况内的1对N型、N对1型、N对N型集合通信函数进行优化,包括:通过进程分组,在各组内进行集合通信,用下层架构中的通信来代替上层架构中的通信。本发明考虑到应用程序所需要的进程数存在多种情况以及实际可供使用的资源,在多种情况下进行了测试。本发明方法在实际使用时所受的进程资源的限制,提供了处理不同资源限制下的方法,减少了使用难度,提高了用户体验。经过本发明方法优化后的集合通信函数拥有明显的加速效果。
-
公开(公告)号:CN113703952B
公开(公告)日:2023-10-10
申请号:CN202010429029.7
申请日:2020-05-20
Applicant: 山东省计算中心(国家超级计算济南中心)
IPC: G06F9/50
Abstract: 本发明涉及一种基于超级计算机的队列资源调度的资源分配方法,包括:(1)用户提交作业,指定计算资源数目与私人队列名;(2)提交的参数发送至系统判定,如果私人队列资源够使用,即私人队列资源中的资源数目大于计算资源数目,则用户作业正常运算,结束;否则,系统判断是否符合条件;提交的参数是指用户指定的计算资源数目与私人队列名;(3)如果符合条件,则将需要的临时节点从资源池中划分到中私人队列名对应的私人队列中,用户作业正常运算完成;否则,打印出不符合条件的理由;(4)系统将临时节点重新划回到资源池中,结束。本发明优化计算资源配置,提高效率。可以保持一个旺盛的资源队列,以供紧急时刻的资源调用。
-
公开(公告)号:CN113642518B
公开(公告)日:2023-08-22
申请号:CN202111014501.1
申请日:2021-08-31
Applicant: 山东省计算中心(国家超级计算济南中心)
IPC: G06V20/69 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明的基于迁移学习的her2病理图像细胞膜着色完整性判别方法,首先经图像筛选、染色分离和膜着色区域划分,由专家人工划分出包裹完整和包裹不完整膜染色的图像数据集,作为Inception‑V3模型训练的输入数据集;在特征提取步骤中,首先训练出Inception‑V3模型,再通过迁移学习对Inception‑V3模型进一步训练,得到神经网络的新分类模型。本发明的her2病理图像细胞膜着色完整性判别方法,通过迁移学习,可以在短时间内使用少量训练数据训练出效果较好的神经网络模型,针对不同个体可达到92%以上的正确率,为医生进行乳腺癌her2阳性状态判断提供了有效帮助。
-
公开(公告)号:CN116501711A
公开(公告)日:2023-07-28
申请号:CN202310474156.2
申请日:2023-04-28
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F16/182 , G06F9/50
Abstract: 本发明涉及一种基于“存算分离”架构的算力网络任务调度方法,属于算力调度技术领域,包括:初始化数据、初始化算力网络环境;提交多个子服务构成的算力网络服务,对算力网络服务进行解构;解析服务请求,确定资源需求的依赖和关联关系,将资源需求划分资源需求单元;使用NSGA‑III算法实现多目标优化,进行最优匹配;根据最优匹配完成调度。本发明在算力网络环境下,该策略优先选择传输时间短、通信成本低的数据中心来完成服务,同时在满足服务需求的前提下,提高数据中心资源的利用率,以实现服务的高效运行和资源的充分利用。
-
-
-
-
-
-
-
-
-