-
公开(公告)号:CN118779197B
公开(公告)日:2025-02-14
申请号:CN202411237023.4
申请日:2024-09-05
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F11/34 , G06F11/30 , G06F9/50 , G06N3/006 , G06F18/23213 , G06F18/2415
Abstract: 本发明涉及一种基于BWO和聚类算法的作业资源消耗模式分析方法,属于大数据计算技术领域;包括:(1)作业运行与任务调度;(2)工作节点资源指标监控;(3)数据预处理和生成数据集;(4)运行基于白鲸优化算法和K‑prototypes算法的BWO/K‑prototypes算法;(5)BWO/K‑prototypes算法最优解应用;(6)聚类结果分析;(7)Flink作业的资源消耗模式分析结果获取与保存。本发明不仅可以提升Flink集群的执行效率,避免异常抛出;还可以减少资源占用,避免不必要的资源浪费。
-
公开(公告)号:CN119292782A
公开(公告)日:2025-01-10
申请号:CN202411440151.9
申请日:2024-10-15
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F9/50 , G06F18/241 , G06F18/22 , G06F18/20 , G06N3/0442 , G06N3/084
Abstract: 本公开涉及GPU调度技术领域,提出了一种跨域的GPU亲和性调度方法及系统,包括如下步骤:获取各个资源池中的GPU信息以及待处理应用的指标数据;根据待处理应用的指标数据进行分类,得到待处理应用的类别;根据历史匹配库中的历史匹配信息,基于待处理应用的类别对现有GPU资源进行过滤,筛选出与待处理应用类别相似的GPU资源列表;针对得到的GPU资源列表,使用多维度的指标对应用和GPU资源之间的亲和性进行评估,计算亲和性得分并排序,选择得分最高的GPU资源进行调度。本公开通过资源列表筛选、亲和性计算以及代价评估,逐步缩小调度范围,提高了GPU资源配置的准确度和效率。
-
公开(公告)号:CN114649052B
公开(公告)日:2024-10-25
申请号:CN202210283254.3
申请日:2022-03-22
Applicant: 山东省计算中心(国家超级计算济南中心)
Abstract: 本发明公开了基于超算互联网的RNA结构预测方法及系统,包括:获取待预测的RNA序列;对待预测的RNA序列进行编辑;对编辑后的RNA序列,进行RNA二级结构预测,得到RNA二级结构预测结果;从RNA二级结构预测结果中进行文件提取,得到文件提取结果;基于RNA二级结构文件提取结果和待预测的RNA序列,进行RNA三级结构预测,得到RNA三级结构预测结果;比较RNA三级结构预测结果与参考结构之间的差异,通过多个指标对差异进行衡量,选择最优的预测结构作为最终结构;其中,对待预测的RNA序列进行编辑、进行RNA二级结构预测和进行RNA三级结构预测;均调度多个超算算力资源进行实现。
-
公开(公告)号:CN118519752A
公开(公告)日:2024-08-20
申请号:CN202410971556.9
申请日:2024-07-19
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
Abstract: 本发明涉及基于深度强化学习的两阶段工作流调度方法和系统,属于深度强化学习技术领域。包括:1)根据用户提供的工作流和数据传输信息,构建工作流池,并初始化每个工作流的状态和任务数量;2)利用TD2QN算法循环遍历每个工作流,并将入口任务加入到就绪队列中;将进入到就绪任务队列中的任务,利用TD2QN算法进行动态地选择,并为任务分配适当的计算资源,从而最大化整个工作流的效率和性能;3)当工作流成功完成时,生成并返回有关已完成工作流的详细信息,为用户提供全面的调度结果和性能评估。本发明综合考虑成本和通信时间,提高了系统效率和性能。
-
公开(公告)号:CN118484321A
公开(公告)日:2024-08-13
申请号:CN202410946509.9
申请日:2024-07-16
Applicant: 齐鲁工业大学(山东省科学院) , 山东省计算中心(国家超级计算济南中心) , 山东省公安厅
IPC: G06F9/54 , G06N5/01 , G06F18/23213 , G06F18/2431
Abstract: 本发明涉及计算机存储技术领域,提供了一种基于组级学习的缓存学习方法及系统。该方法包括,获取组级特征和子组级特征;当缓存需要进行淘汰时,根据待预测组的组级特征,采用已训练的组的梯度提升树模型,得到该组的预测效用值;根据组内子组的子组级特征,采用已训练的子组的梯度提升树模型,得到该子组的预测效用值;分别将组的预测效用值和子组的预测效用值按照数值大小进行排序;从效用值最低的组开始,选择与该组写入时间最接近的N‑1个组,构成一个包含N个组的淘汰候选集合;从N个组的淘汰候选集合,选择保留效用值高于设定值的若干个子组,其余淘汰出缓存。本发明能够更准确地预测数据对象组的效用,且减少不必要的缓存淘汰。
-
公开(公告)号:CN117707742B
公开(公告)日:2024-05-24
申请号:CN202410159991.1
申请日:2024-02-05
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
Abstract: 本发明涉及高性能计算的作业调度技术领域,公开了基于负载预测的能耗均衡作业调度方法及系统,方法包括:获取历史时间段内,集群中节点的负载指标数据和功耗数据;对负载指标数据进行预处理并提取每个节点的历史负载特征变量;将每个节点的历史负载特征变量,输入到训练后的负载预测模型中,输出每个节点在未来时间点的负载预测值;根据每个节点在未来时间点的负载预测值,将集群中的每个节点划分为不同的负载类别;在每个负载类别中,按照功耗值由低到高的顺序对节点进行排序,优先选取低负载类别节点中的低功耗节点进行作业调度;调度后对高负载类别节点上运行的作业,实施作业迁移。本发明能够避免负载不均衡导致的热点问题和系统性能下降。
-
公开(公告)号:CN117744712A
公开(公告)日:2024-03-22
申请号:CN202410182580.4
申请日:2024-02-19
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06N3/0455 , G06N3/0499 , G06Q30/018 , G06Q50/26 , G06F18/211
Abstract: 本发明涉及大气环境技术领域,提供了一种基于多要素驱动的臭氧前体物溯源方法及系统。该方法包括,获取大气污染物、气象数据和源排放数据;基于大气污染物、气象数据和源排放数据,采用IEformer模型,在嵌入层将每个变量的整个时间序列独立嵌入一个第一时空张量;基于第一时空张量,在长方体注意力层进行分解,得到若干小长方体;在每个小长方体中并行应用长方体级自注意力后,将所有小长方体进行合并,得到第二时空张量;对第二时空张量进行处理,得到臭氧前体物溯源结果。
-
公开(公告)号:CN117707747A
公开(公告)日:2024-03-15
申请号:CN202410166795.7
申请日:2024-02-06
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
Abstract: 本公开提供了基于资源使用率预测的作业超量分配调度方法及系统,涉及高性能计算的作业调度技术领域,若目标作业为长作业,则将长作业注册到资源使用率预测模块的工作队列中,获取实时的各节点的资源使用率数据,并输入至资源使用率预测模块预测所有运行长作业的节点未来设定时间各类资源的使用率情况,并使用调度算法根据资源使用率预测模型输出的预测数据确定最优运行节点;若目标作业为短作业,则根据其总体资源使用率的估计值在所有运行长作业的节点中进行匹配,并分配到最佳匹配节点;本公开有效解决了集群中的资源闲置问题。
-
公开(公告)号:CN117688944A
公开(公告)日:2024-03-12
申请号:CN202410128833.X
申请日:2024-01-31
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F40/30 , G06F40/284 , G06N3/0442 , G06N3/084 , G06N3/09
Abstract: 本发明提出了基于多粒度卷积特征融合的中文情感分析方法及系统,涉及自然语言处理领域,具体方案包括:对待分析的中文文本数据进行分词处理,得到词向量;将所述词向量分别输入到多粒度卷积层和L‑BiLSTM层,得到局部情感特征和全局情感特征;所述局部情感特征和全局情感特征经过特征融合层和缩放点积自注意力层后,得到文本情感特征;基于文本情感特征,通过寻找情感标签转移概率优化情感标签,得到最优的情感分类结果;本发明在传统的BiLSTM网络中引入长度门,动态地调整输出序列的长度,得到L‑BiLSTM网络,综合Bert模型和多粒度卷积网络,实现对文本情感特征的高效保留和高效提取,显著提高了中文情感分析的准确性。
-
公开(公告)号:CN116449462B
公开(公告)日:2023-10-03
申请号:CN202310720313.3
申请日:2023-06-19
Applicant: 山东省计算中心(国家超级计算济南中心)
IPC: G01W1/10 , G01C13/00 , G06N3/0442 , G06N3/08
Abstract: 本发明涉及海浪预报技术领域,本发明公开了海浪有效波高时空序列预测方法、系统、存储介质及设备,包括:获取初始时刻到当前时刻的海浪有效波高和第二时刻到第一未来时刻的多要素数据;将初始时刻到当前时刻的海浪有效波高和第二时刻到第一未来时刻的多要素数据作为输入数据序列,采用预测递归神经网络,预测得到第一未来时刻的海浪有效波高数据;基于第一未来时刻的海浪有效波高数据和第二未来时刻到目标未来时刻的多要素数据,通过基于递归策略的单步预测,并采用预测递归神经网络,得到第二未来时刻到目标未来时刻的海浪有效波高数据。稳定了预测误差,有效提升了海浪有效波高预测精度,延长了有效预测预报时间。
-
-
-
-
-
-
-
-
-