-
公开(公告)号:CN118606293B
公开(公告)日:2025-01-07
申请号:CN202410639776.1
申请日:2024-05-22
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
Abstract: 本发明提出了一种跨域异构存储系统的数据迁移方法及系统,将改进的蚁群算法来对数据迁移路径优化问题进行求解,根据路径的传输成功率动态调整信息素浓度,使其与传输成功率成正比,即传输成功率越高的路径,其对应的信息素浓度越高,从而增加选择该路径的概率;根据传输数据量以及目标节点的负载情况动态调整启发函数值,使其与目标节点的负载成反比,负载越重的节点,其对应路径的启发函数值越低,以降低选择该路径的概率,从而实现存储系统的负载均衡,提高数据迁移的效率和质量。
-
公开(公告)号:CN119204262A
公开(公告)日:2024-12-27
申请号:CN202411318661.9
申请日:2024-09-20
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06N20/00 , G06N3/045 , G06N3/0475 , G06N3/094 , G06F18/2135 , G06F18/22
Abstract: 本发明提供了一种基于联邦学习的客户端选择方法及系统,包括:对参与联邦学习的客户端进行逻辑分组;基于接收到的客户端局部优化后的模型参数,计算其与组内各客户端之间的角距混合相似度;其中,所述角距混合相似度的计算具体为:对客户端局部优化后的模型参数进行主成分分析,基于获得的主成分所对应的分量得分,采用角度和距离结合的方式计算两个客户端的相似度;基于获得客户端与组内其它客户端之间的角距混合相似度,确定当前客户端被选择的权值;基于组内各客户端的权值大小,确定当前迭代轮次参与全局模型聚合的客户端。
-
公开(公告)号:CN119200982A
公开(公告)日:2024-12-27
申请号:CN202411264707.3
申请日:2024-09-10
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
Abstract: 本发明公开了基于Alluxio的数据存储和缓存优化方法及系统,其中方法,包括:获取待写入的文件,根据所述待写入的文件的四个属性,计算文件的优先级;所述待写入的文件的四个属性,包括:文件访问频率、文件容量、文件重要性等级以及文件新鲜度;根据文件优先级所对应的文件传输策略,将待写入的文件存储到Alluxio缓存和底层存储;获取待读取的数据,判断待读取的数据是否在缓存中,如果是,则将缓存中的数据返回给用户;如果否,则将底层存储中的数据返回给用户;根据关联规则,对待读取的数据以及待读取数据相关联的数据块进行预取操作,如果缓存使用率超过设定的阈值,则执行缓存替换操作。
-
公开(公告)号:CN118312792A
公开(公告)日:2024-07-09
申请号:CN202410463903.7
申请日:2024-04-17
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F18/22 , G06F18/30 , G06N3/045 , G06N3/0455 , G06N3/0499 , G06N3/0895 , G06N3/096
Abstract: 本发明涉及海洋观测技术领域,提供了一种海洋浮标数据质量人工智能检测方法及系统,包括:获取若干连续深度的海洋浮标数据,并添加静态协变量,得到输入序列数据;基于所述输入序列数据,通过序列预测模型,得到其余深度的海洋浮标数据的预测值;对于其余深度的海洋浮标数据,将预测值和实测值的差值与预测阈值进行比较,判断实测值是否为异常数据。解决了海洋浮标数据领域标记数据不足问题。
-
公开(公告)号:CN117910329A
公开(公告)日:2024-04-19
申请号:CN202410309464.4
申请日:2024-03-19
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F30/25 , G06F30/27 , G06N3/006 , G06N3/0442
Abstract: 本发明涉及计算机技术领域,提供了一种基于改进粒子群优化算法的海洋时序数据预测方法及系统。该方法包括,获取海洋传感器样本数据,采用改进的粒子群优化算法对预测模型的超参数进行优化,得到最优超参数,以此得到已训练的预测模型;获取待预测的海洋传感器数据,采用已训练的预测模型,得到预测结果;其中,所述改进的粒子群优化算法包括:采用非线性动态权重替换固定惯性权重,并在非线性动态权重中引入自适应权重因子。本发明通过将固定权重改为非线性动态权重,早期设置较大的权重,促进全局搜索,后期利用较小的权重提升局部搜索能力。这种动态调整有助于在全局探索和局部精细调整之间找到更好的平衡。
-
公开(公告)号:CN117350171B
公开(公告)日:2024-03-12
申请号:CN202311638586.X
申请日:2023-12-04
Applicant: 山东省计算中心(国家超级计算济南中心)
IPC: G06F30/27 , G06N3/0464 , G06N3/0455 , G06F119/08
Abstract: 本发明提出了基于双流模型的中尺度涡三维次表层结构反演方法及系统,涉及深度学习与海洋反演交叉领域,通过卫星采集待反演的中尺度涡海表面信息;将中尺度涡海表面信息输入到训练好的双流模型中,反演出中尺度涡不同深度下的温度结果,得到中尺度涡次表层温度剖图;其中,所述双流模型引入Triplet attention注意力机制,采用三分支结构融合通道注意力和空间注意力进行跨维度交互;本发明采用双流模型实现中尺度涡次表层结构反演,发掘海表面参数间的数据关联,分别建立不同参数与次表层温度的关系模型,融合多源信息特征关系,实现特征融合,有效融合了多源数据,提升了反演效果。
-
公开(公告)号:CN117633527A
公开(公告)日:2024-03-01
申请号:CN202311549421.5
申请日:2023-11-17
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F18/214 , G06N3/126
Abstract: 本发明提出了一种面向异构环境的大模型混合并行训练方法及系统,基于异构环境中不同数据中心的算力情况,以及不同数据中心之间的网络延迟情况,以待训练模型的每个训练阶段中数据中心的算力均衡性和每个训练阶段中数据中心所包含节点的计算任务传输的对等性为目标,利用遗传算法进行迭代优化,得到每个训练阶段所对应的数据中心,以及每个训练阶段内不同节点的计算任务,对待训练模型进行训练,从而将资源平衡和跨域带来的计算成本降低,提升大模型训练效率。
-
公开(公告)号:CN117195001A
公开(公告)日:2023-12-08
申请号:CN202311206504.4
申请日:2023-09-18
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F18/22 , G06F18/25 , G06F18/2413 , G06F18/241 , G06F18/21
Abstract: 本发明涉及高性能计算领域,提供了一种基于功耗曲线和脚本信息的HPC作业功耗预测方法及系统。该方法包括基于历史作业功耗曲线数据,得到第一相似度值;基于历史作业脚本信息数据,得到第二相似度值;依据需求,为第一相似度值和第二相似度值分配权重,计算加权求和,得到综合相似度值,以此构建相似度邻接矩阵;以最大化模块度指标为原则,按照相似度邻接矩阵,将HPC作业划分成不同的类别;基于划分后不同类别中历史数据,分别训练不同的神经网络模型,得到已训练的神经网络模型;匹配与目标HPC作业相似的历史作业类别,采用该历史作业类别的神经网络模型对目标HPC作业的脚本信息数据进行预测,得到预测结果。
-
公开(公告)号:CN117010444A
公开(公告)日:2023-11-07
申请号:CN202311092924.4
申请日:2023-08-28
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06N3/0442 , G06N20/00
Abstract: 本发明涉及时序数据预测领域,提供了一种面向时序数据预测的自动学习方法及系统。该方法包括,采用spark获取时序数据,并对时序数据进行预处理;设置神经网络的超参数搜索空间和对应的超参数搜索算法,并将任务分发至集群中,以使集群采用神经网络对任务进行超参数调优与模型训练,得到最优超参数组合,并采用Ray Serve将超参数最优的神经网络部署在各个节点上,用于对时序数据的预测。本发明能够高效、快速、方便地在面向时序数据预测时,自动完成模型的训练、超参数搜索优化以及模型的部署工作。
-
公开(公告)号:CN116821643A
公开(公告)日:2023-09-29
申请号:CN202310777733.5
申请日:2023-06-28
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F18/21 , G06F18/214 , G06N20/00
Abstract: 本发明提出了基于在线增量学习的HPC作业功耗预测方法及系统,涉及高性能计算领域,根据离线作业功耗数据,初始化预测模型;实时获取新采样的HPC作业功耗数据,形成输入数据流;预测模型处理输入数据流,输出未来时刻的功耗预测值;在处理输入数据流过程中,基于模型更新时机判定方法,使用在线增量学习进行模型的更新;基于模型更新时机判定方法是在接收到新数据时,通过对真实值与预测值之间的偏差距离分布变化进行监控,得到模型预测性能下降分数,基于预设的增量学习分数阈值,判定预测模型是否需要进行增量学习;本发明当模型预测性能出现下降时,对原有的模型参数进行优化与更新,以适用预测未来时刻功耗值的需求,提高预测的精度。
-
-
-
-
-
-
-
-
-