-
公开(公告)号:CN117217334A
公开(公告)日:2023-12-12
申请号:CN202310054523.3
申请日:2023-02-03
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06N20/20 , G06F18/214 , H04L9/08 , H04L9/40
Abstract: 本发明涉及一种基于云边端架构的联邦学习模型聚合系统及方法,属于模型融合技术领域,系统云平台层、网络传输层、边缘层,以Kubernetes‑Kubeedge边缘计算云管理平台为基础,提供了一个稳定的云边端架构,使得云服务器不仅作为任务发起方能有效做出任务决策与下达,还能高效的管理作为参与方的边缘设备,本发明还提出了一种模型聚合系统的工作方法,突破了边缘设备中隐私数据分布不均,边缘设备机能受限、性能不均衡等情况,提高了模型聚合的有效性、公平性,适用场景更为广泛。
-
公开(公告)号:CN117076070A
公开(公告)日:2023-11-17
申请号:CN202311018731.4
申请日:2023-08-14
Applicant: 山东省计算中心(国家超级计算济南中心)
IPC: G06F9/48
Abstract: 本发明公开了基于运行信息的高性能计算作业调度系统性能分析方法,方法步骤如下:S1:自建分析数据库;S2:初始运行时,所有用到的数组和变量赋值为0;S3:获取当前时刻记为now,其小时数h、分钟数m,从中获取历史分析数据,并判断h=0和m=0是否成立;S4:查询调度系统作业信息并根据State进行分类处理;S5:将计算结果累加并写入自建数据库;S6:对一段时间数据进行一维聚类;S7:计算期望值;S8:对Ft进行后分析比较,分析每一类规模中排队时间的差值Pd情况;S9:如果正常运行范围的预测的准确率保持不变或有提高则参数和Cnum保持不变;如果准确率有下降趋势,转到S7得到新的聚类Cnum;S10:持续分析调度和作业信息。本发明提高了运维维护管理效率。
-
公开(公告)号:CN116361709B
公开(公告)日:2023-10-31
申请号:CN202310331766.7
申请日:2023-03-31
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06Q10/04 , G06Q50/06 , G06F18/241 , G06F18/214 , G06F18/15 , H02J3/00
Abstract: 本发明涉及一种自适应电力负荷识别方法与设备,属于电力负荷监测识别领域,包括:数据预处理;计算最小开机时间、最小关机时间、开启功率阈值;将获得的3个参数加入到模型训练过程中,对预处理后的数据提取有效的负荷激活数据;基于电力负荷数据,利用长短期记忆人工神经网络对电力负荷识别模型进行训练;将测试集按照比例进行分割,在“窗口”的寻找阶段,使用进程处理技术,得到能将测试时间控制在时间阈值以内的最佳“窗口”;利用最佳“窗口”定义实时推理程序中的滑动窗口大小,对电力负荷数据进行分解识别。本发明不再受到初始模型训练数据的局限,使用自适应方法来定义最佳长度的识别窗口,通用性好,精度较高。
-
公开(公告)号:CN116913413A
公开(公告)日:2023-10-20
申请号:CN202311166774.7
申请日:2023-09-12
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G16C20/30 , G16C20/70 , G06F18/213 , G06F18/25 , G06N3/0455 , G06N3/08
Abstract: 本公开提供了基于多因子驱动的臭氧浓度预测方法、系统、介质及设备,涉及臭氧浓度预测技术领域,包括获取大气数据中的多个大气污染物数据因子的张量形式;将所述张量形式输入至多通道Earthformer模型中,输出表征臭氧浓度的变量;其中,当将数据因子的张量形式输入至多通道Earthformer模型后,首先,分层编码器将输入的张量形式逐步编码为多层表示,在每一层表示中引入注意力机制,通过并行应用注意力机制获取数据因子张量形式的局部特征向量,然后再将每个局部特征向量融合生成全局特征向量,利用特征向量以非自动回归的方式生成臭氧浓度预测结果。本公开提高了臭氧浓度预测的准确性。
-
公开(公告)号:CN116821643A
公开(公告)日:2023-09-29
申请号:CN202310777733.5
申请日:2023-06-28
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F18/21 , G06F18/214 , G06N20/00
Abstract: 本发明提出了基于在线增量学习的HPC作业功耗预测方法及系统,涉及高性能计算领域,根据离线作业功耗数据,初始化预测模型;实时获取新采样的HPC作业功耗数据,形成输入数据流;预测模型处理输入数据流,输出未来时刻的功耗预测值;在处理输入数据流过程中,基于模型更新时机判定方法,使用在线增量学习进行模型的更新;基于模型更新时机判定方法是在接收到新数据时,通过对真实值与预测值之间的偏差距离分布变化进行监控,得到模型预测性能下降分数,基于预设的增量学习分数阈值,判定预测模型是否需要进行增量学习;本发明当模型预测性能出现下降时,对原有的模型参数进行优化与更新,以适用预测未来时刻功耗值的需求,提高预测的精度。
-
公开(公告)号:CN116361006A
公开(公告)日:2023-06-30
申请号:CN202310357823.9
申请日:2023-03-31
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F9/50 , H04L67/1001
Abstract: 本发明公开了面向存算分离的算网资源协同调度方法及系统,获取多个终端设备发送的用于为任务分配存储资源的资源调度请求,筛选出存储备选中心群;获取多个终端设备发送的用于为任务分配算力资源的资源调度请求,筛选出算力备选中心群;计算存储备选中心群和算力备选中心群中,存储中心和算力中心两两之间网络传输质量数据;根据网络传输质量数据,计算出网络传输质量评分和存算中心匹配评分;根据网络传输质量评分和存算中心匹配评分,给出不同策略需求的调度决策评分函数;获取终端设备发送的策略需求,根据策略需求,选择对应的调度决策评分函数,筛选出调度决策评分最大值所对应的方案输出,根据筛选的中心实现终端设备任务的存储和计算。
-
公开(公告)号:CN115391069B
公开(公告)日:2023-02-03
申请号:CN202211321760.3
申请日:2022-10-27
Applicant: 山东省计算中心(国家超级计算济南中心)
Abstract: 本发明提供了基于海洋模式ROMS的并行通讯方法及系统,涉及海洋科学并行计算应用技术领域,包括获取海洋模式ROMS的配置文件roms.in中的Lm和Mm值;根据配置文件中的Lm和Mm值获取水平经纬度方向的网格数,建立仅含边界的通讯区域;获取边界通讯区域的进程号,形成边界通讯域;将全局通讯域修改为只有边界的通讯域,计算边界通讯域各进程的偏移量,进行速度矫正;通过约束边界很大程度地减少通讯时间,增加了模式可扩展性和运行并行度,减少了对运行系统的网络压力,提升模式模拟速度且加速效果明显。
-
公开(公告)号:CN115037749A
公开(公告)日:2022-09-09
申请号:CN202210644605.9
申请日:2022-06-08
Applicant: 山东省计算中心(国家超级计算济南中心)
IPC: H04L67/10 , H04L67/1074 , H04L67/133 , H04L67/63
Abstract: 本发明涉及一种性能感知的大规模微服务智能多资源协同调度方法及系统,包括:采集微服务资源使用信息与微服务运行时信息并进行数据预处理;对资源协同调度进行决策的性能感知的多层联动;对微服务进行资源调度的资源分配。通过自动的信息采集可以实时地感知微服务的资源使用和延迟性能等情况;在此基础上,利用多智能体深度强化学习方法可以捕获各个微服务之间的依赖关系,并根据工作负载的动态变化协同地对每个微服务所使用的多种资源进行弹性细粒度的调整。本发明可以在尽可能保障大规模微服务应用的尾延迟SLO的同时,降低微服务每个资源维度的资源冗余,进而提高整体资源利用率。
-
公开(公告)号:CN115033477A
公开(公告)日:2022-09-09
申请号:CN202210644574.7
申请日:2022-06-08
Applicant: 山东省计算中心(国家超级计算济南中心)
Abstract: 本发明涉及一种面向大规模微服务的性能异常主动检测和处理方法及系统,包括:对微服务的资源使用情况以及运行时信息进行采集,通过采集信息判断微服务应用是否存在性能异常;如果微服务应用存在性能异常,首先,通过采集信息生成微服务历史执行图,然后,基于记忆化搜索对微服务关键路径进行提取,随后,基于部分SLO对关键微服务进行定位,最后,基于离散系数确定关键微服务的关键资源,并增加关键资源的配额,以避免或缓解尾延迟SLO违规。
-
公开(公告)号:CN114399006B
公开(公告)日:2022-07-12
申请号:CN202210292433.3
申请日:2022-03-24
Applicant: 山东省计算中心(国家超级计算济南中心)
IPC: G06K9/62 , G06F16/901 , G06F16/904
Abstract: 本公开提供了一种基于超算的多源异构图数据融合方法及系统,涉及多源异构图数据处理技术领域,采用虚拟化服务器通过镜像模拟知识本体构建工具的运行环境,并以数据服务接口的方式将多个知识本体构建方法进行统一整合,能够集成知识标注、知识抽取、知识融合等图数据处理工具,实现多源异构数据的图数据融合,并且采用大规模知识图谱分布式存储方式,实时存储解析后的多源异构数据;对历史存储的多源异构数据进行统计分析,得到统计分析结果并进行可视化展示,其数据融合自动化程度高、融合速度快,可拓展性强,可支撑一站式图数据处理操作,另外,采用虚拟化技术完成各种工具环境部署,具有算力强大、硬件条件高、安全性高、性能优越的特点。
-
-
-
-
-
-
-
-
-