-
公开(公告)号:CN116681112A
公开(公告)日:2023-09-01
申请号:CN202310526213.7
申请日:2023-05-06
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06N3/0495 , G06N3/082 , G06N3/0985
Abstract: 本发明属于深度学习的数据分析工作流领域,提供了一种基于Ray的云边协同数据分析工作流优化方法及系统。该方法包括,获取数据集,基于Ray,采用数据集在终端设备上训练第一学生模型和第一教师模型,得到蒸馏训练方法;将数据集和蒸馏训练方法上传至云端,设置并行工作器的数量和超参数,采用数据集和蒸馏训练方法在云端上训练第二学生模型和第二教师模型,得到训练好的第二学生模型,并将训练好的第二学生模型部署到终端。本发明采用优化的模型压缩方法对云端训练好的大模型进行压缩操作获得小模型,将小模型一键部署到资源受限的终端设备上。
-
公开(公告)号:CN115879569B
公开(公告)日:2023-05-23
申请号:CN202310214205.9
申请日:2023-03-08
Applicant: 齐鲁工业大学(山东省科学院) , 山东省计算中心(国家超级计算济南中心)
IPC: G06N20/00 , G06F18/25 , G16Y40/10 , G06N3/0455 , G06N3/084
Abstract: 本发明提出了一种IoT观测数据的在线学习方法及系统,涉及数据处理技术领域,根据获取的初始时序观测数据,初始化在线深度学习模型;实时获取传感器生成的时序观测数据,根据时序观测数据形成输入数据流;在线深度学习模型处理输入数据流,生成最终预测结果;在处理输入数据流的过程中,对输入数据流进行即时学习,实时动态更新在线深度学习模型;即时学习,是基于数据流的均值和方差,学习数据分布,构造准正态分布,重构新的样本,实现变分注意力网络,基于分布差异、重构差异和推理差异,进行模型的动态调整;本发明学习不同隐藏层之间的隐藏信息,提高模型推理的准确性,同时通过在线学习,对不同隐藏层间的参数进行动态调整。
-
公开(公告)号:CN115861646A
公开(公告)日:2023-03-28
申请号:CN202211466939.8
申请日:2022-11-22
Applicant: 山东省计算中心(国家超级计算济南中心)
IPC: G06V10/44 , G06V10/80 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 本发明提出了一种基于结构重参数化的轻量级目标检测方法及系统,包括:获取待目标检测的数据样本并进行预处理;将预处理后的数据样本输入至网络推理模型中输出目标检测结果,所述网络推理模型为是由训练好的多分支网络训练模块采用结构重参数转换成的单路结构的网络模型,其中,结构重参数转换的方式为分支合并和卷积序列合并。通过结构重参数化方式解耦训练和推理阶段,在训练阶段采用多分支结构获取更多语义信息和特征表示,迭代更新权重参数,同时在推理阶段采用带有训练权重信息的单路结构,在加快模型的推理速度的同时保证模型精度。
-
公开(公告)号:CN115293662A
公开(公告)日:2022-11-04
申请号:CN202211230749.6
申请日:2022-10-10
Applicant: 山东省计算中心(国家超级计算济南中心)
Abstract: 本发明提出了融合并行与分布式的海洋观测数据智能计算方法及系统,涉及海洋观测时序数据流智能计算领域,实时获取每个通道的海洋观测数据流存储到分布式集群;对数据流进行乱序、去重和缺失预处理;基于预处理后的海洋观测数据流,采用超算MPI并行训练模型,进行多通道在线学习模型训练,得到每个通道的最新海洋观测数据智能计算模型;基于Flink分布式流处理系统,对每个通道不断流入的海洋观测数据,选择通道对应的最新海洋观测数据智能计算模型,进行实时推理与预测;本发明适合多通道多任务的应用场景,有效支持流式数据的在线学习与推理任务以及高通量传感器数据的管理,实现数据的多通道计算模型的快速迭代升级以及数据的实时推理。
-
公开(公告)号:CN114385619A
公开(公告)日:2022-04-22
申请号:CN202210285171.8
申请日:2022-03-23
Applicant: 山东省计算中心(国家超级计算济南中心)
IPC: G06F16/215 , G06F16/2458 , G06N3/04
Abstract: 本发明属于基于特定计算模型的计算机系统领域,提供了一种多通道海洋观测时序标量数据缺失值预测方法及系统,获取带有海洋缺失值的海洋观测时序标量数据;基于所述海洋观测时序标量数据,采用TA‑RNN模型,得到海洋缺失值预测结果;所述TA‑RNN模型包括卷积注意模块、空间注意模块和时间注意模块,所述卷积注意模块用于将所述海洋观测时序标量数据进行细化;所述空间注意模块用于捕获细化后的所述海洋观测时序标量数据的动态空间相关性;所述时间注意模块用于捕获空间注意模块输出数据中不同时间间隔之间的动态时间相关性。
-
公开(公告)号:CN114385233A
公开(公告)日:2022-04-22
申请号:CN202210291811.6
申请日:2022-03-24
Applicant: 山东省计算中心(国家超级计算济南中心)
Abstract: 本申请属于计算机系统技术领域,提供了一种跨平台自适应数据处理工作流系统及方法,包括客户端,被配置为基于应用程序编程接口调用和画布式拖拽构建工作流,将所构建的工作流通过Istio安全网关发送到服务端;服务端,被配置为基于服务器接口接收客户端所构建的工作流,基于运算符计算平台适配器进行工作流逻辑运算符的计算环境优化适配。本申请采用基于Kubernetes的微服务架构,采用Istio安全网关作为客户端与服务端的唯一通道,实现跨平台自适应数据工作流的处理。
-
公开(公告)号:CN112685950A
公开(公告)日:2021-04-20
申请号:CN202011391590.7
申请日:2020-12-02
Applicant: 山东省计算中心(国家超级计算济南中心)
IPC: G06F30/27 , G06F119/02
Abstract: 本发明公开了海洋时序观测数据的异常检测方法、系统和设备,海洋时序观测数据的异常检测方法,包括以下步骤:采集海洋观测数据并进行预处理;计算CoDisp值;基于预测数据点序列得到的t时刻的海洋观测数据的预测值;将预测值与t时刻实际测量得到的目标数据点x值相减并计算绝对值,获得PredDiff值;对预设时长内CoDisp值和PredDiff值分别统计建模,获取CoDisp值、PredDiff值的概率分布,并基于得到的概率分布,计算检测窗口内各目标数据点的异常概率。基于滑窗的动态异常概率确定方法能解决人工设定的阈值缺乏科学依据的问题,在实际应用时发挥异常检测作用。
-
公开(公告)号:CN104270459B
公开(公告)日:2017-09-29
申请号:CN201410556001.4
申请日:2014-10-20
Applicant: 山东省计算中心(国家超级计算济南中心)
IPC: H04L29/08
Abstract: 本发明的增强公平性的云计算用户资源配额分配方法,包括:步骤1:申请类型的判断,如为首次申请,执行步骤2;如为变更申请,执行步骤4;步骤2:获取用户应用系统所对应资源配额的最大限额;步骤3:资源配额首次分配;步骤4:判断变更申请类型,如为减少资源配额,则释放相应的资源配额;如为增加资源配额,执行步骤5;步骤5:计算信用因子;步骤6:如果大于基准值,则分配申请增加的资源配额;如果小于基准值,则将申请增加的资源配额乘以系数再分配给用户;步骤7:以时间为周期动态调整用户的资源配额。本发明的云计算用户资源配额分配方法,阻止资源滥用,增强分配公平性;能够有效预估云计算平台资源需求量,满足更多用户的需求。
-
公开(公告)号:CN118519766B
公开(公告)日:2025-04-25
申请号:CN202410597016.9
申请日:2024-05-14
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F9/50
Abstract: 本公开提出一种面向国产异构算力集群的作业调度方法及系统,方法包括:在一个调度周期中,根据待调度作业的资源量、算力类型请求,及节点的算力类型标签,从异构算力集群中筛选出候选节点;考虑异构算力资源的性能差异,基于加权轮询计算候选节点权重,将权重最高的候选节点作为第一目标节点;根据异构算力集群及候选节点中各类资源占比对候选节点的资源使用空间进行评分,将评分最高的候选节点作为第二目标节点;随机选择最终目标节点,将待调度作业调度到最终目标节点。本公开通过在节点预选阶段添加初次筛选提升节点预选效率,在节点优选阶段,考虑异构算力资源性能差异和集群的整体性,克服了负载不均衡、异构算力不兼容的问题。
-
公开(公告)号:CN119474555A
公开(公告)日:2025-02-18
申请号:CN202411478177.2
申请日:2024-10-22
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F16/9536 , G06F16/215 , G06F16/955 , G06F18/241 , G06F18/22 , G06N5/022
Abstract: 本发明提出了一种基于网页数据集构建语料库的方法及系统,通过质量过滤、去重、仇恨言论检测和困惑度计算系列操作,可以基于海量网页数据集构建大规模、高质量的语料库;质量过滤和数据去重步骤,大幅降低了语料库中的重复和低质量内容,提高了模型的泛化能力和输出的可靠性;此外,仇恨言论检测和困惑度计算进一步确保了语料库的高标准和多层次质量,减少了潜在的负面影响,使得模型在处理各种自然语言任务时更为精准和高效。
-
-
-
-
-
-
-
-
-