-
公开(公告)号：CN118779117B
公开(公告)日：2025-02-11
申请号：CN202411258880.2
申请日：2024-09-10
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F9/50 , G06F9/38 , G06F18/214 , G06N3/126
Abstract: 本发明属于大模型训练技术领域，具体涉及一种基于双重优化的大模型广域异构分布式训练方法与系统；基于双重优化的大模型广域异构分布式训练方法包括：获取基座模型的配置信息，进行异构数据中心的拆分，将异构数据中心转换成最多能完成一个stage任务的数据中心；采用蚁群算法对拆分后数据中心进行初始化组合的优化，得到基座模型初步并行组方案；基于遗传算法的优化得到基座模型并行组方案，生成模型训练架构，以完成基于双重优化的大模型广域异构分布式训练。针对真实异构环境下的基座模型训练所面临的架构设计、通信成本计算和难以找到最佳并行组策略的难题，减少了模型训练时间的同时，有效降低了大模型训练的成本和门槛。
-
公开(公告)号：CN119249857A
公开(公告)日：2025-01-03
申请号：CN202411160062.9
申请日：2024-08-22
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F30/27 , G06N3/0455 , G06N3/0895
Abstract: 本发明属于海洋科学和数据处理技术领域，提供了一种面向海洋观测数据的基座模型构建方法及系统，包括构建海洋基座模型；将获取的海洋时序数据输入海洋基座模型中，构建海洋时序数据的时间戳粒度级的Token序列，将时间戳前的偏移延迟特征向量和协变量向量连接到时间戳Token向量中；结合因果自注意力机制和旋转位置嵌入，将Token序列的特征映射到Transformer的解码器，生成下一步时间戳序列；定义损失函数，优化模型参数，得到训练好的海洋基座模型。本发明在多种海洋数据集上学习通用的特征表示和时序模式，从而构建一个具有高度泛化能力的海洋通用模型，不仅能够处理大规模、多源的海洋数据，还能够捕捉数据的时序特性，提供实时的数据处理和预测能力。
-
公开(公告)号：CN118540324A
公开(公告)日：2024-08-23
申请号：CN202410603350.0
申请日：2024-05-15
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: H04L67/10 , G06Q10/0639 , G06Q50/26 , G06F9/54 , H04L67/1004 , H04L67/00 , H04L67/30
Abstract: 本公开提供了基于云边协同的延迟最小化海洋数据质控方法及系统，涉及海洋数据质量控制技术领域，包括：边缘端获取海洋观测数据；生成数据质控任务，通过海洋数据质控模型对海洋观测数据进行质量控制；选择在与云端之间的网络通道传输压力小时，将质控后的结果数据以及数据质控卸载任务上传至云端；云端接收质控后的结果数据以及数据质控卸载任务；定期优化海洋数据质控模型并对整个系统中的海洋数据质控模型进行更新部署，实时对边缘端的负载情况进行监控，根据负载情况的动态变化，利用动态任务卸载策略，将数据质控任务在边缘端和边缘端之间、边缘端和云端之间进行卸载，以实现系统总体延迟的最小化。
-
公开(公告)号：CN118395204A
公开(公告)日：2024-07-26
申请号：CN202410597097.2
申请日：2024-05-14
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F18/22 , G06N3/0464 , G06F18/214 , G06F18/20
Abstract: 本发明公开了基于时间卷积网络的海洋数据在线预测与检测方法及系统，其中方法包括：构建自适应时间卷积网络；构建训练集，所述训练集为海洋监测历史时序数据；所述自适应时间卷积网络，是对原始时间卷积网络，加入多头自注意力机制，并在残差单元中引入自适应层；将训练集输入到自适应时间卷积网络中对其进行训练，得到训练后的自适应时间卷积网络；训练过程中，将前K‑1个时刻的海洋监测数据作为网络的输入值，将第K时刻的海洋监测数据作为网络的输出值；获取待预测的海洋时序数据，将待预测的海洋时序数据输入到训练后的自适应时间卷积网络中，输出预测的海洋数据；将预测的海洋数据与设定阈值进行比较，确定预测的海洋数据是否发生异常。
-
公开(公告)号：CN118297849A
公开(公告)日：2024-07-05
申请号：CN202410343675.X
申请日：2024-03-25
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
Abstract: 本发明公开的一种多特征融合的水下图像增强方法及系统，包括：获取无标签水下图像；通过无标签水下图像对水下图像增强模型进行训练，训练过程中，水下图像增强模型从无标签水下图像中提取亮度特征、语义特征、梯度特征、全局特征和局部特征，将亮度特征、语义特征、梯度特征、全局特征和局部特征合并，获得水下图像增强结果，训练完成，获得训练好的水下图像增强模型；利用训练好的水下图像增强模型对待增强的水下图像进行增强。实现了对水下图像的有效增强。
-
Patent Agency Ranking
公开(公告)号：CN118070888A
公开(公告)日：2024-05-24
申请号：CN202410236056.0
申请日：2024-03-01
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06N5/022 , G06F18/214
Abstract: 本发明提出了基于自适应动态温度的元学习知识蒸馏方法及系统，在元学习阶段，首先复制第一学生模型，将复制得到的第二学生模型与第一教师模型进行蒸馏，根据第二学生模型的反馈动态更新第一教师模型，提高第一教师模型的“教学能力”，最终得到更新后的第一教师模型；在蒸馏阶段，使用已更新的第一教师模型与第一学生模型进行知识蒸馏操作；与此同时，为了提高蒸馏效果，动态调整蒸馏温度，这一过程有效地提升了蒸馏操作的性能。
-
公开(公告)号：CN118037599A
公开(公告)日：2024-05-14
申请号：CN202410343235.4
申请日：2024-03-25
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
Abstract: 本发明公开的一种真实水下图像复原方法及系统，包括：获取场景透射图、空气环境中场景图像及水下环境图像；根据场景透射图和空气环境中场景图像，获得场景的雾霾特征和光衰减特征；通过训练后水下图像生成模型对场景的光衰减特征、雾霾特征和水下环境图像进行处理，获得水下场景图像；利用水下场景图像对水下图像复原模型进行训练，训练完成，获得训练好的水下图像复原模型；通过训练好的水下图像复原模型对真实水下图像进行处理，获得修复后水下图像。实现了对水下图像的有效复原。
-
公开(公告)号：CN115879569B
公开(公告)日：2023-05-23
申请号：CN202310214205.9
申请日：2023-03-08
Applicant: 齐鲁工业大学(山东省科学院) , 山东省计算中心(国家超级计算济南中心)
IPC: G06N20/00 , G06F18/25 , G16Y40/10 , G06N3/0455 , G06N3/084
Abstract: 本发明提出了一种IoT观测数据的在线学习方法及系统，涉及数据处理技术领域，根据获取的初始时序观测数据，初始化在线深度学习模型；实时获取传感器生成的时序观测数据，根据时序观测数据形成输入数据流；在线深度学习模型处理输入数据流，生成最终预测结果；在处理输入数据流的过程中，对输入数据流进行即时学习，实时动态更新在线深度学习模型；即时学习，是基于数据流的均值和方差，学习数据分布，构造准正态分布，重构新的样本，实现变分注意力网络，基于分布差异、重构差异和推理差异，进行模型的动态调整；本发明学习不同隐藏层之间的隐藏信息，提高模型推理的准确性，同时通过在线学习，对不同隐藏层间的参数进行动态调整。
-
公开(公告)号：CN115861646A
公开(公告)日：2023-03-28
申请号：CN202211466939.8
申请日：2022-11-22
Applicant: 山东省计算中心(国家超级计算济南中心)
IPC: G06V10/44 , G06V10/80 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 本发明提出了一种基于结构重参数化的轻量级目标检测方法及系统，包括：获取待目标检测的数据样本并进行预处理；将预处理后的数据样本输入至网络推理模型中输出目标检测结果，所述网络推理模型为是由训练好的多分支网络训练模块采用结构重参数转换成的单路结构的网络模型，其中，结构重参数转换的方式为分支合并和卷积序列合并。通过结构重参数化方式解耦训练和推理阶段，在训练阶段采用多分支结构获取更多语义信息和特征表示，迭代更新权重参数，同时在推理阶段采用带有训练权重信息的单路结构，在加快模型的推理速度的同时保证模型精度。
-
公开(公告)号：CN115293662A
公开(公告)日：2022-11-04
申请号：CN202211230749.6
申请日：2022-10-10
Applicant: 山东省计算中心(国家超级计算济南中心)
Abstract: 本发明提出了融合并行与分布式的海洋观测数据智能计算方法及系统，涉及海洋观测时序数据流智能计算领域,实时获取每个通道的海洋观测数据流存储到分布式集群；对数据流进行乱序、去重和缺失预处理；基于预处理后的海洋观测数据流，采用超算MPI并行训练模型，进行多通道在线学习模型训练，得到每个通道的最新海洋观测数据智能计算模型；基于Flink分布式流处理系统，对每个通道不断流入的海洋观测数据，选择通道对应的最新海洋观测数据智能计算模型，进行实时推理与预测；本发明适合多通道多任务的应用场景，有效支持流式数据的在线学习与推理任务以及高通量传感器数据的管理，实现数据的多通道计算模型的快速迭代升级以及数据的实时推理。
-
-
-
-
-
-
-
-
-
Search Results
46
records
(took 0.061 seconds)
