-
公开(公告)号:CN118779117B
公开(公告)日:2025-02-11
申请号:CN202411258880.2
申请日:2024-09-10
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F9/50 , G06F9/38 , G06F18/214 , G06N3/126
Abstract: 本发明属于大模型训练技术领域,具体涉及一种基于双重优化的大模型广域异构分布式训练方法与系统;基于双重优化的大模型广域异构分布式训练方法包括:获取基座模型的配置信息,进行异构数据中心的拆分,将异构数据中心转换成最多能完成一个stage任务的数据中心;采用蚁群算法对拆分后数据中心进行初始化组合的优化,得到基座模型初步并行组方案;基于遗传算法的优化得到基座模型并行组方案,生成模型训练架构,以完成基于双重优化的大模型广域异构分布式训练。针对真实异构环境下的基座模型训练所面临的架构设计、通信成本计算和难以找到最佳并行组策略的难题,减少了模型训练时间的同时,有效降低了大模型训练的成本和门槛。
-
公开(公告)号:CN119249857A
公开(公告)日:2025-01-03
申请号:CN202411160062.9
申请日:2024-08-22
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F30/27 , G06N3/0455 , G06N3/0895
Abstract: 本发明属于海洋科学和数据处理技术领域,提供了一种面向海洋观测数据的基座模型构建方法及系统,包括构建海洋基座模型;将获取的海洋时序数据输入海洋基座模型中,构建海洋时序数据的时间戳粒度级的Token序列,将时间戳前的偏移延迟特征向量和协变量向量连接到时间戳Token向量中;结合因果自注意力机制和旋转位置嵌入,将Token序列的特征映射到Transformer的解码器,生成下一步时间戳序列;定义损失函数,优化模型参数,得到训练好的海洋基座模型。本发明在多种海洋数据集上学习通用的特征表示和时序模式,从而构建一个具有高度泛化能力的海洋通用模型,不仅能够处理大规模、多源的海洋数据,还能够捕捉数据的时序特性,提供实时的数据处理和预测能力。
-
公开(公告)号:CN118606293A
公开(公告)日:2024-09-06
申请号:CN202410639776.1
申请日:2024-05-22
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
Abstract: 本发明提出了一种跨域异构存储系统的数据迁移方法及系统,将改进的蚁群算法来对数据迁移路径优化问题进行求解,根据路径的传输成功率动态调整信息素浓度,使其与传输成功率成正比,即传输成功率越高的路径,其对应的信息素浓度越高,从而增加选择该路径的概率;根据传输数据量以及目标节点的负载情况动态调整启发函数值,使其与目标节点的负载成反比,负载越重的节点,其对应路径的启发函数值越低,以降低选择该路径的概率,从而实现存储系统的负载均衡,提高数据迁移的效率和质量。
-
公开(公告)号:CN118540324A
公开(公告)日:2024-08-23
申请号:CN202410603350.0
申请日:2024-05-15
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: H04L67/10 , G06Q10/0639 , G06Q50/26 , G06F9/54 , H04L67/1004 , H04L67/00 , H04L67/30
Abstract: 本公开提供了基于云边协同的延迟最小化海洋数据质控方法及系统,涉及海洋数据质量控制技术领域,包括:边缘端获取海洋观测数据;生成数据质控任务,通过海洋数据质控模型对海洋观测数据进行质量控制;选择在与云端之间的网络通道传输压力小时,将质控后的结果数据以及数据质控卸载任务上传至云端;云端接收质控后的结果数据以及数据质控卸载任务;定期优化海洋数据质控模型并对整个系统中的海洋数据质控模型进行更新部署,实时对边缘端的负载情况进行监控,根据负载情况的动态变化,利用动态任务卸载策略,将数据质控任务在边缘端和边缘端之间、边缘端和云端之间进行卸载,以实现系统总体延迟的最小化。
-
公开(公告)号:CN118395204A
公开(公告)日:2024-07-26
申请号:CN202410597097.2
申请日:2024-05-14
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F18/22 , G06N3/0464 , G06F18/214 , G06F18/20
Abstract: 本发明公开了基于时间卷积网络的海洋数据在线预测与检测方法及系统,其中方法包括:构建自适应时间卷积网络;构建训练集,所述训练集为海洋监测历史时序数据;所述自适应时间卷积网络,是对原始时间卷积网络,加入多头自注意力机制,并在残差单元中引入自适应层;将训练集输入到自适应时间卷积网络中对其进行训练,得到训练后的自适应时间卷积网络;训练过程中,将前K‑1个时刻的海洋监测数据作为网络的输入值,将第K时刻的海洋监测数据作为网络的输出值;获取待预测的海洋时序数据,将待预测的海洋时序数据输入到训练后的自适应时间卷积网络中,输出预测的海洋数据;将预测的海洋数据与设定阈值进行比较,确定预测的海洋数据是否发生异常。
-
公开(公告)号:CN118381708A
公开(公告)日:2024-07-23
申请号:CN202410428516.X
申请日:2024-04-10
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: H04L41/042 , H04L41/0895 , H04L41/40 , H04L41/16
Abstract: 本发明提出了一种跨域异构存储集群的管理调度方法及系统,以总存储成本最小、总吞吐量最大以及待存储数据集与即将存储的存储系统的位置最近为优化目标,采用非支配排序的遗传算法进行约束条件求解,进行最优存储位置的选择,不仅提高了数据访问性能,减少延迟,并降低了对网络带宽和存储资源的不必要消耗。
-
公开(公告)号:CN118297849A
公开(公告)日:2024-07-05
申请号:CN202410343675.X
申请日:2024-03-25
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
Abstract: 本发明公开的一种多特征融合的水下图像增强方法及系统,包括:获取无标签水下图像;通过无标签水下图像对水下图像增强模型进行训练,训练过程中,水下图像增强模型从无标签水下图像中提取亮度特征、语义特征、梯度特征、全局特征和局部特征,将亮度特征、语义特征、梯度特征、全局特征和局部特征合并,获得水下图像增强结果,训练完成,获得训练好的水下图像增强模型;利用训练好的水下图像增强模型对待增强的水下图像进行增强。实现了对水下图像的有效增强。
-
公开(公告)号:CN118245457A
公开(公告)日:2024-06-25
申请号:CN202410441447.6
申请日:2024-04-12
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F16/174 , G06F40/194 , G06F40/205 , G06F16/182 , G06N5/04 , G06F16/958
Abstract: 本公开提供了基于句群的海量网页并行去重处理方法及系统,涉及网页去重技术领域,获取输入原始文件中的所有网页数据,并提取高评分网页数据;将每个高评分网页数据保存为Json对象,对Json对象的正文内容进行句子组合,对每个句子组合创建HashSig对象,将所有HashSig对象构成签名文件;针对所有签名文件,采用先局部后整体的方式进行重复性检查,将重复的Json对象索引和句子索引保存到重复文件中;利用生成的重复文件查找重复的句子,删除重复项;其中,对原始文件、签名文件以及重复文件的处理为多个处理节点上对同一块磁盘进行并发访问,实现数据的并行处理。
-
公开(公告)号:CN118070888A
公开(公告)日:2024-05-24
申请号:CN202410236056.0
申请日:2024-03-01
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06N5/022 , G06F18/214
Abstract: 本发明提出了基于自适应动态温度的元学习知识蒸馏方法及系统,在元学习阶段,首先复制第一学生模型,将复制得到的第二学生模型与第一教师模型进行蒸馏,根据第二学生模型的反馈动态更新第一教师模型,提高第一教师模型的“教学能力”,最终得到更新后的第一教师模型;在蒸馏阶段,使用已更新的第一教师模型与第一学生模型进行知识蒸馏操作;与此同时,为了提高蒸馏效果,动态调整蒸馏温度,这一过程有效地提升了蒸馏操作的性能。
-
公开(公告)号:CN118037599A
公开(公告)日:2024-05-14
申请号:CN202410343235.4
申请日:2024-03-25
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
Abstract: 本发明公开的一种真实水下图像复原方法及系统,包括:获取场景透射图、空气环境中场景图像及水下环境图像;根据场景透射图和空气环境中场景图像,获得场景的雾霾特征和光衰减特征;通过训练后水下图像生成模型对场景的光衰减特征、雾霾特征和水下环境图像进行处理,获得水下场景图像;利用水下场景图像对水下图像复原模型进行训练,训练完成,获得训练好的水下图像复原模型;通过训练好的水下图像复原模型对真实水下图像进行处理,获得修复后水下图像。实现了对水下图像的有效复原。
-
-
-
-
-
-
-
-
-