-
公开(公告)号：CN119557113A
公开(公告)日：2025-03-04
申请号：CN202510131779.9
申请日：2025-02-06
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
Abstract: 本发明提供了一种用于异构设备的深度学习大模型训练方法及系统，其属于模型训练技术领域，为了解决传统方案在深度学习大模型的训练时，无法对异构GPU集群进行有效利用的问题，所述方案基于提出的虚拟设备概念，通过将待训练的深度学习大模型的不同网络层划分为若干阶段，每个阶段所有网络层的前向传播和反向传播计算均由独立的虚拟设备执行，同时，结合提出的混合并行训练策略来协调不同构的GPU资源的利用，实现高效的模型训练。
-
公开(公告)号：CN119250162A
公开(公告)日：2025-01-03
申请号：CN202411278919.7
申请日：2024-09-12
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06N3/098 , G06N3/045 , G06N3/0985 , G06N3/047
Abstract: 本发明提出了云边协同的模型自动化训练与在线学习集成方法及系统，通过云端对海洋模型进行离线训练，然后将预训练好的海洋模型发布到边缘端进行在线学习推理，以解决在线学习算法在初始模型预测阶段会遇到冷启动问题；将广义相加模型作为贝叶斯优化算法的代理模型，并采用同伦优化方法沿变形路径跟踪局部最小值，通过改进的贝叶斯优化算法对海洋模型进行超参数优化，提高超参数优化的效率和效果，提升海洋模型训练效率，缩短整个流程所需时间。
-
公开(公告)号：CN118035722A
公开(公告)日：2024-05-14
申请号：CN202410177495.9
申请日：2024-02-08
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F18/213 , G06F18/10 , G06N3/0895 , G06F123/02
Abstract: 本发明属于船舷风速预测技术领域，提供了一种基于自监督对比学习的船舷风速校正预测方法及系统，包括：获取海洋观测数据；提取所获取的海洋观测数据的数据特征；对所提取的数据特征进行多粒度对比学习，得到海洋观测数据的不同粒度时间序列数据的特征向量；根据所得到的时间序列数据特征向量，完成船舷风速的校正预测。本发明利用超声波风速数据来校正左右船舷风速，通过构建正负样本对，自动从海洋观测时间序列中提取不同粒度的表征向量，而无需手动调整参数或依赖领域专业知识；具备自动学习数据内在结构和模式的能力，提高对左右船舷风速数据误差的感知，增强校正能力。
-
公开(公告)号：CN111000553A
公开(公告)日：2020-04-14
申请号：CN201911395467.X
申请日：2019-12-30
Applicant: 山东省计算中心(国家超级计算济南中心)
IPC: A61B5/0402
Abstract: 本发明的基于投票集成学习的心电数据智能分类方法，其特征在于，通过以下步骤来实现：a).数据预处理；b).建立logistic回归模型；c).建立决策树模型；d).建立一个支持向量机；e).建立朴素贝叶斯模型；f).建立神经元模型；g).建立k邻近模型；h).模型集成，最终获得一个正确率不低于80%的模型，效果优于步骤b)至步骤g)中建立的单个模型。本发明的心电数据智能分类方法，首先从ccdd中获取足够数量的数据，将其分为训练集和测试集，然后建立各类模型，最后，获得一个正确率不低于80%的模型，可实现对“正常、房颤、房性早搏、偶发房性早搏、频发房性早搏、房性心动过速、房颤伴快速心室率”进行智能识别分类，实现心血管疾病的早发现、早治疗。
-
公开(公告)号：CN118982074B
公开(公告)日：2025-04-11
申请号：CN202411463393.X
申请日：2024-10-21
Applicant: 山东省计算中心(国家超级计算济南中心)
Abstract: 本发明提出一种基于高效微调和联邦学习的行业大模型训练方法及系统，涉及联邦学习领域。该方法由中心端执行，包括：获取原始全局模型，初始化可调低秩矩阵；所述可调低秩矩阵用于根据客户端资源量进行秩缩放；将模型结构和可调低秩矩阵发送给各客户端，以使各客户端基于本地数据对可调低秩矩阵进行微调训练，得到更新的可调低秩矩阵，并发送至中心端；将更新的可调低秩矩阵进行聚合，更新原始全局模型的权重文件，得到优化的全局模型。本发明客户端在微调训练时对预训练权重进行量化，并对具有秩缩放功能的可调低秩矩阵进行微调训练，以提取客户端本地数据有效特征，实现了模型参数的灵活调整与资源的高效利用。
-
Patent Agency Ranking
公开(公告)号：CN119128794A
公开(公告)日：2024-12-13
申请号：CN202411152070.9
申请日：2024-08-21
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F18/25 , G06F18/214 , G06N3/0442
Abstract: 本发明提出一种基于记忆重放变分自动编码器的IoT数据在线预测系统，系统包括：预测模块，用于将待预测IoT数据输入至训练好的记忆重放VAE，得到预测结果；训练模块，用于训练记忆重放VAE，记忆重放VAE包括编码器和生成器；记忆重放VAE的训练过程为：将第一样本数据输入编码器，得到第一样本潜在因素和第一样本预测结果；生成器基于第一样本潜在因素得到第一样本重放数据；将第二样本数据和第一样本重放数据输入编码器，得到融合样本潜在因素，以及相应预测结果；基于标签和得到的预测结果，计算损失函数，当损失最小时，训练完成。本发明基于OLVAE结合注意力机制和脑重放机制，缓解编码器对旧知识的遗忘，实现IoT数据的高效预测。
-
公开(公告)号：CN118779117A
公开(公告)日：2024-10-15
申请号：CN202411258880.2
申请日：2024-09-10
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F9/50 , G06F9/38 , G06F18/214 , G06N3/126
Abstract: 本发明属于大模型训练技术领域，具体涉及一种基于双重优化的大模型广域异构分布式训练方法与系统；基于双重优化的大模型广域异构分布式训练方法包括：获取基座模型的配置信息，进行异构数据中心的拆分，将异构数据中心转换成最多能完成一个stage任务的数据中心；采用蚁群算法对拆分后数据中心进行初始化组合的优化，得到基座模型初步并行组方案；基于遗传算法的优化得到基座模型并行组方案，生成模型训练架构，以完成基于双重优化的大模型广域异构分布式训练。针对真实异构环境下的基座模型训练所面临的架构设计、通信成本计算和难以找到最佳并行组策略的难题，减少了模型训练时间的同时，有效降低了大模型训练的成本和门槛。
-
公开(公告)号：CN117151173A
公开(公告)日：2023-12-01
申请号：CN202311119652.2
申请日：2023-08-31
Applicant: 齐鲁工业大学(山东省科学院) , 山东省计算中心(国家超级计算济南中心)
IPC: G06N3/0495 , G06N3/082 , G06N3/084 , G06N3/045 , G06N3/096 , G06N3/0985 , G06F18/214 , G06F18/21 , G06F40/289 , G06F16/35
Abstract: 本发明公开了一种基于元学习的模型压缩方法，包括：获取情感分类数据集并进行数据预处理；将预处理后的数据样本输入至模型压缩模块中，对预训练语言模型压缩，在推理阶段实现情感分类结果的输出，所述模型压缩模块包含微调、剪枝、元学习蒸馏等操作。所述微调阶段，基于数据集训练预训练语言模型得到第一教师模型；剪枝阶段，利用缩放系数剪枝第一教师模型，得到第一学生模型；基于数据集和蒸馏训练方法训练得到第二学生模型，并将第二模型部署于终端，实现情感分类预测。本发明采用模型压缩方法应用于大模型情感分类预测，保证情感分类结果精度的情况下，降低了模型参数量，更利于部署应用。
-
公开(公告)号：CN116737521A
公开(公告)日：2023-09-12
申请号：CN202310744383.2
申请日：2023-06-21
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F11/34 , G06F11/30 , G06N3/0464 , G06N3/0455 , G06N3/0895
Abstract: 本发明属于HPC作业预测领域，提供了一种基于自监督对比学习的HPC作业功耗预测方法及系统，本发明采用了基于表示学习和自监督学习的方法进行训练，采用向量对比的方式进行学习，将生成的向量表示在时间戳粒度以及实例粒度进行对比；在时间粒度上进行对比，学习数据随时间的动态变化趋势；在实例粒度上进行对比，学习不同类别的数据之间的差异和相似特征；基于得到的动态变化趋势、差异和相似特征进行作业功耗预测。考虑了数据的连续性，可以在长期预测任务中取得较好的性能，计算复杂度也明显低于RNN和GRU模型。
-
公开(公告)号：CN114385601A
公开(公告)日：2022-04-22
申请号：CN202210291801.2
申请日：2022-03-24
Applicant: 山东省计算中心(国家超级计算济南中心)
IPC: G06F16/21 , G06F16/22 , G06F16/2458 , G06F16/25
Abstract: 本发明涉及流式数据智能处理技术领域，提供了基于超算的云边协同高通量海洋数据智能处理方法及系统，包括基于历史海洋观测数据构建每个海洋观测数据流的初始海洋数据智能处理模型；实时获取每个海洋观测数据流的数据并进行预处理；基于预处理后的每个海洋观测数据流数据，对相应的初始海洋数据智能处理模型进行实时迭代训练更新，得到每个海洋观测数据流的最新海洋数据智能处理模型，保存在模型版本库中；通过调用每个海洋观测数据流的最新海洋数据智能处理模型对每个海洋观测数据流中不断流入的数据进行实时推理与预测；将超算训练优化后的模型推送到边缘端，在边缘端进行模型更新，并进行具体推理应用，从而避免了数据远程传输，降低了延迟。
-
-
-
-
-
-
-
-
-
Search Results
46
records
(took 0.049 seconds)
