-
公开(公告)号：CN118779117A
公开(公告)日：2024-10-15
申请号：CN202411258880.2
申请日：2024-09-10
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F9/50 , G06F9/38 , G06F18/214 , G06N3/126
Abstract: 本发明属于大模型训练技术领域，具体涉及一种基于双重优化的大模型广域异构分布式训练方法与系统；基于双重优化的大模型广域异构分布式训练方法包括：获取基座模型的配置信息，进行异构数据中心的拆分，将异构数据中心转换成最多能完成一个stage任务的数据中心；采用蚁群算法对拆分后数据中心进行初始化组合的优化，得到基座模型初步并行组方案；基于遗传算法的优化得到基座模型并行组方案，生成模型训练架构，以完成基于双重优化的大模型广域异构分布式训练。针对真实异构环境下的基座模型训练所面临的架构设计、通信成本计算和难以找到最佳并行组策略的难题，减少了模型训练时间的同时，有效降低了大模型训练的成本和门槛。
-
公开(公告)号：CN118519766A
公开(公告)日：2024-08-20
申请号：CN202410597016.9
申请日：2024-05-14
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F9/50
Abstract: 本公开提出一种面向国产异构算力集群的作业调度方法及系统，方法包括：在一个调度周期中，根据待调度作业的资源量、算力类型请求，及节点的算力类型标签，从异构算力集群中筛选出候选节点；考虑异构算力资源的性能差异，基于加权轮询计算候选节点权重，将权重最高的候选节点作为第一目标节点；根据异构算力集群及候选节点中各类资源占比对候选节点的资源使用空间进行评分，将评分最高的候选节点作为第二目标节点；随机选择最终目标节点，将待调度作业调度到最终目标节点。本公开通过在节点预选阶段添加初次筛选提升节点预选效率，在节点优选阶段，考虑异构算力资源性能差异和集群的整体性，克服了负载不均衡、异构算力不兼容的问题。
-
公开(公告)号：CN118211268A
公开(公告)日：2024-06-18
申请号：CN202410428512.1
申请日：2024-04-10
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F21/62 , G06V10/30 , G06V10/774 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/098
Abstract: 本公开提供了基于扩散模型的异构联邦学习隐私保护方法及系统，涉及联邦学习隐私保护技术领域，包括建立服务器端与客户端的通信通道；获取客户端类别分布不均匀的数据上传至服务端，将所述类别分布不均匀的数据作为去噪扩散模型的输入，在服务器端生成符合数据分布的图像；利用生成的图像数据进行异构联邦学习的训练，服务器端初始化全局模型参数，并分发给随机选择的客户端，利用知识蒸馏方法，将全局模型看作教师网络，把上一轮的本地模型看作学生网络，进行本地模型的训练和参数上传，服务端利用各个客户端的上传的本地模型参数进行全局模型聚合，完成知识迁移。
-
公开(公告)号：CN117151173A
公开(公告)日：2023-12-01
申请号：CN202311119652.2
申请日：2023-08-31
Applicant: 齐鲁工业大学(山东省科学院) , 山东省计算中心(国家超级计算济南中心)
IPC: G06N3/0495 , G06N3/082 , G06N3/084 , G06N3/045 , G06N3/096 , G06N3/0985 , G06F18/214 , G06F18/21 , G06F40/289 , G06F16/35
Abstract: 本发明公开了一种基于元学习的模型压缩方法，包括：获取情感分类数据集并进行数据预处理；将预处理后的数据样本输入至模型压缩模块中，对预训练语言模型压缩，在推理阶段实现情感分类结果的输出，所述模型压缩模块包含微调、剪枝、元学习蒸馏等操作。所述微调阶段，基于数据集训练预训练语言模型得到第一教师模型；剪枝阶段，利用缩放系数剪枝第一教师模型，得到第一学生模型；基于数据集和蒸馏训练方法训练得到第二学生模型，并将第二模型部署于终端，实现情感分类预测。本发明采用模型压缩方法应用于大模型情感分类预测，保证情感分类结果精度的情况下，降低了模型参数量，更利于部署应用。
-
公开(公告)号：CN116185604A
公开(公告)日：2023-05-30
申请号：CN202211594422.7
申请日：2022-12-13
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学
Abstract: 本发明提出了一种深度学习模型的流水线并行训练方法及系统，涉及机器学习技术领域，具体方案包括：获取要训练的模型，对模型中每个网络层所占用的内存量进行预估，得到内存预估序列；利用前缀和分区算法对内存预估序列进行分区，将分区均衡分配到流水线上的GPU中；将训练数据集分批连续传入流水线中，进行流水线并行训练；其中，并行训练过程中，采用同步加异步混合的权重缓冲方式，对网络层的权重进行更新；本发明采用一种权重缓冲策略，保证同一小批数据在执行前向传播和反向传播时使用的是同一个版本的参数，从而提高模型训练精度，节省计算资源内存。
-
Patent Agency Ranking
公开(公告)号：CN116091897A
公开(公告)日：2023-05-09
申请号：CN202310238330.3
申请日：2023-03-14
Applicant: 山东省计算中心(国家超级计算济南中心)
IPC: G06V10/84 , G06V10/774 , G06N7/01
Abstract: 本发明属于光纤传感事件图像识别相关技术领域，本发明提出了一种基于轻量化的分布式光纤传感事件识别方法及系统，基于马尔可夫变迁场将分布式传感器事件时序信号数据转换成马尔可夫变迁场二维图像；利用得到的图像对建立的教师网络模型进行预训练；利用预训练好的教师网络模型对所建立的学生网络模型进行中间特征层的一阶知识蒸馏训练；利用预训练好的教师网络模型和经过一阶知识蒸馏的学生网络模型对所述学生网络模型的输出特征层进行二阶知识蒸馏训练，得到训练好的学生网络模型；通过训练好的学生网络模型进行识别，提升了小模型的识别精度，缩短了识别时间，提升了推理速度。
-
公开(公告)号：CN114385233B
公开(公告)日：2022-08-02
申请号：CN202210291811.6
申请日：2022-03-24
Applicant: 山东省计算中心(国家超级计算济南中心)
Abstract: 本申请属于计算机系统技术领域，提供了一种跨平台自适应数据处理工作流系统及方法，包括客户端，被配置为基于应用程序编程接口调用和画布式拖拽构建工作流，将所构建的工作流通过Istio安全网关发送到服务端；服务端，被配置为基于服务器接口接收客户端所构建的工作流，基于运算符计算平台适配器进行工作流逻辑运算符的计算环境优化适配。本申请采用基于Kubernetes的微服务架构，采用Istio安全网关作为客户端与服务端的唯一通道，实现跨平台自适应数据工作流的处理。
-
公开(公告)号：CN114385601A
公开(公告)日：2022-04-22
申请号：CN202210291801.2
申请日：2022-03-24
Applicant: 山东省计算中心(国家超级计算济南中心)
IPC: G06F16/21 , G06F16/22 , G06F16/2458 , G06F16/25
Abstract: 本发明涉及流式数据智能处理技术领域，提供了基于超算的云边协同高通量海洋数据智能处理方法及系统，包括基于历史海洋观测数据构建每个海洋观测数据流的初始海洋数据智能处理模型；实时获取每个海洋观测数据流的数据并进行预处理；基于预处理后的每个海洋观测数据流数据，对相应的初始海洋数据智能处理模型进行实时迭代训练更新，得到每个海洋观测数据流的最新海洋数据智能处理模型，保存在模型版本库中；通过调用每个海洋观测数据流的最新海洋数据智能处理模型对每个海洋观测数据流中不断流入的数据进行实时推理与预测；将超算训练优化后的模型推送到边缘端，在边缘端进行模型更新，并进行具体推理应用，从而避免了数据远程传输，降低了延迟。
-
公开(公告)号：CN118606293B
公开(公告)日：2025-01-07
申请号：CN202410639776.1
申请日：2024-05-22
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
Abstract: 本发明提出了一种跨域异构存储系统的数据迁移方法及系统，将改进的蚁群算法来对数据迁移路径优化问题进行求解，根据路径的传输成功率动态调整信息素浓度，使其与传输成功率成正比，即传输成功率越高的路径，其对应的信息素浓度越高，从而增加选择该路径的概率；根据传输数据量以及目标节点的负载情况动态调整启发函数值，使其与目标节点的负载成反比，负载越重的节点，其对应路径的启发函数值越低，以降低选择该路径的概率，从而实现存储系统的负载均衡，提高数据迁移的效率和质量。
-
公开(公告)号：CN119204262A
公开(公告)日：2024-12-27
申请号：CN202411318661.9
申请日：2024-09-20
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06N20/00 , G06N3/045 , G06N3/0475 , G06N3/094 , G06F18/2135 , G06F18/22
Abstract: 本发明提供了一种基于联邦学习的客户端选择方法及系统，包括：对参与联邦学习的客户端进行逻辑分组；基于接收到的客户端局部优化后的模型参数，计算其与组内各客户端之间的角距混合相似度；其中，所述角距混合相似度的计算具体为：对客户端局部优化后的模型参数进行主成分分析，基于获得的主成分所对应的分量得分，采用角度和距离结合的方式计算两个客户端的相似度；基于获得客户端与组内其它客户端之间的角距混合相似度，确定当前客户端被选择的权值；基于组内各客户端的权值大小，确定当前迭代轮次参与全局模型聚合的客户端。
-
-
-
-
-
-
-
-
-
Search Results
65
records
(took 0.045 seconds)
