-
公开(公告)号：CN116681960B
公开(公告)日：2024-11-15
申请号：CN202310551874.5
申请日：2023-05-15
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06V10/77 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明提出一种基于K8s的中尺度涡旋智能识别方法及系统，涉及涡旋识别领域。包括将待识别图像输入到基于深度学习的中尺度涡旋识别模型中，对待识别图像进行特征提取，基于CBAM混合注意力机制进行加权；将输出特征图输入至ASPP中，设置膨胀卷积的膨胀率，同时将ASPP中池化分支替换为深度可分离卷积，得到编码器输出的特征图；将编码器输出的特征图输入解码器中，基于SKNet注意力机制计算不同尺寸感受野的权重，实现中尺度涡旋的智能识别。本发明能够准确的识别出海表面高度图像中的气旋式涡旋和反气旋式涡旋，而且还通过引入注意力机制技术使模型更加精确的分割出涡旋的边界信息，有效的解决了之前方法中的中尺度涡旋识别效果泛化性差的问题。
-
公开(公告)号：CN118779117A
公开(公告)日：2024-10-15
申请号：CN202411258880.2
申请日：2024-09-10
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06F9/50 , G06F9/38 , G06F18/214 , G06N3/126
Abstract: 本发明属于大模型训练技术领域，具体涉及一种基于双重优化的大模型广域异构分布式训练方法与系统；基于双重优化的大模型广域异构分布式训练方法包括：获取基座模型的配置信息，进行异构数据中心的拆分，将异构数据中心转换成最多能完成一个stage任务的数据中心；采用蚁群算法对拆分后数据中心进行初始化组合的优化，得到基座模型初步并行组方案；基于遗传算法的优化得到基座模型并行组方案，生成模型训练架构，以完成基于双重优化的大模型广域异构分布式训练。针对真实异构环境下的基座模型训练所面临的架构设计、通信成本计算和难以找到最佳并行组策略的难题，减少了模型训练时间的同时，有效降低了大模型训练的成本和门槛。
-
公开(公告)号：CN117151173A
公开(公告)日：2023-12-01
申请号：CN202311119652.2
申请日：2023-08-31
Applicant: 齐鲁工业大学(山东省科学院) , 山东省计算中心(国家超级计算济南中心)
IPC: G06N3/0495 , G06N3/082 , G06N3/084 , G06N3/045 , G06N3/096 , G06N3/0985 , G06F18/214 , G06F18/21 , G06F40/289 , G06F16/35
Abstract: 本发明公开了一种基于元学习的模型压缩方法，包括：获取情感分类数据集并进行数据预处理；将预处理后的数据样本输入至模型压缩模块中，对预训练语言模型压缩，在推理阶段实现情感分类结果的输出，所述模型压缩模块包含微调、剪枝、元学习蒸馏等操作。所述微调阶段，基于数据集训练预训练语言模型得到第一教师模型；剪枝阶段，利用缩放系数剪枝第一教师模型，得到第一学生模型；基于数据集和蒸馏训练方法训练得到第二学生模型，并将第二模型部署于终端，实现情感分类预测。本发明采用模型压缩方法应用于大模型情感分类预测，保证情感分类结果精度的情况下，降低了模型参数量，更利于部署应用。
-
公开(公告)号：CN116185604A
公开(公告)日：2023-05-30
申请号：CN202211594422.7
申请日：2022-12-13
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学
Abstract: 本发明提出了一种深度学习模型的流水线并行训练方法及系统，涉及机器学习技术领域，具体方案包括：获取要训练的模型，对模型中每个网络层所占用的内存量进行预估，得到内存预估序列；利用前缀和分区算法对内存预估序列进行分区，将分区均衡分配到流水线上的GPU中；将训练数据集分批连续传入流水线中，进行流水线并行训练；其中，并行训练过程中，采用同步加异步混合的权重缓冲方式，对网络层的权重进行更新；本发明采用一种权重缓冲策略，保证同一小批数据在执行前向传播和反向传播时使用的是同一个版本的参数，从而提高模型训练精度，节省计算资源内存。
-
公开(公告)号：CN114385233B
公开(公告)日：2022-08-02
申请号：CN202210291811.6
申请日：2022-03-24
Applicant: 山东省计算中心(国家超级计算济南中心)
Abstract: 本申请属于计算机系统技术领域，提供了一种跨平台自适应数据处理工作流系统及方法，包括客户端，被配置为基于应用程序编程接口调用和画布式拖拽构建工作流，将所构建的工作流通过Istio安全网关发送到服务端；服务端，被配置为基于服务器接口接收客户端所构建的工作流，基于运算符计算平台适配器进行工作流逻辑运算符的计算环境优化适配。本申请采用基于Kubernetes的微服务架构，采用Istio安全网关作为客户端与服务端的唯一通道，实现跨平台自适应数据工作流的处理。
-
Patent Agency Ranking
公开(公告)号：CN114004766A
公开(公告)日：2022-02-01
申请号：CN202111311399.1
申请日：2021-11-08
Applicant: 山东省计算中心(国家超级计算济南中心)
Abstract: 本发明公开了水下图像增强方法、系统和设备，水下图像增强方法，包括以下步骤：获取水下视频或图像数据；通过数据增强生成对抗网络，对所述视频或图像数据使用预设算法进行预处理得到衰减图及雾化效果图，对所述衰减图及雾化效果图提取特征获取水下仿真数据，将所述水下视频或图像数据与对应的水下仿真数据生成配对数据集；利用修复生成对抗网络对得到的配对数据集进行判别器计算损失数并进行训练得到水下图像修复模型。能够根据实际水下退化质量生成对应的仿真配对数据集，不需要参数调节，基于多尺度特征融合的水下增强算法修复水下图像颜色。
-
公开(公告)号：CN119088312A
公开(公告)日：2024-12-06
申请号：CN202411212961.9
申请日：2024-08-30
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
Abstract: 本发明属于冷热数据识别管理技术领域，提供了一种面向跨域异构存储系统的冷热数据存储方法及系统，通过综合考虑数据访问频率、数据更新频率、业务重要性、文件相关性和数据新鲜度多个维度进行冷热数据画像，综合判断数据的冷热属性，反映了数据的实际价值和使用需求，将数据准确的分类为热数据、温数据和冷数据，可以动态地评估数据的重要性和访问需求，将热数据、温数据和冷数据分层存储在不同存储空间中，从而更有效地进行数据存储管理，提高了跨域异构存储系统的体验感，有利于推广应用。
-
公开(公告)号：CN118982074A
公开(公告)日：2024-11-19
申请号：CN202411463393.X
申请日：2024-10-21
Applicant: 山东省计算中心(国家超级计算济南中心)
Abstract: 本发明提出一种基于高效微调和联邦学习的行业大模型训练方法及系统，涉及联邦学习领域。该方法由中心端执行，包括：获取原始全局模型，初始化可调低秩矩阵；所述可调低秩矩阵用于根据客户端资源量进行秩缩放；将模型结构和可调低秩矩阵发送给各客户端，以使各客户端基于本地数据对可调低秩矩阵进行微调训练，得到更新的可调低秩矩阵，并发送至中心端；将更新的可调低秩矩阵进行聚合，更新原始全局模型的权重文件，得到优化的全局模型。本发明客户端在微调训练时对预训练权重进行量化，并对具有秩缩放功能的可调低秩矩阵进行微调训练，以提取客户端本地数据有效特征，实现了模型参数的灵活调整与资源的高效利用。
-
公开(公告)号：CN118674011A
公开(公告)日：2024-09-20
申请号：CN202410820143.0
申请日：2024-06-24
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: G06N3/096 , G06N3/0455 , G06F16/35 , G06N5/04
Abstract: 本发明属于深度学习大模型技术领域，具体涉及一种面向深度学习大模型的参数微调迁移学习方法及系统，包括：获取待优化设备数据；提取所获取的待优化设备数据的不同维度的特征提取算子；采用参数微调的低秩优化算法聚合所提取的不同维度的特征提取算子，对所获取的设备数据进行迁移学习，得到知识向量；其中，通过参数微调的低秩优化算法添加高效参数，调整参数以获得全量微调性能，增强多维特征聚合，以多维知识提取和聚合为中心提升处理下游任务；根据所得到的知识向量，完成设备的优化。
-
公开(公告)号：CN118200217A
公开(公告)日：2024-06-14
申请号：CN202410422956.4
申请日：2024-04-09
Applicant: 山东省计算中心(国家超级计算济南中心) , 齐鲁工业大学(山东省科学院)
IPC: H04L45/00 , H04L45/02 , H04L45/03 , H04L45/036
Abstract: 本公开提供了基于动态异构联邦学习的协同通信方法及系统，涉及联邦学习数据通信技术领域，包括：中央服务器随机初始化全局模型参数，服务器广播全局模型参数副本至参与方客户端参与方客户端利用本地数据集和初始模型计算本地设备的模型梯度，依次进行局部更新，中央服务器接收到来自参与方客户端的更新就绪信号后，生成多组自适应设备簇，每个簇内的参与方客户端上传本地设备的模型梯度，中央服务器收到所有本地设备的模型梯度执行模型聚合更新簇内的全局模型，使用特定通信拓扑将簇内的全局模型发送给其他簇，来更新本地的模型，达到组间的模型同步和知识共享。
-
-
-
-
-
-
-
-
-
Search Results
33
records
(took 0.054 seconds)
