-
公开(公告)号：CN115297008A
公开(公告)日：2022-11-04
申请号：CN202210793410.0
申请日：2022-07-07
Applicant: 鹏城实验室
Abstract: 本发明公开了一种基于智算网络的协同训练方法、装置、终端及存储介质，方法包括：获取若干个待训练算法及对应的数据集，并根据获取的若干个算法及数据集生成多个任务组；根据选择的任务组确定分布式智能协同计算平台中的待训练终端，并确定各待训练终端对应的待训练算法及数据集；通过跨异构智算中心的协同训练策略对所有待训练终端的模型进行协同训练及推理，得到协同训练及推理结果；根据所述协同训练及推理结果获取多模型融合策略，并通过所述多模型融合策略对训练后终端中的算法进行融合，得到基于分布式多框架的跨异构智算中心的协同计算模型。本发明可以实现单集群难以实现的大模型协同训练、多模型融合、大模型压缩等技术。
-
公开(公告)号：CN114548206A
公开(公告)日：2022-05-27
申请号：CN202111542809.3
申请日：2021-12-16
Applicant: 鹏城实验室
IPC: G06K9/62 , G06V10/80 , G06V10/774
Abstract: 本发明涉及模型训练技术领域，具体是涉及一种基于集群的模型训练方法、装置、设备及存储介质。本发明将待训练模型放在各个集群上利用各个集群上的局部数据进行模型的训练，本发明将待训练模型放在各个集群上，因此本发明不需要将各个集群上的数据迁移至各个集群的外部就可以利用各个集群的数据对模型进行训练，从而保护了各个集群上的数据隐私以防止数据泄密。
-
公开(公告)号：CN114781651B
公开(公告)日：2024-12-24
申请号：CN202210565539.6
申请日：2022-05-23
Applicant: 清华大学深圳国际研究生院 , 鹏城实验室
IPC: G06N20/00 , G06F40/30 , G06F40/242 , G06F40/166
Abstract: 本发明公开了一种基于对比学习的小样本学习鲁棒性提升方法，包括以下步骤：S1、对原始数据集进行预处理，构造对抗数据集和对比数据集；S2、将原始数据集、对抗数据集和对比数据集分别输入预训练语言模型中，得到相应的嵌入表示，并使用对比学习损失函数计算三种嵌入表示之间的距离；S3、根据对比学习损失函数与原模型的损失函数计算模型更新的梯度，以总体损失更小为目标来训练模型。本发明通过构造对抗和对比数据集为模型鲁棒性学习提供数据支持，使用对比学习目标函数计算损失能够更好地获取原始样本与对抗样本的相似性，也能更好地区分原始样本与对比样本的差异，从而提升模型受到对抗或者对比扰动时的鲁棒性。
-
公开(公告)号：CN113902522B
公开(公告)日：2024-08-27
申请号：CN202111152619.0
申请日：2021-09-29
Applicant: 鹏城实验室
IPC: G06Q30/0601 , G06Q50/18 , G06N3/042 , G06N3/08
Abstract: 本发明公开了一种基于图神经网络的专利推荐方法及终端，所述方法包括：获取机构信息和专利信息，根据所述机构信息和所述专利信息构建机构与专利关系的知识图谱；根据所述机构与专利关系的知识图谱，基于图神经网络模型给卖方机构推荐与专利匹配度最高的买方机构列表，基于图神经网络模型给买方机构推荐与所述买方机构所提出的专利需求匹配度最高的卖方专利列表。本发明通过图谱的形式完成对专利及机构信息的抽取，经过编码及转化处理为图神经网络的图数据样本，利用图神经网络实现节点的图嵌入，采用预训练加微调的机制，经过推荐模型实现需求机构与待售专利之间的匹配，提高推荐质量。
-
公开(公告)号：CN115297008B
公开(公告)日：2023-08-22
申请号：CN202210793410.0
申请日：2022-07-07
Applicant: 鹏城实验室
IPC: H04L41/14 , G06F18/214 , G06F18/25 , G06N5/04
Abstract: 本发明公开了一种基于智算网络的协同训练方法、装置、终端及存储介质，方法包括：获取若干个待训练算法及对应的数据集，并根据获取的若干个算法及数据集生成多个任务组；根据选择的任务组确定分布式智能协同计算平台中的待训练终端，并确定各待训练终端对应的待训练算法及数据集；通过跨异构智算中心的协同训练策略对所有待训练终端的模型进行协同训练及推理，得到协同训练及推理结果；根据所述协同训练及推理结果获取多模型融合策略，并通过所述多模型融合策略对训练后终端中的算法进行融合，得到基于分布式多框架的跨异构智算中心的协同计算模型。本发明可以实现单集群难以实现的大模型协同训练、多模型融合、大模型压缩等技术。
-
Patent Agency Ranking
公开(公告)号：CN116578412A
公开(公告)日：2023-08-11
申请号：CN202310427645.2
申请日：2023-04-12
Applicant: 鹏城实验室
Abstract: 本申请实施例提供了一种机器学习集群算力资源运维方法、系统、设备及存储介质，属于机器学习技术领域。该方法包括：获取工作节点执行机器学习任务时的算力资源数据；根据算力资源数据进行运维分析，得到运维需求；获取运维需求对应的任务模版，任务模版包含算力资源调度策略，算力资源调度策略用于表征任务模版对应的算力资源调度计划；根据运维需求和任务模版，确定算力资源调度指令；输出算力资源调度指令到工作节点，以使工作节点按照算力资源调度指令，确定执行机器学习任务的目标算力资源。本申请能够在提高机器学习集群日常算力资源运维管理准确度的同时，提高算力资源运维管理的效率。
-
公开(公告)号：CN116541053A
公开(公告)日：2023-08-04
申请号：CN202310489126.9
申请日：2023-04-28
Applicant: 鹏城实验室
Abstract: 本申请实施例提供了一种开发环境的保存方法、调用方法及相关装置，属于人工智能技术领域，包括：获取来自客户端的Docker操作请求；对Docker操作请求进行解析，从Docker操作请求中确定目标开发环境的特征信息；根据特征信息确定目标开发环境的目标镜像文件，并对目标镜像文件进行存储操作，以保存目标开发环境。本申请基于用户在客户端前端的操作生成Docker操作请求，根据Docker操作请求通过集群节点的相关服务对目标开发环境执行对应的操作，进而实现对开发环境的保存，与现有技术相比，该过程无需用户在集群节点一侧进行操作就能实现对开发环境的保存，简化了开发环境保存的过程，进而提高了开发环境的保存效率。
-
公开(公告)号：CN116501491A
公开(公告)日：2023-07-28
申请号：CN202310411262.6
申请日：2023-04-10
Applicant: 鹏城实验室
IPC: G06F9/50
Abstract: 本申请实施例提供了一种机器学习任务的资源管理方法、系统、设备及介质，属于机器学习技术领域。方法包括：获取机器学习中的目标任务；获取目标任务对应的资源弹性伸缩计划策略；根据资源弹性伸缩计划策略确定目标任务执行过程中不同时间段下的资源配置需求，并根据多个资源配置需求生成目标任务执行过程中不同时间段下的资源约束信息；根据资源约束信息生成分时段的弹性伸缩任务，并根据弹性伸缩任务对目标任务执行过程中不同时间段下的资源进行资源申请或资源选定，确定完成资源申请或资源选定后的资源为目标资源。本申请能够提高机器学习任务中资源的利用率，降低机器学习的任务成本。
-
公开(公告)号：CN116362265A
公开(公告)日：2023-06-30
申请号：CN202310595862.2
申请日：2023-05-25
Applicant: 鹏城实验室
IPC: G06F40/58 , G06F40/42 , G06F40/126 , G06F40/226 , G06F40/166
Abstract: 本发明实施例提供文本翻译方法、装置、设备和存储介质，涉及人工智能技术领域。该方法包括：通过对源语言句子进行编码，得到第一隐藏层向量；然后根据第一隐藏层向量执行迭代翻译过程，在迭代翻译过程中对预测序列的错误进行定位，将错误词语进行掩码后重新预测，直至满足迭代结束条件，将预测序列作为源语言句子的目标语言翻译句子。本申请实施例针对非自回归文本翻译，利用迭代式解码机制提升翻译性能，不同于一次性生成翻译结果的方式，并且其通过迭代翻译过程多次微调中间翻译结果的预测序列，准确判断生成的预测序列中词语的正确性，对其进行错误进行定位，根据定位结果替换需要修改的预测词，能够提升推理速度以及翻译结果。
-
公开(公告)号：CN116341652A
公开(公告)日：2023-06-27
申请号：CN202310133976.5
申请日：2023-02-08
Applicant: 鹏城实验室
Abstract: 本发明针对使用跨地域算力中心算力进行深度模型训练的场景需求，设计了一种面向云际环境的深度模型训练方法，采用按照网络层次拆分模型参数到不同算力中心、跨域算力节点间采用压缩通信、算力中心内和算力中心间采用混合并行等策略，实现利用跨域算力协同完成深度模型训练。本发明可以使大模型训练不再受单算力中心算力资源的限制，能够高效利用跨域算力中心的算力，在低带宽环境下利用跨域算力协同完成大规模模型的训练任务。
-
-
-
-
-
-
-
-
-
Search Results
57
records
(took 0.024 seconds)
