公开(公告)号：CN115481730A

公开(公告)日：2022-12-16

申请号：CN202211143030.9

申请日：2022-09-20

Applicant: 鹏城实验室

Inventor： 任智祥 ,  任一铭 ,  田永鸿 ,  高文

IPC: G06N3/08 ,  G06N3/04

Abstract: 本发明公开了一种注意力机制模型训练方法、装置、终端及存储介质，包括：获取配置文件，根据配置文件识别各待训练模型，并向各待训练模型分配对应的并行训练策略；根据分配的并行训练策略及对应的模型参数进行数据并行处理，加载配置文件中对应的数据存储位置，得到各待训练模型对应的训练数据；调用全局自扩展模型并行算法，根据得到的训练数据、分配的并行训练策略及配置文件中的模型参数对各待训练模型进行并行训练，得到各待训练模型的训练结果。本发明实现了可自动伸缩的强扩展策略，框架可根据用户使用的模型，数据量大小自动扩展并行规模并修改矩阵切分维度，提高了注意力机制模型并行训练的效率。

公开(公告)号：CN115456170A

公开(公告)日：2022-12-09

申请号：CN202211116537.5

申请日：2022-09-14

Applicant: 鹏城实验室

Inventor： 任智祥 ,  任一铭 ,  田永鸿 ,  高文

IPC: G06N3/08 ,  G06N3/04

Abstract: 本发明公开了一种低通信开销的神经网络并行训练方法，本发明通过跨多层拆分目标卷积网络，使得拆分后得到的每个分离网络中均包含目标卷积网络中各个操作层的一部分。因此本发明只需要获取各分离网络的前向结果即可实现目标卷积网络的网络训练过程，各分离网络无需中间通信，减少了参数传播过程的通信开销。解决了现有的神经网络并行训练方法会产生大量的中间通信，导致训练过程中产生大量的通信开销，从而影响训练效率的问题。

公开(公告)号：CN112434817B

公开(公告)日：2021-05-28

申请号：CN202110105293.X

申请日：2021-01-26

Applicant: 鹏城实验室

Inventor： 任智祥 ,  傅海裕 ,  周阅

IPC: G06N20/00 ,  G06F16/901 ,  H04L12/24

Abstract: 本发明公开了一种构建通信算法数据库的方法、装置和计算机存储介质，该方法包括以下步骤：基于不同的软硬件配置和通信算法配置对预设用例进行机器学习模型训练；记录在不同的软硬件配置和通信算法配置下训练机器学习模型达到既定正确率所用的训练时间；将预设用例、不同的软硬件配置和通信算法配置和训练时间按照对应关系构建通信算法数据库。解决了现有的分布式机器学习中还存在如何优化并行训练中涉及到的通信算法的问题。

公开(公告)号：CN112396042A

公开(公告)日：2021-02-23

申请号：CN202110076466.X

申请日：2021-01-20

Applicant: 鹏城实验室

Inventor： 周阅 ,  刘永恒 ,  任智祥 ,  欧阳亚

IPC: G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种实时更新的目标检测方法及系统、计算机可读存储介质，该方法包括：获取需要检测的数字图像并利用当前卷积神经网络对数字图像进行目标检测，得到目标检测结果；获取对目标检测结果满足预设条件的数字图像的人工标注，并利用人工标注后的数字图像更新训练集数据库；基于更新后的训练集数据库训练当前卷积神经网络，得到更新后的卷积神经网络，并获取更新后的卷积神经网络在测试集数据库上的评估指标结果；若评估指标结果满足网络生成条件，则基于自动机器学习生成和优化新的卷积神经网络，并将新的卷积神经网络作为当前卷积神经网络。本发明实现了对目标检测算法的实时更新，提高了目标检测的准确性和可靠性。