公开(公告)号：CN115952809A

公开(公告)日：2023-04-11

申请号：CN202211709287.6

申请日：2022-12-29

Applicant: 鹏城实验室

Inventor： 刘挺 ,  冯骁骋 ,  付成鹏 ,  秦兵 ,  相洋 ,  王晖

IPC: G06F40/58 ,  G06F40/242 ,  G06N3/08 ,  G06F16/36 ,  G06F40/216 ,  G06F40/289 ,  G06F18/22 ,  G06N3/04

Abstract: 本发明公开了一种基于图网络的多语言翻译的词表初始化方法及装置，包括：根据每种语言对应的双语词典、词语及词元的分解构成关系，构建每种语言与核心语言之间的词表映射异质图；根据异质图神经网络和对比学习算法，在词表映射异质图上学习不同语言词表与核心语言词表之间的词元映射关系；将多语言机器翻译任务中的核心语言词表的词元利用核心语言BERT模型的词表进行初始化，并根据词元映射关系将其他语言映射到核心语言BERT模型的词表空间，完成多语言机器翻译任务中所有词元的初始化。本发明利用构建词元异质图的方式来完成不同语言词元的映射来初始化词元，提高了多语言机器翻译模型的翻译准确率，同时也加快了模型收敛速度。

公开(公告)号：CN115423088A

公开(公告)日：2022-12-02

申请号：CN202210986537.4

申请日：2022-08-17

Applicant: 鹏城实验室

Inventor： 易泽轩 ,  张叶红 ,  张艳 ,  王进 ,  颜达森 ,  陶恒韬 ,  王晖 ,  曾炜 ,  余跃

IPC: G06N3/08 ,  G06K9/62

Abstract: 本发明公开了一种跨域数据异构的大模型在线剪枝方法及相关设备，方法包括：获取目标预训练模型和目标数据集；根据目标数据集对目标预训练模型进行预剪枝，得到预剪枝模型；将预剪枝模型的参数发送至云服务器进行处理，得到目标融合参数，将目标融合参数加载至预剪枝模型，得到目标融合模型，将目标预训练模型更新为目标融合模型；重新执行根据目标数据集对目标预训练模型进行预剪枝的步骤，直至完成预设数量的轮数后，将目标融合模型作为目标预剪枝模型；对目标预剪枝模型进行结构剪枝处理，得到目标剪枝模型；根据目标剪枝模型得到目标发布模型。本发明能够在跨域网络环境下，对模型进行在线剪枝，减少模型参数，降低大模型部署对硬件的要求。

公开(公告)号：CN115391156A

公开(公告)日：2022-11-25

申请号：CN202210983212.0

申请日：2022-08-16

Applicant: 鹏城实验室

Inventor： 王进 ,  张艳 ,  陶恒韬 ,  易泽轩 ,  颜达森 ,  王晖 ,  余跃 ,  曾炜

IPC: G06F11/34 ,  G06K9/62

Abstract: 本发明公开了一种跨域协同训练任务计算效率仿真方法及相关设备，所述计算效率仿真方法包括：输入跨域协同训练模型及相关参数；根据所述跨域协同训练模型及所述相关参数初始化跨域协同训练中五种类型计算阶段的仿真模型；根据所述相关参数中的跨域协同训练轮数，计算每个协同训练周期内不同阶段计算任务的时间点；根据所有协同训练周期内的时间点统计出跨域协同训练任务的计算效率指标。通过建立跨域协同训练中五种类型计算阶段的仿真模型后，计算所有协同训练周期内所有协同训练周期内的时间点，再统计出跨域协同训练任务的计算效率指标，从而实现了快捷计算跨域协同训练任务的仿真效率，提高了计算效率仿真的准确性。

公开(公告)号：CN114925591A

公开(公告)日：2022-08-19

申请号：CN202111646797.9

申请日：2021-12-29

Applicant: 鹏城实验室 ,  北京大学深圳研究生院

Inventor： 王进 ,  易泽轩 ,  李革 ,  张叶红 ,  张艳 ,  王晖 ,  曾炜

IPC: G06F30/27 ,  G06K9/62 ,  G06F111/08

Abstract: 本发明公开了基于多面体模型建模的自动并行策略搜索方法及相关设备，所述方法包括：根据用户输入的模型对象得到深度学习算法的模型计算图；对模型计算图进行转换，得到转换后的模型计算图；将转换后的模型计算图进行均衡处理，得到均衡计算图；根据所述均衡计算图，创建多面体模型实例，并根据多面体模型实例输出并行策略；调用底层框架执行并行策略。本发明中通过将模型计算图进行转换及均衡处理，并在多面体模型的框架下创建多面体模型实例后，自动输出并行策略，实现了在多面体模型下将不同的算法逻辑进行建模，并自动输出并行策略过程，提升了并行策略搜索的效率，降低了深度学习算法的分布式训练开发和效率调优难度。

公开(公告)号：CN113098840B

公开(公告)日：2022-08-16

申请号：CN202110212165.5

申请日：2021-02-25

Applicant: 鹏城实验室

Inventor： 王晖 ,  林哲 ,  罗景龙 ,  秦爽 ,  蒋芳清 ,  张晗 ,  黄河凯

IPC: H04L9/40 ,  H04L67/10 ,  G06N20/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于加法秘密分享技术的高效安全线性整流函数运算方法，所述方法包括：获取来自第一服务器的第一数据以及来自第二服务器的第二数据；根据所述第一数据以及所述第二数据确定目标二进制字符串，并对所述目标二进制字符串执行拆分操作；将拆分后得到的数据分别发送给所述第一服务器和所述第二服务器，使所述第一服务器和所述第二服务器基于所述拆分后得到的数据调用安全比较算法，实现将所述目标二进制字符串与所述第一服务器、所述第二服务器之间的公共随机数进行比较，并基于比较结果输出安全线性整流函数运算的结果。解决了现有技术中实现一次安全线性整流函数运算需要产生大量通信开销，导致安全协议效率低下的问题。

公开(公告)号：CN114676795A

公开(公告)日：2022-06-28

申请号：CN202210582633.2

申请日：2022-05-26

Applicant: 鹏城实验室

Inventor： 范高俊 ,  曾炜 ,  王晖

IPC: G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明涉及模型训练技术领域，具体是涉及一种深度学习模型的训练方法、装置、设备及存储介质。本发明首先根据待训练的深度学习模型所需要的训练数据集的容量选择将训练数据集存储至本地节点的存储方式，之后完成训练数据集在本地节点的存储操作，最后本地节点采用训练数据集训练深度学习模型。本发明根据训练数据集的容量将训练数据集存储至本地节点，能够节省存储数据所需要的时间，进而节省了训练所需要的整体时间，从而提高了训练效率。

公开(公告)号：CN114238629A

公开(公告)日：2022-03-25

申请号：CN202111429355.9

申请日：2021-11-29

Applicant: 鹏城实验室

Inventor： 蒋芳清 ,  王晖

IPC: G06F16/35 ,  G06F16/33

Abstract: 本发明公开了一种基于自动提示推荐的语言处理方法、装置及终端，方法包括：获取待处理文本，根据所述待处理文本获取所述待处理文本对应的目标提示文本，其中，所述目标提示文本中包括样本待处理文本和样本待处理文本对应的结果；将所述待处理文本和所述目标提示文本进行组合，输入至预训练语言模型，获取所述预训练语言模型输出的目标结果作为所述待处理文本对应的结果。本发明可以提升预训练语言模型处理下游任务时的精度。