公开(公告)号：CN114385785B

公开(公告)日：2024-12-17

申请号：CN202111594472.0

申请日：2021-12-23

Applicant: 鹏城实验室

Inventor： 易泽轩 ,  胡江礼 ,  邓磊 ,  李文龙 ,  王进 ,  王晖 ,  曾炜

IPC: G06F16/33 ,  G06N5/04

Abstract: 本发明公开了一种支持高并发的大规模生成式语言模型快速推理方法及系统，方法包括：获取第i步的前序文本的注意力中间值和第i步的预测文本，并保存第i步的前序文本的注意力中间值；获取第i步的预测文本对应的注意力中间值，根据第i步的预测文本对应的注意力中间值与第i步的前序文本对应的注意力中间值获取第i+1步的前序文本对应的注意力输出结果；根据第i+1步的前序文本对应的注意力输出结果生成第i+1步的预测文本。本发明能够加速大规模生成式语言模型的推理速度，缩短用户等待模型输出的时间。

公开(公告)号：CN117540730B

公开(公告)日：2024-10-18

申请号：CN202311316116.1

申请日：2023-10-10

Applicant: 鹏城实验室

Inventor： 方滨兴 ,  余跃 ,  贾焰 ,  王晖 ,  顾钊铨 ,  梁栩健 ,  徐春香 ,  张凡

IPC: G06F40/279 ,  G06F18/24 ,  G06F16/33 ,  G06F40/216

Abstract: 本申请实施例提供了一种文本标注方法和装置、计算机设备及存储介质，属于人工智能技术领域。该方法包括：获取原始文本和原始标注信息；对原始文本分类得到自动标注信息；接收由标注端对原始文本扩展得到同义文本，根据自动标注信息对同义文本筛选的扩展文本；将扩展文本和原始文本拼接得到候选文本，将自动标注信息和原始标注信息拼接得到候选标注信息；获取候选文本中候选标注信息的标注类别数量；根据标注类别数量对候选标注信息筛选得到目标标注信息；获取目标标注信息的标注比例；若标注比例低于预设比例阈值，生成反馈信息至专家系统以接收专家标注信息；将专家标注信息和候选文本组合得到目标文本数据。本申请实施例能够提高文本标注质量。

公开(公告)号：CN116737363A

公开(公告)日：2023-09-12

申请号：CN202310519363.5

申请日：2023-05-09

Applicant: 鹏城实验室

Inventor： 邓磊 ,  林冯军 ,  曾炜 ,  王晖 ,  余跃 ,  李革

IPC: G06F9/50 ,  G06F12/0802 ,  G06N3/08

Abstract: 本发明涉及人工智能，提供了一种深度学习平台的数据集缓存加速方法、系统、设备及介质，该方法包括：响应于任务指令，将远端存储的目标数据集映射至数据集抽象组件；基于数据集抽象组件对加速引擎组件进行绑定；根据目标数据集从所有处理节点中确定出用于执行训练任务的工作节点；根据缓存配置参数，对工作节点的缓存区域进行配置，并对缓存区域与加速引擎组件进行映射关系建立，形成逻辑存储，以使目标数据集通过加速引擎组件映射至缓存区域；将训练任务挂载至逻辑存储，以便于训练任务通过缓存区读取目标数据集。本发明实施例提供的数据集缓存加速方法能够解决计算应用程序与异构存储之间的兼容性问题，同时提升数据读取的速度。

公开(公告)号：CN116561110A

公开(公告)日：2023-08-08

申请号：CN202310439940.X

申请日：2023-04-18

Applicant: 鹏城实验室

Inventor： 邓凌风 ,  张水勇 ,  耿林 ,  徐春香 ,  王晖 ,  余跃

IPC: G06F16/215 ,  G06F16/22 ,  G06F18/22

Abstract: 本申请提出一种基于Spark的大规模数据去重方法、电子设备和存储介质，通过将大规模语料数据进行预处理，将预处理后得到的第一处理文档存储至不同存储分区，再在各个存储分区内对第一处理文档进行分组，从而排除大量完全不相关的文档，再进行相似检测得到每个第一处理文档的相似对，并在文档分组、存储分区以及全局三种粒度上对相似对进行合并，在文档分组和存储分区的粒度上通过分布式并行运行的方法对相似对进行高效率合并，大大减少系统全局粒度上合并的计算量，从而实现对大规模数据的高效率模糊去重。

公开(公告)号：CN116070719B

公开(公告)日：2023-07-14

申请号：CN202310271228.3

申请日：2023-03-20

Applicant: 鹏城实验室

Inventor： 彭涵阳 ,  秦爽 ,  余跃 ,  王进 ,  王晖 ,  李革 ,  高文

IPC: G06N20/00

Abstract: 本发明公开了一种跨计算节点分布式训练高效通信方法及系统，所述方法包括：在中心服务器上构建分布式训练机器学习模型；获取分布式训练机器学习模型中每个计算节点的本地更新量，并对本地更新量进行量化，得到量化后的本地更新量；根据量化后的本地更新量得到全局更新量，并对全局更新量进行量化，得到量化后的全局更新量；在各计算节点中，根据量化后的全局更新量更新分布式训练机器学习模型参数，得到更新后的分布式训练机器学习模型。本发明通过量化方法将计算节点间所需要通信的数据进行压缩以减少通讯数据量，不会影响最终收敛特性，从而减少通信时间，提高系统的整体训练效率。

公开(公告)号：CN115437647A

公开(公告)日：2022-12-06

申请号：CN202211011412.6

申请日：2022-08-23

Applicant: 鹏城实验室

Inventor： 廖伟胜 ,  李俊茂 ,  林冯军 ,  曾炜 ,  王晖 ,  李革

IPC: G06F8/60 ,  G06F8/71 ,  G06F16/28 ,  G06K9/62

Abstract: 本发明公开了一种适配多框架的微服务部署方法、装置、终端及存储介质，方法包括：获取算法管理界面中的算法框架信息，通过Mysql数据库存储对应字段的算法框架信息；获取已提交的算法名称信息，并根据已提交的算法名称信息将训练管理层中已训练的深度学习模型发送至模型管理层；通过模型管理层调用与已训练的深度学习模型适配的推理应用服务，并根据推理应用服务部署已训练的深度学习模型对应的微服务。本发明通过模型管理层调用适配的推理应用服务，并规范不同框架所训练的模型存储方式差异性，统一模型的训练、推理资源规格及存储要求，可以兼容多个框架和不同类型的硬件设备，方便用户高效、快速地部署深度学习模型应用服务。

公开(公告)号：CN114218616A

公开(公告)日：2022-03-22

申请号：CN202111362064.2

申请日：2021-11-17

Applicant: 鹏城实验室

Inventor： 罗景龙 ,  王晖 ,  林哲 ,  秦爽 ,  张嘉琪 ,  陈晗 ,  蒋芳清

IPC: G06F21/71

Abstract: 本发明公开了一种归一化指数函数安全计算方法及系统，本发明提供的归一化指数函数安全计算方法中，根据归一化指数函数的待计算输入序列生成第一输入序列和第二输入序列，并且根据待计算输入序列生成第一输入序列和第二输入序列的公式中可以有多组解，将第一输入序列和第二输入序列分别分给第一计算终端和第二计算终端进行计算，在计算过程中，第一计算终端和第二计算终端之间传输的信息，都是根据随机数运算得到的，从而使得每个计算终端在计算过程中接收到的信息都是随机均匀分布的，计算终端无法根据接收到的信息来倒推得到真实的数据，从而避免了原始数据泄露，保证了数据的安全性。

公开(公告)号：CN119990336A

公开(公告)日：2025-05-13

申请号：CN202510466565.7

申请日：2025-04-15

Applicant: 鹏城实验室

Inventor： 罗景龙 ,  张叶红 ,  徐增林 ,  张嘉琪 ,  王晖

IPC: G06N5/04 ,  G06F21/62 ,  G06N3/0455

Abstract: 本申请公开了一种模型的安全推理方法、装置、电子设备及存储介质，涉及模型隐私推理技术领域。在安全推理方法中，云平台无法基于各个隐藏参数集得到模型的参数集；云平台无法基于第二隐藏推理得到原始推理数据；用户端基于第一置换矩阵、第一推理结果与第二推理结果进行恢复重构处理，得到目标推理结果。用户端无法得到模型的参数集，因此用户端无法获取模型开发者端的隐私。且本申请无需采用传统协议将原始推理数据以及模型的参数集转换为密文，而是将模型的参数集与随机生成的置换矩阵进行矩阵乘法处理，节省了密文计算所导致的计算和通信开销，处理速度更快，通信开销更小。

公开(公告)号：CN119443049A

公开(公告)日：2025-02-14

申请号：CN202411417310.3

申请日：2024-10-11

Applicant: 鹏城实验室

Inventor： 冯骁骋 ,  秦兵 ,  黄毅翀 ,  李宝航 ,  张民 ,  相洋 ,  王晖 ,  尹曦 ,  谢育涛

IPC: G06F40/157 ,  G06F40/284 ,  G06F18/213 ,  G06F18/22 ,  G06F18/25 ,  G06N20/20

Abstract: 本申请实施例提供了一种文本处理方法、装置、电子设备以及存储介质，属于人工智能技术领域。该方法包括：将获取到的待处理的初始文本信息分别输入至预设的大语言模型中，得到各个大语言模型对应输出的初始特征，大语言模型包括模型结构不同的目标大语言模型和多个异构大语言模型；基于与目标大语言模型以及每个异构大语言模型的模型结构对应的各个向量转换矩阵，对任意一个初始特征进行映射处理，得到在同一向量空间下各个大语言模型对应的映射特征；基于多个不同的映射特征确定目标特征，并基于目标大语言模型对目标特征进行逆映射处理，得到初始文本信息对应的目标文本信息。本申请能够提高输出的目标文本信息的准确度。

公开(公告)号：CN118690761A

公开(公告)日：2024-09-24

申请号：CN202410854813.0

申请日：2024-06-27

Applicant: 鹏城实验室

Inventor： 冯骁骋 ,  秦兵 ,  霍文帅 ,  相洋 ,  王晖 ,  张民

IPC: G06F40/58 ,  G06F18/22 ,  G06N20/00

Abstract: 本申请提供了一种多语言机器翻译模型的参数分配方法、装置、设备和介质，方法包括：对多语言机器翻译模型的每个语言方向，基于预设语言数据集进行参数调整，得到模型参数绝对值排序；进行联合参数调整，得到各语言方向的方向梯度，根据方向梯度确定平均梯度及第一相似系数，进而确定方向剪枝率；通过迭代联合参数调整，根据第二相似系数调整方向剪枝率，得到目标剪枝率，并根据目标剪枝率和绝对值排序对每个语言方向的模型参数进行剪枝处理，其中，本申请可以基于各方向梯度与平均梯度之间的一致性，动态调试各方向的剪枝率，以实现各方向的参数分配优化，有效促进跨语言知识的正向迁移，抑制负向迁移，进而提高模型的整体翻译性能。