公开(公告)号：CN116245088A

公开(公告)日：2023-06-09

申请号：CN202211685982.3

申请日：2022-12-27

申请人： 北京百度网讯科技有限公司

发明人： 李振宇

IPC分类号： G06F40/205

摘要： 本公开提供了一种解码处理方法、设备和存储介质，涉及深度学习、自然语言处理等人工智能技术领域。具体实现方案为：获取自然语言生成模型的编码层对输入文本进行编码所得到的编码结果；根据编码结果，确定自然语言生成模型的解码层所引用的预设词表中各个词汇在输入文本的下一个位置上的概率值；根据各个词汇在下一个位置上的概率值，从各个词汇中选择概率值靠前的K个候选词汇；在K个候选词汇在下一个位置上的概率之和大于或者等于预设概率阈值的情况下，从K个候选词中确定出下一个位置上的目标词汇。由此，快速解码出了在输入文本之后的下一个位置上的词汇，提升了自然语言生成模型的解码速度。

公开(公告)号：CN116822629A

公开(公告)日：2023-09-29

申请号：CN202310575764.2

申请日：2023-05-19

申请人： 北京百度网讯科技有限公司

发明人： 李振宇 ,  方华强 ,  邓凯鹏 ,  党青青 ,  于佃海 ,  马艳军 ,  王海峰

IPC分类号： G06N5/04 ,  G06N3/042 ,  G06F40/20 ,  G06F40/40

摘要： 本公开提供了文本推理任务处理的方法、装置、设备以及存储介质，涉及计算机技术领域，尤其涉及人工智能、深度学习、神经网络模型、大语言模型技术领域。具体实现方案为：利用预设模型并行执行多个第一文本推理任务；在多个第一文本推理任务的完成情况满足预设条件的情况下，根据完成情况，从待执行的文本推理任务中确定第二文本推理任务；根据第二文本推理任务和未完成的第一文本推理任务，确定多个第三文本推理任务；以及利用预设模型，并行执行多个第三文本推理任务。本公开可以提高模型执行文本推理任务的吞吐量，提升处理效率。

公开(公告)号：CN118519779A

公开(公告)日：2024-08-20

申请号：CN202410797493.X

申请日：2024-06-19

申请人： 北京百度网讯科技有限公司

发明人： 李振宇 ,  何礼祺 ,  邓凯鹏 ,  党青青 ,  沙燕霖 ,  于佃海 ,  马艳军

IPC分类号： G06F9/50 ,  G06F18/25 ,  G06F17/16

摘要： 本公开提供用于大模型的任务执行方法、装置、电子设备、存储介质及程序产品，涉及人工智能技术领域，尤其涉及深度学习技术领域和大模型技术领域。具体实现方案为：根据目标待处理特征，利用目标计算单元执行协同计算任务，得到目标协同特征，协同计算任务包括第一协同任务和第二协同任务，第一协同任务用于处理目标待处理特征和第一协同子权重，得到中间协同特征，第二协同任务用于处理中间协同特征和第二协同子权重，得到目标协同特征，第一协同子权重和第二协同子权重是根据通用矩阵的矩阵乘机制处理协同权重确定的；融合目标基础特征和目标协同特征，得到下一个目标待处理特征，目标基础特征是利用目标计算单元执行基础计算任务得到的。

公开(公告)号：CN116245088B

公开(公告)日：2023-11-17

申请号：CN202211685982.3

申请日：2022-12-27

申请人： 北京百度网讯科技有限公司

发明人： 李振宇

IPC分类号： G06F40/205

摘要： 本公开提供了一种解码处理方法、设备和存储介质，涉及深度学习、自然语言处理等人工智能技术领域。具体实现方案为：获取自然语言生成模型的编码层对输入文本进行编码所得到的编码结果；根据编码结果，确定自然语言生成模型的解码层所引用的预设词表中各个词汇在输入文本的下一个位置上的概率值；根据各个词汇在下一个位置上的概率值，从各个词汇中选择概率值靠前的K个候选词汇；在K个候选词汇在下一个位置上的概率之和大于或者等于预设概率阈值的情况下，从K个候选词中确定出下一个位置上的目标词汇。由此，快速解码出了在输入文本之后的下一个位置上的词汇，提升了自然语言生成模型的解码速度。