一种大语言模型加速方法和装置
    1.
    发明公开

    公开(公告)号:CN117032545A

    公开(公告)日:2023-11-10

    申请号:CN202310989180.X

    申请日:2023-08-08

    发明人: 陆弘远

    IPC分类号: G06F3/0487 G06N3/04

    摘要: 本发明涉及一种大语言模型加速方法和装置,其中,方法包括:接收用户的输入信息和压缩信息;将所述输入信息和压缩信息输入至大语言模型,得到所述输入信息对应的回复信息;所述大语言模型包括三重生成式对抗压缩网络,所述三重生成式对抗压缩网络包括:第一生成器部分,用于根据所述压缩信息对所述输入信息进行压缩处理,得到压缩输入信息;第二生成器部分,用于对所述压缩输入信息进行还原恢复处理,得到还原输入信息,所述还原输入信息的意思表示与所述输入信息的意思表示一致;第三生成器部分,用于对所述还原输入信息进行处理,解决自然语言任务,得到所述输入信息对应的回复信息。本发明使得大语言模型的性能和使用成本达到平衡。

    一种基于思维链骨架的大语言模型内容生成方法和装置

    公开(公告)号:CN118708729A

    公开(公告)日:2024-09-27

    申请号:CN202410760186.4

    申请日:2024-06-13

    发明人: 陆弘远

    IPC分类号: G06F16/36 G06N5/022 G06N5/04

    摘要: 本发明涉及一种基于思维链骨架的大语言模型内容生成方法和装置,其中,方法包括:采用空格代替思维链中的具体内容得到思维链骨架,并将思维链骨架存储至思维链知识库中;获取用户的查询内容;将查询内容输入模型推理框架,生成关于查询内容的推理结果;其中,模型推理框架包括:取出模块,用于从思维链知识库中取出思维链骨架;判断模块,用于判断思维链骨架是否适用于查询内容;思维链骨架生成模块,用于在思维链骨架不适用于查询内容时,生成与思维链骨架不同的新思维链骨架;输出模块,用于在思维链骨架适用于查询内容时,采用思维链骨架生成关于查询内容的推理结果。本发明能够提升大语言模型的推理能力以及推理速度。

    一种AI聊天机器人
    3.
    发明公开

    公开(公告)号:CN118261253A

    公开(公告)日:2024-06-28

    申请号:CN202410461934.9

    申请日:2024-04-17

    发明人: 陆弘远

    摘要: 本发明涉及一种AI聊天机器人,包括:接收模块,用于接收用户输入的聊天信息;生成模块,用于利用大语言模型根据用户输入的聊天信息生成回复文本;所述大语言模型中嵌入由切割框架,所述切割框架根据大语言模型生成的当前回复文本判断是否需要继续生成下一个回复文本,并在需要继续生成下一个回复文本时,由大语言模型根据用户输入的聊天信息以及当前回复文本生成下一个回复文本;重排模块,用于利用重排模型将大语言模型生成的多个回复文本进行重新排序;展示模块,用于展示重排排序的多个回复文本。本发明可以使得交互过程更像真人。

    一种AI直播模型训练方法、装置、设备和介质

    公开(公告)号:CN116886950A

    公开(公告)日:2023-10-13

    申请号:CN202310989173.X

    申请日:2023-08-08

    发明人: 陆弘远

    IPC分类号: H04N21/2187 H04N21/4788

    摘要: 本发明涉及一种AI直播模型训练方法、装置、设备和介质,其中,方法包括:将AI直播模型的生成内容输入到基于机器学习的判定器中进行敏感话题的判定,得到判定结果;当判定结果为存在敏感话题时,对所述判定结果和所述生成内容进行二次判别;根据二次判别结果,对所述生成内容进行标注形成训练数据;采用训练数据对所述AI直播模型进行训练。本发明能够对直播平台的纯净以及用户的直播观感进行可观的提升。

    一种语音生成方法、装置、设备和存储介质

    公开(公告)号:CN118379985A

    公开(公告)日:2024-07-23

    申请号:CN202410502174.1

    申请日:2024-04-25

    发明人: 陆弘远

    摘要: 本发明涉及一种语音生成方法、装置、设备和存储介质,其中,方法包括:获取文本内容、标签信息以及权重信息;将所述文本内容、标签信息以及权重信息输入至音色克隆模型,得到符合所述标签信息且与所述文本内容对应的语音信息;其中,所述音色克隆模型在接收到所述文本内容、标签信息以及权重信息后,根据所述标签信息从存储库中找出合成音频样本,根据所述合成音频样本生成speaker嵌入,并将权值信息与所述speaker嵌入相乘,并基于相乘后的结果生成符合所述标签信息且与所述文本内容对应的语音信息。本发明能够根据用户需求生成不同音色的语音内容。

    基于多演示输入的交互信息生成方法和装置

    公开(公告)号:CN117033589A

    公开(公告)日:2023-11-10

    申请号:CN202310989177.8

    申请日:2023-08-08

    发明人: 陆弘远

    摘要: 本发明涉及一种基于多演示输入的交互信息生成方法和装置,其中,方法包括:接收用户输入的交互数据;将多个演示分为若干组;将每组演示与所述交互数据进行组合形成若干模型输入,并将每个模型输入输入至生成式模型中进行处理,得到若干交互数据的回复结果;将若干交互数据的回复结果和所述交互数据进行拼接,并输入决策模型进行处理,得到交互数据的回答信息。本发明能够提升生成式模型的交互性能。

    一种基于大语言模型的聊天方法和装置

    公开(公告)号:CN118312595A

    公开(公告)日:2024-07-09

    申请号:CN202410502175.6

    申请日:2024-04-25

    发明人: 陆弘远

    摘要: 本发明涉及一种基于大语言模型的聊天方法和装置,其中方法包括:获取用户与大语言模型的历史对话记录,并将对话记录中提到的实体作为单词存储在知识图谱中;获取用户的新问题,将所述新问题输入大语言模型得到输出的聊天内容;其中,所述大语言模型在获取用户新问题后,对所述新问题进行采样,得到多个包含在所述知识图谱中的记忆token;通过检索的方式从记忆库中取出与所述记忆token最相似的多条记忆信息;将所述多条记忆信息和记忆token输入神经网络,得到一个最有可能的记忆信息;将所述最有可能的记忆信息和新问题进行融合,并基于融合后的内容得到输出的聊天内容。本发明能够降低记忆聊天的成本。