公开(公告)号：CN119961433A

公开(公告)日：2025-05-09

申请号：CN202510057328.5

申请日：2025-01-14

Applicant: 众数(厦门)信息科技有限公司

Inventor： 王筝 ,  黄世勇 ,  姚锋 ,  吴炳坤

IPC: G06F16/334 ,  G06F16/335 ,  G06F16/338 ,  G06F40/186

Abstract: 本发明公开了一种基于困惑度的RAG召回内容精排方法，包括以下步骤：S1、用户输入预处理形成查询，再使用查询在检索系统中对完整的文档片段进行召回，得到召回片段；S2、对于所有召回片段，使用大模型计算包括困惑度在内的指标矩阵；S3、利用获得的指标矩阵，结合其他指标，对召回内容再次过滤重排以构造大模型的上下文；S4、将构造的上下文输入到大模型中，利用大模型生成答案；该方法利用大模型对于召回内容的困惑度，对检索召回的内容进行重排筛选，以提升最终构造上下文的内容片段的相关性，减少噪声信息对大模型的影响，从而增强模型在问答场景上的表现。

公开(公告)号：CN118520845B

公开(公告)日：2024-11-15

申请号：CN202410974663.7

申请日：2024-07-19

Applicant: 众数(厦门)信息科技有限公司 ,  厦门众数寻知人工智能有限公司

Inventor： 姚锋 ,  王筝 ,  吴炳坤

IPC: G06F40/126 ,  G06F17/16 ,  G06N3/045 ,  G06N3/0442 ,  G06N3/092

Abstract: 本发明公开了一种对于文本嵌入模型的优化方法，包括以下步骤：S1、在文本嵌入模型中，将K参数矩阵和V参数矩阵联合为一个大KV矩阵，再采用低秩矩阵分解将大KV矩阵分解替换为两个维度更低的矩阵；S2、在文本嵌入模型中，将Q参数矩阵分解替换为两个维度更低的矩阵；S3、采用稀疏混合专家模型，使用由多个专家模块与一个专家选择门结合，以最优的选择嵌入维度输出；该方法在原通用Embedding模型的基础结构上，针对编码层中的注意力主要计算模块进行优化，以在保留模型最大性能的前提下提升推理效率；针对中间计算模块做出改进，扩充模型的学习维度、增强学习能力，进一步提升输出嵌入对离散数据的表达能力。

公开(公告)号：CN118520845A

公开(公告)日：2024-08-20

申请号：CN202410974663.7

申请日：2024-07-19

Applicant: 众数(厦门)信息科技有限公司 ,  厦门众数寻知人工智能有限公司

Inventor： 姚锋 ,  王筝 ,  吴炳坤

IPC: G06F40/126 ,  G06F17/16 ,  G06N3/045 ,  G06N3/0442 ,  G06N3/092

Abstract: 本发明公开了一种对于文本嵌入模型的优化方法，包括以下步骤：S1、在文本嵌入模型中，将K参数矩阵和V参数矩阵联合为一个大KV矩阵，再采用低秩矩阵分解将大KV矩阵分解替换为两个维度更低的矩阵；S2、在文本嵌入模型中，将Q参数矩阵分解替换为两个维度更低的矩阵；S3、采用稀疏混合专家模型，使用由多个专家模块与一个专家选择门结合，以最优的选择嵌入维度输出；该方法在原通用Embedding模型的基础结构上，针对编码层中的注意力主要计算模块进行优化，以在保留模型最大性能的前提下提升推理效率；针对中间计算模块做出改进，扩充模型的学习维度、增强学习能力，进一步提升输出嵌入对离散数据的表达能力。