一种用于大模型问答的内容召回智能重排方法

    公开(公告)号:CN117851583A

    公开(公告)日:2024-04-09

    申请号:CN202410036535.8

    申请日:2024-01-10

    Abstract: 本发明公开了一种用于大模型问答的内容召回智能重排方法,包括以下步骤:S1、获取知识文档,并将文档内容写入全文搜索引擎库;S2、基于上传的所述知识文档进行内容分割,将分割的知识片段做向量化并写入知识片段向量库,同时调用摘要抽取大模型从所述知识文档中抽取摘要,对抽取的知识摘要进行向量化并写入知识摘要向量库;S3、对用户问题进行意图识别并补全,生成用户真实完整意图;S4、通过所述用户真实完整意图分别依次搜索所述知识片段向量库、知识摘要向量库及全文搜索引擎库进行排序,结合新一轮搜索数据对上一轮排序结果进行重排序,并根据最终排序结果定位到对应目标文档。

    一种基于双离线二维码的快速展码方法

    公开(公告)号:CN115049029A

    公开(公告)日:2022-09-13

    申请号:CN202210395034.X

    申请日:2022-04-14

    Abstract: 本发明公开了一种基于双离线二维码的快速展码方法,包括如下步骤:S1、用户通过客户端请求服务端授予用户授权缓存;S2、客户端离线存储所述用户授权缓存;S3、客户端根据所述用户授权缓存在离线环境下生成完整的二维码;S4、终端扫码识别所述二维码,并在离线环境下利用预先存储的服务端公钥和客户端公钥对所述二维码进行校验,完成所述二维码的有效性识别。本发明的展码方法可有效排除因网络信号等不可控因素造成的问题,提高展码效率,保障客户端稳定展码,优化用户体验。

    一种基于困惑度的RAG召回内容精排方法

    公开(公告)号:CN119961433A

    公开(公告)日:2025-05-09

    申请号:CN202510057328.5

    申请日:2025-01-14

    Abstract: 本发明公开了一种基于困惑度的RAG召回内容精排方法,包括以下步骤:S1、用户输入预处理形成查询,再使用查询在检索系统中对完整的文档片段进行召回,得到召回片段;S2、对于所有召回片段,使用大模型计算包括困惑度在内的指标矩阵;S3、利用获得的指标矩阵,结合其他指标,对召回内容再次过滤重排以构造大模型的上下文;S4、将构造的上下文输入到大模型中,利用大模型生成答案;该方法利用大模型对于召回内容的困惑度,对检索召回的内容进行重排筛选,以提升最终构造上下文的内容片段的相关性,减少噪声信息对大模型的影响,从而增强模型在问答场景上的表现。

    一种对于文本嵌入模型的优化方法

    公开(公告)号:CN118520845B

    公开(公告)日:2024-11-15

    申请号:CN202410974663.7

    申请日:2024-07-19

    Inventor: 姚锋 王筝 吴炳坤

    Abstract: 本发明公开了一种对于文本嵌入模型的优化方法,包括以下步骤:S1、在文本嵌入模型中,将K参数矩阵和V参数矩阵联合为一个大KV矩阵,再采用低秩矩阵分解将大KV矩阵分解替换为两个维度更低的矩阵;S2、在文本嵌入模型中,将Q参数矩阵分解替换为两个维度更低的矩阵;S3、采用稀疏混合专家模型,使用由多个专家模块与一个专家选择门结合,以最优的选择嵌入维度输出;该方法在原通用Embedding模型的基础结构上,针对编码层中的注意力主要计算模块进行优化,以在保留模型最大性能的前提下提升推理效率;针对中间计算模块做出改进,扩充模型的学习维度、增强学习能力,进一步提升输出嵌入对离散数据的表达能力。

    一种对于文本嵌入模型的优化方法

    公开(公告)号:CN118520845A

    公开(公告)日:2024-08-20

    申请号:CN202410974663.7

    申请日:2024-07-19

    Inventor: 姚锋 王筝 吴炳坤

    Abstract: 本发明公开了一种对于文本嵌入模型的优化方法,包括以下步骤:S1、在文本嵌入模型中,将K参数矩阵和V参数矩阵联合为一个大KV矩阵,再采用低秩矩阵分解将大KV矩阵分解替换为两个维度更低的矩阵;S2、在文本嵌入模型中,将Q参数矩阵分解替换为两个维度更低的矩阵;S3、采用稀疏混合专家模型,使用由多个专家模块与一个专家选择门结合,以最优的选择嵌入维度输出;该方法在原通用Embedding模型的基础结构上,针对编码层中的注意力主要计算模块进行优化,以在保留模型最大性能的前提下提升推理效率;针对中间计算模块做出改进,扩充模型的学习维度、增强学习能力,进一步提升输出嵌入对离散数据的表达能力。

Patent Agency Ranking