公开(公告)号：CN117874181A

公开(公告)日：2024-04-12

申请号：CN202311581162.4

申请日：2023-11-24

Applicant: 中电鸿信信息科技有限公司

Inventor： 陈赛龙 ,  朱宗建 ,  宋璋晗

IPC: G06F16/332 ,  G06F16/36 ,  G06F40/186 ,  G06F18/22 ,  G06F40/289

Abstract: 本发明公开基于大语言模型的智能问数看数方法、系统、设备和介质。方法包括：1：对每一类元数据相关的数据元信息进行整理打包，并以API形式发布；2：基于每类元数据发布的API，构建以文本形式进行存储的知识库；将知识库中的文本转换为知识向量，并将知识向量添加到索引中；3、用户以语音问题或文本问题作为输入，询问数据情况；将语音问题或文本问题转换成问题向量；4、将问题向量与知识库中的知识向量进行相似度计算，填充prompt模板；5、将填充好的prompt模板送入LLM中，LLM根据prompt模板进行总结，返回与问题相关的回答，前端解析回答中API的返回数据，渲染页面并展示回答结果。本发明提高智能问数的准确性和及时性。

公开(公告)号：CN119026684A

公开(公告)日：2024-11-26

申请号：CN202410832864.3

申请日：2024-06-26

Applicant: 中电鸿信信息科技有限公司

Inventor： 刘大伟 ,  朱宗建 ,  廖胜兰 ,  沈宇 ,  王亚东 ,  侯凝冰 ,  车少帅 ,  刘馨 ,  蔡宇杰

IPC: G06N5/04 ,  G06N3/0455 ,  G06F18/213 ,  G06F18/25 ,  G06V10/42

Abstract: 本发明提供了一种基于跨模态隐式局部学习的问答推理方法及系统，涉及自然语言处理技术领域。方法包括：获取训练特征数据集，对训练特征数据集进行配对，得到若干样本，每对样本都由图像、图像对应的问题描述文本和问题对应的答案组成。提取图像的图像特征，对问题描述文本进行掩码得到掩码问题描述文本；使用Transformer编码器对掩码问题描述文本进行特征提取，得到掩码问题描述文本特征。构建跨模态融合模块，将图像特征与掩码问题描述文本特征作为跨模态融合模块的输入，由掩码预测模块预测被掩码替换的字符。计算预测被掩码替换的字符与真实字符的相似度，设计整体优化目标函数对掩码预测模块进行优化。本发明在图像问答、物体识别、行人检索领域均有良好的应用前景。