- 专利标题： 文档检索方法、人机交互方法、电子设备及存储介质
-
申请号： CN202410047118.3申请日： 2024-01-12
-
公开(公告)号： CN117573839B公开(公告)日： 2024-04-19
- 发明人: 余海洋 , 李永彬 , 黄非
- 申请人： 阿里云计算有限公司
- 申请人地址： 浙江省杭州市西湖区三墩镇灯彩街1008号云谷园区1-2-A06室
- 专利权人： 阿里云计算有限公司
- 当前专利权人： 阿里云计算有限公司
- 当前专利权人地址： 浙江省杭州市西湖区三墩镇灯彩街1008号云谷园区1-2-A06室
- 代理机构： 北京辰权知识产权代理有限公司
- 代理商 付婧
- 主分类号： G06F16/332
- IPC分类号： G06F16/332 ; G06F16/38 ; G06N5/04
摘要：
本申请公开了一种文档检索方法、人机交互方法、电子设备及存储介质，方法包括：提取文档的多模态表征信息，所述多模态表征信息包括视觉信息、文档布局信息以及文字信息；通过已训练的大语言模型，根据所述多模态表征信息获得提问问题的回复信息。通过将多种模态表征输入大语言模型，大语言模型在使用文字信息做问答预测过程中，可以根据文档的视觉信息和文档布局信息获得文档结构上的信息，能够更好的理解文档，从而提升大语言模型的问答效果。
