一种基于大语言模型和知识图谱的多模态问答方法

    公开(公告)号:CN119377353A

    公开(公告)日:2025-01-28

    申请号:CN202411417069.4

    申请日:2024-10-11

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于大语言模型和知识图谱的多模态问答方法,属于人工智能及知识图谱技术领域。针对现有问答系统中多模态信息处理不充分、语义理解深度不足及跨模态推理能力有限等问题,本发明提出了一种多模态问答引擎,通过为多模态数据构建多模态知识图谱,建立模态内部以及模态之间的语义关联网络,并为知识图谱的实体、关系等元素生成索引,以支持后续的高效检索。通过对知识图谱进行结构化信息检索,结合大型语言模型强大的自然语言理解能力和特定模态问答模型的能力,提高了信息检索的效率与准确性,增强了跨模态推理能力,从而实现在复杂多模态环境下的高效精准问答。

Patent Agency Ranking