公开(公告)号：CN119942300A

公开(公告)日：2025-05-06

申请号：CN202510009573.9

申请日：2025-01-03

Applicant: 西安交通大学

Inventor： 魏笔凡 ,  胡健翔 ,  张泽民 ,  胡蕴璋 ,  王庆康 ,  刘均 ,  张玲玲

IPC: G06V10/82 ,  G06V10/80 ,  G06V10/44 ,  G06N3/0455 ,  G06N3/0475 ,  G06F40/30

Abstract: 本发明公开了一种基于大语言模型的多模态感知问题生成方法、系统及介质，属于计算机语义分析技术领域，方法包括提取图像特征，并在图像特征中提取与输入文本最相关的特征；将输入内容中的文本背景转化为词嵌入，并与图像特征中提取到的与输入文本最相关的特征进行交互，获得与文本内容最相关的图像表示以及与图像内容最相关的文本表示；将与文本内容最相关的图像表示以及与图像内容最相关的文本表示进行语义对齐，得到视觉和文本信息的多模态语义综合表征，并转换成大语言模型所能理解的输入表征；基于大语言模型所能理解的输入表征引导大语言模型生成问题。本发明能够更加充分的利用大语言模型使其理解更为复杂的多模态输入并生成有效的问题。

公开(公告)号：CN117390186A

公开(公告)日：2024-01-12

申请号：CN202311313792.3

申请日：2023-10-11

Applicant: 西安交通大学

Inventor： 张玲玲 ,  李星熠 ,  蔡明祥 ,  黄牧野 ,  杨昌林 ,  胡健翔 ,  胡蕴璋 ,  刘均

IPC: G06F16/35 ,  G06F16/36 ,  G06F18/2415 ,  G06F40/284 ,  G06F40/30 ,  G06N3/0442 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/08

Abstract: 一种文本隐式篇章关系识别方法、系统、设备及存储介质，方法包括将论元拼接作为输入，使用RoBERTa模型编码，在外部知识融合时使用K‑BERT模型引入知识图谱信息辅助理解论元内实体，之后对两个论元的语义向量进行拆分，使用Bi‑LSTM模型获取包含更多序列信息的各论元整体表示，得到融合了外部信息的论元；仿照人类理解论元关系的过程，对论元间词汇两两配对计算细粒度线索分数，构建得到细粒度多角度线索矩阵；结合整体语义与对当前关系有用的线索特征联合判断关系类别，通过将线索特征与整句语义综合，获取到综合表征，输出关系类别。本发明发掘更深层次的论元交互表征结果，更好地对含义复杂的论元进行判别，提升识别效果。

公开(公告)号：CN117371485A

公开(公告)日：2024-01-09

申请号：CN202311298921.6

申请日：2023-10-09

Applicant: 西安交通大学

Inventor： 郑庆华 ,  马昆明 ,  胡健翔 ,  武亚强 ,  胡蕴璋 ,  洪振杰 ,  蔺奇卡 ,  赵天哲 ,  刘均 ,  张玲玲

IPC: G06N3/045 ,  G06N3/0895 ,  G06N3/0985 ,  G06Q50/18

Abstract: 一种面向法律判决文书的事件抽取方法、系统、设备及介质，方法包括构建法律判决文书数据集；分别采用特定目标遮掩以及对比学习训练预先建立的事件抽取基础模型；通过训练后的事件抽取基础模型，基于联合学习进行触发词和论元抽取，并引入外部知识增强注意力、文本到问题注意力和问题到文本注意力机制，根据输出论元完成事件抽取。本发明通过特定片段遮掩和辅助预测的方式提高论元间表征的关联性，提升论元抽取的完备性，提出一种基于对比学习的论元特征增强方法，提升不同事件类型和不同事件论元角色对应论元的表征，提出一种基于联合学习的事件抽取方法，避免了错误积累问题，同时引入了三种注意力机制，缓解了论元不唯一导致的抽取不全面问题。