公开(公告)号：CN117112758A

公开(公告)日：2023-11-24

申请号：CN202311074287.8

申请日：2023-08-24

Applicant: 西安交通大学

Inventor： 刘均 ,  张泽民 ,  魏笔凡 ,  张玲玲 ,  关海山 ,  郑庆华 ,  仉珂 ,  岳浩

IPC: G06F16/332 ,  G06F16/35 ,  G06F40/35 ,  G06F18/2415 ,  G06F18/25 ,  G06N3/0442 ,  G06N3/0455

Abstract: 一种基于两阶段注意力的多特征融合问题生成方法及系统，多特征融合问题生成方法包括将上下文输入多特征编码器，由多特征编码器嵌入特征向量，并采用两阶段注意力编码；将上下文输入问题类型编码器，预测得到问题类型并且编码；将所述多特征编码器以及所述问题类型编码器得到的两种编码，采用交叉注意力机制融合输入到问题解码器，由所述问题解码器输出生成的问题。本发明使用Bi‑LSTM模型提取上下文特征，并结合软注意力矩阵，将模型的注意力重心放在与答案相关的部分，采用门控自注意力机制对特征进行过滤和整合，解决了文本长距离依赖的问题，引入疑问词预测引导机制，指导问题的生成，可以生成更加准确和相关的上下文信息向量。

公开(公告)号：CN119942300A

公开(公告)日：2025-05-06

申请号：CN202510009573.9

申请日：2025-01-03

Applicant: 西安交通大学

Inventor： 魏笔凡 ,  胡健翔 ,  张泽民 ,  胡蕴璋 ,  王庆康 ,  刘均 ,  张玲玲

IPC: G06V10/82 ,  G06V10/80 ,  G06V10/44 ,  G06N3/0455 ,  G06N3/0475 ,  G06F40/30

Abstract: 本发明公开了一种基于大语言模型的多模态感知问题生成方法、系统及介质，属于计算机语义分析技术领域，方法包括提取图像特征，并在图像特征中提取与输入文本最相关的特征；将输入内容中的文本背景转化为词嵌入，并与图像特征中提取到的与输入文本最相关的特征进行交互，获得与文本内容最相关的图像表示以及与图像内容最相关的文本表示；将与文本内容最相关的图像表示以及与图像内容最相关的文本表示进行语义对齐，得到视觉和文本信息的多模态语义综合表征，并转换成大语言模型所能理解的输入表征；基于大语言模型所能理解的输入表征引导大语言模型生成问题。本发明能够更加充分的利用大语言模型使其理解更为复杂的多模态输入并生成有效的问题。

公开(公告)号：CN117112743A

公开(公告)日：2023-11-24

申请号：CN202310918499.3

申请日：2023-07-25

Applicant: 西安交通大学

Inventor： 张玲玲 ,  岳浩 ,  刘均 ,  魏笔凡 ,  郑玉龙 ,  郑庆华 ,  张泽民 ,  仉珂

IPC: G06F16/332 ,  G06F16/35 ,  G06F40/211 ,  G06F40/247 ,  G06F40/30 ,  G06F18/25 ,  G06N3/0455 ,  G06N3/048 ,  G06N3/08

Abstract: 一种文本自动生成问题的可回答性评估方法、系统及存储介质，评估方法包括以下步骤：获取数据集并进行数据集扩充，得到增强数据；通过使用多个问答模型对所述增强数据进行标注并投票，得到标注数据集；对所述标注数据集中的上下文与问题进行编码，并将上下文特征与问题特征进行融合，得到问题融合上下文后的嵌入表示；利用问题融合上下文后的嵌入表示，基于对比学习模型对问题进行可回答性的评估。同时还公开了一种文本自动生成问题的可回答性评估系统及存储介质。本发明通过引入上下文信息，以及对比学习模型，解决了现有评估问题可回答性的方法与人类评估的相关性不高，且评估时未引入上下文信息的问题，实现了对问题的可回答性进行充分评估。

公开(公告)号：CN116955565A

公开(公告)日：2023-10-27

申请号：CN202310933649.8

申请日：2023-07-27

Applicant: 西安交通大学

Inventor： 魏笔凡 ,  仉珂 ,  刘均 ,  张玲玲 ,  关海山 ,  郑庆华 ,  岳浩 ,  张泽民

IPC: G06F16/332 ,  G06F16/33 ,  G06F40/211 ,  G06F40/295 ,  G06F17/16 ,  G06N3/04 ,  G06N3/08

Abstract: 一种基于句法依存图联合嵌入的多样性问题生成方法及系统，多样性问题生成方法包括以下步骤：使用答案选择器选取上下文中的答案；使用基于共注意力机制的编码器对上下文和答案进行编码得到感知答案的上下文表示；以邻接矩阵的形式构建上下文的句法依存图，使用图神经网络对上下文的句法依存图进行编码得到感知结构的上下文表示；将感知结构的上下文表示与感知答案的上下文表示拼接，得到上下文的联合嵌入表示；对上下文的联合嵌入表示进行解码，得到生成的问题。本发明解决了以往问题生成单一的问题，提高了问题生成的多样性，使得模型可以对一个段落上下文生成多个与上下文相关但内容不同的问题，以两阶段的形式实现一对多的输入输出模式。