公开(公告)号：CN117455011A

公开(公告)日：2024-01-26

申请号：CN202311424148.3

申请日：2023-10-30

Applicant: 北京足智多模科技有限公司 ,  北京交通大学

Inventor： 韩文娟 ,  魏翔

IPC: G06N20/00 ,  G06N3/0455 ,  G06N3/084 ,  G06F16/33 ,  G06F16/583

Abstract: 本发明提供一种多模态交通大模型设计方法及多模态交通大模型，该方法通过多模态交通大模型实现，多模态交通大模型包括：多模态样本集获取模块、SFT模型训练模块、奖励模型训练模块、二次训练模块，该方法包括：通过多模态样本集获取模块，构建第一样本集；通过SFT模型训练模块，基于第一样本集，对预设的SFT模型进行有监督训练；通过奖励模型训练模块，基于SFT模型输出结果，构建奖励评分对比数据集，并基于奖励评分对比数据集，对预设的奖励模型进行训练；基于奖励模型的输出结果，采用策略优化算法对SFT模型进行二次训练。该方法融合了交通领域多模态数据，实现了交通领域实时信息服务，从而能够在真实交通领域发挥实际价值。

公开(公告)号：CN119131816A

公开(公告)日：2024-12-13

申请号：CN202411060030.1

申请日：2024-08-02

Applicant: 北京交通大学

Inventor： 刘焱垚 ,  韩文娟 ,  徐金安 ,  李向前

IPC: G06V30/41 ,  G06V30/19 ,  G06V30/164 ,  G06V30/18 ,  G06V30/413 ,  G06V20/62 ,  G06F40/30 ,  G06F40/258 ,  G06F40/289 ,  G06V30/414

Abstract: 本发明涉及人工智能技术领域，且公开了一种基于人工智能的多模态文档解析系统，所述解析系统由图像预处理模块、多模态特征提取模块、自然语言处理模块、模态融合与解析模块和文档结构识别模块组成。本发明通过清晰化图像，去除噪声和模糊，使图像质量得到提升，使用掩模来分别提取文本、表格和图像区域，从而精准分离不同的文档内容，将视觉特征与提取的区域信息组合在一起，生成一个综合的特征向量，这样更全面地理解文档的内容，对从图像中提取的文本进行解析，进行语义分析和关键词提取，从而理解文本内容，从解析后的文本中提取出关键词，帮助识别文档的主要主题和关键点，达到了多模态解析文档使解析的结果更精准的有益效果。

公开(公告)号：CN117521792B

公开(公告)日：2024-08-20

申请号：CN202311569089.9

申请日：2023-11-22

Applicant: 北京交通大学

Inventor： 魏翔 ,  韩文娟

IPC: G06N5/02 ,  G06F40/295 ,  G06F40/30 ,  G06F18/214 ,  G06F18/40

Abstract: 本发明涉及知识图谱构建技术领域，提供了一种基于人机协作式信息提取标注工具的知识图谱构建方法，包括：通过信息提取标注工具将命名实体识别任务、实体关系三元组提取任务和事件提取任务进行转换整合统一，生成整合结果；基于所述整合结果通过所述信息提取标注工具进行人工标注和自动标注之间的双向交互进行信息标注；在自动标注过程中通过预设的知识增强模型对正在标注的语句进行外部知识库的查询，获取相关多模态信息进行知识增强；在标注完成后通过预训练的知识融合模型自动完成知识融合获取更加统一的知识，完成知识图谱构建。本发明解决了现有知识图谱构建过程中难以人机协同且操作复杂的问题。

公开(公告)号：CN117975475A

公开(公告)日：2024-05-03

申请号：CN202311745067.3

申请日：2023-12-18

Applicant: 北京交通大学

Inventor： 杨月婷 ,  韩文娟

IPC: G06V30/19 ,  G06V30/41 ,  G06N5/04

Abstract: 本发明提供一种视觉语言模型指令微调方法及装置，涉及计算机技术领域，该方法包括：基于原始数据集中每一条原始数据的图像和预训练视觉语言模型，生成图像的图像描述文本；基于图像描述文本、问题文本、预先设置的提示语和大型语言模型，确定原始数据对应的推理信息；基于各推理信息，确定目标数据集；基于目标数据集和原始数据集，确定混合数据集；基于预先设置的模板，对混合数据集中的每一条混合数据进行处理；将各处理后的数据中的所述问题文本和所述推理信息作为推理指令，对预训练视觉语言模型进行微调，得到微调后的预训练视觉语言模型，实现了对预训练视觉语言模型进行混合指令调优，提升了预训练视觉语言模型的精度。

公开(公告)号：CN117521792A

公开(公告)日：2024-02-06

申请号：CN202311569089.9

申请日：2023-11-22

Applicant: 北京交通大学

Inventor： 魏翔 ,  韩文娟

IPC: G06N5/02 ,  G06F40/295 ,  G06F40/30 ,  G06F18/214 ,  G06F18/40

Abstract: 本发明涉及知识图谱构建技术领域，提供了一种基于人机协作式信息提取标注工具的知识图谱构建方法，包括：通过信息提取标注工具将命名实体识别任务、实体关系三元组提取任务和事件提取任务进行转换整合统一，生成整合结果；基于所述整合结果通过所述信息提取标注工具进行人工标注和自动标注之间的双向交互进行信息标注；在自动标注过程中通过预设的知识增强模型对正在标注的语句进行外部知识库的查询，获取相关多模态信息进行知识增强；在标注完成后通过预训练的知识融合模型自动完成知识融合获取更加统一的知识，完成知识图谱构建。本发明解决了现有知识图谱构建过程中难以人机协同且操作复杂的问题。