公开(公告)号：CN118447520A

公开(公告)日：2024-08-06

申请号：CN202410476270.3

申请日：2024-04-19

Applicant: 浙江工业大学

Inventor： 李永强 ,  徐经宇 ,  冯远静 ,  王逸辰 ,  杨可馨 ,  胡磊 ,  徐洋成

IPC: G06V30/412 ,  G06V30/413 ,  G06V30/148 ,  G06V30/18 ,  G06V30/19 ,  G06V10/82 ,  G06N3/045

Abstract: 一种基于多模态大语言模型的分类式政务文档分析方法，首先训练一个Transformer模型用于进行输入问题的理解分类，在得到问题具体类别后通过预设的方案逐步执行各个步骤；先通过文档格式检测将文档中的图片与字符进行位置检测，并根据位置进行图片分割；将分割完成的图片分别通过不同的视觉编码器获取图片信息，并根据分类类别以及其预设的拼接顺序将视觉编码器的输出进行拼接得到视觉向量；在通过编码器后，视觉向量中将存储图片的相关信息，随后利用一个Transformer架构将视觉向量与大语言模型进行连接；最后对大语言模型进行微调。本发明提高针对政务文档进行信息获取的精度。

公开(公告)号：CN117313694A

公开(公告)日：2023-12-29

申请号：CN202311112840.2

申请日：2023-08-31

Applicant: 浙江工业大学

Inventor： 李永强 ,  汤家睿 ,  冯远静 ,  邵永国 ,  朱龙飞 ,  李劲业 ,  徐佳怡 ,  王卓 ,  王逸辰 ,  徐经宇

IPC: G06F40/205 ,  G06F40/211 ,  G06F40/289 ,  G06F18/24 ,  G06F18/25 ,  G06Q50/26

Abstract: 一种基于递进式信息融合的政务事件抽取方法，包括以下步骤：1)获取某个问政平台在数据库中的社情民意描述文本；2)在web端的标注平台上人工标注出文本中的结构化事件，并对应每个文本句子生成确定格式的结构化事件作为训练数据和验证数据；3)首先对文本数据进行事件类别识别；4)完成了事件类型分类后，接下来进行对应特定事件类型的触发词的抽取；5)根据事件类型识别和触发词抽取的结果，将触发词信息融入文本句子中，并根据特定的论元角色进行论元抽取。本发明提高当前处理政务文本数据事件抽取问题的精度。

公开(公告)号：CN118445386A

公开(公告)日：2024-08-06

申请号：CN202410476274.1

申请日：2024-04-19

Applicant: 浙江工业大学

Inventor： 李永强 ,  王逸辰 ,  冯远静 ,  徐经宇 ,  杨可馨 ,  胡磊 ,  徐洋成

IPC: G06F16/332 ,  G06F16/33 ,  G06F40/16 ,  G06N5/04

Abstract: 一种基于大语言模型即插即用的跨模态咨询系统设计方法，首先，授权LLMs使用外部工具的API，如搜索引擎、计算器和日历等，通过整合外部工具扩展LLMs的认知边界；其次，设计合适的提示工程，用以准确调用各类API，从而提高LLMs在咨询系统中的应用效果。本发明提高大型语言模型在咨询系统中的应用效果，能够降低大型语言模型LLMs固有限制对咨询系统的影响，更好地结合其他模态信息，以使LLMs能够及时获取最新信息，并赋予它们更为精准的执行数学和逻辑推理的能力。