公开(公告)号：CN119829778A

公开(公告)日：2025-04-15

申请号：CN202411924013.8

申请日：2024-12-25

Applicant: 中建数字科技有限公司 ,  哈尔滨工业大学

Inventor： 苏亚武 ,  卢闪闪 ,  王萌 ,  黄永 ,  张云开 ,  魏世银 ,  李纯 ,  胡宇飞 ,  田子恒

IPC: G06F16/38 ,  G06F16/36 ,  G06F16/31 ,  G06F40/194 ,  G06F40/279 ,  G06F40/30 ,  G06F40/126 ,  G06N5/022

Abstract: 本发明提出土木工程领域知识大模型检索增强生成方法。所述方法包括土木工程领域知识处理与向量化存储，大语言模型土木工程领域知识能力评估与适配，土木工程领域知识向量数据库高效检索机制，以及基于检索结果的知识增强生成引导。本发明通过数据清洗、文本分割等预处理过程，将土木工程领域知识编码并建立为向量数据库。通过语义困惑度指标选择适用于土木工程领域知识检索增强生成的通用大语言模型，通过相似度计算检索目标知识形成提示词，增强大语言模型土木工程领域专业知识生成能力。

公开(公告)号：CN119785098A

公开(公告)日：2025-04-08

申请号：CN202411901724.3

申请日：2024-12-23

Applicant: 哈尔滨工业大学

Inventor： 黄永 ,  张云开 ,  魏世银 ,  苏亚武 ,  卢闪闪 ,  王萌 ,  李纯 ,  胡宇飞 ,  田子恒

IPC: G06V10/764 ,  G06V10/26 ,  G06V10/80 ,  G06V10/82 ,  G06N5/04 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明提出基于多模态大模型的土木工程结构表观损伤诊断方法。该方法包括结构表观损伤多模态数据统一表征与对齐融合，基于多模态思维链的结构损伤识别推理方法，多模态数据集构建与大模型微调，对土木工程结构损伤识别和特征描述。本发明使用多模态大模型完成对结构损伤图像的向量编码并与文本编码特征对齐，通过调用计算机视觉模型生成损伤语义分割图作为视觉思维链，并通过构造微调数据集形成语言思维链，由预训练大语言模型完成对多模态信息编码的推理和结构损伤诊断的生成。该方法使用多模态大模型为底座并融合多模态思维链推理方法，使得模型能够通过自然语言进行人机交互，高效诊断各类结构损伤，提高结构损伤诊断模型的泛化能力和准确性。