-
公开(公告)号：CN117669721B
公开(公告)日：2024-04-19
申请号：CN202410139850.3
申请日：2024-02-01
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06N5/022 , G06N3/0455 , G06N3/08
Abstract: 本申请适用于计算机领域，提供了信息抽取方法、装置、电子设备及计算机存储介质，包括：获取待抽取文本；将所述待抽取文本输入信息抽取模型，其中，所述信息抽取模型是基于预训练模型进行训练获得的，所述预训练模型是对预训练语料库进行实体知识训练获得的；根据所述信息抽取模型输出的信息抽取结果，获得所述待抽取文本对应的目标信息。本申请通过采用经过实体知识训练的信息提取模型对待抽取文本进行处理，从而提取出表征待提取文本实体知识以及实体关系的内容，提高了信息抽取结果中实体语义关联性。
-
公开(公告)号：CN117669721A
公开(公告)日：2024-03-08
申请号：CN202410139850.3
申请日：2024-02-01
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06N5/022 , G06N3/0455 , G06N3/08
Abstract: 本申请适用于计算机领域，提供了信息抽取方法、装置、电子设备及计算机存储介质，包括：获取待抽取文本；将所述待抽取文本输入信息抽取模型，其中，所述信息抽取模型是基于预训练模型进行训练获得的，所述预训练模型是对预训练语料库进行实体知识训练获得的；根据所述信息抽取模型输出的信息抽取结果，获得所述待抽取文本对应的目标信息。本申请通过采用经过实体知识训练的信息提取模型对待抽取文本进行处理，从而提取出表征待提取文本实体知识以及实体关系的内容，提高了信息抽取结果中实体语义关联性。
-
公开(公告)号：CN119475211A
公开(公告)日：2025-02-18
申请号：CN202411447063.1
申请日：2024-10-16
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F18/25 , G06F18/22 , G06N5/022 , G06N3/048 , G06N3/0985 , G06N5/01 , G06F16/242
Abstract: 本发明提供一种基于参数制约的大语言模型知识融合方法及装置，涉及知识融合技术领域。该方法包括：获取多个任务模型；采用非线性激活函数对多个任务模型中的任务向量进行冗余参数抑制，获得冗余参数的抑制程度；采用非线性激活函数计算初始任务向量中相同位置参数的相似性；根据冗余参数的抑制程度以及相似性，获得任务向量中的参数重要性得分；根据任务向量中的参数重要性得分，获得最终合并的任务向量；将最终合并的任务向量进行重新缩放，生成合并后的任务模型参数。采用本发明可提升大语言模型合并性能。
-
公开(公告)号：CN118939783B
公开(公告)日：2025-02-07
申请号：CN202411429185.8
申请日：2024-10-14
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F16/3329 , G06F16/36 , G06F18/27 , G06F18/214
Abstract: 本发明提供一种基于知识图谱检索增强的大模型推理方法及装置，涉及自然语言处理技术领域。该方法包括：使用ChatGPT生成多指令微调数据集；根据多指令微调数据集，对大语言模型进行自回归训练，获得微调后大语言模型；基于知识图谱，根据知识密集型查询以及知识实体集合，通过微调后大语言模型进行迭代推理，获得第一证据子图；基于回归评分器以及预设得分阈值，对第一证据子图进行剪枝，获得第二证据子图；基于第二提示模板，根据第二证据子图以及知识密集型查询，通过微调后大语言模型进行联合推理，获得查询推理结果。本发明是一种基于知识图谱增强的有效结合外部知识且回答复杂多跳问题准确的大模型推理方法。
-
公开(公告)号：CN118939783A
公开(公告)日：2024-11-12
申请号：CN202411429185.8
申请日：2024-10-14
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F16/332 , G06F16/36 , G06F18/27 , G06F18/214
Abstract: 本发明提供一种基于知识图谱检索增强的大模型推理方法及装置，涉及自然语言处理技术领域。该方法包括：使用ChatGPT生成多指令微调数据集；根据多指令微调数据集，对大语言模型进行自回归训练，获得微调后大语言模型；基于知识图谱，根据知识密集型查询以及知识实体集合，通过微调后大语言模型进行迭代推理，获得第一证据子图；基于回归评分器以及预设得分阈值，对第一证据子图进行剪枝，获得第二证据子图；基于第二提示模板，根据第二证据子图以及知识密集型查询，通过微调后大语言模型进行联合推理，获得查询推理结果。本发明是一种基于知识图谱增强的有效结合外部知识且回答复杂多跳问题准确的大模型推理方法。
-
Patent Agency Ranking
公开(公告)号：CN118193684B
公开(公告)日：2024-07-23
申请号：CN202410607338.7
申请日：2024-05-16
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F16/33 , G06F16/36 , G06F40/279 , G06V20/62 , G06F18/213 , G06F18/27 , G06V10/82 , G06N3/0455 , G06N3/042 , G06N3/08 , G06N5/04
Abstract: 本发明涉及自然语言处理技术领域，特别是指一种基于大语言模型和知识图谱的多模态推理方法及装置。基于大语言模型和知识图谱的多模态推理方法包括：将训练推理问题分为文本数据以及图像数据；根据文本数据以及图像数据，通过预设的多模态知识图谱进行检索，获得多模态知识子图；基于编码器的网络结构以及适配器的网络结构进行模型构建，获得MR‑MKG框架；将MR‑MKG框架加入大语言模型；使用文本数据、图像数据和多模态知识子图，对待训练多模态推理模型进行训练优化，获得多模态推理模型；根据目标推理问题，通过多模态推理模型进行推理，获得推理结果。本发明是一种基于多模态知识图谱的充分利用大语言模型推理能力的多模态推理方法。
-
-
公开(公告)号：CN117494806A
公开(公告)日：2024-02-02
申请号：CN202311830157.2
申请日：2023-12-28
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本发明公开了一种基于知识图谱和大语言模型的关系抽取方法、系统及介质，涉及自然语言处理技术领域，包括：从知识图谱中提取出待预测文本中的目标实体对应的候选抽象实体；目标实体包括头实体和尾实体；基于大语言模型和依据目标实体所在文本，将候选抽象实体与实际语境中对应的抽象实体进行关联，得到目标实体对应的关联抽象实体和对关联抽象实体的推理过程；将推理过程融入提示中，利用大语言模型生成待预测文本中的头实体和尾实体之间的目标预测关系。本发明缓解了现有技术存在的对模型进行训练的过程费时费力的技术问题。
-
公开(公告)号：CN119862423A
公开(公告)日：2025-04-22
申请号：CN202510340570.3
申请日：2025-03-21
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F18/214 , G06F18/25
Abstract: 本发明提供基于层次混合专家模型的大模型多偏好对齐方法及装置，涉及自然语言处理技术领域。该方法包括：获取预训练的单目标微调模型；提取模型中每个单目标策略的目标向量，通过任务向量奇异值分解法分解目标向量，生成低秩适配器作为每个单目标的LoRA专家；采用PCB‑merging和Free‑merging融合模型进行处理，获得多目标LoRA专家；生成线性路由层，构造奖励损失函数；采用镜像梯度下降和平滑切比雪夫标量化对损失函数进行优化，获得多目标的路由专家；设计权重路由器；根据多目标LoRA专家、多目标的路由专家和权重路由器，构建层次化的混合专家模型；将获取的用户输入的提示词和偏好向量，输入层次化的混合专家模型中，输出符合用户的偏好。采用本发明可提高推理效率。
-
公开(公告)号：CN118193684A
公开(公告)日：2024-06-14
申请号：CN202410607338.7
申请日：2024-05-16
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
IPC: G06F16/33 , G06F16/36 , G06F40/279 , G06V20/62 , G06F18/213 , G06F18/27 , G06V10/82 , G06N3/0455 , G06N3/042 , G06N3/08 , G06N5/04
Abstract: 本发明涉及自然语言处理技术领域，特别是指一种基于大语言模型和知识图谱的多模态推理方法及装置。基于大语言模型和知识图谱的多模态推理方法包括：将训练推理问题分为文本数据以及图像数据；根据文本数据以及图像数据，通过预设的多模态知识图谱进行检索，获得多模态知识子图；基于编码器的网络结构以及适配器的网络结构进行模型构建，获得MR‑MKG框架；将MR‑MKG框架加入大语言模型；使用文本数据、图像数据和多模态知识子图，对待训练多模态推理模型进行训练优化，获得多模态推理模型；根据目标推理问题，通过多模态推理模型进行推理，获得推理结果。本发明是一种基于多模态知识图谱的充分利用大语言模型推理能力的多模态推理方法。
-
-
-
-
-
-
-
-
-
Search Results
10
records
(took 0.09 seconds)
