基于网络层相似度的大语言模型微调方法、装置及电子设备和存储介质

    公开(公告)号:CN119647556A

    公开(公告)日:2025-03-18

    申请号:CN202411697921.8

    申请日:2024-11-25

    Applicant: 清华大学

    Abstract: 本公开涉及一种基于网络层相似度的大语言模型微调方法、装置及电子设备和存储介质,该方法包括:根据目标自然语言处理任务对应的样本数据集,确定初始大语言模型中任意两个相邻网络层之间的网络层相似度;根据初始大语言模型中任意两个相邻网络层之间的网络层相似度,构建初始大语言模型对应的子模型;根据样本数据集对子模型进行训练,确定训练后的子模型;根据训练后的子模型对应的模型参数对初始大语言模型进行调整,确定具备处理目标自然语言处理任务的能力的目标大语言模型。通过本公开实施例,可以利用网络层相似度有针对性地进行网络层选择,构建子模型以用于初始大语言模型的微调,可以保护用户数据和模型参数隐私,并提高模型微调效率。

    一种中文关系抽取方法
    5.
    发明公开

    公开(公告)号:CN110334354A

    公开(公告)日:2019-10-15

    申请号:CN201910626307.5

    申请日:2019-07-11

    Abstract: 本发明提供一种中文关系抽取方法,包括如下步骤:S1:数据预处理:对输入数据的文本进行多粒度信息的预训练处理,以提取出所述文本中的字、词和词义三个级别的分布式向量;S2:特征编码:以双向长短时记忆网络为基本架构,通过所述字、词和词义三个级别的分布式向量得到字的隐藏状态向量、词的隐藏状态向量,进而得到字级别的最终隐状态向量;S3:关系分类:学习所述字级别的最终隐状态向量,采用所述字级别的注意力机制将所述字级别的隐状态向量融合成一个句子级别的隐状态向量。有效地解决分词歧义和多义词歧义的问题,大大提升了模型在关系抽取任务上的表现,提高中文关系抽取的准确率和鲁棒性。

    一种中文关系抽取方法
    8.
    发明授权

    公开(公告)号:CN110334354B

    公开(公告)日:2022-12-09

    申请号:CN201910626307.5

    申请日:2019-07-11

    Abstract: 本发明提供一种中文关系抽取方法,包括如下步骤:S1:数据预处理:对输入数据的文本进行多粒度信息的预训练处理,以提取出所述文本中的字、词和词义三个级别的分布式向量;S2:特征编码:以双向长短时记忆网络为基本架构,通过所述字、词和词义三个级别的分布式向量得到字的隐藏状态向量、词的隐藏状态向量,进而得到字级别的最终隐状态向量;S3:关系分类:学习所述字级别的最终隐状态向量,采用所述字级别的注意力机制将所述字级别的隐状态向量融合成一个句子级别的隐状态向量。有效地解决分词歧义和多义词歧义的问题,大大提升了模型在关系抽取任务上的表现,提高中文关系抽取的准确率和鲁棒性。

    一种目标检索方法、装置、电子设备及存储介质

    公开(公告)号:CN118193806B

    公开(公告)日:2024-12-06

    申请号:CN202410257661.6

    申请日:2024-03-06

    Abstract: 本申请涉及计算机处理技术领域,提供了一种目标检索方法、装置、电子设备及存储介质。该方法包括:获取检索文本,检索文本表示包含目标特征描述的文本;根据大语言模型对检索文本进行处理,得到与目标特征描述对应的特征描述语句和数据库查询语句;将数据库查询语句输入至目标数据库进行检索,得到与目标特征描述对应的多模态目标信息;将多模态目标信息和特征描述语句输入至预训练好的垂域同款识别模型中,进行非同款过滤处理,得到过滤后的多模态目标信息;将过滤后的多模态目标信息返回至大语言模型中,得到目标描述文本,根据目标描述文本与多模态目标信息,得到目标检索结果。本申请实施例解决了检索结果不够精准的问题。

    基于深度表征学习的车牌图像识别方法及系统

    公开(公告)号:CN117373010A

    公开(公告)日:2024-01-09

    申请号:CN202311329890.6

    申请日:2023-10-15

    Applicant: 清华大学

    Abstract: 本发明公开了基于深度表征学习的车牌图像识别方法及系统,该方法,包括获取车牌图像样本数据送入车牌识别模型;其中,车牌识别模型,包括图像校正模块、特征提取模块、编码器和解码器;利用图像校正模块对车牌图像进行图像校正得到校正图像,并利用特征提取模块对校正图像进行特征提取得到最终特征图;将最终特征图输入至编码器得到隐含表征序列,并利用解码器对隐含表征序列进行解码得到车牌识别结果。本发明适用于识别开放场景中动态获取的车牌图像,可提高低质量车牌图像识别性能。

Patent Agency Ranking