身份识别及其模型训练方法及装置

    公开(公告)号:CN119091480A

    公开(公告)日:2024-12-06

    申请号:CN202410991190.1

    申请日:2024-07-23

    Applicant: 北京大学

    Abstract: 本申请公开了一种身份识别及其模型训练方法及装置,模型训练方法包括:对私有数据集进行采样,得到训练数据;通过通用模型以及本地模型对训练数据进行特征提取,得到属于通用模型的通用特征以及属于本地模型的本地特征;根据通用特征、本地特征以及预设个性化区分损失函数,训练本地模型,预设个性化区分损失函数用于优化本地模型,使本地模型能区分私有数据集中的本地特征;在私有数据集采样结束的情况下,生成预先训练的识别模型。因此,采用本申请实施例,可以降低模型的耗时,同时提升模型的本地化识别性能。

    大语言模型的构建方法、装置、设备及计算机可读介质

    公开(公告)号:CN118194923A

    公开(公告)日:2024-06-14

    申请号:CN202410616719.1

    申请日:2024-05-17

    Abstract: 本申请涉及一种大语言模型的构建方法、装置、设备及计算机可读介质。该方法包括:获取描述相同内容的视觉数据、音频数据、文本数据以及用户在接收所述视觉数据、所述音频数据以及所述文本数据至少之一时产生的脑电波数据和眼动数据;对所述视觉数据和所述音频数据进行特征提取和整合,得到所述视觉数据和所述音频数据的交叉特征;利用全局模型知识图谱对所述交叉特征进行数据增强,得到所述交叉特征的图谱增强数据;将所述图谱增强数据、所述文本数据、所述脑电波数据以及所述眼动数据作为多模态训练数据对初始大语言模型进行训练,直至模型收敛时,得到目标大语言模型。本申请解决了大模型缺乏多模态理解的综合机制的技术问题。

    用于数据保护的预训练模型微调方法、应用方法及装置

    公开(公告)号:CN119152319A

    公开(公告)日:2024-12-17

    申请号:CN202411633770.X

    申请日:2024-11-15

    Applicant: 北京大学

    Abstract: 本申请公开了一种用于数据保护的预训练模型微调方法、应用方法及装置,方法包括:创建用于数据保护的代理模型;根据预设人脸图像集及其描述文本,对代理模型进行预设时间步的迭代微调,得到代理个性化生成模型;使用预设对抗样本集与描述文本,对代理个性化生成模型进行攻击,得到扰动值;将扰动值添加至预设对抗样本集中,并继续执行对代理个性化生成模型进行攻击的步骤,直到攻击次数到达预设次数阈值的情况下,得到目标对抗样本;使用目标对抗样本,再次对代理模型进行预设时间步的迭代微调,在当前微调次数到达预设扰动阈值的情况下,得到最终的代理个性化生成模型。采用本申请实施例,使得实际训练场景中计算需求少,减少了计算资源的浪费。

    大语言模型的构建方法、装置、设备及计算机可读介质

    公开(公告)号:CN118194923B

    公开(公告)日:2024-09-03

    申请号:CN202410616719.1

    申请日:2024-05-17

    Abstract: 本申请涉及一种大语言模型的构建方法、装置、设备及计算机可读介质。该方法包括:获取描述相同内容的视觉数据、音频数据、文本数据以及用户在接收所述视觉数据、所述音频数据以及所述文本数据至少之一时产生的脑电波数据和眼动数据;对所述视觉数据和所述音频数据进行特征提取和整合,得到所述视觉数据和所述音频数据的交叉特征;利用全局模型知识图谱对所述交叉特征进行数据增强,得到所述交叉特征的图谱增强数据;将所述图谱增强数据、所述文本数据、所述脑电波数据以及所述眼动数据作为多模态训练数据对初始大语言模型进行训练,直至模型收敛时,得到目标大语言模型。本申请解决了大模型缺乏多模态理解的综合机制的技术问题。

Patent Agency Ranking