公开(公告)号：CN117576498A

公开(公告)日：2024-02-20

申请号：CN202311370479.3

申请日：2023-10-20

Applicant: 重庆邮电大学

Inventor： 戴大伟 ,  李玉堂 ,  付诗宇 ,  张元会 ,  刘颖格 ,  王国胤

IPC: G06V10/774 ,  G06V10/70 ,  G06V10/82 ,  G06V10/86 ,  G06V40/16 ,  G06F40/211 ,  G06F40/216 ,  G06F40/253

Abstract: 本发明属于大语言模型应用领域和数据集标注领域，涉及一种基于大语言模型和语法树的人脸图像标题生成方法，所述方法包括获取人脸图像，并使用人脸检测模型进行人脸区域检测；使用神经网络模型对人脸图像进行属性预测，获取人脸图像各个视觉属性并生成人脸特征表；使用概率上下文无关算法对人脸特征表构造标题语法树，生成多条上下文无关的语句；使用预训练的大规模语言模型，分别对每条上下文无关的语句进行改写，生成具有自然语言表达方式的描述语句；使用多模态模型对多条描述语句进行评分，选择评分最高的描述语句，作为对应人脸图像标题。本发明能够自动高质量生成人脸图像和自然语言描述之间的匹配数据对。有利于相关任务的性能提升。