公开(公告)号：CN115082693B

公开(公告)日：2024-06-28

申请号：CN202210842566.3

申请日：2022-07-18

Applicant: 湖南大学

Inventor： 刘芳 ,  张默涵 ,  郑宝莹 ,  崔盛兰 ,  杨博蔼

IPC: G06V10/42 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08 ,  G06F40/279 ,  G06V10/20 ,  G06V10/80 ,  G06V10/82

Abstract: 本申请涉及人工智能技术领域的一种融合多粒度多模态的艺术品图像描述生成方法。该方法包括：对待描述艺术品的多模态数据进行预处理，得到预处理的艺术品图像和文本；采用多粒度视觉特征编码器获取预处理图像的全局视觉编码与隐喻视觉编码；根据预处理文本和全局视觉编码、预处理文本和隐喻视觉编码，采用对应粒度文本特征编码器，得到粗粒度文本编码和细粒度文本编码；分别对全局视觉编码与粗粒度文本编码、隐喻视觉编码与细粒度文本编码分别进行解码，得到粗粒度文本描述和细粒度文本描述；将粗粒度文本描述和细粒度文本描述融合，得到含有隐喻的多粒度艺术品描述。采用本方法可以在保证高准确率的情况下高效地生成含有隐喻的艺术品图像描述。

公开(公告)号：CN115082693A

公开(公告)日：2022-09-20

申请号：CN202210842566.3

申请日：2022-07-18

Applicant: 湖南大学

Inventor： 刘芳 ,  张默涵 ,  郑宝莹 ,  崔盛兰 ,  杨博蔼

IPC: G06V10/42 ,  G06N3/04 ,  G06N3/08 ,  G06F40/279 ,  G06V10/20 ,  G06V10/80 ,  G06V10/82

Abstract: 本申请涉及人工智能技术领域的一种融合多粒度多模态的艺术品图像描述生成方法。该方法包括：对待描述艺术品的多模态数据进行预处理，得到预处理的艺术品图像和文本；采用多粒度视觉特征编码器获取预处理图像的全局视觉编码与隐喻视觉编码；根据预处理文本和全局视觉编码、预处理文本和隐喻视觉编码，采用对应粒度文本特征编码器，得到粗粒度文本编码和细粒度文本编码；分别对全局视觉编码与粗粒度文本编码、隐喻视觉编码与细粒度文本编码分别进行解码，得到粗粒度文本描述和细粒度文本描述；将粗粒度文本描述和细粒度文本描述融合，得到含有隐喻的多粒度艺术品描述。采用本方法可以在保证高准确率的情况下高效地生成含有隐喻的艺术品图像描述。