公开(公告)号：CN118015389B

公开(公告)日：2024-06-25

申请号：CN202311416291.8

申请日：2023-10-30

Applicant: 江苏建筑职业技术学院

Inventor： 刘明明 ,  刘兵 ,  李穗 ,  王栋 ,  范学慧 ,  张行 ,  张海燕 ,  戚海永 ,  马衍颂

IPC: G06V10/77 ,  G06V10/80 ,  G06V10/82 ,  G06F17/18 ,  G06N3/0499

Abstract: 本发明提供了一种基于混合条件变分自编码的多样化图像描述生成方法，包括：分别获取输入的图像和文本的视觉特征和生成文本描述，引入句子级全局隐向量和单词级序列隐向量，构建混合条件变分自编码生成模型；获取基于时间步的变分证据下界，利用全局条件变分编码网络、条件序列变分编码网络和解码网络优化变分证据下界。

公开(公告)号：CN118015389A

公开(公告)日：2024-05-10

申请号：CN202311416291.8

申请日：2023-10-30

Applicant: 江苏建筑职业技术学院

Inventor： 刘明明 ,  刘兵 ,  李穗 ,  王栋 ,  范学慧 ,  张行 ,  张海燕 ,  戚海永 ,  马衍颂

IPC: G06V10/77 ,  G06V10/80 ,  G06V10/82 ,  G06F17/18 ,  G06N3/0499

Abstract: 本发明提供了一种基于混合条件变分自编码的多样化图像描述生成方法，包括：分别获取输入的图像和文本的视觉特征和生成文本描述，引入句子级全局隐向量和单词级序列隐向量，构建混合条件变分自编码生成模型；获取基于时间步的变分证据下界，利用全局条件变分编码网络、条件序列变分编码网络和解码网络优化变分证据下界。