公开(公告)号：CN118261971A

公开(公告)日：2024-06-28

申请号：CN202211630205.9

申请日：2022-12-19

Applicant: 上海交通大学 ,  中央广播电视总台

Inventor： 谢伟迪 ,  安桂霞 ,  张杨 ,  姚莉 ,  周沁也 ,  李紫一 ,  张小云

IPC: G06T7/73 ,  G06T11/60 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提供一种基于生成模型的图像物体定位方法和系统，包括：对于生成模型从噪声和文本提示合成图片的生成过程利用图像特征提取网络获取过程中的图像特征；对于文本提示中的某个特定物体类别利用文本编码器提取文本特征；使用跨模态特征对齐网络对文本特征和图像特征进行对齐，获取对齐后的表示；利用多层感知机网络将对齐后的表示映射为图像掩码。本发明能够利用自然图像生成过程中的特征表示，通过与对应物体类别的文本特征进行对齐来获取物体的定位信息，在生成图片的同时得到对应物体的掩码。