公开(公告)号：CN119131174A

公开(公告)日：2024-12-13

申请号：CN202411264576.9

申请日：2024-09-10

Applicant: 杭州电子科技大学

Inventor： 王华涛 ,  颜成钢 ,  刘一秀 ,  张继勇 ,  殷俊 ,  王鸿奎

IPC: G06T11/00 ,  G06T5/30 ,  G06T5/60 ,  G06V40/10 ,  G06V10/44 ,  G06V10/54 ,  G06V10/80 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/084 ,  G06N3/094

Abstract: 本发明公开了一种姿态驱动的基于注意力机制的人物图像合成方法。首先通过骨架编码器将目标骨架转换为特征映射，通过外观编码器将原图像转换为特征映射；利用多尺度图像细化网络对提取的特征进行多尺度图像细化，获得最终目标人物图像；最后以端到端方式训练模型，同时学习特征融合和目标图像生成。本发明提出了一种姿态驱动的注意力机制，能够有效提取外观特征和姿态特征，通过通道注意力机制的自适应权重获取不同关注度的特征图。最终按权重相加输出，有利于在姿态变换中不丢失原始特征最大程度保留了原图像的信息。

公开(公告)号：CN118195913A

公开(公告)日：2024-06-14

申请号：CN202410136127.X

申请日：2024-01-31

Applicant: 杭州电子科技大学

Inventor： 王华涛 ,  颜成钢 ,  刘一秀 ,  张继勇 ,  王鸿奎

IPC: G06T5/50 ,  G06T5/60 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/09

Abstract: 本发明公开了一种基于语义驱动的人体图像合成方法。首先通过姿态编码器对人体姿态热图进行处理；同时通过一个图像编码器根据真实图像和对应的语义图，根据语义图将复杂的人体进行拆分；最终，将姿态编码器和图像编码器的数据都输入到特征融合模块，在经过最终的采样，进行人物图像合成后，将数据输入到鉴别器中，由鉴别器判别真伪；之后再进行下一轮的训练，直到合成出高质量，可控的人体图像。本发明方法，同时能够将语义图像和训练图像结合，有效降低人物图像合成难度，增强图像合成质量。通过特征融合模块，能够解耦出人物的外观和姿态，能够实现高效且精确地控制人物姿态，并且与外观不存在纠缠。