公开(公告)号：CN118741069A

公开(公告)日：2024-10-01

申请号：CN202410756606.1

申请日：2024-06-12

申请人： 北京达佳互联信息技术有限公司 ,  中科计算技术创新研究院

发明人： 袁宇杰 ,  刘继文 ,  张渊 ,  万鹏飞

IPC分类号： H04N13/275 ,  H04N13/282 ,  H04N21/81 ,  G06N3/096

摘要： 本公开关于一种文本输入生成动态三维视频的方法、装置、电子设备、计算机存储介质以及计算机程序产品，所述方法包括：获取文本数据，并基于文本数据生成满足文本数据的描述内容的参考视频；以文本数据和参考视频中的参考图片作为约束条件，生成满足文本数据描述和参考图片的静态三维模型；基于静态三维模型，确定动态信息生成模型；基于混合先验优化策略对动态信息生成模型优化监督，并基于优化监督后的动态信息生成模型，生成文本数据对应的三维视频；混合先验优化策略包括参考视频的直接先验和扩散模型的蒸馏先验。采用本方法，增强了三维视频的动态效果。

公开(公告)号：CN118298063A

公开(公告)日：2024-07-05

申请号：CN202410488292.1

申请日：2024-04-22

申请人： 北京达佳互联信息技术有限公司 ,  香港科技大学(广州)

发明人： 王罗州 ,  陶鑫 ,  陈颖聪 ,  张渊 ,  万鹏飞

IPC分类号： G06T11/00 ,  G06F40/211 ,  G06F40/253 ,  G06F40/30 ,  G06F16/583 ,  G06N3/045 ,  G06F18/25

摘要： 本公开是关于一种图像生成方法、装置、电子设备及存储介质，属于计算机技术领域。方法包括：对描述文本进行句法分析，得到至少一个三元组，每个三元组包括描述文本中的三个词语，三元组中的三个词语分别属于主体、关系和客体，关系是指主体和客体之间的关系；对描述文本进行特征提取，得到初始文本特征；分别对至少一个三元组进行特征提取，得到至少一个三元组特征；基于初始文本特征和至少一个三元组特征，生成与描述文本匹配的图像，图像中的内容与描述文本所描述的内容相同。本公开利用三元组的特征能够在图像的生成过程中准确地理解和捕捉描述文本中所描述的各个实体之间的关系，从而提高了基于描述文本生成图像的准确性。

公开(公告)号：CN117835007A

公开(公告)日：2024-04-05

申请号：CN202410015889.4

申请日：2024-01-03

申请人： 北京达佳互联信息技术有限公司

发明人： 刘兆阳 ,  高远 ,  赵松涛 ,  黄海斌 ,  马重阳 ,  万鹏飞

IPC分类号： H04N21/81 ,  H04N21/44 ,  H04N21/466 ,  H04N21/4402

摘要： 本公开实施例提供一种视频生成方法、装置、电子设备及存储介质。该方法包括：获取待处理视频和描述文本，待处理视频包括多个视频帧，每个视频帧均包括目标对象；所述多个视频帧按时间顺序依次排列；将多个视频帧平均划分为一个或多个视频帧组，将多个视频帧中的第一个视频帧添加至各个视频帧组中，作为各个视频帧组的第一个视频帧；针对每一视频帧组，将视频帧组和描述文本输入至视频风格转换模型中，基于视频帧组中的第一个视频帧中的目标对象的对象特征对各个视频帧进行风格转换处理，生成目标视频帧；根据各个视频帧组对应的除第一个目标视频帧以外的其他目标视频帧生成目标视频。该方法可以提升生成视频的时序稳定性。

公开(公告)号：CN112967174B

公开(公告)日：2024-02-09

申请号：CN202110084071.4

申请日：2021-01-21

申请人： 北京达佳互联信息技术有限公司

发明人： 方慕园 ,  张雷 ,  万鹏飞

IPC分类号： G06T3/10 ,  G06N3/0464 ,  G06N3/0475 ,  G06N3/094 ,  G06N3/084

摘要： 本公开关于图像生成模型的训练方法、图像生成方法及装置，该图像生成模型的训练方法包括获取至少两个样本图像集；获取图像生成模型以及每种该图像风格对应的判别器，该模型包括图像生成网络和每种图像风格对应的风格向量；将样本图像和各个风格向量输入图像生成网络，得到每个风格向量对应的风格化图像；将各个风格化图像输入对应的判别器，得到第一判别器损失和第二判别器损失；根据样本图像、风格化图像以及第二判别器损失，得到图像生成损失；根据第一判别器损失训练对应的判别器，根据图像生成损失训练图像生成网络和各个风格向量。本公开可以基于单一网络完成多种图像风格转换，并且占用计算资源和存储资源更少，细节保持能力更强。

公开(公告)号：CN113658283B

公开(公告)日：2023-11-28

申请号：CN202110950125.0

申请日：2021-08-18

申请人： 北京达佳互联信息技术有限公司

发明人： 方轲 ,  宋丛礼 ,  郑文 ,  郭益林 ,  万鹏飞

IPC分类号： G06T3/40 ,  G06T7/10 ,  G06T5/50 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0455

摘要： 本公开是关于一种图像处理方法、装置、电子设备及存储介质，属于计算机技术领域。方法包括：对第一尺寸的原始图像进行分割，得到第二尺寸的多个第一图像块，第一尺寸大于第二尺寸；将每个第一图像块输入到图像处理模型，得到每个第一图像块对应的第二图像块，每个第二图像块的图像尺寸为第二尺寸；对得到的多个第二图像块进行拼接，得到第一尺寸的目标图像。本公开实施例提供的方法，通过将第一尺寸的原始图像分割成多个小尺寸的图像块，对每个图像块进行图像处理后，将处理后的图像块重新拼接为与原始图像的图像尺寸相同的目标图像，在此过程中，无需直接对大尺寸的原始图像进行图像处理，从而降低了对设备性能的需求，增强了适用范围。

公开(公告)号：CN113177891B

公开(公告)日：2023-09-26

申请号：CN202110469180.8

申请日：2021-04-28

申请人： 北京达佳互联信息技术有限公司

发明人： 郭益林 ,  宋丛礼 ,  万鹏飞 ,  郑文

IPC分类号： G06T5/00 ,  G06V10/80 ,  G06T5/50 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/084

摘要： 本公开关于图像处理方法、装置、电子设备及存储介质,涉及计算机视觉技术领域，该图像处理方法包括：获取生成图像，生成图像是对原始图像执行图像翻译任务后得到的图像；确定生成图像中的待修复区域，以及原始图像中的目标区域；将随机隐变量输入到生成对抗网络中得到中间图像；确定中间图像中第一区域与目标区域之间的差异为第一差异；确定中间图像中第二区域与非待修复区域之间的差异为第二差异；根据第一差异和第二差异，迭代更新随机隐变量，得到目标隐变量；将目标隐变量输入生成式对抗网络，得到目标图像，以解决现有技术中图像翻译中带来的耦合问题，实现局部编辑的功能。

公开(公告)号：CN116246328A

公开(公告)日：2023-06-09

申请号：CN202310220611.6

申请日：2023-03-08

申请人： 清华大学 ,  北京达佳互联信息技术有限公司

发明人： 李旭辉 ,  李志航 ,  马里千 ,  万鹏飞 ,  陈莉

IPC分类号： G06V40/16 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464

摘要： 本公开关于一种面部数据生成方法、装置、计算机设备及存储介质，属于计算机技术领域。该方法包括：基于输入音频的音频特征和虚拟对象的标准面部数据的面部特征，生成该虚拟对象发出该输入音频时的下半脸运动特征、上半脸运动特征和头部运动特征；基于该下半脸运动特征、该上半脸运动特征和该头部运动特征，生成该虚拟对象发出该输入音频时的面部偏移量；基于该面部偏移量和该标准面部数据，生成该虚拟对象发出该输入音频时的预测面部数据。本公开考虑到面部不同区域针对输入音频的不同反映方式，每个区域的运动特征都对输入音频有更好的灵敏度和适配度，保证了多帧预测面部数据生成的面部动画中虚拟对象的表情变化连贯自然。

公开(公告)号：CN114202456A

公开(公告)日：2022-03-18

申请号：CN202111371705.0

申请日：2021-11-18

申请人： 北京达佳互联信息技术有限公司

发明人： 刘明聪 ,  李强 ,  秦泽奎 ,  张国鑫 ,  万鹏飞 ,  郑文

IPC分类号： G06T3/00 ,  G06N3/04 ,  G06N3/08

摘要： 本公开关于一种图像生成方法、装置、电子设备及存储介质，该方法包括获取预设对象编码和目标风格的目标风格编码；基于风格融合网络中预设数量个网络层对应的网络融合参数，对目标风格编码和预设对象编码进行风格融合处理，得到目标风格融合编码；网络融合参数为基于预设数量个网络层对应的融合数据和目标融合权重确定的，目标融合权重为基于目标风格编码和预设对象编码进行融合权重学习得到的；将所述目标风格融合编码输入目标图像生成网络进行图像生成处理，得到所述目标风格对应的预设对象风格图像。利用本公开实施例可以快速生成高质量的对象风格图像，提升多风格的对象风格图像自适应生成效率。

公开(公告)号：CN114170070A

公开(公告)日：2022-03-11

申请号：CN202111447522.2

申请日：2021-11-30

申请人： 北京达佳互联信息技术有限公司

发明人： 孙鹏 ,  郭益林 ,  宋丛礼 ,  万鹏飞 ,  郑文

IPC分类号： G06T3/00

摘要： 本公开关于一种对象属性编辑方法、装置、电子设备及可读存储介质，涉及计算机视觉技术领域。本公开实施例至少解决相关技术中，对象属性编辑中存在特征纠缠的问题。该方法包括：响应于针对待处理图片的目标对象属性编辑指令，提取预置风格特征空间中的目标对象属性对应的第一属性通道；根据第一属性通道，基础图片和风格生成式模型，对初始通道偏移量进行优化，生成目标通道偏移量，基础图片是不包含目标对象属性的图片；将目标通道偏移量与第一属性通道进行叠加运算，将叠加运算的结果与预置风格特征空间重组，并根据重组的第一重组结果、待处理图片和风格生成式模型，生成待处理图片的目标图片，目标图片包含目标对象属性。

公开(公告)号：CN112818820A

公开(公告)日：2021-05-18

申请号：CN202110118319.4

申请日：2021-01-28

申请人： 北京达佳互联信息技术有限公司

发明人： 方慕园 ,  张雷 ,  万鹏飞

IPC分类号： G06K9/00 ,  G06K9/62

摘要： 本公开关于一种图像生成模型训练方法、图像生成方法、装置及电子设备，其中，包括：获取相同的第一原始图像生成器和第二原始图像生成器，获取图像风格不同的第一样本图像和第二样本图像，生成随机向量，将随机向量分别输入第一原始图像生成器和第二原始图像生成器，得到第一输出图像和第二输出图像，根据第一输出图像、第二输出图像、第一样本图像和第二样本图像训练第一原始图像生成器、第一判别器、第二原始图像生成器和第二判别器，得到第一图像生成器和第二图像生成器，第一图像生成器生成的第一图像和第一样本图像风格相同，第二图像生成器生成的第二图像和第二样本图像风格相同。可以方便得到配对图像，且保证了配对图像较高的生成效率。