公开(公告)号：CN116959480A

公开(公告)日：2023-10-27

申请号：CN202310417012.3

申请日：2023-04-11

Applicant: 腾讯科技(深圳)有限公司

Inventor： 林楚铭 ,  曹赟 ,  罗栋豪 ,  邰颖 ,  汪铖杰

IPC: G10L21/10 ,  G10L15/02 ,  H04N21/43 ,  H04N21/472 ,  H04N21/44 ,  G06T13/20 ,  G06T3/40 ,  G06T5/50 ,  G06N3/0475 ,  G06N3/094 ,  G06N3/0464 ,  G06N3/047 ,  G06N3/048 ,  G06N3/084

Abstract: 本申请公开了一种图像的生成、模型训练方法、装置、电子设备及存储介质。获取目标对象的第一原始图像和用于驱动目标对象动作的目标音频数据，基于目标音频数据，得到目标对象对应的第一渲染图像。从第一渲染图像中裁剪出包括嘴部区域的图像内容的第一子图，将第一子图覆盖拼接到第一原始图像中，得到第一合成图像，通过图像生成模型对第一合成图像进行优化，得到目标图像。在第一合成图像中，第一原始图像的部分能够提供真实且丰富的图像细节，图像生成模型可以基于这些细节信息，优化第一子图中的口腔和皮肤纹理，从而使得目标图像中嘴部区域的图像内容更为准确，可有效提高生成图像的质量。本申请的技术方案可广泛应用于图像处理技术领域。

公开(公告)号：CN116665695A

公开(公告)日：2023-08-29

申请号：CN202310936907.8

申请日：2023-07-28

Applicant: 腾讯科技(深圳)有限公司

Inventor： 季孝忠 ,  朱俊伟 ,  罗栋豪 ,  邰颖 ,  汪铖杰

IPC: G10L21/0356

Abstract: 本公开提供了一种虚拟对象口型驱动方法、相关装置和介质。该虚拟对象口型驱动方法包括：获取虚拟对象的面部标识；获取用于驱动虚拟对象的目标语音，目标语音中每个时区对应于虚拟对象的口型驱动视频中的一帧；从目标语音中提取语音特征，并将每个时区的语音特征与时区的位置信息进行编码得到第一编码串；对第一编码串与面部标识进行变换层处理，得到与时区对应的、虚拟对象的表情系数；基于时区对应的表情系数，在位置信息对应的帧中，对虚拟对象进行口型驱动。本公开实施例提高了口型驱动的准确性和时序稳定性。本公开实施例可应用于机器人与数字人等场景。

公开(公告)号：CN110866509B

公开(公告)日：2023-04-28

申请号：CN201911143008.2

申请日：2019-11-20

Applicant: 腾讯科技(深圳)有限公司

Inventor： 罗栋豪 ,  王亚彪 ,  郭晨阳 ,  邓博元 ,  汪铖杰 ,  李季檩 ,  黄飞跃 ,  吴永坚

IPC: G06V40/20 ,  G06N3/0464

Abstract: 本申请涉及一种动作识别方法、装置、计算机可读存储介质和计算机设备，该方法通过多通道卷积层获取各时序帧的图像数据在不同卷积通道上的原始子特征图；分别以各个时序帧作为目标时序帧，根据目标时序帧在各卷积通道上的原始子特征图，以及后一时序帧在各卷积通道上的原始子特征图，计算目标时序帧在各卷积通道上的运动信息权重，并根据运动信息权重获取目标时序帧在各卷积通道上的运动信息特征图；对目标时序帧在各卷积通道上的运动信息特征图进行时序卷积，得到目标时序帧在各卷积通道上的时序运动特征图；根据目标时序帧在各卷积通道的时序运动特征图获取目标时序帧的图像数据中运动对象的动作类型，本申请提供的方案可有效提高动作识别精度。

公开(公告)号：CN115359088A

公开(公告)日：2022-11-18

申请号：CN202211273017.5

申请日：2022-10-18

Applicant: 腾讯科技(深圳)有限公司

Inventor： 胡晓彬 ,  罗栋豪 ,  邰颖 ,  汪铖杰

IPC: G06T7/194 ,  G06T7/11 ,  G06T5/50 ,  G06V10/80

Abstract: 本申请提供了一种图像处理方法以及相关装置。本申请实施例可应用于人工智能、智慧交通、辅助驾驶等各种场景。其方法包括：首先，获取包括抠图目标待处理图像；接着，通过金字塔特征提取网络对待处理图像进行处理，得到M个特征图像；然后，通过第一目标分割网络对M个特征图像进行处理，得到第一图像；并且，通过第二目标分割网络对M个特征图像进行处理，得到第二图像；最后，根据第一图像及第二图像，生成包括抠图目标的目标抠图图像。本申请提供的方法通过两个不同的目标分割网络对待处理图像的M个特征图像进行目标分割，得到第一图像及第二图像，通过第一图像及第二图像生成目标抠图图像，提高了抠图结果的准确性及抠图结果的精细程度。

公开(公告)号：CN114627019A

公开(公告)日：2022-06-14

申请号：CN202210265786.4

申请日：2022-03-17

Applicant: 腾讯科技(深圳)有限公司

Inventor： 季孝忠 ,  罗栋豪 ,  邰颖 ,  汪铖杰

IPC: G06T5/00 ,  G06T5/50 ,  G06T7/90 ,  G06N3/04 ,  G06N3/08

Abstract: 本申请公开本一种内容修复方法、装置、设备和计算机程序产品，可应用于云技术、人工智能、智慧交通、辅助驾驶等场景，可通过机器学习实现。方法从待修复内容中获取待修复图像，待修复图像包含噪声；将待修复图像作为修复模型的输入，对待修复图像进行画质修复获得修复后图像；根据待修复图像对应的修复后图像拼接得到待修复内容对应的修复后内容。修复模型为利用高清图像和含噪声图像训练获得的模型；高清图像画质符合预设画质要求。由于含噪声图像取自原始真实的含噪声内容，噪声类型真实、丰富，提升修复模型在修复方面的效用，修复模型泛化能力强，可修复包含多种不同噪声类型的待修复内容，提升对包含多种不同噪声内容的修复质量。

公开(公告)号：CN113705292A

公开(公告)日：2021-11-26

申请号：CN202110218938.0

申请日：2021-02-26

Applicant: 腾讯科技(深圳)有限公司

Inventor： 林楚铭 ,  徐程明 ,  罗栋豪 ,  王亚彪 ,  邰颖 ,  汪铖杰 ,  李季檩 ,  黄飞跃

IPC: G06K9/00 ,  G06K9/62

Abstract: 本申请提供了一种时序动作检测方法、装置、计算机设备及存储介质，属于人工智能领域。方法包括：对连续的多个图像帧进行特征提取，得到不同长度的多个时序特征；基于多个时序特征中最长的时序特征，获取目标特征；对于多个时序特征中的任一时序特征，基于时序特征，获取第一时间定位信息，第一时间定位信息表征时序特征中各目标时刻对应的动作开始时刻和动作结束时刻；基于时序特征、第一时间定位信息以及目标特征，对第一时间定位信息进行修正，得到第二时间定位信息。上述技术方案，不需要对各目标时刻设置锚框值来预测对应的定位框，从而减少了处理量，加快了动作检测速度。

公开(公告)号：CN110598785A

公开(公告)日：2019-12-20

申请号：CN201910857892.X

申请日：2019-09-11

Applicant: 腾讯科技(深圳)有限公司

Inventor： 罗栋豪 ,  王亚彪 ,  崔志鹏 ,  汪铖杰 ,  李季檩 ,  黄飞跃 ,  吴永坚

IPC: G06K9/62

Abstract: 本申请提供一种训练样本图像的生成方法及装置，涉及人工智能技术领域。该方法包括：获取包括至少一个目标对象的原始图像；分别针对每个目标对象调整原始图像的尺寸以获得各个目标对象的调整图像；其中，每个目标对象的调整图像中该目标对象的尺寸被调整到目标检测器关联的锚框可检测到的目标尺寸范围内；基于各个目标对象对应的调整图像，获得训练样本图像，训练样本图像中包括至少一个目标对象，且训练样本图像中的目标对象尺寸与调整图像中对应的目标对象尺寸一致，该方法通过将原始图像中的目标对象的尺寸调整到目标检测器关联的锚框可检测到的目标尺寸范围内，使得生成的样本与目标检测器相适配，提供一种适用于目标检测器的样本生成方法。