-
公开(公告)号:CN115330912B
公开(公告)日:2023-03-24
申请号:CN202211248353.4
申请日:2022-10-12
Applicant: 中国科学技术大学
IPC: G06T13/20 , G06T13/40 , G06N3/0442 , G06N3/047 , G06N3/048 , G06V20/40 , G06V40/16 , G06V10/82 , G10L25/57 , G10L25/30
Abstract: 本发明公开了一种基于音频和图像驱动的用于生成人脸说话视频的训练方法。该方法包括:获取预设帧数的视频样本,并构建人脸说话视频生成模型;利用音频特征提取器对视频样本的音频进行特征提取,得到音频特征向量;利用图像编码器对视频样本进行投影处理,得到视频图像的扩展潜在向量;利用音频‑表情映射网络处理音频特征向量和扩展潜在向量,得到加权的扩展潜在向量;利用生成器处理加权的扩展潜在向量,得到生成视频。本发明同时还提供了一种基于音频和图像驱动的人类说话视频的生成方法。
-
公开(公告)号:CN112418332A
公开(公告)日:2021-02-26
申请号:CN202011349027.3
申请日:2020-11-26
Applicant: 北京市商汤科技开发有限公司 , 中国科学技术大学
Abstract: 本公开提供了一种图像处理的方法及装置、图像生成的方法及装置,其中,该图像处理的方法包括:获取源图像和用于对源图像的特征识别进行干扰的目标图像;分别对源图像和目标图像进行特征提取,得到第一特征图和第二特征图;基于所述第一特征图、所述第二特征图和扰动限制项,得到扰动特征图;将扰动特征图和源图像进行融合,生成与源图像对应的对抗图像。本公开通过扰动限制项的限定可以同时学习到有关目标图像的特征以及源图像的特征,所生成的扰动特征图和源图像进行融合之后,可以得到涵盖了目标图像特征的对抗图像,整个操作过程较为简单,使得生成效率较高。
-
公开(公告)号:CN105184768B
公开(公告)日:2018-08-21
申请号:CN201510444286.7
申请日:2015-07-23
Applicant: 中国科学技术大学
Abstract: 本发明公开了一种室内多摄像头同步高精度定位方法,该方法不仅能够同时监控广大的室内范围,同时避免了一般多摄像头定位系统中的成像过程中不同步问题;同时,通过利用人工添加的特征点进行定位,具有精度高,速度快等特点;另外,通过单独设置的方向特征点确定物体的朝向,可以在定位的时候同时确定物体上一个可转动部件的方向。
-
-
公开(公告)号:CN116245950B
公开(公告)日:2023-08-01
申请号:CN202310528081.1
申请日:2023-05-11
Applicant: 合肥高维数据技术有限公司 , 中国科学技术大学
IPC: G06T7/73 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明特别涉及一种用于全屏或单角缺失的屏幕角点定位方法,包括如下步骤:构建数据集:对包含完整屏幕的原图进行裁剪得到单角点缺失图;对单角点缺失图进行中心缩小处理并在四周填补0像素使图片长宽不变,裁剪掉的角点位于填补的区域内;根据缩小填补后的图片中的角点位置计算标签值;构建模型,利用数据集对模型进行训练得到训练好的角点识别模型;将待识别的全屏或单角缺失的图片代入训练好的角点识别模型中得到预测标签值;对预测标签值进行中心放大处理和坐标变换得到真实的角点坐标。通过上述步骤,使得不在原始图片的角点也能正常进行计算损失函数和反向传播优化模型,从而实现屏幕缺失一个的角点的情况下对全部角点的准确定位。
-
公开(公告)号:CN116152121B
公开(公告)日:2023-07-04
申请号:CN202310428027.X
申请日:2023-04-20
Applicant: 合肥高维数据技术有限公司 , 中国科学技术大学
Abstract: 本发明特别涉及一种基于畸变参数的曲面屏生成方法、矫正方法。其中,曲面屏生成方法包括如下步骤:获取待畸变的平面图;设定畸变参数f和r的值,其中r大于等于平面图宽度的一半;根据畸变参数以及公式构建平面图像素点(x,y)和生成的曲面屏图片像素点(x',y')之间的映射关系:根据上述映射关系以及平面图各像素点的像素值生成曲面屏图片,其中具有映射关系的两个像素点像素值一致。通过构建曲面屏投影模型,引入畸变参数f和r,使得利用畸变参数f和r可以联合控制曲面的畸变程度,这样不仅可以生成多种参数的曲面屏图片,还能将畸变参数作为该曲面屏图片的标签来生成样本,从而自动实现样本集的制作。
-
公开(公告)号:CN116245950A
公开(公告)日:2023-06-09
申请号:CN202310528081.1
申请日:2023-05-11
Applicant: 合肥高维数据技术有限公司 , 中国科学技术大学
IPC: G06T7/73 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明特别涉及一种用于全屏或单角缺失的屏幕角点定位方法,包括如下步骤:构建数据集:对包含完整屏幕的原图进行裁剪得到单角点缺失图;对单角点缺失图进行中心缩小处理并在四周填补0像素使图片长宽不变,裁剪掉的角点位于填补的区域内;根据缩小填补后的图片中的角点位置计算标签值;构建模型,利用数据集对模型进行训练得到训练好的角点识别模型;将待识别的全屏或单角缺失的图片代入训练好的角点识别模型中得到预测标签值;对预测标签值进行中心放大处理和坐标变换得到真实的角点坐标。通过上述步骤,使得不在原始图片的角点也能正常进行计算损失函数和反向传播优化模型,从而实现屏幕缺失一个的角点的情况下对全部角点的准确定位。
-
公开(公告)号:CN115330912A
公开(公告)日:2022-11-11
申请号:CN202211248353.4
申请日:2022-10-12
Applicant: 中国科学技术大学
Abstract: 本发明公开了一种基于音频和图像驱动的用于生成人脸说话视频的训练方法。该方法包括:获取预设帧数的视频样本,并构建人脸说话视频生成模型;利用音频特征提取器对视频样本的音频进行特征提取,得到音频特征向量;利用图像编码器对视频样本进行投影处理,得到视频图像的扩展潜在向量;利用音频‑表情映射网络处理音频特征向量和扩展潜在向量,得到加权的扩展潜在向量;利用生成器处理加权的扩展潜在向量,得到生成视频。本发明同时还提供了一种基于音频和图像驱动的人类说话视频的生成方法。
-
公开(公告)号:CN116152121A
公开(公告)日:2023-05-23
申请号:CN202310428027.X
申请日:2023-04-20
Applicant: 合肥高维数据技术有限公司 , 中国科学技术大学
Abstract: 本发明特别涉及一种基于畸变参数的曲面屏生成方法、矫正方法。其中,曲面屏生成方法包括如下步骤:获取待畸变的平面图;设定畸变参数f和r的值,其中r大于等于平面图宽度的一半;根据畸变参数以及公式构建平面图像素点(x,y)和生成的曲面屏图片像素点(x',y')之间的映射关系:根据上述映射关系以及平面图各像素点的像素值生成曲面屏图片,其中具有映射关系的两个像素点像素值一致。通过构建曲面屏投影模型,引入畸变参数f和r,使得利用畸变参数f和r可以联合控制曲面的畸变程度,这样不仅可以生成多种参数的曲面屏图片,还能将畸变参数作为该曲面屏图片的标签来生成样本,从而自动实现样本集的制作。
-
公开(公告)号:CN113221979B
公开(公告)日:2023-05-23
申请号:CN202110460812.4
申请日:2021-04-27
Applicant: 北京市商汤科技开发有限公司 , 中国科学技术大学
IPC: G06N3/092 , G06N3/094 , G06N3/04 , G06F18/214
Abstract: 本公开提供了一种样本的生成方法、神经网络的训练方法以及装置,其中,样本的生成方法包括:获取参考增强策略;利用所述参考增强策略对第一样本数据进行变换处理,得到增强样本数据;利用多个第一神经网络对所述增强样本数据进行处理,得到第一处理结果;基于所述第一处理结果、以及所述参考增强策略,确定目标增强策略;利用所述目标增强策略对第二样本数据进行数据增强处理,得到所述第二样本数据的目标增强样本数据。
-
-
-
-
-
-
-
-
-