-
公开(公告)号：CN118052911B
公开(公告)日：2025-02-18
申请号：CN202410281747.2
申请日：2024-03-12
Applicant: 华院计算技术(上海)股份有限公司
IPC: G06T13/00 , G06N3/0475
Abstract: 本申请提供一种基于深度学习和手部变换的语音驱动手部动作图像生成方法及系统、计算机可读存储介质。技术方案包括如下步骤：获取音频和相应的包含手部的人物图像；将所述音频输入变换网络得到相应的手部变换参数；将所述包含手部的人物图像输入分割网络得到相应的手部分层图像和背景图片；将所述手部变换参数带入到所述手部分层图像，得到相应的手部变换图像；将所述手部变换图像和所述背景图片输入生成网络得到最终的图像。针对生成和语音相匹配的手部动作经常会存在手部截断、错位等效果不佳的问题，本发明采用手部变换来刻画手部运动，并通过深度网络，有效、准确地生成带手部动作的图像。
-
公开(公告)号：CN118233697B
公开(公告)日：2025-02-07
申请号：CN202410464923.6
申请日：2024-04-17
Applicant: 华院计算技术(上海)股份有限公司
IPC: H04N21/44 , H04N21/4402 , H04N21/845 , G06V40/16 , G06N3/08
Abstract: 传统的视频数据集切分方法主要依赖于手工标注，这一过程耗时耗力，且难以适应大规模视频数据处理的需求。本发明提供一种切分新闻主播视频数据集的方法、系统及电子设备，包括：获取用户提交的新闻主播视频；对所述新闻主播视频进行快速筛查，得到包含新闻主播和采访观众的人脸数据库；对所述包含新闻主播和采访观众的人脸数据库进行过滤，过滤掉采访观众的人脸数据，得到仅含新闻主播的人脸数据库；根据所述仅含新闻主播的人脸数据库，使用深度模型对所述新闻主播视频进行逐帧筛查，得到精确的新闻主播视频切分结果。以实现高精度、全自动的新闻主播视频切分。
-
公开(公告)号：CN119313789A
公开(公告)日：2025-01-14
申请号：CN202411304862.3
申请日：2024-09-18
Applicant: 华院计算技术(上海)股份有限公司
IPC: G06T13/40 , G06F18/2431 , G06F18/21 , G06N3/0464 , G06N3/08 , G10L25/63 , G10L25/57
Abstract: 本发明提供一种带表情的数字人生成方法、系统、存储介质和程序产品，其中方法包括以下步骤：输入音频和相应图片；将音频输入到音频情绪提取网络提取相应的情绪类别；根据情绪类别从表情模板中抽取对应的模板；将模板和图片一起输入到生成网络生成相应的带表情基础图片；将基础图片经过处理以后，提取图像特征，同时对音频进行音频特征提取；将图像特征和音频特征输入到解码网络得到带表情的图片。本发明提供一种带表情的数字人生成方法、系统、存储介质和程序产品，能够通过引入相应的音频情绪提取和表情模板，实现对于带表情的，并且是多种表情变化的数字人生成任务。
-
公开(公告)号：CN118646938A
公开(公告)日：2024-09-13
申请号：CN202410706471.8
申请日：2024-06-03
Applicant: 华院计算技术(上海)股份有限公司
IPC: H04N21/81 , H04N21/845 , H04N21/4402 , G06V40/20 , G06N3/0475 , G06N3/09
Abstract: 本公开提供了一种关键点生成方法及其模型的训练方法、视频生成方法。训练方法包括：获取训练样本；将训练样本输入关键点生成模型，根据关键点生成模型输出第一视频帧至第三视频帧之间的视频帧的关键点预测数据；根据目标关节点的运动约束条件、关键点样本数据和关键点预测数据计算损失误差；运动约束条件包括多个目标关节点中相邻两个目标关节点在各视频帧中的相对位置关系不变；根据损失误差调整关键点生成模型的网络参数，直至满足迭代停止条件。本公开通过关键点生成模型预测两帧视频帧中人物动作关键点，并根据目标关节点的运动约束条件、关键点样本数据和关键点预测数据计算损失误差，使关键点生成模型预测值与真实值更接近，预测更准确。
-
公开(公告)号：CN116385270B
公开(公告)日：2024-08-16
申请号：CN202310412411.0
申请日：2023-04-18
Applicant: 华院计算技术(上海)股份有限公司
IPC: G06T3/4007 , G06T3/4023 , G06T3/4046 , G06T3/04 , G06N3/0455 , G06N3/08 , G06N3/0464
Abstract: 本发明公开了一种基于多重损失和分辨率的图像转图像的方法，包括：获取输入图像，并对图像进行多分辨率预处理；将得到的不同分辨率图像输入到已经训练好的深度模型；其中，深度模型根据多个不同的分辨率，先从低分辨率模块至高分辨率模块依次进行训练，再进行整个模型的联合训练；在模型训练中，构造的损失函数包括：每个分辨率下的生成图像和真实图像之间的L1损失、由判别模型判断的生成图像是否真实的损失和生成图像和真实图像之间的风格损失；不同分辨率的图像通过深度模型进行整合最终得到相对应的图像。本发明充分利用图像的不同分辨率信息，结合应用多重损失训练好的深度模型，可以有效提高转换图像的质量。
-
Patent Agency Ranking
公开(公告)号：CN118280370A
公开(公告)日：2024-07-02
申请号：CN202410465020.X
申请日：2024-04-17
Applicant: 华院计算技术(上海)股份有限公司
Abstract: 本申请提供一种通过语音实时交互的数字人生成方法及系统。技术方案包括如下步骤：首先，输入实时交互的音频；其次，采用流式语音识别模型进行音频识别；然后，将识别到的文字输入到大模型，大模型流式输出相应结果；之后，将结果进行处理后输入语音合成模型，进行半流式输出；最后，将输出的语音输入到相应的渲染模型，得到最后相应的互动结果。本申请技术方案利用流式技术，并结合相应的文本算法，能实现流畅的语音实时交互数字人。
-
公开(公告)号：CN118196474A
公开(公告)日：2024-06-14
申请号：CN202410133229.6
申请日：2024-01-30
Applicant: 华院计算技术(上海)股份有限公司
IPC: G06V10/764 , G06V10/80 , G06V10/28 , G06T7/00
Abstract: 本申请提供了一种图像缺陷分类方法及装置、存储介质、计算设备，该图像缺陷分类方法包括：获取原始图像，并将原始图像划分为N个区域块，原始图像中部分区域块具有缺陷，N为正整数；提取N个区域块的第一视觉特征；对各个区域块的第一视觉特征进行编码，以得到各个区域块的第二视觉特征；至少根据各个区域块的第二视觉特征计算各个区域块对应的目标权重；根据各个区域块的第二视觉特征以及对应的目标权重进行特征融合，以获得融合特征；根据融合特征计算原始图像的缺陷类别。本申请提供了一种提升缺陷图像的缺陷分类准确性的方案。
-
公开(公告)号：CN118052911A
公开(公告)日：2024-05-17
申请号：CN202410281747.2
申请日：2024-03-12
Applicant: 华院计算技术(上海)股份有限公司
IPC: G06T13/00 , G06N3/0475
Abstract: 本申请提供一种基于深度学习和手部变换的语音驱动手部动作图像生成方法及系统、计算机可读存储介质。技术方案包括如下步骤：获取音频和相应的包含手部的人物图像；将所述音频输入变换网络得到相应的手部变换参数；将所述包含手部的人物图像输入分割网络得到相应的手部分层图像和背景图片；将所述手部变换参数带入到所述手部分层图像，得到相应的手部变换图像；将所述手部变换图像和所述背景图片输入生成网络得到最终的图像。针对生成和语音相匹配的手部动作经常会存在手部截断、错位等效果不佳的问题，本发明采用手部变换来刻画手部运动，并通过深度网络，有效、准确地生成带手部动作的图像。
-
公开(公告)号：CN117372553B
公开(公告)日：2024-05-10
申请号：CN202311085684.5
申请日：2023-08-25
Applicant: 华院计算技术(上海)股份有限公司
Abstract: 一种人脸图像生成方法及装置、计算机可读存储介质、终端，方法包括：确定人脸图像生成模型，包括图像编码子模型、音频编码子模型、音频映射子模型以及解码子模型；将驱动音频输入音频编码子模型，得到音频编码特征，以及将下半部分被遮挡的人脸图像输入图像编码子模型，得到人脸图像编码特征；将音频编码特征输入音频映射子模型，得到权重向量；采用权重向量，对预设的多个记忆口型编码特征进行加权运算，得到融合口型特征，其中，多个记忆口型编码特征对应于不同类型的口型；将音频编码特征、人脸图像编码特征以及融合口型特征，输入解码子模型，得到人脸生成图像。上述方案有助于提高人脸生成图像与驱动音频的口型匹配度。
-
公开(公告)号：CN117893579A
公开(公告)日：2024-04-16
申请号：CN202410098078.5
申请日：2024-01-23
Applicant: 华院计算技术(上海)股份有限公司
IPC: G06T7/269 , G06T3/4038 , G06V10/80 , G06T5/50 , G06N3/0464 , G06N3/08 , G06F17/16
Abstract: 一种人物插帧图像生成方法及装置、计算机可读存储介质、终端，所述方法包括：获取第一图像的像素矩阵和第二图像的像素矩阵，并拼接得到第一拼接矩阵，所述第一图像和所述第二图像包含相同的目标人物；根据所述第一拼接矩阵预测得到所述目标人物的人体预测特征，以及对所述第一拼接矩阵进行特征提取，得到图像特征，所述人体预测特征包含所述目标人物在人物插帧图像所属时刻的预测人体信息；对所述目标人物的人体预测特征和所述图像特征进行特征融合，得到融合特征；对所述融合特征进行解码，得到所述人物插帧图像。上述方案有助于获得清晰度更高、质量更佳的人物插帧图像。
-
-
-
-
-
-
-
-
-
Search Results
45
records
(took 0.044 seconds)
