-
公开(公告)号：CN111767711B
公开(公告)日：2020-12-08
申请号：CN202010910566.3
申请日：2020-09-02
Applicant: 之江实验室
IPC: G06F40/211 , G06F40/30 , G06K9/62 , G06N5/02 , G06N20/00
Abstract: 本发明公开了一种基于知识蒸馏的预训练语言模型的压缩方法及平台，该方法首先设计一种普适的特征迁移的知识蒸馏策略，在教师模型的知识蒸馏到学生模型的过程中，将学生模型每一层的特征映射逼近教师的特征，重点关注小样本在教师模型中间层特征表达能力，并利用这些特征指导学生模型；然后利用教师模型的自注意力分布具有检测词语之间语义和句法的能力构建一种基于自注意力交叉知识蒸馏方法；最后为了提升学习模型训练前期的学习质量和训练后期的泛化能力，设计了一种基于伯努利概率分布的线性迁移策略逐渐完成从教师到学生的特征映射和自注意分布的知识迁移。通过本发明，将面向多任务的预训练语言模型进行自动压缩，提高语言模型的压缩效率。
-
公开(公告)号：CN118015161B
公开(公告)日：2024-06-28
申请号：CN202410416937.0
申请日：2024-04-08
Applicant: 之江实验室
IPC: G06T13/40 , G06T7/254 , G06F40/216 , G06F40/284 , G06N3/0455 , G06N3/0464 , G06N3/08
Abstract: 本说明书公开了一种康复视频的生成方法及装置。所述任务执行方法包括：获取各组康复动作的描述信息，将描述信息输入到预设的第一文本处理模型中，得到每组康复动作对应的动作序列信息，针对每组康复动作，将该组康复动作对应的动作序列信息输入到预先训练的特征表征模型中，以确定该组康复动作对应的动作特征。然后，针对每组康复动作，将该组康复动作对应的动作特征和预设的三维人体模型输入到动作形状预测网络中，得到三维人体模型执行该组康复动作所得到的视频中每帧图像对应的肢体形态。针对待生成的每帧图像，基于该帧图像对应的肢体形态，对该帧图像的上一帧图像进行调整，以得到该帧图像，最后生成描述信息对应的康复视频。
-
公开(公告)号：CN117978937B
公开(公告)日：2024-06-25
申请号：CN202410369278.X
申请日：2024-03-28
Applicant: 之江实验室
IPC: H04N5/262 , G06V40/20 , G06V10/44 , G06V10/82 , G06N3/0464 , G06N3/08 , H04N13/106
Abstract: 本说明书公开了一种视频生成的方法、装置、存储介质及电子设备。其中，首先获取康复运动训练原始视频，并提取该康复运动训练原始视频中包含的每一帧图像的图像特征以及所述康复运动训练原始视频中包含的各个帧图像之间的康复运动的动作姿态的变化特征，进而根据提取到的图像特征，确定该康复运动训练原始视频中包含的每一帧图像对应的人体姿态信息，根据提取到的变化特征，确定该康复运动训练原始视频中包含的每一帧图像对应的人体姿态信息中所包含的各个关节点的权重信息，最后根据确定出的每帧图像对应的权重信息，确定出每帧图像对应的扩展人体姿态信息，并根据每帧图像对应的扩展人体姿态信息，生成扩展康复运动训练视频。
-
公开(公告)号：CN117854666B
公开(公告)日：2024-06-04
申请号：CN202410262492.5
申请日：2024-03-07
Applicant: 之江实验室
Abstract: 本说明书公开了一种三维人体康复数据集构建方法及装置。在本说明书提供的三维人体康复数据集构建方法中，通过红外采集设备采集目标用户在执行预设的各标准动作时的动作捕捉数据，并通过视频采集设备采集目标用户在执行各标准动作时的目标视频；对目标视频进行裁剪，得到若干动作视频，其中，每个动作视频中包含目标用户在执行一个标准动作时的视频内容；针对每个动作视频，根据该动作视频中目标用户执行的标准动作确定该动作视频的动作标签；根据动作捕捉数据与该动作视频，确定与该动作视频的动作标签对应的二维人体关键点数据和三维人体网格数据；根据动作标签、二维人体关键点数据与三维人体网格数据，构建三维人体康复数据集。
-
公开(公告)号：CN117893696B
公开(公告)日：2024-05-28
申请号：CN202410301175.X
申请日：2024-03-15
Applicant: 之江实验室
Abstract: 本说明书公开了一种三维人体数据生成方法、装置、存储介质及电子设备。所述三维人体数据生成方法包括：获取患者的基础图片数据，根据基础图片数据中包含的患者的姿态信息，确定构建患者的三维人体模型所需的每个体积原语的配置参数，并根据配置参数构建患者的目标三维人体模型，根据预先确定的目标运动数据，驱动目标三维人体模型做出相应的动作，并生成目标运动数据对应的在指定视角下患者的视频数据，目标运动数据包括不同运动姿态下患者的关节节点的坐标，根据视频数据、目标运动数据，生成患者的三维人体数据集，从而可以降低获取患者的三维人体数据的难度。
-
Patent Agency Ranking
公开(公告)号：CN117893692B
公开(公告)日：2024-05-28
申请号：CN202410281175.8
申请日：2024-03-12
Applicant: 之江实验室
Abstract: 本说明书公开了一种基于对称视图的三维重建方法、装置及存储介质，在本说明书提供的方法中，生成模型包括编码层、生成层、聚合层和渲染层，确定第一初始模型在第一视图的相机坐标系的各坐标面上的第一投影特征，第二初始模型在第二视图的相机坐标系的各坐标面上的第二投影特征，对各第一投影特征和各第二投影特征进行空间对齐，确定全局特征，将全局特征输入渲染层，得到三维模型。这样，通过将各第一投影特征和各第二投影特征进行空间对齐，可得到包含重建目标物全局三维空间信息的全局特征，根据全局特征可渲染出重建目标物的三维模型，不需要不同视角视图的重叠部分进行空间对齐，减少了三维重建所需的视图数量，提高了三维重建效率。
-
公开(公告)号：CN117876610B
公开(公告)日：2024-05-24
申请号：CN202410281172.4
申请日：2024-03-12
Applicant: 之江实验室
IPC: G06T17/00 , G06V10/74 , G06V10/774 , G06V10/40 , G06V10/80
Abstract: 本说明书公开了一种针对三维构建模型的模型训练方法、装置、存储介质，其中，首先获取人体视图集，人体视图集中包括目标人体的前视图和后视图；从人体视图集中确定第一视图以及第二视图，第一视图和第二视图所对应的采集视角不同；确定第一视图对应的采集视角，作为第一目标视角，并获取采集视角位于第一目标视角邻域范围内的针对目标人体所采集到的视图，作为第一参照视图，然后将各视图输入到待训练的三维构建模型中进行特征提取，最后以最小化第二视图对应的图像特征与第一参照视图对应的图像特征之间的相似度，以及最大化第一视图对应的图像特征与第一参照视图对应的图像特征之间的相似度为优化目标，对三维构建模型进行训练。
-
公开(公告)号：CN117911630B
公开(公告)日：2024-05-14
申请号：CN202410308245.4
申请日：2024-03-18
Applicant: 之江实验室
Abstract: 本说明书公开了一种三维人体建模的方法、装置、存储介质及电子设备，具体包括：确定人体视频序列中各视频图像的人体特征数据和背景特征数据。通过稳定扩散模型根据人体特征数据和背景特征数据生成各视频图像的人体图像和背景图像，进而确定出每个人体图像针对各人体图像的人体特征权重值，以及确定出每个背景图像针对各背景图像的背景特征权重值。根据人体图像和人体特征权重值，生成人体建模数据，根据背景图像和背景特征权重值，生成背景建模数据。根据人体建模数据和背景建模数据，构建三维视频人体模型。通过本说明书中的方法可以有效利用时间维度的更深层次的有用信息，极大程度上提升了三维人体视频模型与真实人体之间的相似度和准确性。
-
公开(公告)号：CN117975202A
公开(公告)日：2024-05-03
申请号：CN202410388685.5
申请日：2024-04-01
Applicant: 之江实验室
IPC: G06V10/774 , G06V10/10 , G06V10/30
Abstract: 本说明书公开了模型训练方法、业务执行方法、装置、介质及设备，专用设备通过将获取的初始残缺点云数据进行填充处理，得到待处理点云数据，而后将待处理点云数据以及该待处理点云数据所需的去噪次数N输入到待训练的点云处理模型中进行去噪，进而得到第一输出点云数据，根据此第一输出点云数据以及初始残缺点云数据对应的标签点云数据，即可对点云处理模型进行训练。训练后的点云处理模型可以将残缺点云数据对应的待处理点云数据去噪，从而获取残缺点云对应的去噪后的点云数据。该去噪后的点云数据相对于残缺点云数据更加完整，可通过此去噪后的点云数据作为还原点云数据，从而构建人体模型，进而执行目标业务。
-
公开(公告)号：CN117934858A
公开(公告)日：2024-04-26
申请号：CN202410329387.9
申请日：2024-03-21
Applicant: 之江实验室
Abstract: 本说明书公开了一种点云的处理方法、装置、存储介质及电子设备，获取目标物的原始粗略点云，将原始粗略点云输入三维表面生成模型的特征提取层，以使特征提取层提取原始粗略点云在若干平面上的平面特征。将平面特征输入三维表面生成模型的流变换层，以使该流变换层对平面特征进行变换，得到变换后的平面特征，并使该流变换层对变换后的平面特征进行去噪，得到去噪后的平面特征。将去噪后的平面特征输入三维表面生成模型的结果预测层，得到结果预测层输出的目标物的最终精准点云。该方法使得得到的最终精准点云构成的目标物的三维表面更精确，也即提高了最终精准点云构成的目标物的形状与目标物的真实形状相似度。
-
-
-
-
-
-
-
-
-
Search Results
133
records
(took 0.042 seconds)
