-
公开(公告)号：CN117808976B
公开(公告)日：2024-05-24
申请号：CN202410236989.X
申请日：2024-03-01
Applicant: 之江实验室
IPC: G06T17/00 , G06N3/0464 , G06N3/049 , G06N3/08
Abstract: 本说明书公开了一种三维模型构建方法、装置、存储介质及电子设备，通过特征提取模型提取人体二维图像中的得到第一人体外观特征向量，通过扩散模型对第一人体外观特征向量进行特征补充，可使得该人体二维图像中被遮挡的人体部位的外观特征被补充，得到第二人体外观特征向量，根据补充后的人体外观特征向量，即第二人体外观特征向量，构建人体三维模型，提高了人体三维模型的准确性。
-
公开(公告)号：CN118015161A
公开(公告)日：2024-05-10
申请号：CN202410416937.0
申请日：2024-04-08
Applicant: 之江实验室
IPC: G06T13/40 , G06T7/254 , G06F40/216 , G06F40/284 , G06N3/0455 , G06N3/0464 , G06N3/08
Abstract: 本说明书公开了一种康复视频的生成方法及装置。所述任务执行方法包括：获取各组康复动作的描述信息，将描述信息输入到预设的第一文本处理模型中，得到每组康复动作对应的动作序列信息，针对每组康复动作，将该组康复动作对应的动作序列信息输入到预先训练的特征表征模型中，以确定该组康复动作对应的动作特征。然后，针对每组康复动作，将该组康复动作对应的动作特征和预设的三维人体模型输入到动作形状预测网络中，得到三维人体模型执行该组康复动作所得到的视频中每帧图像对应的肢体形态。针对待生成的每帧图像，基于该帧图像对应的肢体形态，对该帧图像的上一帧图像进行调整，以得到该帧图像，最后生成描述信息对应的康复视频。
-
公开(公告)号：CN117911630A
公开(公告)日：2024-04-19
申请号：CN202410308245.4
申请日：2024-03-18
Applicant: 之江实验室
Abstract: 本说明书公开了一种三维人体建模的方法、装置、存储介质及电子设备，具体包括：确定人体视频序列中各视频图像的人体特征数据和背景特征数据。通过稳定扩散模型根据人体特征数据和背景特征数据生成各视频图像的人体图像和背景图像，进而确定出每个人体图像针对各人体图像的人体特征权重值，以及确定出每个背景图像针对各背景图像的背景特征权重值。根据人体图像和人体特征权重值，生成人体建模数据，根据背景图像和背景特征权重值，生成背景建模数据。根据人体建模数据和背景建模数据，构建三维视频人体模型。通过本说明书中的方法可以有效利用时间维度的更深层次的有用信息，极大程度上提升了三维人体视频模型与真实人体之间的相似度和准确性。
-
公开(公告)号：CN117893697A
公开(公告)日：2024-04-16
申请号：CN202410301176.4
申请日：2024-03-15
Applicant: 之江实验室
IPC: G06T17/00 , G16H30/40 , G06T19/20 , G06V10/80 , G06N3/0455 , G06N3/0464 , G06N3/042
Abstract: 本说明书公开了一种三维人体视频重建方法、装置、存储介质及电子设备。所述三维人体视频重建方法包括：获取患者的视频数据以及视频数据对应的文本数据，将视频数据和文本数据分别输入到语言图像模型的图像编码器以及文本编码器中，以视频数据对应的各图像特征表示和各文本特征表示，将各图像特征表示和各文本特征表示输入到交叉模块中，以通过交叉模块针对每个图像特征表示，根据该图像特征表示和其他每个文本特征表示之间的相关度，视频数据对应的融合特征表示，进而将融合特征表示输入到解码器，以通过解码器确定患者的模型参数，并根据模型参数构建患者的人体三维模型。
-
公开(公告)号：CN117874706A
公开(公告)日：2024-04-12
申请号：CN202410281158.4
申请日：2024-03-12
Applicant: 之江实验室
IPC: G06F18/25 , G06F18/213 , G06F40/30 , G06V10/40 , G06V10/80 , G06V10/82 , G06N3/045 , G06N3/0455 , G06N3/0499 , G06N3/0464 , G06N3/096
Abstract: 本说明书公开了一种多模态知识蒸馏学习方法及装置。采用本申请提供的多模态知识蒸馏学习方法，可通过本申请所设计的多模态模型中的语义学习子网和视觉学习子网，分别生成学习了图像信息的文本特征以及学习了文本信息的图像特征，并将二者对齐到同一语义空间中，最终通过输出子网融合生成同时包含语义和视觉信息的多模态特征。
-
Patent Agency Ranking
公开(公告)号：CN117745956A
公开(公告)日：2024-03-22
申请号：CN202410189825.6
申请日：2024-02-20
Applicant: 之江实验室
Abstract: 本说明书公开了一种基于位姿引导的图像生成方法、装置、介质及设备。所述方法包括：获取用户的人体点云数据；将人体点云数据输入预设的图像生成模型，确定人体点云数据在三个相互垂直的投影面上的各平面特征；将各平面特征进行融合，得到融合特征，以及，将各平面特征中的指定投影面对应的平面特征作为目标平面特征，根据目标平面特征，确定用户各关节对应的位姿特征；根据融合特征，构建用户的初始三维图像；将初始三维图像以及位姿特征输入预设的扩散模型，对初始三维图像添加噪声，得到加噪后图像；基于位姿特征，对加噪后图像进行还原，得到目标三维图像。本方案提高了生成的人体图像的精度和准确性。
-
公开(公告)号：CN117689822A
公开(公告)日：2024-03-12
申请号：CN202410136686.0
申请日：2024-01-31
Applicant: 之江实验室
IPC: G06T17/00 , G06T7/73 , G06T3/4007 , G06T3/4046 , G06N3/0475 , G06N3/094
Abstract: 本说明书公开了一种三维模型构建方法、装置、存储介质及电子设备，通过提示参数，对生成器的参数进行调整，可使得生成器生成的图像特征为提示要求的图像特征。也就是说，通过提示参数，对生成器生成的图像特征进行限制，增强生成器的控制能力。对初始视角图像特征进行位置编码，获取了若干个预设视角图像特征，获取了不同于初始视角的图像特征可提高根据图像特征构建三维模型的准确性，减少当生成器的生成准确率较低时，对构建的三维模型的影响。
-
-
公开(公告)号：CN116541018B
公开(公告)日：2023-09-15
申请号：CN202310727219.0
申请日：2023-06-19
Applicant: 之江实验室
Abstract: 本说明书公开了一种分布式模型编译系统，该系统的主节点根据模型信息确定模型的逻辑计算图，将逻辑计算图划分为多个逻辑子计算图，针对每一个逻辑子计算图生成调度消息，然后将该调度消息发送到各从节点。各从节点根据收到的调度消息，分配本地计算资源对逻辑子计算图进行编译，并向主节点发送编译完成信息。主节点根据各从节点返回的编译完成信息，确定模型编译完成，并根据编译完毕的模型执行目标业务。子图的编译过程不再由主节点执行，而是分配至各从节点进行，提高从节点计算资源利用率，减少主节点的负载。主节点不再执行全局计算图的编译，还可以减少从节点等待时间，更加充分的利用了主节点和从节点的计算资源和存储资源。
-
公开(公告)号：CN116107728B
公开(公告)日：2023-08-18
申请号：CN202310390935.4
申请日：2023-04-06
Applicant: 之江实验室
IPC: G06F9/48
Abstract: 本说明书公开了一种任务执行方法、装置、存储介质及电子设备。所述任务执行方法包括：获取目标模型的模型数据，对模型数据进行解析，确定执行针对目标模型的计算任务时所涉及的指令类型以及指令对象，并基于指令类型以及指令对象，生成各计算指令，针对每个计算指令，根据该计算指令对应指令对象的分配信息，在预设的各计算单元中确定出执行该计算指令的至少一个目标单元，以及，生成该计算指令对应的推导指令，基于各计算指令以及各计算指令对应的推导指令，生成各物理指令，并将各物理指令发送到执行各计算指令的目标单元，以执行针对目标模型的计算任务。
-
-
-
-
-
-
-
-
-
Search Results
133
records
(took 0.038 seconds)
