公开(公告)号：CN112241455B

公开(公告)日：2021-05-04

申请号：CN202011498328.2

申请日：2020-12-17

Applicant: 之江实验室

Inventor： 王宏升 ,  王恩平 ,  俞再亮

IPC: G06F16/35 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于多层级知识蒸馏的预训练语言模型自动压缩方法及平台，所述方法包括如下步骤：步骤一、构建多层级知识蒸馏，在自注意力单元、隐藏层状态、嵌入层三个不同层级上蒸馏大模型的知识结构；步骤二、训练元学习的知识蒸馏网络，生成多种预训练语言模型的通用压缩架构；步骤三、基于进化算法搜索最佳压缩结构。首先，研究基于元学习的知识蒸馏生成多种预训练语言模型的通用压缩架构；其次，在已训练好的元学习网络基础上，通过进化算法搜索最佳压缩结构，由此得到与任务无关的预训练语言模型的最优通用压缩架构。

公开(公告)号：CN118211132A

公开(公告)日：2024-06-18

申请号：CN202410633939.5

申请日：2024-05-21

Applicant: 之江实验室

Inventor： 王宏升 ,  林峰

IPC: G06F18/2411 ,  G06F18/214

Abstract: 本说明书公开了一种基于点云的三维人体表面数据生成方法及装置，终端设备先获取人体的初始点云，而后确定出初始点云对应的初始特征分布，在提取初始点云对应的初始特征分布之后，通过特征向量提取模型更准确的提取初始特征分布所对应的初始特征向量，而后通过将初始特征向量输入预测模型，得到预测特征向量，将预测特征向量转化为预测特征信息，而后通过初始点云与预测特征分布得到初始点云中每个点云点对应的重构特征信息，并根据重构特征信息生成人体表面数据。通过特征向量提取模型更准确的提取初始特征分布所对应的初始特征向量，并通过预测模型对初始特征向量进行优化，提高了生成出的人体表面数据的精细度与真实度。

公开(公告)号：CN117893697B

公开(公告)日：2024-05-31

申请号：CN202410301176.4

申请日：2024-03-15

Applicant: 之江实验室

Inventor： 王宏升 ,  林峰

IPC: G06T17/00 ,  G16H30/40 ,  G06T19/20 ,  G06V10/80 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/042

Abstract: 本说明书公开了一种三维人体视频重建方法、装置、存储介质及电子设备。所述三维人体视频重建方法包括：获取患者的视频数据以及视频数据对应的文本数据，将视频数据和文本数据分别输入到语言图像模型的图像编码器以及文本编码器中，以视频数据对应的各图像特征表示和各文本特征表示，将各图像特征表示和各文本特征表示输入到交叉模块中，以通过交叉模块针对每个图像特征表示，根据该图像特征表示和其他每个文本特征表示之间的相关度，视频数据对应的融合特征表示，进而将融合特征表示输入到解码器，以通过解码器确定患者的模型参数，并根据模型参数构建患者的人体三维模型。

公开(公告)号：CN117880444B

公开(公告)日：2024-05-24

申请号：CN202410281162.0

申请日：2024-03-12

Applicant: 之江实验室

Inventor： 王宏升 ,  林峰

IPC: H04N5/262 ,  G06V10/40 ,  G06V20/40 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0442 ,  G06N3/045 ,  G06N3/0455 ,  G06N3/08

Abstract: 本说明书公开了一种长短时特征引导的人体康复运动视频数据生成方法，可以通过视频生成模型中的图像参考网络，提取得到参考图像对应的图像参考特征，以及将第k‑1个分段视频样本输入到视频生成模型中的视频参考网络中，得到视频参考特征。通过生成的噪声，对第k个分段视频样本进行加噪，得到加噪后的分段视频样本，并将第k个分段姿态序列、加噪后的分段视频样本、视频参考特征以及图像参考特征，输入到视频生成模型中的稳定扩散网络中，通过稳定扩散网络预测对第k个分段视频样本加入的噪声，得到预测噪声；以最小化预测噪声与生成的噪声之间的差异为优化目标，对视频生成模型进行训练，从而提高了视频生成质量。

公开(公告)号：CN117994470A

公开(公告)日：2024-05-07

申请号：CN202410410295.3

申请日：2024-04-07

Applicant: 之江实验室

Inventor： 王宏升 ,  林峰

IPC: G06T17/20 ,  G06T9/00

Abstract: 本说明书公开了一种多模态层次自适应的数字网格重建方法及装置，将待重建对象的目标模态的数据和目标文本输入特征增强模块，得到第一特征和第二特征，通过第一编码器和第二编码器以此得到第一目标特征和第二目标特征，进而，通过专家积模型将第一目标特征对应的第一正态分布和第二目标特征对应的第二正态分布融合，得到第三正态分布，根据第一正态分布、第二正态分布和第三正态分布，通过第一解码器和第二解码器得到第一数字网格属性和第二数字网格属性，进而以此重建得到待重建对象的三维数字网格。可见，通过上述方案，能够更好地利用不同模态的信息，增强整体的信息表征能力，从而提高三维网格重建任务的性能。

公开(公告)号：CN117909840A

公开(公告)日：2024-04-19

申请号：CN202410315426.X

申请日：2024-03-19

Applicant: 之江实验室

Inventor： 王宏升 ,  林峰

IPC: G06F18/241 ,  G06N20/00

Abstract: 本说明书公开了一种模型训练方法、装置、存储介质及电子设备，专用设备在获取用户输入的训练样本集以及用户对待训练模型的模型偏好信息后，即可根据模型偏好信息，确定出训练出的模型可满足用户需求的训练策略以及训练模型需要调度的系统资源，并根据确定出的训练策略以及确定出的需要调度的系统资源，生成可执行的用于训练模型的训练工作流程序，而后，专用设备即可执行生成出的训练工作流程序，从而创建待训练模型，进而通过用户输入的训练样本集执行训练创建出的待训练模型的训练任务。只需用户将训练样本集以及针对待训练模型的偏好信息输入到专用设备，专用设备即可根据用户输入的数据执行训练任务，增强了用户体验并提高了模型训练效率。

公开(公告)号：CN117689822B

公开(公告)日：2024-04-16

申请号：CN202410136686.0

申请日：2024-01-31

Applicant: 之江实验室

Inventor： 王宏升 ,  林峰 ,  岳金鸿 ,  杨鑫 ,  徐迅

IPC: G06T17/00 ,  G06T7/73 ,  G06T3/4007 ,  G06T3/4046 ,  G06N3/0475 ,  G06N3/094

Abstract: 本说明书公开了一种三维模型构建方法、装置、存储介质及电子设备，通过提示参数，对生成器的参数进行调整，可使得生成器生成的图像特征为提示要求的图像特征。也就是说，通过提示参数，对生成器生成的图像特征进行限制，增强生成器的控制能力。对初始视角图像特征进行位置编码，获取了若干个预设视角图像特征，获取了不同于初始视角的图像特征可提高根据图像特征构建三维模型的准确性，减少当生成器的生成准确率较低时，对构建的三维模型的影响。

公开(公告)号：CN117830564A

公开(公告)日：2024-04-05

申请号：CN202410250378.0

申请日：2024-03-05

Applicant: 之江实验室

Inventor： 王宏升 ,  林峰

IPC: G06T17/20 ,  G06V20/40 ,  G06V40/20 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/09

Abstract: 本说明书公开了一种姿态分布指导的三维虚拟人模型重建方法，该方法适用于从视频中生成出三维人体网格序列，首先可以提取得到视频数据对应的视频图像特征、语义特征以及视频序列特征，将视频图像特征和语义特征输入到重建模型中的U形神经网络中，得到中间层输出结果，将语义特征、视频序列特征和U形神经网络的中间层输出结果输入到重建模型中的稳定扩散网络中，得到人体姿态特征，以及确定出视频数据对应的原始分布，通过流方法将视频数据中人体的原始分布进行转换，得到姿态分布，根据姿态分布对人体姿态特征进行强化，得到强化后的人体姿态特征，以根据强化后的人体姿态特征，进行人体三维模型重建，从而提高了人体三维模型重建的准确度。

公开(公告)号：CN117808976A

公开(公告)日：2024-04-02

申请号：CN202410236989.X

申请日：2024-03-01

Applicant: 之江实验室

Inventor： 王宏升 ,  林峰

IPC: G06T17/00 ,  G06N3/0464 ,  G06N3/049 ,  G06N3/08

Abstract: 本说明书公开了一种三维模型构建方法、装置、存储介质及电子设备，通过特征提取模型提取人体二维图像中的得到第一人体外观特征向量，通过扩散模型对第一人体外观特征向量进行特征补充，可使得该人体二维图像中被遮挡的人体部位的外观特征被补充，得到第二人体外观特征向量，根据补充后的人体外观特征向量，即第二人体外观特征向量，构建人体三维模型，提高了人体三维模型的准确性。

公开(公告)号：CN117726907A

公开(公告)日：2024-03-19

申请号：CN202410171192.6

申请日：2024-02-06

Applicant: 之江实验室

Inventor： 王宏升 ,  林峰

IPC: G06V10/774 ,  G06V40/10 ,  G06T17/00

Abstract: 本说明书提供的一种建模模型的训练方法、三维人体建模的方法以及装置，获取人体二维图像，并将人体二维图像的图像代理特征输入到第一编码层，得到顶点特征、关节点旋转特征、形状特征，并将采集人体二维图像的相机的相机参数输入到第一编码层中，得到相机特征。将图像代理特征、顶点特征、关节点旋转特征、形状特征以及相机特征输入到第二编码层，第二编码层可以将图像代理特征、顶点特征、关节点旋转特征、形状特征以及相机特征关联，得到编码特征，并根据编码特征，得到三维人体模型中包含顶点坐标集以及关节点坐标集，以最小化顶点坐标集与实际顶点坐标集之间的偏差，和最小化关节点坐标集与实际关节点坐标集之间的偏差，训练建模模型。