公开(公告)号：CN114820899A

公开(公告)日：2022-07-29

申请号：CN202210355511.X

申请日：2022-04-06

Applicant: 中国科学院软件研究所

Inventor： 邓小明 ,  程坚 ,  万炎广 ,  张寅达 ,  马翠霞 ,  王宏安

IPC: G06T15/00

Abstract: 本发明提供一种基于多视角渲染的姿态估计方法和装置，所述方法包括以下步骤：在深度图像中检测出对象区域；从深度图像的对象区域中提取出对象的三维点云；在以对象的三维点云为中心的球面上均匀设置多个虚拟相机；通过神经网络从设置的虚拟相机中选择少量适合进行对象姿态估计的虚拟相机；将对象的三维点云投影到选择的虚拟相机上，渲染出多个视角的对象深度图像；使用三维姿态估计网络对多个视角的深度图像进行三维对象姿态估计；融合多个视角的三维对象姿态得到最终的三维对象姿态。经过实际使用验证，本发明具有自动化程度高、精度高和实时性的优点，可满足专业的或者大众化的应用需求。

公开(公告)号：CN112329525A

公开(公告)日：2021-02-05

申请号：CN202011031929.2

申请日：2020-09-27

Applicant: 中国科学院软件研究所

Inventor： 邓小明 ,  张维 ,  程坚 ,  林泽一 ,  马翠霞 ,  王宏安

IPC: G06K9/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于时空图卷积神经网络的手势识别方法和装置。所述方法包括：获取人手关节序列；基于人手关节序列建立人手骨架时空图；构建人手骨架时空图上的时间注意力和空间注意力机制；构建时间金字塔池化层，提取多尺度的时间特征；使用人手关节和人手运动两种类型的输入数据设计双分支网络，获取人手关节之间的关联性，可以提取人手关节序列具有强鉴别力的特征，进行特征融合和手势识别。本发明具有精度高和实时性的优点，可满足专业的或者大众化的应用需求。

公开(公告)号：CN114820899B

公开(公告)日：2025-04-29

申请号：CN202210355511.X

申请日：2022-04-06

Applicant: 中国科学院软件研究所

Inventor： 邓小明 ,  程坚 ,  万炎广 ,  张寅达 ,  马翠霞 ,  王宏安

IPC: G06F30/27

Abstract: 本发明提供一种基于多视角渲染的姿态估计方法和装置，所述方法包括以下步骤：在深度图像中检测出对象区域；从深度图像的对象区域中提取出对象的三维点云；在以对象的三维点云为中心的球面上均匀设置多个虚拟相机；通过神经网络从设置的虚拟相机中选择少量适合进行对象姿态估计的虚拟相机；将对象的三维点云投影到选择的虚拟相机上，渲染出多个视角的对象深度图像；使用三维姿态估计网络对多个视角的深度图像进行三维对象姿态估计；融合多个视角的三维对象姿态得到最终的三维对象姿态。经过实际使用验证，本发明具有自动化程度高、精度高和实时性的优点，可满足专业的或者大众化的应用需求。

公开(公告)号：CN116452660A

公开(公告)日：2023-07-18

申请号：CN202310284524.7

申请日：2023-03-22

Applicant: 中国科学院软件研究所

Inventor： 邓小明 ,  程坚 ,  曲文天 ,  张寅达 ,  崔兆鹏 ,  马翠霞 ,  王宏安

IPC: G06T7/73 ,  G06T7/194 ,  G06T7/246 ,  G06V40/10 ,  G06V10/82 ,  G06N3/0442 ,  G06N3/08

Abstract: 本发明提供一种基于循环迭代优化的姿态估计方法和装置。该方法构建循环迭代网络，在每次循环迭代的每个阶段利用通过姿态得到的变换矩阵将点云进行对齐，然后计算对齐后点云的关节位置；在下次迭代的第一阶段利用当前迭代第三阶段得到的变换矩阵，用于将点云进行对齐；在第二阶段预测关节过程中加入循环姿势估计模块，利用LSTM模块保存当前迭代过程中的记忆单元和隐藏状态，并可将记忆单元和隐藏状态传递到下次迭代的LSTM模块中以提升预测的准确性；训练多次迭代的循环迭代网络，利用训练完成的循环迭代网络预测对象的关键点位置。本发明可以明显提高姿态估计的精度，具有自动化程度高、精度高和速度快的优点，可满足专业的或者大众化的应用需求。