公开(公告)号：CN119920014A

公开(公告)日：2025-05-02

申请号：CN202510406323.9

申请日：2025-04-02

Applicant: 南昌大学

Inventor： 闵卫东 ,  张瑶 ,  韩清 ,  杨菁 ,  项洪越

IPC: G06V40/20 ,  G06V10/80 ,  G06V10/77 ,  G06V10/764 ,  G06V10/82 ,  G06V10/40 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 本申请属于计算机视觉技术领域，公开了一种手‑物估计方法、系统、电子设备及存储介质，该方法包括：获取手‑物交互图像并提取手部和物体深层特征图；预测手部顶点2D坐标和物体2D坐标；将手部顶点2D坐标与手部深层特征图、物体2D坐标与物体深层特征图分别进行姿势对齐，得到手部和物体姿势对齐特征，再映射到3D空间，得到手部和物体3D空间特征；通过交叉注意力机制捕捉手部与物体3D空间特征的细粒度交互性，生成手部和物体增强特征；利用对比学习增强手部顶点间的相似性及其与环境体素的差异性，得到手部空间优化特征；最后解码物体增强特征和手部空间优化特征，输出手‑物估计结果。该方法能够提升3D交互式手‑物姿态估计方法的性能。

公开(公告)号：CN119916946A

公开(公告)日：2025-05-02

申请号：CN202510397125.0

申请日：2025-04-01

Applicant: 南昌大学

Inventor： 闵卫东 ,  张瑶 ,  韩清 ,  杨菁 ,  项洪越

IPC: G06F3/01

Abstract: 本申请属于计算机视觉技术领域，公开了基于接触建模与接触区域对齐的虚拟手势生成方法及系统，该方法包括：获取并预处理手‑物接触数据样本，对手‑物接触数据样本进行点云特征提取，得到手‑物点云初始特征；利用条件变分自编码器对手‑物点云初始特征中的物体接触位置、手部接触位置、手部接触部位以及手部接触方向进行联合接触建模，得到联合接触表示，基于联合接触表示，利用接触预测模型获得手‑物预测接触图；根据手‑物预测接触图，在全局和局部两个层次分别对手部和物体的接触区域进行对齐约束，优化手的全局姿势参数和局部关节姿势参数，得到最终的抓取手势。该方法能够提升虚拟手势在复杂交互场景下的准确性和现实性。