公开(公告)号：CN119245634A

公开(公告)日：2025-01-03

申请号：CN202411322461.0

申请日：2024-09-23

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 赵毅 ,  王一峰 ,  师孟笛

IPC: G01C21/16 ,  G01C21/20 ,  G06F18/25 ,  G06F18/213 ,  G06V40/20 ,  G06V10/44 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 本申请公开了一种基于惯性‑视觉信号增强与融合的运动分析系统，涉及智能感知和融合技术领域，该系统中惯性传感器模块用于采集运动对象的惯性信号；视觉传感器模块用于采集人体关键点信息；信号处理模块，用于利用改进后的深度学习模型对惯性信号进行增强处理，并基于KAN对惯性信号中的超量程信号进行重构；惯性‑视觉信息融合模块，用于基于最优输运理论的多模态特征对齐方法以及SInkhorn算法，将人体关键点信息以及信号处理后的惯性信号进行融合处理，得到运动对象的运动轨迹；运动分析模块，用于基于运动轨迹，分析运动对象的运动模式以及姿态变化。本申请能够准确地捕捉运动对象的运动轨迹并对其进行准确的分析。

公开(公告)号：CN119169701A

公开(公告)日：2024-12-20

申请号：CN202411322456.X

申请日：2024-09-23

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 赵毅 ,  王一峰 ,  包益欣 ,  董显昊 ,  师孟笛

IPC: G06V40/20 ,  G06V10/46 ,  G06V10/44 ,  G06V10/82 ,  G06N3/0442 ,  G06N3/08

Abstract: 本申请公开了一种基于单目相机的三维运动捕捉与智能分析系统及方法，涉及图像处理技术领域，该系统包括输入与预处理模块、特征提取与交互融合模块、人体关键点检测模块、三维姿态重建模块和智能分析模块；通过构建多尺度特征金字塔结构，系统能够在不同分辨率下对特征进行细化处理得到下采样特征图，通过将Mamba模型应用于人体运动捕捉系统中，Mamba模型在时间序列中自适应融合多尺度特征，通过卷积与上采样操作生成融合后的多尺度特征图。提高了关键点检测的精度与稳健性；通过xLSTM模型结合前后帧图像的关键点信息，平滑处理关键点序列，确保了关键点检测的时间一致性和连贯性，进一步提高了人体姿态检测的准确性和稳定性。