一种基于Mamba的实时2D关键点检测方法及装置

    公开(公告)号:CN119942638A

    公开(公告)日:2025-05-06

    申请号:CN202411949509.0

    申请日:2024-12-27

    Abstract: 本申请提出一种基于Mamba的实时2D关键点检测方法及装置,涉及二维关键点检测领域,其中,方法包括:通过基于卷积神经网络的Stem网络接收输入图像,并提取初始姿态特征,获得初步特征;利用基于逐块递归特征提取模型的编码器处理所述初始特征,输出多级姿态特征,其中,所述编码器包括多个阶段,每个阶段都由上下文建模模块、二维选择性扫描模块和归一化层组成;使用解码器将所述编码器输出的多级姿态特征上采样为关键点热图,每个关键点的热图表示目标实例的关键点位置。本申请通过基于Mamba的轻量化网络结构设计,解决了传统方法中难以兼顾关键点检测实时性与高精度的技术问题,显著提升了关键点检测的实时性能和检测精度。

    一种3D视觉定位方法
    5.
    发明公开

    公开(公告)号:CN118447084A

    公开(公告)日:2024-08-06

    申请号:CN202410271051.1

    申请日:2024-03-11

    Inventor: 尹建芹 耿亮

    Abstract: 本发明公开了一种3D视觉定位方法,属于3D视觉技术领域,其包括以下步骤:S1、三维场景图构建:从视觉场景中提取对象O的输入点云,构建一个从语义到实例的分层场景图;S2、具身视角观测体系:在3D空间中推理与文本指令相符的具身视角;S3、具身视角推理图构建:根据输入语言U和3D场景图利用LLMs进行联合推理,获得查询物体的类别、属性以及具身视角等信息;S4、具身视角推理:根据视角下的情景,在Graph上进行深度优先搜索,筛选目标对象。本发明通过引入ViewInfer3D,这是一种新颖的3D视觉定位方法,利用大型语言模型(LLMs)作为协调定位过程的中心代理。我们提出的3D场景图与LLM相结合的方式推理方式,减少了LLMs处理的token数量和推理难度并有利于发现隐含视角。

    一种端到端的局部视频行为语义预测方法

    公开(公告)号:CN116259074A

    公开(公告)日:2023-06-13

    申请号:CN202310079023.5

    申请日:2023-01-17

    Abstract: 本发明提出一种端到端的局部视频行为语义预测方法,包括,获取包含人体运动的视频;对视频中的片段采样x帧原始帧,对x帧原始帧的RGB差分信息进行下采样,通过2D卷积网络对下采样得到的RGB差分特征进行特征提取,获得局部运动特征,对局部运动特征进行上采样,获得最终的局部运动特征;将原始帧通过2D卷积网络得到局部空间特征,将最终的局部运动特征与局部空间特征融合得到融合特征;将融合特征与局部运动特征融合得到片段的时空特征;根据视频中所有片段的时空特征,得到历史全局尺度,根据历史全局尺度对视频进行动作类别预测。通过本发明提出的方法,实现了以端到端的方式预测局部视频中的人体行为语义。

    一种基于改进郊狼优化算法的特征选择方法

    公开(公告)号:CN112085147A

    公开(公告)日:2020-12-15

    申请号:CN202010975367.0

    申请日:2020-09-16

    Inventor: 张志成 尹建芹

    Abstract: 本发明公开了一种基于改进郊狼优化算法的特征选择方法,包括如下步骤:从数据集中获取待选择的特征;初始化郊狼种群,获得郊狼的社会条件;将郊狼的社会条件转化为二进制数据;计算适应度函数值;确定每个子群中的头狼;计算每个子群的文化倾向;更新每个子群中的所有郊狼;每个子群生成二进制新生郊狼;每个子群执行出生‑死亡机制;部分郊狼在子群之间迁移;更新所有郊狼的年龄;判断当前迭代次数是否达到预设的最大迭代次数;选择种群中社会条件最好的郊狼所对应的特征作为最优特征子集。本发明算法调节参数少、搜索效率高、特征选择准确、自适应能力强,在不需要过多的人为参数调整干预的条件下,仍能够快速地搜索到最佳特征组合。

    一种基于深度特征的无约束重复动作计数方法

    公开(公告)号:CN110598646A

    公开(公告)日:2019-12-20

    申请号:CN201910874723.7

    申请日:2019-09-16

    Abstract: 本发明公开了一种基于深度特征的无约束重复动作计数方法,其特征在于,具体步骤包括如下:构建BN-Inception网络,并进行深度特征提取;将提取的深度特征进行降维,得到降维后的周期图;利用傅里叶变换对所述周期图进行分段阈值滤波,得到光滑的频率图;根据滤波后的频率图进行计数。本发明提供了一种基于深度特征的无约束重复动作计数方法,为了捕获较鲁棒的运动特征并有效的避免相机移动的干扰,对捕获的视频提取RGB和光流图,在此基础上使用深度ConvNets进行特征提取,基于特征值寻找体现重复动作的运动规律,使用变周期的傅里叶变换来处理复杂场景的非静止的视频动态,获取明显的运动频率,更好的统计重复运动次数。

    一种基于图关系交互学习的人体动作预测方法及装置

    公开(公告)号:CN116935492B

    公开(公告)日:2025-03-25

    申请号:CN202310987468.3

    申请日:2023-08-07

    Abstract: 本发明提出一种基于图关系交互学习的人体动作预测方法,包括,获取训练数据集,所述训练数据集包括人体动作序列;构建图关系交互学习网络,其中,图关系交互学习网络采用双支路对称残差图卷积网络GCN结构,双支路GCN之间的连接类型包括数据流和参数流;通过训练数据集对图关系交互学习模型进行训练,其中,训练采用平均每关节位置误差损失和平均每关节速度误差损失加权结合的损失函数;获取待预测数据,将待预测数据输入训练完成的图关系交互学习网络,获取人体动作预测结果。本发明实现了更精确的人体动作预测。

Patent Agency Ranking