公开(公告)号：CN117994861A

公开(公告)日：2024-05-07

申请号：CN202410326461.1

申请日：2024-03-21

Applicant: 之江实验室

Inventor： 汪雯 ,  张勇 ,  李梦泽

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/764 ,  G06V10/74 ,  G06V10/82 ,  G06V10/80 ,  G06N3/0455 ,  G06N3/0895

Abstract: 本发明公开一种基于多模态大模型CLIP的视频动作识别方法及装置，该方法包括：基于给定的动作类别和视频序列，首先使用词向量模型和分割图像块提取相应的语言和视频信息；其次，基于提示调整结构以及可训练轻量级瓶颈模块适配器调整CLIP的图像编码器和文本编码器，提取语言和视频帧特征；进一步，使用时序差分注意力模块充分挖掘视频帧时序间的特征；最后，对比视频特征和类别编码特征，粗细粒度地计算两者之间的相似性得分，选择得分最高动作类别作为预测结果。本发明通过微调结构的设计，能有效提高判断视频动作类别的性能以及网络模型的泛用性，满足现实生活中复杂场景的视频动作识别需求。

公开(公告)号：CN119304876A

公开(公告)日：2025-01-14

申请号：CN202411569139.8

申请日：2024-11-05

Applicant: 之江实验室

Inventor： 吴国藩 ,  王鑫 ,  李梦泽 ,  李燊

IPC: B25J9/16

Abstract: 本申请提供一种机械臂控制方法、设备及计算机可读存储介质，获取机械臂执行目标接触任务时，机械臂的末端传感器采集的末端接触力状态和关节状态的数据，反应机械臂在执行任务时实际情况。再结合目标接触任务，对动力学模型中的关节角加速度和末端接触力进行优化，使得机械臂能够根据不同的任务需求和环境变化动态调整关节角加速度和末端接触力。并且优化后的关节角加速度和末端接触力可以使机械臂在与外部环境接触时，实现更为柔性的自适应接触控制。最后通过所优化的关节角加速度和所优化的末端接触力确定出合理的目标关节力矩，以控制机械臂的关节运动，使得机械臂的运动更加平稳可靠。

公开(公告)号：CN117994861B

公开(公告)日：2024-10-01

申请号：CN202410326461.1

申请日：2024-03-21

Applicant: 之江实验室

Inventor： 汪雯 ,  张勇 ,  李梦泽

IPC: G06V40/20 ,  G06V20/40 ,  G06V10/764 ,  G06V10/74 ,  G06V10/82 ,  G06V10/80 ,  G06N3/0455 ,  G06N3/0895

Abstract: 本发明公开一种基于多模态大模型CLIP的视频动作识别方法及装置，该方法包括：基于给定的动作类别和视频序列，首先使用词向量模型和分割图像块提取相应的语言和视频信息；其次，基于提示调整结构以及可训练轻量级瓶颈模块适配器调整CLIP的图像编码器和文本编码器，提取语言和视频帧特征；进一步，使用时序差分注意力模块充分挖掘视频帧时序间的特征；最后，对比视频特征和类别编码特征，粗细粒度地计算两者之间的相似性得分，选择得分最高动作类别作为预测结果。本发明通过微调结构的设计，能有效提高判断视频动作类别的性能以及网络模型的泛用性，满足现实生活中复杂场景的视频动作识别需求。