公开(公告)号：CN115761885A

公开(公告)日：2023-03-07

申请号：CN202211433310.3

申请日：2022-11-16

Applicant: 之江实验室

Inventor： 郭方泰 ,  朱世强 ,  宋伟 ,  张格格 ,  钱金菊 ,  穆宗昊 ,  孟森森

IPC: G06V40/20 ,  G06V10/42 ,  G06V10/764 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 一种共时与跨域异步融合驱动的行为识别方法，包括：获取多人人体彩色图像作为图像序列；从截取图像中估计二维人体姿态，计算二维人体姿态的关键点热图作为姿态序列；建立表观网络，以图像序列作为输入并提取图像特征；同时，建立姿态网络，以姿态序列作为输入并提取姿态特征；以图像特征和姿态特征作为输入，将图像特征和姿态特征进行缩放、对齐和融合；将融合后的图像特征和姿态特征归一化，拼接归一化后的双流特征得到全局特征，输入到分类器中求解概率最大的行为类别；采集多人人体彩色图像序列、二维人体姿态及其对应的类别标签作为训练数据集，对表观网络、姿态网络、共时缩放单元和跨域融合单元进行预训练优化。

公开(公告)号：CN117765165A

公开(公告)日：2024-03-26

申请号：CN202311668305.5

申请日：2023-12-06

Applicant: 之江实验室

Inventor： 汪婷 ,  汪雯 ,  陈俊奇 ,  项森伟 ,  叶敏翔 ,  孟森森

IPC: G06T17/00 ,  G06T15/50 ,  G06T7/70 ,  G06T7/80 ,  G06N3/08

Abstract: 本说明书公开了一种三维重建方法、装置、存储介质及电子设备，本方法获取卫星图像的转换参数，转换参数包括像素点数量及空间分辨率，根据预设的转换关系及转换参数，将空间遥感相机参数转换为针孔相机参数，得到转换后的空间遥感相机参数，根据转换后的空间遥感相机参数，确定卫星图像中像素点对应的采样点在世界坐标系的三维坐标，将采样点的三维坐标输入预先训练的神经辐射场模型，得到神经辐射场模型输出的采样点的特征参数，根据采样点的特征参数，对卫星图像进行三维重建。本方法通过将空间遥感相机参数转换为针孔相机参数，使得卫星图像应用于神经辐射场中，通过神经辐射场，重建三维图像，提高三维重建的准确率。

公开(公告)号：CN117207204A

公开(公告)日：2023-12-12

申请号：CN202311489049.3

申请日：2023-11-09

Applicant: 之江实验室

Inventor： 孟森森 ,  宛敏红 ,  严敏东 ,  钟灵 ,  顾建军

IPC: B25J9/16 ,  B25J13/00 ,  B25J19/02

Abstract: 本说明书公开了一种弹琴机器人的控制方法及控制装置，通过相机获取到琴键区域图像之后，根据图像中的图像特征点确定各琴键在相机坐标系中的坐标，根据所述各图像特征点在相机坐标系下的坐标以及琴键模板确定出琴键模板中各琴键在相机坐标系下的坐标。通过弹琴机器人在弹琴过程中所处位姿以及各琴键在相机坐标系下的坐标，确定出弹琴机器人与琴键之间的相对位置，通过预先确定的误差拟合函数，对弹琴机器人与琴键之间的相对位置进行误差补偿，控制弹琴机器人上机械臂弹奏补偿后的相对位置。通过预先确定的误差拟合函数对弹琴机器人与琴键之间的相对位置进行误差补偿，减少了弹琴机器人对琴键实时定位的误差。

公开(公告)号：CN116728436A

公开(公告)日：2023-09-12

申请号：CN202310971047.1

申请日：2023-08-02

Applicant: 之江实验室

Inventor： 孟森森 ,  朱世强 ,  宛敏红 ,  顾建军 ,  严敏东 ,  钟灵

IPC: B25J11/00 ,  B25J9/16

Abstract: 本说明书公开了一种弹琴机器人的控制方法及控制装置，弹琴机器人在实际弹奏过程中，根据相机中标识符的相对位置，即可确定出琴键的相对位置，从而对钢琴进行实时演奏，在演奏过程中无需对琴键进行拍摄，解决了琴键表面光滑导致的拍摄精度不佳以及弹奏时机械臂对琴键存在的遮挡导致的拍摄信息不完全的问题，降低了弹琴机器人对琴键定位的难度，提高了弹琴机器人对琴键的定位精度。