-
公开(公告)号:CN112651316A
公开(公告)日:2021-04-13
申请号:CN202011509274.5
申请日:2020-12-18
Applicant: 上海交通大学
Abstract: 一种二维和三维多人姿态估计系统及方法,包括:数据层、模型层和评估层,其中:数据层根据训练阶段和评估阶段所需的二维和三维姿态数据集或推理阶段输入的图片路径集进行解析和预处理得到模型图片的输入数据和监督目标,模型层根据输入数据与监督目标对基于卷积神经网络进行推理与训练,得到二维和三维姿态预测结果,评估层将二维和三维姿态预测结果坐标变换得到最终算法预测结果,并对预测结果评估打分。本发明可以同时端到端训练、评估、推理二维以及三维姿态估计。并对多任务有良好的应用性,识别性能非常理想,且内存占用较小,有较高的效率和实时性。
-
公开(公告)号:CN119380329A
公开(公告)日:2025-01-28
申请号:CN202411920082.1
申请日:2024-12-25
Applicant: 上海交通大学
IPC: G06V20/64 , G06V10/762 , G06V10/776 , G06V10/764 , G06V10/26 , G06V10/44 , G06V10/82 , G06T7/73 , G06V10/80 , G06N3/0455
Abstract: 本发明涉及部件检测技术领域,提供一种执行跨类别物体感知和操控的部件检测方法及系统,包括:S1:对物体点云逐点提取骨干特征;S2:进行部件语义分类,预测每个点到所属的部件点云中心的向量;S3:对部件中心的点云进行聚类;S4:将聚类出的点云部件实例归一化至单位半径的球形内,并进行特征提取;S5:利用点云部件实例的全局特征预测置信度,对于置信度在预设阈值之下的点云部件实例使用分割一切基础模型进行修正;S6:重新推理点云部件实例的置信度,采用非极大值抑制删除重叠较大的点云部件实例;S7:采用点云部件实例的逐点特征用于预测初次NOCS坐标,进而对再次NOCS坐标进行再次姿态估计。提升跨物体类别部件检测的质量和姿态估计的准确率。
-
公开(公告)号:CN116503944A
公开(公告)日:2023-07-28
申请号:CN202310464788.0
申请日:2023-04-27
Applicant: 上海交通大学
IPC: G06V40/20 , G06V10/764 , G06V10/77 , G06V10/82 , G06N3/0455 , G06N3/096
Abstract: 一种基于结构化行为语义空间的行为识别检测方法及系统,在离线阶段根据VerbNet中有层次的动词树构建建立结构化行为语义空间,通过一致性处理构建具有统一标签系统的统一数据库后,从通用行为数据集中提取语义空间中节点的语义表征和几何表征并建立物理‑语义映射模型,在在线阶段根据训练后的物理‑语义映射模型识别待测样本的语义行为类别,并在具体行为理解场景中通过迁移识别指定的行为类别。本发明通过建立结构化行为语义空间和统一数据库后,提取结构化语义空间的语义信息和几何信息,并根据物理空间和语义空间的映射,进行具体行为理解场景的迁移,实现行为类别的检测。
-
公开(公告)号:CN111523421B
公开(公告)日:2023-05-19
申请号:CN202010289689.X
申请日:2020-04-14
Applicant: 上海交通大学
IPC: G06V40/20 , G06V10/764 , G06V10/774 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/084 , G06N3/047
Abstract: 一种基于深度学习融合各种交互信息的多人行为检测方法及系统,通过构建带有标签的视频库作为样本集对行为检测网络进行训练,并将训练后的网络处理待测视频,根据最终的输出向量实现对区域中对象行为的检测。本发明充分考虑了人类行为的复杂性,在考虑人的自身运动的同时,综合了其与其他人、物体以及长期记忆信息的交互关系,有效地提高了视频行为检测的精度。
-
公开(公告)号:CN114038058A
公开(公告)日:2022-02-11
申请号:CN202111305695.0
申请日:2021-11-05
Applicant: 上海交通大学
IPC: G06V40/20 , G06V10/25 , G06V20/80 , G06V10/764 , G06V10/80 , G06V10/82 , G06V10/74 , G06N3/04 , G06N3/08
Abstract: 一种基于姿态引导重识别特征的并行人体姿态检测跟踪方法,通过输入视频并检测人体区域后统一尺寸,然后检测人体姿态并提取姿态引导增强的重识别特征,最后利用多语义信息进行前后帧匹配,完成人体姿态检测跟踪。本发明能够同时输出姿态检测结果和人体重识别特征,其中人体重识别特征又可以利用人体姿态进行引导增强,利用包括重识别特征、人体检测框和姿态等多种语义信息进行跟踪匹配。
-
公开(公告)号:CN112801988A
公开(公告)日:2021-05-14
申请号:CN202110141847.1
申请日:2021-02-02
Applicant: 上海交通大学
Abstract: 一种基于RGBD和深度神经网络的物体抓取位姿检测方法,将RGB图片通过角度视角网络转换为角度视角热度图,再将RGB图片对应的深度图片与转换得到的角度视角热度图通过碰撞和空抓检测系统生成对应的抓取七维位姿,即平行夹具中心点的三维平移坐标、平行夹具的三维旋转坐标和平行夹具的张开宽度。本发明通过融合RGB图片和深度信息保证生成的平行夹爪自由度大于等于六维,提高检测准确程度,当应用在实际工业场景时可以有效迅速地将一个由若干物体组成的混乱场景利用机械臂及配套夹具清空。实施例如利用机械夹爪逐个抓取图一中所拍摄场景中的所有物体。
-
公开(公告)号:CN111192279A
公开(公告)日:2020-05-22
申请号:CN202010000279.9
申请日:2020-01-02
Applicant: 上海交通大学
Abstract: 本申请提供一种基于边缘检测的物体分割方法、电子终端及存储介质,所述方法包括:包括:获取输入图片;通过卷积神经网络模型对所述输入图片进行处理获取像素级别信息;根据所述像素级别信息对所述输入图片的像素点进行类别级的分类;基于中心点对同一类别的边缘像素点进行个体级别的分类;基于下一个像素点的方向将同一个个体的边缘像素点构成封闭的边缘,获得物体分割。本发明提出了一个适合物体边缘信息预测的卷积神经网络模型,可以获得更加精细的物体分割。
-
公开(公告)号:CN118967808A
公开(公告)日:2024-11-15
申请号:CN202411014753.8
申请日:2024-07-26
Applicant: 上海交通大学
Abstract: 一种基于强化学习的关节物体6D姿态估计方法,其特征在于,将6D姿态估计问题转化为部分点云配准任务,以点云配准轨迹作为样本训练策略网络,用于将源点云,即在标准空间中的完整物体对齐到目标点云,即相机空间中观察到的部分物体,进而采用训练后的策略网络生成用于训练智能体的状态,构建强化学习的动作空间和奖励函数以训练智能体,最后通过构建并优化关节物体运动学能量函数,计算子部件姿态。本发明显著提升关节物体姿态估计性能。
-
公开(公告)号:CN115222951A
公开(公告)日:2022-10-21
申请号:CN202110421628.9
申请日:2021-04-20
Applicant: 上海交通大学
IPC: G06V10/44 , G06V10/26 , G06V10/764 , G06V10/774
Abstract: 一种基于具备旋转不变性的三维点云描述子的图像处理方法,对模型的三维点云采样并获取其局部点云后,采用两阶段的局部坐标系变换实现三维空间的旋转分解;然后对旋转分解后的局部点云进行特征编码得到点云特征矩阵,再对点云特征矩阵中各点特征方向进行校正,得到保留三维坐标空间中姿态信息的各关键点特征,最后通过多尺度特征提取进行进一步的特征编码,提取得到具备旋转不变性且对点云分布鲁棒的三维点云特征,实现模型物体分类识别,即基于三维点云特征进行全局池化得到物体点云的全局特征,输入多层感知机进行物体分类任务,同时可对全局特征进行上采样得到逐点的细粒度特征,输入共享权重的多层感知机进行物体部分分割任务。
-
公开(公告)号:CN112861848B
公开(公告)日:2022-04-08
申请号:CN202011508606.8
申请日:2020-12-18
Applicant: 上海交通大学
IPC: G06V10/25 , G06V10/774 , G06V10/82 , G06K9/62 , G06N3/04
Abstract: 一种基于动作条件已知的视觉关系检测方法及系统,通过多模态特征提取器从现有数据集中提取出多模态特征,在基础视觉关系检测网络中添加嵌入损失函数对多模态特征进行规则化处理,再通过背景物体建模引入有效背景物体并减少噪声,即将检测物体两两组合并引入背景物体作为辅助并生成训练集,对神经网络进行训练,最后将训练后的神经网络从待测图像中提取出物体对的交互预测,即采用同样的数据处理以及前向传播得到图片中的物体检测结果以及物体两两之间的关系分类结果。本发明基于机器学习、深度学习,能够促进图像场景理解、人与物体交互理解,并应用到图像索引、图像生成、图像描述以及视觉问答系统等应用中。
-
-
-
-
-
-
-
-
-