公开(公告)号：CN115861642A

公开(公告)日：2023-03-28

申请号：CN202211365296.8

申请日：2022-11-02

Applicant: 上海人工智能创新中心 ,  上海交通大学

Inventor： 王延峰 ,  陈思衡 ,  卢亦凡

IPC: G06V10/44 ,  G06V10/764 ,  G06V10/80

Abstract: 本发明涉及图像处理技术领域，提出一种混合协作3D对象检测方法及系统。该方法包括：由多个智能体对3D对象进行检测以生成智能体位姿、对象特征图以及对象边界框；将多个智能体对同一3D对象检测生成的多个对象边界框对齐以对多个智能体之间的相对位姿进行校正；根据多个智能体之间的校正后的相对位姿生成融合对象特征图；以及根据所述融合对象特征图生成协作对象边界框。本发明可以有效抑制协作3D对象检测的位姿噪声，进而可以提升协作3D对象检测的检测精度和检测效率，并且提升了鲁棒性。

公开(公告)号：CN117315396A

公开(公告)日：2023-12-29

申请号：CN202311265261.1

申请日：2023-09-27

Applicant: 上海交通大学

Inventor： 陈思衡 ,  卢亦凡

IPC: G06V10/774 ,  G06V10/80 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明提供一种支持模态模型异构并且可扩展性的协作方法和系统，包括：端到端训练多个基智能体的协作网络，构建共享特征空间，进行协作互相检测；采用离线训练知识传递的方式变换新的异构智能体的特征到共享特征空间，加入扩展协作进行互相检测。本发明能同时解决模态、模型异构性以及可扩展性问题；支持在特征级别共享异构信息，提高多智能体间协作收益；新的智能体类型合并到原有的协作框架中，只需离线训练新智能体的特征编码器，大幅降低训练成本，且对新的智能体类型具有高度可扩展性；显著降低使用成本，具有先进精准的检测性能。本发明可以仅采集有限的协作数据，利用离线训练的方式复用数据，无限地扩大协作框架支持的异构智能体类型。

公开(公告)号：CN116823939A

公开(公告)日：2023-09-29

申请号：CN202310387575.2

申请日：2023-04-12

Applicant: 上海人工智能创新中心 ,  上海交通大学

Inventor： 王延峰 ,  陈思衡 ,  卢亦凡

IPC: G06T7/73 ,  G06T7/246

Abstract: 本发明提供了一种多智能体协作的3D对象检测方法，包括：在第一智能体上设置感知模块、预测模块和融合模块，在第二智能体上设置感知模块；由第一智能体和第二智能体的感知模块基于传感器信息对周围物体的信息进行感知，分别得到第一感知信息和第二感知信息，其中第二感知信息作为第一智能体的交互信息；由第一智能体的预测模块基于周围物体的历史信息对周围物体的当前状态进行预测，得到预测结果；以及由第一智能体的融合模块与第二智能体进行信息交互，以使得第一感知信息与所述交互信息进行融合，以及使得第一感知信息与预测结果进行融合。