公开(公告)号：CN116977189A

公开(公告)日：2023-10-31

申请号：CN202210397296.X

申请日：2022-04-15

申请人： 中国移动通信有限公司研究院 ,  东南大学 ,  中国移动通信集团有限公司

发明人： 李阳 ,  杨蕾 ,  宋沫飞 ,  刘震东 ,  许成 ,  余海涛

IPC分类号： G06T5/00 ,  G06T7/246 ,  G06T7/70 ,  G06T17/05 ,  G06V10/26 ,  G06V10/46 ,  G06V10/74 ,  G06V10/80 ,  G06V10/82 ,  G06V20/40 ,  G06N3/0464 ,  G06N3/09

摘要： 本发明公开了一种同步定位与建图方法、装置及存储介质，包括：接收视频帧流并估计位姿信息及轨迹信息，生成地图点和选定关键帧；接收关键帧和地图点，通过2D语义分割与投影，为生成的地图点附上语义信息；针对附上语义信息的地图点和轨迹信息，执行回环检测并对地图点与轨迹信息进行全局优化。采用本发明，克服了动态物体在建图与回环检测的稳定性对ORB特征点的影响，不仅可以更好地进行全局优化，还能提供给其他应用，例如AR。确定建图制度，提升建图精度；提高了回环检测的正确率；为场景点云附加语义信息，有利于下游应用。

公开(公告)号：CN116092178A

公开(公告)日：2023-05-09

申请号：CN202211488944.9

申请日：2022-11-25

申请人： 东南大学

发明人： 陈睿明 ,  曹邹颖 ,  范思远 ,  高耕 ,  顾枢衡 ,  李明泽 ,  荣逸鹏 ,  杨飞 ,  张子腾 ,  周浩然 ,  宋沫飞 ,  耿新

IPC分类号： G06V40/20 ,  G06V10/46 ,  G06T7/80 ,  G06N3/0464 ,  G06N3/08 ,  G06T7/11 ,  G06T3/00

摘要： 本发明公开了一种面向移动端的手势识别和跟踪方法及系统，包括：手部图像检测模块至少包括YOLOv5的手部检测模型，将原始图像输入手部检测模型进行处理，输出包括检测框、左手置信度、右手置信度及是否有手的置信度的手部图像检测结果；手势估计模块至少包括手势估计模型，手势估计模型网络的特征提取部分为轻量化网络ShuffleNet V2 0.5x模块，姿态网络部分为3个反卷积层与1个内核大小为1的卷积层，将手部图像检测模块处理后的手部图片输入手势估计模块，输出21个手势关键点估计结果；三维转换模块利用两视图几何，将手势估计模块输出的2D关键点转为3D，使用Levenberg‑Marquardt算法、相机内外参数以及惯性测量单元参数，生成三维关键点坐标，实现手势的识别和跟踪。

公开(公告)号：CN118552801A

公开(公告)日：2024-08-27

申请号：CN202410606355.9

申请日：2024-05-16

申请人： 东南大学

发明人： 宋沫飞 ,  余海涛 ,  张敏灵

IPC分类号： G06V10/77 ,  G06V10/44 ,  G06V10/774 ,  G06V10/82 ,  G06V20/64 ,  G06N3/0895 ,  G06N3/0499

摘要： 本发明公开了一种基于2D‑3D增强变换的点云表征学习方法，旨在有效结合3D点云与2D多视图以实现深度特征学习和多模态对齐。该系统包括以下关键步骤：S1、2D多视图渲染；S2、3D点云图谱表示及其扰动处理，采用图谱分析技术提取点云谱表示并引入扰动以增加数据多样性；S3、2D视图的精细裁剪和控制，增强模型对复杂特征的识别能力；S4、多层次的2D多视图增强，通过不同类型和不同强度的增强变换改善样本质量；S5、多模态2D‑3D对比学习，通过模态内和跨模态对齐来改进对2D‑23D间的自监督学习。本发明显著提升了3D点云的表征能力，同时降低了对人工标注的依赖，增强了在实际应用中的泛化能力和鲁棒性。