一种基于视频生成毫米波雷达数据的方法及装置

    公开(公告)号:CN116310941A

    公开(公告)日:2023-06-23

    申请号:CN202211719956.8

    申请日:2022-12-30

    Abstract: 本发明公开了一种基于视频生成毫米波雷达数据的方法及装置,首先利用变体孪生网络选择出视频中的关键数据片段,然后利用人体区域索引算法实现人体网格数据和人体位置信息的一对一匹配,再利用人体网格模型和深度预测模型生成相应的深度信息、雷达横截面和径向速度,随后采用多人反射模型模拟雷达信号的多径反射和衰减,输出可转换的粗糙雷达数据,最后使用Transformer模型生成逼真的雷达数据,解决了不同动作类别之间的不平衡问题,同时确保了用于人体感知的机器学习模型稳定性,解决了深度信息和多人网格数据错误匹配问题,解决了雷达信号在发射和接收过程中存在的多径反射和衰减问题,可应用到人体动作识别、目标检测等人体感知相关下游任务中。

    一种边缘辅助的雷视融合的无人机目标检测方法与系统

    公开(公告)号:CN117706506A

    公开(公告)日:2024-03-15

    申请号:CN202211080281.7

    申请日:2022-09-05

    Abstract: 本发明公开了一种边缘辅助的雷视融合的无人机目标检测方法与系统,对无人机采集的毫米波雷达点云和视频数据进行预处理,利用相机分支协助毫米波雷达分支进行多帧合成来解决无人机移动下毫米波雷达点云的稀疏性和噪声加剧的问题;利用多帧合成方法输出的雷达点云帧辅助相机分支进行目标显著区域提取与编码,以此减少传输的数据量和相应的卸载延迟;将毫米波雷达和相机数据的编码、传输、解码和推理并行化,以进一步减少卸载延迟;同时,在推理过程中采用边界框增强方案来确保准确率‑延迟之间的平衡,最终达到实时、鲁棒的目标检测目的。本发明可以应用到各种需要无人机进行目标检测的任务中,可以高效率完成恶劣条件下对相关区域的巡检。

    面向车路协同自动驾驶的毫米波雷达点云配准方法及装置

    公开(公告)号:CN116721135A

    公开(公告)日:2023-09-08

    申请号:CN202310715862.1

    申请日:2023-06-16

    Abstract: 本发明公开了一种面向车路协同自动驾驶的毫米波雷达点云配准方法及装置,属于点云配准领域。本发明利用摄像机和毫米波雷达的互补优势,实现车辆‑基础设施稀疏无序的3D雷达点云的准确配准,解决了稀疏无序雷达点云语义特征难提取及点对难对应的问题。同时设计自适应调度策略,考虑车辆的触发因素和基础设施视野内点云的变化程度来自适应触发数据请求,以确保多车‑基础设施之间实时的配准。本发明将车辆和基础设施的摄像机数据和雷达点云数据作为输入并最终完成点云配准,同时满足毫米波雷达点云配准的实时性和准确性,实现了在大雾天气下,对车辆感知范围和感知精度的提升,并支持毫米波雷达在目标检测、路径规划等应用上性能的进一步提高。

    移动场景下基于视频生成毫米波雷达数据的方法及装置

    公开(公告)号:CN116704002A

    公开(公告)日:2023-09-05

    申请号:CN202310725723.7

    申请日:2023-06-19

    Abstract: 本发明公开了一种移动场景下基于视频生成毫米波雷达数据的方法及装置,属于毫米波雷达移动感知领域,包括人体网格提取与校准和反射与噪声信号估计两个组件。人体网格提取与校准组件,用于准确估计相机和人的真实位置,包括模糊和抖动过滤器、人体网格提取模块、相机姿态估计模块和人体位置校准模块;反射与噪声信号估计组件,用于模拟雷达信号的多径反射与衰减以及背景噪声,包括深度预测模型、反射模型、时空噪声估计模块和U‑Net网络模块。本发明利用丰富的动态视频数据生成大量逼真的、可转换的动态毫米波雷达数据,包括多普勒数据和点云数据,有效解决了移动场景中毫米波雷达数据不足的问题,可应用于动作识别、目标检测等应用中。

Patent Agency Ranking