一种车辆协同感知系统
    1.
    发明公开

    公开(公告)号:CN118154816A

    公开(公告)日:2024-06-07

    申请号:CN202410107567.2

    申请日:2024-01-25

    Abstract: 本发明涉及一种车辆协同感知系统,包括:本车和协同感知合作方,本车搭载增强现实显示设备;协同感知合作方通过搭载的感知设备获得邻近本车的目标信息,通过无线网络将目标信息发送到本车;本车接收协同感知合作方发送的目标信息后,通过模型匹配和坐标转换,得到目标车辆MESH模型的n个控制点在本车观察坐标系中的坐标;通过目标的控制点是否位于本车观察视野和是否被本车视野中环境遮挡判断后,在增强现实显示设备上显示本车观察视野内被环境遮挡目标的增强现实图像;或者显示不在本车观察视野目标、本车观察视野内未被环境遮挡目标的增强现实提示。本发明实现了不同观察视角的协同感知,提升任务执行效率。

    一种增强现实图像中目标与环境的遮挡关系判定方法

    公开(公告)号:CN118015187A

    公开(公告)日:2024-05-10

    申请号:CN202410104212.8

    申请日:2024-01-25

    Abstract: 本发明涉及一种增强现实图像中目标与环境的遮挡关系判定方法,包括:观察者获取需进行遮挡关系判定的目标信息,计算出所述目标的MESH模型中n个控制点在观察者相机坐标系中的坐标;从观察者相机拍摄的视野图像中获得环境场景的三维特征点;在视野图像中将与三维特征点对应的视野像素点进行语义属性组合,构建出观察者视野中的环境MESH网格;根据控制点在观察者相机坐标系中的坐标以及环境MESH网格,分别计算出控制点在视野图像中所处视野像素点的控制点深度值和环境深度值;判断控制点深度值和环境深度值的偏差是否处于阈值范围内;是,则该点未被环境遮挡,否,则该点被环境遮挡。本发明实现遮挡关系判定,还原出场景中的真实情况。

    一种结合视觉深度估计的目标协同感知方法

    公开(公告)号:CN118015229A

    公开(公告)日:2024-05-10

    申请号:CN202410107609.2

    申请日:2024-01-25

    Abstract: 本发明涉及一种结合视觉深度估计的目标协同感知方法,包括:观察者获取协同感知的目标信息;根据目标类型获取目标的MESH模型,并将目标的位置坐标与姿态转换为目标MESH模型的n个控制点在目标载体坐标系中的坐标;进行目标载体坐标系至观察者观察坐标系的坐标转换得到n个控制点在观察者观察坐标系中的坐标;根据n个控制点的坐标进行视觉深度估计判断目标是否位于观察者观察视野以及是否被观察者视野中环境遮挡;当位于观察者观察视野且被环境遮挡时,则根据控制点坐标生成目标的增强现实图像。本发明实现了不同观察视角的协同感知,提升任务执行效率。

    一种增强现实图像中目标MESH模型的生成和调用方法

    公开(公告)号:CN118015207A

    公开(公告)日:2024-05-10

    申请号:CN202410107601.6

    申请日:2024-01-25

    Abstract: 本发明涉及一种增强现实图像中目标MESH模型的生成和调用方法,包括:目标MESH模型库建立步骤,利用采集的多种候选目标的多视角环视视频,进行离线预训练,生成多种候选目标的MESH模型,建立目标模型库;目标MESH模型在线调用步骤,根据目标类型从目标模型库中获取目标的MESH模型,进行目标位置对齐和坐标转换,输出MESH模型的n个控制点在观察者观察坐标系中的坐标,然后,根据n个控制点在观察坐标系中的坐标,进行目标是否位于观察者的观察视野以及是否被观察者视野中环境遮挡的判断,当位于观察视野且被遮挡时,则根据控制点坐标在观察视野中生成目标的增强现实图像。本发明生成目标增强现实图像还原目标在场景中的真实情况。

    一种基于目标检测与轨迹辨识的自动门控制方法

    公开(公告)号:CN115961859B

    公开(公告)日:2024-11-29

    申请号:CN202310118022.7

    申请日:2023-02-15

    Abstract: 本发明提供了一种基于目标检测与轨迹辨识的自动门控制方法,属于自动门开闭控制技术领域;针对现有自动门控制系统的不足,提供了一种使用视觉摄像头的自动门控制方法,首先甄别门前经过物体的类别,其次对筛选出的行人目标进行跟踪并形成运动轨迹,最后通过轨迹分辨出存在进入意图的行人目标,从而实现自动门开启与闭合的高效控制。该方法首先采用广角相机实时拍摄门前区域,作为控制方法的输入信息;其次在轻量化的神经网络模型中运行目标检测算法以筛选出行人目标,并将目标的质心坐标输入跟踪器;跟踪器形成各目标的运动轨迹后再进行轨迹辨识,最后根据轨迹辨识结果以一定策略控制电机以完成自动门的开闭动作。

    一种基于网格变形的拖挂车动态环视拼接与稳定方法

    公开(公告)号:CN116645496B

    公开(公告)日:2024-07-05

    申请号:CN202310581967.2

    申请日:2023-05-23

    Abstract: 本发明公开了一种基于网格变形的拖挂车动态环视拼接与稳定方法,在拖挂车的行驶过程中,由于车身非固连的特性,各相机图像会存在完全独立的抖动,且当车头与车身间的转角发生变化时,非固连相机在图像坐标系下的相对位置会随之发生变化;本发明通过特征点运动生成、局部特征运动传播、时域运动轨迹与拼接向量场生成、稳定‑拼接联合优化等模块,抑制由运动目标或景深变化引起的图像扭曲与变形,在统一的框架下表征并优化各路相机时域运动轨迹与空域对齐向量,最大限度地保持图像结构,同时完成各相机的视频增稳以及相机间的视频拼接,最终将处理完成的全景环视图像投影在三维感知模型上,为拖挂车提供车身四周稳定、无缝的360°动态环视图像。

    一种基于网格变形的拖挂车动态环视拼接与稳定方法

    公开(公告)号:CN116645496A

    公开(公告)日:2023-08-25

    申请号:CN202310581967.2

    申请日:2023-05-23

    Abstract: 本发明公开了一种基于网格变形的拖挂车动态环视拼接与稳定方法,在拖挂车的行驶过程中,由于车身非固连的特性,各相机图像会存在完全独立的抖动,且当车头与车身间的转角发生变化时,非固连相机在图像坐标系下的相对位置会随之发生变化;本发明通过特征点运动生成、局部特征运动传播、时域运动轨迹与拼接向量场生成、稳定‑拼接联合优化等模块,抑制由运动目标或景深变化引起的图像扭曲与变形,在统一的框架下表征并优化各路相机时域运动轨迹与空域对齐向量,最大限度地保持图像结构,同时完成各相机的视频增稳以及相机间的视频拼接,最终将处理完成的全景环视图像投影在三维感知模型上,为拖挂车提供车身四周稳定、无缝的360°动态环视图像。

    一种基于水滴态感知视场融合的单车环视图像实时拼接方法

    公开(公告)号:CN115439324A

    公开(公告)日:2022-12-06

    申请号:CN202211077297.2

    申请日:2022-09-05

    Abstract: 本发明提出一种水滴态感知视场融合的单车环视图像实时动态拼接方法,该方法使用汽车环视视觉系统提供的全景图像信息,能够感知大范围环境信息,为卡车等可转动的非刚体特种车辆提供汽车实时环视动态拼接图像,并可为车辆提供同一尺度下的水滴态三维感知视场融合图像,实现无盲区、大范围的实时环境显示;通过基于Superpoint架构的特征点提取算法与基于SuperGlue架构的特征匹配算法可以有效改进特征匹配结果,剔除无法用于位姿估计的匹配点对,提升相机之间相对位置参数的精度和可靠性;通过在统一框架下将视频防抖与拼接相结合,可以获得稳定的动态全景拼接图像;结合构建的水滴模型与相关投影矩阵,可为车辆提供实时3D全景环视图像。

    一种基于移动最小二乘变换的平行鱼眼相机图像拼接方法

    公开(公告)号:CN115619623A

    公开(公告)日:2023-01-17

    申请号:CN202211287542.2

    申请日:2022-10-20

    Abstract: 本发明提出了一种基于移动最小二乘变换的大视差平行鱼眼相机图像拼接方法,该方法使用多个沿直线间隔较远距离平行排列的鱼眼相机构成平行鱼眼拼接系统,采集多路鱼眼图像,能够感知大范围环境信息,可以为智慧城市、智能安防及目标检测跟踪系统提供大范围连续广角视野;该方法通过逆向经纬映射、交互式图像分割和移动最小二乘变换恢复重叠区域几何形状,实现宽间距、少共视情况下的重叠区域恢复与构建;通过网格变形优化方法,结合线特征和网格形状保持项设计能量函数实现重叠区域精细对准,提升图像拼接的精度和准确性;从双相机双图像拼接扩展到多路相机联合处理与拼接,有效提高了系统的大范围感知能力。

    一种基于实时位姿估计的多体车辆三维环视感知方法

    公开(公告)号:CN118135105A

    公开(公告)日:2024-06-04

    申请号:CN202410261618.7

    申请日:2024-03-07

    Abstract: 本发明提出一种基于实时位姿估计的多体车辆三维环视感知方法,该方法仅使用车载环视相机采集的视觉图像数据来处理多体车辆非刚性连接的问题,实现实时的动态环视图像拼接和3D全景感知,为多体车辆提供无盲区的远景实时环境显示。通过基于SuperGlue架构的特征匹配算法实现相邻两节车厢的相机间的动态实时位姿估计,并采用BA优化算法对相机位姿进行联合优化,提升相机间的相对位姿参数的精度和可靠性;通过将环视拼接得到的2D全景图像投影到碗模型中,实现3D全景环视浏览,为多体车辆提供对周围环境的动态实时三维环视感知。

Patent Agency Ranking