一种基于图像序列的目标检测方法

    公开(公告)号:CN118097485A

    公开(公告)日:2024-05-28

    申请号:CN202311668674.4

    申请日:2023-12-07

    Applicant: 南开大学

    Abstract: 本发明属于目标检测技术领域,具体为一种基于图像序列的目标检测方法。该方法包括以下步骤:步骤一:将视频数据转换成图像序列,利用YOLOv4算法得到当前帧与历史帧的目标特征提取层数据,然后对该数据上的每个目标与历史帧中的目标进行相似匹配以构造每个目标的序列数据;步骤二:将每个目标的序列数据输入到LSTM网络中,对当前帧的目标特征提取层数据进行预测;步骤三:将YOLOv4算法得到的目标特征提取层数据和LSTM网络预测的当前帧目标特征提取层数据分别输入到各自的YOLOv4解码预测模块,分别得到基于当前帧检测与基于历史帧预测的关于目标的类别置信度,然后利用D‑S证据融合规则,将两数据的置信度进行融合,得到新的目标检测结果。

    一种动态实时视觉里程计实现方法、装置和存储介质

    公开(公告)号:CN117990089A

    公开(公告)日:2024-05-07

    申请号:CN202410155046.4

    申请日:2024-02-04

    Applicant: 南开大学

    Abstract: 本发明提供了一种动态实时视觉里程计实现方法、装置和存储介质,涉及感知与定位技术领域,包括:获取实时图像;定义物体类别和运动概率;检测实时图像中的特征点,赋予特征点对应像素的物体类别和运动概率;筛选特征点并进行位姿解算;基于几何方法计算特征点的运动概率;融合几何方法得到的运动概率以及深度学习方法得到的运动概率;更新相机位姿和地图点。通过提出运动概率和物体类别两种强化语义信息,将深度学习与几何方法紧耦合到视觉里程计中,提高了视觉里程计对场景中动态物体的抗干扰能力,增强了系统鲁棒性。

    一种自适应的视觉惯导里程计输出方法

    公开(公告)号:CN117576218B

    公开(公告)日:2024-03-29

    申请号:CN202410066053.7

    申请日:2024-01-17

    Applicant: 南开大学

    Abstract: 本发明涉及视觉惯导里程计优化技术领域,提供一种自适应的视觉惯导里程计输出方法。包括:采集数据;对视觉图像特征进行前端跟踪对齐;选取相邻两帧视觉图像组成第一图像集并进行特征点法匹配与直接法对齐,获得第一结果集;对其中一帧图像进行模糊处理与光照变化处理,与另一帧组成第二图像集,再次特征点法匹配与直接法对齐,获得第二结果集;将两结果集进行深度学习,获得自适应融合网络;在滑动窗口内以视觉特征残差、惯导数据残差及先验残差为多目标组建目标函数,并通过自适应融合网络进行数据融合及求解;根据优化结果,视觉惯导里程计进行位姿输出。本发明不仅能够自适应调整特征点法及直接法融合的权重,并且提升了定位精度。

    一种机械臂主动建图方法及装置
    44.
    发明公开

    公开(公告)号:CN117182891A

    公开(公告)日:2023-12-08

    申请号:CN202310723230.X

    申请日:2023-06-16

    Applicant: 南开大学

    Abstract: 本申请提供一种机械臂主动建图方法及装置,属于图像处理领域。该方法包括:机械臂手眼标定后更新环境地图并进行边界体素检测,生成边界体素地图;将边界体素地图以最小分辨率融合到预设环境八叉树地图的根节点,生成三维融合地图;基于三维边界地图确定探索域,生成观测球;在观测球面上设置采样点,根据采样点位置与视觉传感器的光轴向量的旋转关系,获得机械臂末端视觉传感器观测位姿集;结合手眼标定与机械臂运动学模型求解,获得对应机械臂观测构型集;计算机械臂当前位姿到视点的观测位姿的无干涉路径,用于移动获取地图。本申请通过边界体素地图和环境八叉树地图结合,避免了路径规划中建模与规划单独解耦进行,可以有效避免潜在碰撞风险。

    一种基于欧式聚类的多平面提取方法

    公开(公告)号:CN112184736B

    公开(公告)日:2022-11-11

    申请号:CN202011078122.4

    申请日:2020-10-10

    Applicant: 南开大学

    Abstract: 本发明公开一种基于欧式聚类的多平面提取方法,可以适用于多种野外复杂环境。首先,针对树冠、隧道、矿洞等一类具有悬挂物的环境,提出基于欧式聚类的混合高度图方法。通过将映射到二维栅格中三维点云进行聚类,并利用混合高度图法区分地面点和悬挂物点,实现了对地面上方障碍物的准确检测和下方对应可通行区域的正确提取。除此之外,针对野外崎岖环境,本发明还提出了基于随机采样一致性的多平面提取方法。通过在gazebo虚拟仿真环境和真实校园环境中进行了实验验证。实验结果表明,本发明方法与已有算法相比在点云分割的精度和效率方面均有明显提高。

    一种基于深度强化学习的机器人追逃博弈方法

    公开(公告)号:CN113377099A

    公开(公告)日:2021-09-10

    申请号:CN202110348781.3

    申请日:2021-03-31

    Applicant: 南开大学

    Abstract: 本发明公开了一种基于深度强化学习的机器人追逃博弈方法,包括:确定追逃双方智能体在含障碍物的追逃博弈场景中的约束条件;分别构建追逃双方智能体的回报函数;引入深度Q网络算法,并结合约束条件和回报函数,分别构建追逃双方智能体的初始追逃博弈模型;结合课程学习机制和自我对弈机制分别对追逃双方智能体的初始追逃博弈模型进行训练,并利用训练过程中的交互数据不断对追逃双方智能体的深度Q网络进行更新,得到追逃双方智能体的最终追逃博弈模型。本发明基于DQN的动作空间离散的追逃博弈算法,并结合自我对弈和课程学习的机制同时训练追捕者和逃跑者智能体,很大程度上优化了追捕者和逃跑者的输出策略。

    一种基于进化强化学习的机器人对抗方法

    公开(公告)号:CN113095463A

    公开(公告)日:2021-07-09

    申请号:CN202110351009.7

    申请日:2021-03-31

    Applicant: 南开大学

    Abstract: 本发明公开了一种基于进化强化学习的机器人对抗方法,包括:构建基于深度强化学习的机器人对抗策略;所述对抗策略为深度确定性策略梯度算法DDPG;结合进化算法与所述对抗策略,形成进化深度确定性策略梯度算法EDDPG;利用算法DDPG和算法EDDPG训练后的策略网络模型作为控制器,控制机器人与由基于威胁指数的对抗策略控制的机器人进行对抗。该方法考虑使用进化强化学习方法,它是深度强化学习与进化思想的结合,其中,深度强化学习方法无需建模,可以实现对机器人端到端的控制,且具有一定的泛化能力,能够有效解决现有方法存在的问题,进化思想则利用种群提高强化学习的探索能力和稳定性。

    一种主从异构型遥操作机器人工作空间映射方法

    公开(公告)号:CN113021344A

    公开(公告)日:2021-06-25

    申请号:CN202110296747.6

    申请日:2021-03-19

    Applicant: 南开大学

    Abstract: 本发明公开一种主从异构型遥操作机器人工作空间映射方法,针对主从异构型遥操作主端小范围操作空间难以覆盖从端大范围工作空间以及准确位置定位问题,设计一种主端位置‑从端速度映射以及主端位置‑从端位置映射切换的方法。通过主端位置‑从端速度映射解决工作空间覆盖的问题,通过主端位置‑从端位置映射实现从端精细位置定位,同时克服主端位置‑从端速度映射中无法快速换向运动的缺陷。采用手柄第七自由度的力反馈模拟开关按钮作为两种模式切换的信号。本发明方法实施方便,通用性较强,具有较灵活的操作手感,能够同时满足大范围工作空间覆盖以及局部精细位置定位。

    一种基于人类行为模拟的移动机器人实时运动规划方法

    公开(公告)号:CN108153310B

    公开(公告)日:2020-11-13

    申请号:CN201711399649.5

    申请日:2017-12-22

    Applicant: 南开大学

    Abstract: 本发明中提出的一种基于人类行为模拟的移动机器人实时运动规划方法,其主要内容包括:多层拟人行为路径规划框架,基于人类规划的行为模式,模拟人脑、人眼和人腿的功能对应设置全局层路径规划、感知层路径规划和执行层路径规划;完备性可调性轨迹规划算法,提出一种有完备性保证的高效率的轨迹规划算法,应用该算法规划的轨迹能够同时满足机器人的运动学约束和环境约束条件;动态监控和恢复行为策略,对机器人前方安全距离范围进行实时动态监控,如果遇到紧急状况采取恢复行为策略,有效地确保安全、提高鲁棒性。本发明能够在大规模的、动态变化的、部分未知的、非结构化的室内环境中,实现移动机器人的实时运动规划。

Patent Agency Ranking