基于递归卷积神经网络实现视线估计与注意力分析的系统及其方法

    公开(公告)号:CN114387679A

    公开(公告)日:2022-04-22

    申请号:CN202210040206.1

    申请日:2022-01-14

    Applicant: 上海大学

    Abstract: 本发明公开了一种基于递归卷积神经网络实现视线估计与注意力分析的系统,包括视线特征提取模块、视线回归模块、视线落点映射模块和注意力可视化与分析模块。还涉及一种相应的方法,在实现中,同时提取双眼表观特征和头部姿态特征,进行空间域特征融合;对于连续多帧视线特征,通过Bi‑LSTM网络层将注视行为的时序特征联合编码,完成时域特征融合,进而回归出中间帧的视线向量;还提出了一种基于单目相机的视线落点解算方法,可实时获取视线落点坐标,且不受场景限制;以底层模块提供数据支撑,在注意力可视化与分析模块,提供了丰富的实时视线追踪可视化以及相关视线参数可视化的形式。本技术方案能满足使用场景的准确性和稳定性要求,应用场景广泛。

    基于卷积神经网络的多物体抓取区域定位方法

    公开(公告)号:CN110796700A

    公开(公告)日:2020-02-14

    申请号:CN201910998195.6

    申请日:2019-10-21

    Applicant: 上海大学

    Abstract: 本发明公开了一种基于卷积神经网络的多物体抓取区域定位方法,包括图像平面抓取检测部分和抓取位姿定位部分,属于图像检测和定位领域。所述图像平面抓取检测部分对Cornell Grasping Dataset进行数据增强,并按照所述旋转直径圆的抓取表示方式构建图像的抓取标签,得到训练集和验证集;构建卷积神经网络模型并通过所述训练集训练,利用训练好的卷积神经网络模型为图像中每个物体预测可行的抓取圆。所述抓取位姿定位部分通过配准的点云得到抓取点的空间位置,然后计算抓取点的法线向量,结合物体抓取圆的参数,确定物体的抓取位姿。本发明可以在多物体场景下快速而准确的得到每个物体的抓取位姿,从而实现对未知物体的高准确度抓取。

    一种表单任意区域字符识别与信息录入方法

    公开(公告)号:CN109886108A

    公开(公告)日:2019-06-14

    申请号:CN201910041872.5

    申请日:2019-01-17

    Applicant: 上海大学

    Abstract: 本发明属于图像检测与识别领域,涉及一种表单中任意区域字符识别与信息录入方法。本发明采用图像采集相机镜头对准表单,照明光源对表单照明,表单置于传动带或置物台上,采集相机连接电脑,从而进行采集模板表单图像,离线构建表单区域于兴趣区域的模板特征参数库,表单图像在线采集与待识别图像筛选,表单区域提取与位姿标准化,表单兴趣区域提取与字符录入操作。本发明较传统信息识别录入方法,在功能方面更具灵活性,在效益方面更具经济性,在实际场景应用中有着良好的表现。

    一种基于机器视觉的激光水平仪出射激光线检测方法

    公开(公告)号:CN106546263A

    公开(公告)日:2017-03-29

    申请号:CN201610888229.2

    申请日:2016-10-12

    Applicant: 上海大学

    Abstract: 本发明公开了一种基于机器视觉的激光水平仪出射激光线检测方法,包括:1)实时采集多条水平或垂直激光线的多幅图像数据;2)传输图像数据到PC机;3)图像预处理;4)图像检测每幅图片中拍摄的激光线段位置,并且判断激光线宽度等信息;5)将激光线相关图片信息融合,判断激光直线的位置信息是否发生上下左右方向的出射偏移;6)将激光线多幅图片宽度信息融合,判断每条激光线是否小于等于规定的衍射角,保证宽度符合生产要求;7)将激光水平仪是否合格的信息显示到人机界面,给出判断结果和依据,并存储当前检测水平仪编号和其各方向激光线宽度、位置等信息入库。本发明可以实现对激光线的位置精度识别以及对激光线宽度的精确测量。

    实现采棉机采净率实时视觉检测的方法

    公开(公告)号:CN120031955A

    公开(公告)日:2025-05-23

    申请号:CN202510113390.1

    申请日:2025-01-24

    Abstract: 本发明涉及一种实现采棉机采净率实时视觉检测的方法,包括以下步骤:基于车身宽度与相机视角,根据卸货板的高度选择相机的安装高度,设定相机左右布局及间隔距离,对相机垂直视角进行调整;基于实时行进速度VCP,通过CAN总线获取采棉机的行进速度,并动态调整图像采集周期;对棉花目标进行检测与区域分割;对棉花采净率进行实时估算。采用了本发明的实现采棉机采净率实时视觉检测的方法,结合了能够灵活适应采棉机宽度的硬件系统与针对棉田场景设计的棉花识别和采净率估计方法。通过棉花识别算法与采净率预测模型,实时评估采收效果,优化采收效率。该方法不仅具有较强的适应性和准确性,还能显著提升采收作业的自动化水平。

    基于递归卷积神经网络实现视线估计与注意力分析的系统及其方法

    公开(公告)号:CN114387679B

    公开(公告)日:2024-09-24

    申请号:CN202210040206.1

    申请日:2022-01-14

    Applicant: 上海大学

    Abstract: 本发明公开了一种基于递归卷积神经网络实现视线估计与注意力分析的系统,包括视线特征提取模块、视线回归模块、视线落点映射模块和注意力可视化与分析模块。还涉及一种相应的方法,在实现中,同时提取双眼表观特征和头部姿态特征,进行空间域特征融合;对于连续多帧视线特征,通过Bi‑LSTM网络层将注视行为的时序特征联合编码,完成时域特征融合,进而回归出中间帧的视线向量;还提出了一种基于单目相机的视线落点解算方法,可实时获取视线落点坐标,且不受场景限制;以底层模块提供数据支撑,在注意力可视化与分析模块,提供了丰富的实时视线追踪可视化以及相关视线参数可视化的形式。本技术方案能满足使用场景的准确性和稳定性要求,应用场景广泛。

    机器人及车厢内位姿定位识别方法、定位方法和识别系统

    公开(公告)号:CN117283553A

    公开(公告)日:2023-12-26

    申请号:CN202311330830.6

    申请日:2023-10-13

    Applicant: 上海大学

    Abstract: 本发明提供了一种机器人车厢内位姿定位识别方法,包括:基于深度相机获取相机环境信息以及环境中相机部分的机器人位姿;基于激光雷达获取雷达环境信息以及环境中雷达部分的机器人位姿;融合所述相机位姿与雷达位姿,构建所述机器人在所述环境信息中的整体位姿。同时提供了一种基于该位姿定位识别方法实现的机器人车厢内位姿定位方法、相应的机器人车厢内位姿定位识别系统以及采用该位姿定位识别系统的机器人。本发明采用了多传感器融合的方式,更具有稳定性,准确性。采用动态坐标系选取的定位方式,更适应非结构化弱光环境下装卸货机器人的定位,保证了多层货物堆叠过程中机器人定位的一致性。

    基于卷积神经网络的多物体抓取区域定位方法

    公开(公告)号:CN110796700B

    公开(公告)日:2023-06-09

    申请号:CN201910998195.6

    申请日:2019-10-21

    Applicant: 上海大学

    Abstract: 本发明公开了一种基于卷积神经网络的多物体抓取区域定位方法,包括图像平面抓取检测部分和抓取位姿定位部分,属于图像检测和定位领域。所述图像平面抓取检测部分对Cornell Grasping Dataset进行数据增强,并按照所述旋转直径圆的抓取表示方式构建图像的抓取标签,得到训练集和验证集;构建卷积神经网络模型并通过所述训练集训练,利用训练好的卷积神经网络模型为图像中每个物体预测可行的抓取圆。所述抓取位姿定位部分通过配准的点云得到抓取点的空间位置,然后计算抓取点的法线向量,结合物体抓取圆的参数,确定物体的抓取位姿。本发明可以在多物体场景下快速而准确的得到每个物体的抓取位姿,从而实现对未知物体的高准确度抓取。

    使用RGB相机实现人体动作捕捉的系统及其方法

    公开(公告)号:CN114495274A

    公开(公告)日:2022-05-13

    申请号:CN202210084865.5

    申请日:2022-01-25

    Applicant: 上海大学

    Abstract: 本发明涉及一种使用RGB相机的人体动作捕捉的系统,其中,该系统包括人体三维姿态估计模块、虚拟人物模型空间定位处理模块、虚拟人物模型姿态重定向处理模块以及人体动作捕捉输出模块。本发明还涉及一种相应的方法,该方法包括(1)模型搭建:获取模型一得到人体三维姿态;获取模型二,完成虚拟人物模型空间定位和姿态重定向任务。(2)平台搭建:建立终端计算机和云端服务器的网络连接;终端计算机获取RGB相机的图像并发送至云端服务器;云端服务器从连续图像和符合Humanoid标准的虚拟人物模型使用模型一和模型二估计出人体三维位姿,并发送至终端计算机。本发明提出的方法和系统与其他发明相比,模型结构简单,满足个人和团队的多媒体制作创作需求。

    一种叉车式AGV磁导轨跟踪控制系统及方法

    公开(公告)号:CN109279543B

    公开(公告)日:2020-10-30

    申请号:CN201811315946.1

    申请日:2018-11-07

    Applicant: 上海大学

    Abstract: 本发明公开了一种叉车式AGV磁导轨跟踪控制系统及方法。控制系统包含磁导轨感知子系统、速度和角度检测子系统、舵轮控制子系统和跟踪控制子系统。控制方法的基本步骤是跟踪控制子系统从磁导轨感知子系统获取传感器信息,确定车身姿态与相对位置,并结合从速度和角度检测子系统中获取的舵轮旋转角速度和方向角度,确定叉车式AGV当前运行状态,根据运行状态使用不同模式跟踪磁导轨。该系统及方法能够在只依赖单一磁导轨传感器检测的情况下,进行车身定位与运行状态识别,并自动调整叉车式AGV舵轮旋转角速度和舵轮方向角度,一体化实现对叉车式AGV车速的平滑控制以及对直线、曲线磁导轨的稳定跟踪。

Patent Agency Ranking