一种红外偏振成像数据的水下目标细粒度分类方法

    公开(公告)号:CN117746227A

    公开(公告)日:2024-03-22

    申请号:CN202410182760.2

    申请日:2024-02-19

    Applicant: 吉林大学

    Abstract: 本发明属于水下机器视觉技术领域,本发明公开了一种红外偏振成像数据的水下目标细粒度分类方法,包括以下步骤:基于偏振相机获取图像构建水下基准数据集;利用交叠的滑动窗口对所述水下基准数据集中的所述红外偏振图像进行划分并编码,得到编码结果,并输入预训练视觉变换器编码器的共L层变换器层中,得到多层级的视觉特征和多层级的注意力图;利用前L‑1层每一层级的所述注意力图对自注意动态加权得到多层级动态注意力权重,并进行特征选择,得到特征组1;利用前L‑1层每一层级的注意力图对每一层级的特征进行前k个选择,得到多层级优化特征组2;将特征组1和特征组2输入第L层变换器层中,利用类别序列通过全连接层计算最终的类别。

    一种基于动态视觉传感器的水下多目标群体识别方法

    公开(公告)号:CN117671472A

    公开(公告)日:2024-03-08

    申请号:CN202410128788.8

    申请日:2024-01-31

    Applicant: 吉林大学

    Abstract: 一种基于动态视觉传感器的水下多目标群体识别方法。所述方法包括如下步骤:S1、利用动态视觉传感器收集水下多目标群体RGB图像与水下多目标群体事件;S2、使用水下多目标群体事件图像与水下多目标群体RGB图像构建数据集,按照比例划分训练集与验证集;S3、所述多目标群体识别模型以目标检测模型为基础,在目标检测模型骨干网络前嵌入自适应图像增强模块,在目标检测模型骨干网络和颈部网络之间嵌入特征级模态融合模块;S4、将训练集的数据输入步骤S4所述的多目标群体识别模型进行训练,以此获得符合要求的模型参数,并通过验证集验证效果;S5、通过训练好的多目标群体识别模型进行水下多目标群体识别。

    一种基于事件相机的水下蛙人目标检测方法

    公开(公告)号:CN116682000B

    公开(公告)日:2023-10-13

    申请号:CN202310936412.5

    申请日:2023-07-28

    Applicant: 吉林大学

    Abstract: 一种基于事件相机的水下蛙人目标检测方法。属于水下机器视觉目标检测技术领域,具体涉及水下蛙人目标检测领域。其解决了以往的水下蛙人目标检测缺乏鲁棒性强的特征信息的问题。所述方法具体为:利用事件相机获取水下蛙人事件序列和RGB图像,设计RGB残差学习模块,用于充分提取水下蛙人RGB图像空间特征信息,设计事件残差学习模块,用于充分提取水下蛙人事件图像纹理特征信息,设计特征融合网络,使水下蛙人RGB图像特征信息与水下蛙人事件图像特征信息进行细粒度特征融合。本发明所述方法可以应用在水下目标检测技术领域、水下航行安全检测领域以及水下目标识别设备制造领域。

    一种基于跨模态融合的水下视觉目标测距方法及装置

    公开(公告)号:CN116309781B

    公开(公告)日:2023-08-22

    申请号:CN202310557817.8

    申请日:2023-05-18

    Applicant: 吉林大学

    Abstract: 本申请公开了一种基于跨模态融合的水下视觉目标测距方法及装置,属于水下机器视觉技术领域,包括:获取水下的事件序列和RGB帧;通过体素网格方式对事件序列进行分段表征;对事件序列和RGB帧进行特征编码得到相应的特征描述子;通过自注意力机制对事件序列和RGB帧进行空间关系提取,得到用于描述局部事件与时空全局事件之间关系的依赖关系;根据特征描述子和依赖关系对事件序列和RGB帧进行特征融合,得到跨模态融合信息;根据跨模态融合信息进行预测并得到水下视觉目标距离。通过将事件和RGB两种数据模态跨模态融合,有效提升水下视觉目标距离估计的准确率。适用于为水下三维重建、目标检测、识别追踪等任务提供新的数据表达。

    基于多源传感器数据的潜水员运动状态识别方法和系统

    公开(公告)号:CN116561649A

    公开(公告)日:2023-08-08

    申请号:CN202310832974.5

    申请日:2023-07-10

    Applicant: 吉林大学

    Abstract: 基于多源传感器数据的潜水员运动状态识别方法和系统,解决了基于视觉方法在低光场景下的人体识别效果差的问题。涉及水下潜水员运动状态识别领域。方法包括:通过惯性传感器采集潜水员的水下活动的数据,并将数据存储在数据库中;对数据进行分割组成事件序列,并嵌入活动级上下文信息;建立词典,将事件序列中的每一个传感器事件转化为词索引,并建立嵌入矩阵;基于Transformer的GIF特征提取模块提取嵌入矩阵的特征,获得特征向量;利用一维平均池化层和带Softmax激活函数的全连接层对特征向量进行处理,获取识别模型,输出每个类别的预测概率,最终得到潜水员的姿态识别结果。本发明应用于水下目标识别领域。

    一种基于跨模态融合的水下视觉目标测距方法及装置

    公开(公告)号:CN116309781A

    公开(公告)日:2023-06-23

    申请号:CN202310557817.8

    申请日:2023-05-18

    Applicant: 吉林大学

    Abstract: 本申请公开了一种基于跨模态融合的水下视觉目标测距方法及装置,属于水下机器视觉技术领域,包括:获取水下的事件序列和RGB帧;通过体素网格方式对事件序列进行分段表征;对事件序列和RGB帧进行特征编码得到相应的特征描述子;通过自注意力机制对事件序列和RGB帧进行空间关系提取,得到用于描述局部事件与时空全局事件之间关系的依赖关系;根据特征描述子和依赖关系对事件序列和RGB帧进行特征融合,得到跨模态融合信息;根据跨模态融合信息进行预测并得到水下视觉目标距离。通过将事件和RGB两种数据模态跨模态融合,有效提升水下视觉目标距离估计的准确率。适用于为水下三维重建、目标检测、识别追踪等任务提供新的数据表达。

    一种海洋观测数据的空间场插补方法

    公开(公告)号:CN115935139A

    公开(公告)日:2023-04-07

    申请号:CN202310023122.1

    申请日:2023-01-09

    Applicant: 吉林大学

    Abstract: 本发明是一种海洋观测数据的空间场插补方法。本发明涉及海洋数据处理技术领域,本发明通过模糊区间规则对海洋浮标原始温盐场数据进行时段划分;使用滑动窗口构建深度学习训练集和标签;通过LSTM模型进行缺失数据点的检测;通过TCN对海洋浮标数据潜在时序性特征提取;利用多层TCN进行扩张卷积提取更多的历史信息;结合注意力机制进行插补特征关联特征的重要信息挖掘;经过多个Dense层信息还原输出插补的预测结果。通过本申请中的技术方案,通过兼具时空性的插值方法处理海洋观测数据集问题,更好的还原了真实的海洋浮标数据中的温盐空间场的稀疏和缺失值。

    一种基于骨骼关节点的潜水员动作识别方法

    公开(公告)号:CN115761905A

    公开(公告)日:2023-03-07

    申请号:CN202310024324.8

    申请日:2023-01-09

    Applicant: 吉林大学

    Abstract: 本发明是一种基于骨骼关节点的潜水员动作识别方法。本发明涉及图像处理技术领域,本发明通过水下摄影机获取RGB动作数据,经过姿态估计方法提取出人体骨骼数据;对姿态估计得到相关数据再进行处理得到本次实验数据;对于骨骼数据使用图卷积公式建立模型,按照运动特征将骨骼点划为三类;针对数据特征建立了时序‑通道聚合图卷积网络;网络模型结构最后经过一个全连接层得到潜水员动作的识别。通过本申请中的技术方案,实现了基于潜水员骨骼点的动作识别,提高了识别的精度,为实现水下作业人机交互应用提供了方法。

    一种基于融合事件和RGB数据的水下暗光场景重建方法

    公开(公告)号:CN115761472A

    公开(公告)日:2023-03-07

    申请号:CN202310024781.7

    申请日:2023-01-09

    Applicant: 吉林大学

    Abstract: 本发明是一种基于融合事件和RGB数据的水下暗光场景重建方法。本发明涉及水下机器视觉技术领域,本发明利用事件相机采集的水下暗光事件序列和弱曝光RGB帧构建基准数据集;针对事件序列的异步稀疏性,对每一场景事件序列采用体素网格方式进行分段化表征;利用特征编码网络对事件序列和RGB帧进行特征编码,利用基于特征金字塔的多级Transformer编码器,得到多尺度事件和RGB特征提取分支;利用多阶段残差学习,融合事件和RGB特征,利用逐级上采样特征解码器,最终输出清晰的水下重建场景。实现对事件数据和RGB数据的高效融合,并在水下暗光场景重建清晰的图像,为水下的检测、识别和追踪任务提供了鲁棒的视觉表达。

    一种具备运动数据采集功能的哑铃

    公开(公告)号:CN207024475U

    公开(公告)日:2018-02-23

    申请号:CN201620686128.2

    申请日:2016-07-04

    Applicant: 吉林大学

    Abstract: 本实用新型公开了一种具备运动数据采集功能的哑铃,包括:铃杆;左铃头和右铃头,其可拆卸的固定在所述铃杆的两端,且每个铃头上设置有多片铃片;以及感应装置,其设置在所述铃杆的一端,并且位于铃头的外侧,振动发电机,其设置在所述铃杆的内部腔体内。通过采用感应装置,使用多种传感器采集使用者的哑铃健身动作,并通过蓝牙发送到电脑端或手机端,在电脑端和手机端进行动作识别、记录,对运动量进行量化。能够帮助用户识别并记录其运动量,分析运动部位,检测用户运动频率是否合理,动作是否到位,使得使用者对自己的肢体有了更进一步的了解,同时能够识别运动环境信息。

Patent Agency Ranking