-
公开(公告)号:CN116682000B
公开(公告)日:2023-10-13
申请号:CN202310936412.5
申请日:2023-07-28
Applicant: 吉林大学
IPC: G06V20/05 , G06N3/0464 , G06N3/08 , G06V10/80 , G06V10/82
Abstract: 一种基于事件相机的水下蛙人目标检测方法。属于水下机器视觉目标检测技术领域,具体涉及水下蛙人目标检测领域。其解决了以往的水下蛙人目标检测缺乏鲁棒性强的特征信息的问题。所述方法具体为:利用事件相机获取水下蛙人事件序列和RGB图像,设计RGB残差学习模块,用于充分提取水下蛙人RGB图像空间特征信息,设计事件残差学习模块,用于充分提取水下蛙人事件图像纹理特征信息,设计特征融合网络,使水下蛙人RGB图像特征信息与水下蛙人事件图像特征信息进行细粒度特征融合。本发明所述方法可以应用在水下目标检测技术领域、水下航行安全检测领域以及水下目标识别设备制造领域。
-
公开(公告)号:CN116295449B
公开(公告)日:2023-09-12
申请号:CN202310593764.5
申请日:2023-05-25
Applicant: 吉林大学
Abstract: 水下自主航行器路径指示方法及装置,涉及运动方向指示技术领域。为解决现有技术中存在的,水下自主航行器无法应对复杂的海洋环境的技术问题,本发明提供的技术方案为:水下自主航行器路径指示方法,包括:采集海洋环境对航行器的影响因素的步骤;采集航行器的可行动动作的步骤;建立奖励函数的步骤;根据奖励函数,建立强化网络的建模步骤;采集航行器的高不确定性动作策略和对应的航行器状态,得到经验元组集合的收集步骤;随机抽取集合中的经验元组对强化网络进行训练的训练步骤;重复收集步骤和训练步骤,至达到预设次数的步骤;根据训练后的强化网络确定航行器的最佳路径的步骤。适合应用于未知水下空间内的最优路径规划工作中。
-
公开(公告)号:CN116309781B
公开(公告)日:2023-08-22
申请号:CN202310557817.8
申请日:2023-05-18
Applicant: 吉林大学
Abstract: 本申请公开了一种基于跨模态融合的水下视觉目标测距方法及装置,属于水下机器视觉技术领域,包括:获取水下的事件序列和RGB帧;通过体素网格方式对事件序列进行分段表征;对事件序列和RGB帧进行特征编码得到相应的特征描述子;通过自注意力机制对事件序列和RGB帧进行空间关系提取,得到用于描述局部事件与时空全局事件之间关系的依赖关系;根据特征描述子和依赖关系对事件序列和RGB帧进行特征融合,得到跨模态融合信息;根据跨模态融合信息进行预测并得到水下视觉目标距离。通过将事件和RGB两种数据模态跨模态融合,有效提升水下视觉目标距离估计的准确率。适用于为水下三维重建、目标检测、识别追踪等任务提供新的数据表达。
-
公开(公告)号:CN116561649A
公开(公告)日:2023-08-08
申请号:CN202310832974.5
申请日:2023-07-10
Applicant: 吉林大学
IPC: G06F18/24 , G06N3/048 , G06F16/22 , G06F18/10 , G06F18/15 , G06F18/213 , G06F18/25 , A61B5/11 , G01C21/16
Abstract: 基于多源传感器数据的潜水员运动状态识别方法和系统,解决了基于视觉方法在低光场景下的人体识别效果差的问题。涉及水下潜水员运动状态识别领域。方法包括:通过惯性传感器采集潜水员的水下活动的数据,并将数据存储在数据库中;对数据进行分割组成事件序列,并嵌入活动级上下文信息;建立词典,将事件序列中的每一个传感器事件转化为词索引,并建立嵌入矩阵;基于Transformer的GIF特征提取模块提取嵌入矩阵的特征,获得特征向量;利用一维平均池化层和带Softmax激活函数的全连接层对特征向量进行处理,获取识别模型,输出每个类别的预测概率,最终得到潜水员的姿态识别结果。本发明应用于水下目标识别领域。
-
公开(公告)号:CN116309781A
公开(公告)日:2023-06-23
申请号:CN202310557817.8
申请日:2023-05-18
Applicant: 吉林大学
Abstract: 本申请公开了一种基于跨模态融合的水下视觉目标测距方法及装置,属于水下机器视觉技术领域,包括:获取水下的事件序列和RGB帧;通过体素网格方式对事件序列进行分段表征;对事件序列和RGB帧进行特征编码得到相应的特征描述子;通过自注意力机制对事件序列和RGB帧进行空间关系提取,得到用于描述局部事件与时空全局事件之间关系的依赖关系;根据特征描述子和依赖关系对事件序列和RGB帧进行特征融合,得到跨模态融合信息;根据跨模态融合信息进行预测并得到水下视觉目标距离。通过将事件和RGB两种数据模态跨模态融合,有效提升水下视觉目标距离估计的准确率。适用于为水下三维重建、目标检测、识别追踪等任务提供新的数据表达。
-
公开(公告)号:CN115757857B
公开(公告)日:2023-05-23
申请号:CN202310024866.5
申请日:2023-01-09
Applicant: 吉林大学
IPC: G06F16/583 , G06F16/242 , G06F16/532 , G06V10/42 , G06V10/44 , G06V10/77 , G06V10/82 , G06V20/05 , G06V20/64
Abstract: 一种水下三维跨模态联合检索方法、存储介质和电子设备,涉及水下三维视觉技术领域,实现了水下目标生物的精准检索。S1、利用全局特征提取器和局部特征提取器分别对多模态水下目标数据进行特征提取,得到对应不同源域空间的全局特征描述子和局部特征描述子集合,并分别映射到高维语义空间;S2、针对映射到高维语义空间的局部特征描述子集合,使用双线性池化方法将局部特征描述子集合映射为局部特征集合紧致描述子;S3、隐式建模全局特征描述子与局部特征集合紧致描述子,生成统一的域间差异层次特征表达;S4、使用跨模态中心损失函数和平方差损失函数联合优化跨模态检索网络,最终获得在多个目标模态之间精确的检索结果。
-
公开(公告)号:CN115935139A
公开(公告)日:2023-04-07
申请号:CN202310023122.1
申请日:2023-01-09
Applicant: 吉林大学
Abstract: 本发明是一种海洋观测数据的空间场插补方法。本发明涉及海洋数据处理技术领域,本发明通过模糊区间规则对海洋浮标原始温盐场数据进行时段划分;使用滑动窗口构建深度学习训练集和标签;通过LSTM模型进行缺失数据点的检测;通过TCN对海洋浮标数据潜在时序性特征提取;利用多层TCN进行扩张卷积提取更多的历史信息;结合注意力机制进行插补特征关联特征的重要信息挖掘;经过多个Dense层信息还原输出插补的预测结果。通过本申请中的技术方案,通过兼具时空性的插值方法处理海洋观测数据集问题,更好的还原了真实的海洋浮标数据中的温盐空间场的稀疏和缺失值。
-
公开(公告)号:CN115761905A
公开(公告)日:2023-03-07
申请号:CN202310024324.8
申请日:2023-01-09
Applicant: 吉林大学
IPC: G06V40/20 , G06V10/774 , G06V10/82 , G06V20/05 , G06N3/042
Abstract: 本发明是一种基于骨骼关节点的潜水员动作识别方法。本发明涉及图像处理技术领域,本发明通过水下摄影机获取RGB动作数据,经过姿态估计方法提取出人体骨骼数据;对姿态估计得到相关数据再进行处理得到本次实验数据;对于骨骼数据使用图卷积公式建立模型,按照运动特征将骨骼点划为三类;针对数据特征建立了时序‑通道聚合图卷积网络;网络模型结构最后经过一个全连接层得到潜水员动作的识别。通过本申请中的技术方案,实现了基于潜水员骨骼点的动作识别,提高了识别的精度,为实现水下作业人机交互应用提供了方法。
-
公开(公告)号:CN115761472A
公开(公告)日:2023-03-07
申请号:CN202310024781.7
申请日:2023-01-09
Applicant: 吉林大学
Abstract: 本发明是一种基于融合事件和RGB数据的水下暗光场景重建方法。本发明涉及水下机器视觉技术领域,本发明利用事件相机采集的水下暗光事件序列和弱曝光RGB帧构建基准数据集;针对事件序列的异步稀疏性,对每一场景事件序列采用体素网格方式进行分段化表征;利用特征编码网络对事件序列和RGB帧进行特征编码,利用基于特征金字塔的多级Transformer编码器,得到多尺度事件和RGB特征提取分支;利用多阶段残差学习,融合事件和RGB特征,利用逐级上采样特征解码器,最终输出清晰的水下重建场景。实现对事件数据和RGB数据的高效融合,并在水下暗光场景重建清晰的图像,为水下的检测、识别和追踪任务提供了鲁棒的视觉表达。
-
公开(公告)号:CN118276591A
公开(公告)日:2024-07-02
申请号:CN202410685425.4
申请日:2024-05-30
Applicant: 吉林大学
Abstract: 本发明提出了一种面向机动目标的水下自主航行器跟踪控制方法,属于动态目标跟踪技术领域,利用历史海洋生物数据生成水下机动目标的运动模型,根据水下航行器数据构建航行器动态目标跟踪仿真模型,设计多因素状态应对目标的机动性能,通过智能体从模拟环境中获取当前的状态信息,输入到行动者网络从而实现对智能体的控制,并将过程中使用及生成的数据存储到重放缓冲器中,智能体从重放缓冲器中读取数据,并将每一条数据中的智能体状态及生成的控制量动作输入到评论家网络,得到该条数据中动作的价值,并通过计算损失更新行动者和评论家网络。
-
-
-
-
-
-
-
-
-