-
公开(公告)号：CN117745596B
公开(公告)日：2024-06-11
申请号：CN202410182761.7
申请日：2024-02-19
Applicant: 吉林大学
IPC: G06T5/77 , G06N3/0455 , G06N3/0464 , G06N3/048 , G06N3/0499 , G06N3/08 , G06T5/50 , G06T5/60
Abstract: 一种基于跨模态融合的水下去遮挡方法。本发明属于水下机器视觉的技术领域，具体而言，涉及事件和RGB两种数据模态深度融合方法，以及基于事件和RGB数据的水下场景去遮挡重建方法。本发明提供了一种基于跨模态融合的水下去遮挡方法，解决了现有技术中在水下去遮挡时都是先将事件序列与RGB图像各自的特征先进行编码后再融合，此种处理方式容易导致模型计算量和硬件要求翻倍，无法适配于资源受限的水下环境的问题。本发明所述方法将事件序列与RGB图像直接进行融合，然后再进行编码解码，在前融合阶段进行数据融合，减少了系统对计算量的要求，使网络更加轻量化。
-
公开(公告)号：CN117557795B
公开(公告)日：2024-03-29
申请号：CN202410035082.7
申请日：2024-01-10
Applicant: 吉林大学
IPC: G06V10/26 , G06N3/045 , G06N3/0464 , G06V10/774 , G06V10/80 , G06V10/82 , G06V20/05
Abstract: 本申请提供了一种基于多源数据融合的水下目标语义分割方法,属于水下机器视觉语义分割技术领域。步骤1、获取水下目标事件图像与RGB图像所构建的数据集，划分训练集与验证集；步骤2、设计跨模态注意力模块及跨通道注意力模块；步骤3、将跨模态注意力模块与跨通道注意力模块嵌入到所设计的多源数据融合模块中；步骤4、将多源数据融合模块嵌入到构建的语义分割模型中，并训练及验证语义分割模型；步骤5、使用步骤4的语义分割模型对水下目标进行语义分割。利用事件相机获取水下目标事件序列和RGB图像，将水下目标事件序列和RGB图像信息进行高效充分的数据特征信息融合，为水下目标语义分割提供丰富的特征信息。
-
公开(公告)号：CN115757386B
公开(公告)日：2023-04-11
申请号：CN202310023123.6
申请日：2023-01-09
Applicant: 吉林大学
IPC: G06F16/215 , G06F18/2433 , G06F18/15 , G06F18/2135 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/082 , G06N3/084
Abstract: 海洋空间观测数据的异常检测方法、系统、设备与介质，属于海洋空间数据、数据异常检测技术领域。获取海洋空间的每个观测点分别观测的不同深度数据，将其组成数据集；将数据集中的低质量的深度数据进行排除后，对数据集进行归一化，判断某一观测点观测的不同深度数据是否出现异常，若出现异常，对该观测点观测的不同深度数据进行缩放，再对数据集进行缩放后，对数据集进行降维，将数据集组成图像形式；对图像进行zero‑padding，构建CoordConv层；将图像输入到卷积神经网络模型中，并基于构建的CoordConv层，构建Bicubic+CoordConv+Pool卷积神经网络模型；对构建的卷积神经网络模型进行训练；将待检测数据输入训练好的卷积神经网络模型，进行异常值检测。
-
公开(公告)号：CN115757857A
公开(公告)日：2023-03-07
申请号：CN202310024866.5
申请日：2023-01-09
Applicant: 吉林大学
IPC: G06F16/583 , G06F16/242 , G06F16/532 , G06V10/42 , G06V10/44 , G06V10/77 , G06V10/82 , G06V20/05 , G06V20/64
Abstract: 一种水下三维跨模态联合检索方法、存储介质和电子设备，涉及水下三维视觉技术领域，实现了水下目标生物的精准检索。S1、利用全局特征提取器和局部特征提取器分别对多模态水下目标数据进行特征提取，得到对应不同源域空间的全局特征描述子和局部特征描述子集合，并分别映射到高维语义空间；S2、针对映射到高维语义空间的局部特征描述子集合，使用双线性池化方法将局部特征描述子集合映射为局部特征集合紧致描述子；S3、隐式建模全局特征描述子与局部特征集合紧致描述子，生成统一的域间差异层次特征表达；S4、使用跨模态中心损失函数和平方差损失函数联合优化跨模态检索网络，最终获得在多个目标模态之间精确的检索结果。
-
公开(公告)号：CN117893894A
公开(公告)日：2024-04-16
申请号：CN202410294510.8
申请日：2024-03-15
Applicant: 吉林大学
IPC: G06V20/05 , G06N3/045 , G06N3/0464 , G06N3/0495 , G06N3/08 , G06V10/25 , G06V10/82
Abstract: 一种基于红外偏振图像的水下目标轻量化检测方法及装置，涉及水下机器视觉目标检测技术领域，方法包括：基于红外偏振相机采集水下目标红外偏振图像；将所述目标红外偏振图像划分为训练集和测试集；设计增强特征提取模块，并插入SlimNeck网络中，构成轻量化颈部网络；设计轻量化检测头SlimDetect，并采用所述轻量化检测头SlimDetect和所述轻量化颈部网络替换单阶段目标检测模型中的对应部分，得到轻量化目标检测模型；基于所述训练集训练所述轻量化目标检测模型；将训练后的轻量化目标检测模型用于水下目标检测；该方法通过轻量化设计，减少模型的参数量和计算复杂度，使得在资源有限的水下设备上实现实时目标检测成为可能。
-
Patent Agency Ranking
公开(公告)号：CN117576784B
公开(公告)日：2024-03-26
申请号：CN202410049996.9
申请日：2024-01-15
Applicant: 吉林大学
IPC: G06V40/20 , G06N3/0442 , G06N3/045 , G06N3/0464 , G06N3/08 , G06V10/764 , G06V10/80 , G06V10/82
Abstract: 一种融合事件和RGB数据潜水员手势识别方法及其系统，涉及水下计算机视觉的技术领域。解决现有潜水员手势识别方法单独依赖视觉信息会存在局限性，如准确性低和鲁棒性差的问题。采用事件相机采集多样化的潜水员手势视频，转化成事件序列和RGB帧，并构建基准数据集；将事件序列数据映射到三维网格，采用多维特征表示；采用滑动窗口处理所述RGB帧，针对每个窗口内进行局部处理获得RGB特征；采用MLP编码事件和RGB特征，得到多模态融合的信息表达；采用预训练的ResNet3D18和EGRU单元构成手势识别模型对融合后的特征进行训练，最终输出潜水员手势的准确类别。本发明适用于潜水员工作时的信息交互和信息传递。
-
公开(公告)号：CN117746227A
公开(公告)日：2024-03-22
申请号：CN202410182760.2
申请日：2024-02-19
Applicant: 吉林大学
IPC: G06V20/05 , G06N3/0455 , G06N3/0464 , G06N3/08 , G06V10/147 , G06V10/44 , G06V10/764 , G06V10/82
Abstract: 本发明属于水下机器视觉技术领域，本发明公开了一种红外偏振成像数据的水下目标细粒度分类方法，包括以下步骤：基于偏振相机获取图像构建水下基准数据集；利用交叠的滑动窗口对所述水下基准数据集中的所述红外偏振图像进行划分并编码，得到编码结果，并输入预训练视觉变换器编码器的共L层变换器层中，得到多层级的视觉特征和多层级的注意力图；利用前L‑1层每一层级的所述注意力图对自注意动态加权得到多层级动态注意力权重，并进行特征选择，得到特征组1；利用前L‑1层每一层级的注意力图对每一层级的特征进行前k个选择，得到多层级优化特征组2；将特征组1和特征组2输入第L层变换器层中，利用类别序列通过全连接层计算最终的类别。
-
公开(公告)号：CN117671472A
公开(公告)日：2024-03-08
申请号：CN202410128788.8
申请日：2024-01-31
Applicant: 吉林大学
IPC: G06V20/05 , G06N3/0464 , G06N3/08 , G06V10/36 , G06V10/44 , G06V10/52 , G06V10/764 , G06V10/80 , G06V10/82
Abstract: 一种基于动态视觉传感器的水下多目标群体识别方法。所述方法包括如下步骤：S1、利用动态视觉传感器收集水下多目标群体RGB图像与水下多目标群体事件；S2、使用水下多目标群体事件图像与水下多目标群体RGB图像构建数据集，按照比例划分训练集与验证集；S3、所述多目标群体识别模型以目标检测模型为基础，在目标检测模型骨干网络前嵌入自适应图像增强模块，在目标检测模型骨干网络和颈部网络之间嵌入特征级模态融合模块；S4、将训练集的数据输入步骤S4所述的多目标群体识别模型进行训练，以此获得符合要求的模型参数，并通过验证集验证效果；S5、通过训练好的多目标群体识别模型进行水下多目标群体识别。
-
公开(公告)号：CN117576784A
公开(公告)日：2024-02-20
申请号：CN202410049996.9
申请日：2024-01-15
Applicant: 吉林大学
IPC: G06V40/20 , G06N3/0442 , G06N3/045 , G06N3/0464 , G06N3/08 , G06V10/764 , G06V10/80 , G06V10/82
Abstract: 一种融合事件和RGB数据潜水员手势识别方法及其系统，涉及水下计算机视觉的技术领域。解决现有潜水员手势识别方法单独依赖视觉信息会存在局限性，如准确性低和鲁棒性差的问题。采用事件相机采集多样化的潜水员手势视频，转化成事件序列和RGB帧，并构建基准数据集；将事件序列数据映射到三维网格，采用多维特征表示；采用滑动窗口处理所述RGB帧，针对每个窗口内进行局部处理获得RGB特征；采用MLP编码事件和RGB特征，得到多模态融合的信息表达；采用预训练的ResNet3D18和EGRU单元构成手势识别模型对融合后的特征进行训练，最终输出潜水员手势的准确类别。本发明适用于潜水员工作时的信息交互和信息传递。
-
公开(公告)号：CN116912675B
公开(公告)日：2023-11-28
申请号：CN202311175150.1
申请日：2023-09-13
Applicant: 吉林大学
IPC: G06V20/05 , G06N3/0464 , G06N3/0475 , G06N3/094 , G06N3/096 , G06V10/80 , G06V10/82
Abstract: 一种基于特征迁移的水下目标检测方法及系统，涉及水下机器视觉目标检测技术领域。解决现有水下目标检测方法存在的水下图像质量差、识别误差大和泛化能力差的问题。方法为：构建基准数据集进而训练迁移对抗学习网络模型，采用训练后的迁移对抗学习网络模型将水下高清图像的特征迁移到水下模糊目标图像上；将两层坐标注意力增强模块添加到YOLOv5的骨干网络中，并添加一组锚框和SIOU位置损失函数，获得DCA‑YOLOv5目标检测模型；采用DCA‑YOLOv5目标检测模型对特征增强后的水下高清目标图像进行目标检测，获得目标的位置和类别信息。本发明适用于水下模糊场景增强以及高精度的水下目标检测。
-
-
-
-
-
-
-
-
-
Search Results
68
records
(took 0.02 seconds)
