-
公开(公告)号：CN117745596B
公开(公告)日：2024-06-11
申请号：CN202410182761.7
申请日：2024-02-19
Applicant: 吉林大学
IPC: G06T5/77 , G06N3/0455 , G06N3/0464 , G06N3/048 , G06N3/0499 , G06N3/08 , G06T5/50 , G06T5/60
Abstract: 一种基于跨模态融合的水下去遮挡方法。本发明属于水下机器视觉的技术领域，具体而言，涉及事件和RGB两种数据模态深度融合方法，以及基于事件和RGB数据的水下场景去遮挡重建方法。本发明提供了一种基于跨模态融合的水下去遮挡方法，解决了现有技术中在水下去遮挡时都是先将事件序列与RGB图像各自的特征先进行编码后再融合，此种处理方式容易导致模型计算量和硬件要求翻倍，无法适配于资源受限的水下环境的问题。本发明所述方法将事件序列与RGB图像直接进行融合，然后再进行编码解码，在前融合阶段进行数据融合，减少了系统对计算量的要求，使网络更加轻量化。
-
公开(公告)号：CN117911303A
公开(公告)日：2024-04-19
申请号：CN202410295730.2
申请日：2024-03-15
Applicant: 吉林大学
Abstract: 一种面向水下弱光场景的图像质量增强方法及装置，涉及水下机器视觉技术领域，该方法包括：采集水下弱光场景数据；基于Restormer模型对所述弱光场景数据集进行特征提取，得到外观特征信息；基于带有条件信息的扩散模型对所述弱光场景数据进行特征提取，得到细节特征信息；基于ResNet模型将所述外观特征信息和所述细节特征信息在语义空间中合并，并将融合特征在通道维度结合，通过所述ResNet模型的解码器在像素空间中重建并输出增强图像；该方法利用RGB数据，实现一种面向水下弱光场景的图像质量增强方法，重建清晰的水下弱光增强图片，为水下的目标检测、追踪、深度估计等任务提供高质量鲁棒的视觉表达。
-
公开(公告)号：CN117690190A
公开(公告)日：2024-03-12
申请号：CN202410130129.8
申请日：2024-01-31
Applicant: 吉林大学
IPC: G06V40/20 , G06V20/05 , G06V10/34 , G06V10/426 , G06V10/44 , G06V10/52 , G06V10/62 , G06V10/82 , G06N3/0455 , G06N3/0464 , G06N3/084 , G06N3/0895
Abstract: 本发明属于水下动作识别技术领域，本发明公开了基于超图文本对比的水下动作识别方法、系统及存储介质，包括以下步骤：获取水下动作基准数据集；基于姿态估计法提取水下各种动作指令下的水下人体骨骼数据；对基本人体骨骼进行分区设计，建立关于骨骼关节点的超边，进而获得超图；将所述超图和所述水下人体骨骼数据进行结合，输出水下骨骼的超边特征；基于Transformer模型，输出骨骼特征，将所述骨骼特征和所述文本模型中的文本特征进行对比学习，最终输出精确的潜水员动作指令识别结果。本发明，将超图与输入特征结合推到超边特征，采用文本编码器生成文本特征，实现骨骼‑文本的对比学习，有效地利用多模态信息进一步提升潜水员动作识别的效能。
-
-
公开(公告)号：CN115883764B
公开(公告)日：2023-05-23
申请号：CN202310076493.6
申请日：2023-02-08
Applicant: 吉林大学
IPC: H04N7/01 , H04N5/265 , G06N3/0464
Abstract: 一种基于数据协同的水下高速视频插帧方法及其系统。通过传统相机和事件相机分别获取RGB数据和事件数据；将获取的RGB数据和事件数据利用U型合成网络融合，获取合成结果；利用合成结果和获取的RGB数据经过三层多尺度光流估计网络进行帧光流估计；利用获取的RGB数据和事件数据经过三层多尺度光流估计网络进行事件光流估计；将融合结果、经过三层多尺度光流估计网络进行的帧光流估计结果与经过三层多尺度光流估计网络进行的事件光流估计通过U型融合网络进行融合，输出中间帧。本发明实现利用RGB数据和事件数据生成视频的中间帧，提高视频的帧率，优化在水下场景下非线性运动下插帧效果的鲁棒性。
-
Patent Agency Ranking
公开(公告)号：CN117746227B
公开(公告)日：2024-06-11
申请号：CN202410182760.2
申请日：2024-02-19
Applicant: 吉林大学
IPC: G06V20/05 , G06N3/0455 , G06N3/0464 , G06N3/08 , G06V10/147 , G06V10/44 , G06V10/764 , G06V10/82
Abstract: 本发明属于水下机器视觉技术领域，本发明公开了一种红外偏振成像数据的水下目标细粒度分类方法，包括以下步骤：基于偏振相机获取图像构建水下基准数据集；利用交叠的滑动窗口对所述水下基准数据集中的所述红外偏振图像进行划分并编码，得到编码结果，并输入预训练视觉变换器编码器的共L层变换器层中，得到多层级的视觉特征和多层级的注意力图；利用前L‑1层每一层级的所述注意力图对自注意动态加权得到多层级动态注意力权重，并进行特征选择，得到特征组1；利用前L‑1层每一层级的注意力图对每一层级的特征进行前k个选择，得到多层级优化特征组2；将特征组1和特征组2输入第L层变换器层中，利用类别序列通过全连接层计算最终的类别。
-
公开(公告)号：CN117671472B
公开(公告)日：2024-05-14
申请号：CN202410128788.8
申请日：2024-01-31
Applicant: 吉林大学
IPC: G06V20/05 , G06N3/0464 , G06N3/08 , G06V10/36 , G06V10/44 , G06V10/52 , G06V10/764 , G06V10/80 , G06V10/82
Abstract: 一种基于动态视觉传感器的水下多目标群体识别方法。所述方法包括如下步骤：S1、利用动态视觉传感器收集水下多目标群体RGB图像与水下多目标群体事件；S2、使用水下多目标群体事件图像与水下多目标群体RGB图像构建数据集，按照比例划分训练集与验证集；S3、所述多目标群体识别模型以目标检测模型为基础，在目标检测模型骨干网络前嵌入自适应图像增强模块，在目标检测模型骨干网络和颈部网络之间嵌入特征级模态融合模块；S4、将训练集的数据输入步骤S4所述的多目标群体识别模型进行训练，以此获得符合要求的模型参数，并通过验证集验证效果；S5、通过训练好的多目标群体识别模型进行水下多目标群体识别。
-
公开(公告)号：CN116935203A
公开(公告)日：2023-10-24
申请号：CN202311195467.1
申请日：2023-09-18
Applicant: 吉林大学
IPC: G06V20/05 , G06N3/042 , G06N3/0464 , G06N3/08 , G06V10/44 , G06V10/764 , G06V10/80 , G06V10/82 , G01S15/86 , G01S7/539 , G01S15/88 , G01C21/00
Abstract: 一种基于声光融合的潜水员智能监控方法和系统，涉及水下声呐与图像融合技术领域。解决现有水下手势识别会损失一些手势动作的细节和空间信息的问题。所述系统包括：多模态基准数据集获取单元，采集潜水员在水下的视频和声呐模态数据；数据处理单元，对视频视频和声呐模态数据进行估计处理，获取潜水员的行为关键点数据、位置和运动状态；非自然依赖超图建立单元，建立超边和非自然依赖超图；动态跨时间点超图获取单元，采用时间特征生成方法处理非自然依赖超图，获取动态跨时间点超图；综合特征模型构建单元，根据时空特征建模方法和动态跨时间点超图，构建综合特征模型；输出单元，输出潜水员的动态监控识别结果。本发明应用于水下人机交互领域。
-
公开(公告)号：CN116206196B
公开(公告)日：2023-08-08
申请号：CN202310466248.6
申请日：2023-04-27
Applicant: 吉林大学
Abstract: 本发明属于水下视觉检测的技术领域，具体涉及一种海洋低光环境多目标检测方法及其检测系统。建水下跨模态基准数据集；得到三层不同尺度的特征向量；进行特征排序和数据融合；通过深度特征提取模块，在全局和局部维度上进一步提取重要特征信息；将每个尺度进一步提取的特征向量分别送入检测头网络模块，最终输出海洋生物的在图像中的具体位置和类别信息。本发明用以实现水下生物多目标高精度的检测任务。
-
公开(公告)号：CN116206196A
公开(公告)日：2023-06-02
申请号：CN202310466248.6
申请日：2023-04-27
Applicant: 吉林大学
Abstract: 本发明属于水下视觉检测的技术领域，具体涉及一种海洋低光环境多目标检测方法及其检测系统。建水下跨模态基准数据集；得到三层不同尺度的特征向量；进行特征排序和数据融合；通过深度特征提取模块，在全局和局部维度上进一步提取重要特征信息；将每个尺度进一步提取的特征向量分别送入检测头网络模块，最终输出海洋生物的在图像中的具体位置和类别信息。本发明用以实现水下生物多目标高精度的检测任务。
-
-
-
-
-
-
-
-
-
Search Results
24
records
(took 0.015 seconds)
