-
公开(公告)号：CN115883764A
公开(公告)日：2023-03-31
申请号：CN202310076493.6
申请日：2023-02-08
Applicant: 吉林大学
IPC: H04N7/01 , H04N5/265 , G06N3/0464
Abstract: 一种基于数据协同的水下高速视频插帧方法及其系统。通过传统相机和事件相机分别获取RGB数据和事件数据；将获取的RGB数据和事件数据利用U型合成网络融合，获取合成结果；利用合成结果和获取的RGB数据经过三层多尺度光流估计网络进行帧光流估计；利用获取的RGB数据和事件数据经过三层多尺度光流估计网络进行事件光流估计；将融合结果、经过三层多尺度光流估计网络进行的帧光流估计结果与经过三层多尺度光流估计网络进行的事件光流估计通过U型融合网络进行融合，输出中间帧。本发明实现利用RGB数据和事件数据生成视频的中间帧，提高视频的帧率，优化在水下场景下非线性运动下插帧效果的鲁棒性。
-
公开(公告)号：CN117576784B
公开(公告)日：2024-03-26
申请号：CN202410049996.9
申请日：2024-01-15
Applicant: 吉林大学
IPC: G06V40/20 , G06N3/0442 , G06N3/045 , G06N3/0464 , G06N3/08 , G06V10/764 , G06V10/80 , G06V10/82
Abstract: 一种融合事件和RGB数据潜水员手势识别方法及其系统，涉及水下计算机视觉的技术领域。解决现有潜水员手势识别方法单独依赖视觉信息会存在局限性，如准确性低和鲁棒性差的问题。采用事件相机采集多样化的潜水员手势视频，转化成事件序列和RGB帧，并构建基准数据集；将事件序列数据映射到三维网格，采用多维特征表示；采用滑动窗口处理所述RGB帧，针对每个窗口内进行局部处理获得RGB特征；采用MLP编码事件和RGB特征，得到多模态融合的信息表达；采用预训练的ResNet3D18和EGRU单元构成手势识别模型对融合后的特征进行训练，最终输出潜水员手势的准确类别。本发明适用于潜水员工作时的信息交互和信息传递。
-
公开(公告)号：CN117746227A
公开(公告)日：2024-03-22
申请号：CN202410182760.2
申请日：2024-02-19
Applicant: 吉林大学
IPC: G06V20/05 , G06N3/0455 , G06N3/0464 , G06N3/08 , G06V10/147 , G06V10/44 , G06V10/764 , G06V10/82
Abstract: 本发明属于水下机器视觉技术领域，本发明公开了一种红外偏振成像数据的水下目标细粒度分类方法，包括以下步骤：基于偏振相机获取图像构建水下基准数据集；利用交叠的滑动窗口对所述水下基准数据集中的所述红外偏振图像进行划分并编码，得到编码结果，并输入预训练视觉变换器编码器的共L层变换器层中，得到多层级的视觉特征和多层级的注意力图；利用前L‑1层每一层级的所述注意力图对自注意动态加权得到多层级动态注意力权重，并进行特征选择，得到特征组1；利用前L‑1层每一层级的注意力图对每一层级的特征进行前k个选择，得到多层级优化特征组2；将特征组1和特征组2输入第L层变换器层中，利用类别序列通过全连接层计算最终的类别。
-
公开(公告)号：CN117671472A
公开(公告)日：2024-03-08
申请号：CN202410128788.8
申请日：2024-01-31
Applicant: 吉林大学
IPC: G06V20/05 , G06N3/0464 , G06N3/08 , G06V10/36 , G06V10/44 , G06V10/52 , G06V10/764 , G06V10/80 , G06V10/82
Abstract: 一种基于动态视觉传感器的水下多目标群体识别方法。所述方法包括如下步骤：S1、利用动态视觉传感器收集水下多目标群体RGB图像与水下多目标群体事件；S2、使用水下多目标群体事件图像与水下多目标群体RGB图像构建数据集，按照比例划分训练集与验证集；S3、所述多目标群体识别模型以目标检测模型为基础，在目标检测模型骨干网络前嵌入自适应图像增强模块，在目标检测模型骨干网络和颈部网络之间嵌入特征级模态融合模块；S4、将训练集的数据输入步骤S4所述的多目标群体识别模型进行训练，以此获得符合要求的模型参数，并通过验证集验证效果；S5、通过训练好的多目标群体识别模型进行水下多目标群体识别。
-
公开(公告)号：CN117576784A
公开(公告)日：2024-02-20
申请号：CN202410049996.9
申请日：2024-01-15
Applicant: 吉林大学
IPC: G06V40/20 , G06N3/0442 , G06N3/045 , G06N3/0464 , G06N3/08 , G06V10/764 , G06V10/80 , G06V10/82
Abstract: 一种融合事件和RGB数据潜水员手势识别方法及其系统，涉及水下计算机视觉的技术领域。解决现有潜水员手势识别方法单独依赖视觉信息会存在局限性，如准确性低和鲁棒性差的问题。采用事件相机采集多样化的潜水员手势视频，转化成事件序列和RGB帧，并构建基准数据集；将事件序列数据映射到三维网格，采用多维特征表示；采用滑动窗口处理所述RGB帧，针对每个窗口内进行局部处理获得RGB特征；采用MLP编码事件和RGB特征，得到多模态融合的信息表达；采用预训练的ResNet3D18和EGRU单元构成手势识别模型对融合后的特征进行训练，最终输出潜水员手势的准确类别。本发明适用于潜水员工作时的信息交互和信息传递。
-
Patent Agency Ranking
公开(公告)号：CN116561649A
公开(公告)日：2023-08-08
申请号：CN202310832974.5
申请日：2023-07-10
Applicant: 吉林大学
IPC: G06F18/24 , G06N3/048 , G06F16/22 , G06F18/10 , G06F18/15 , G06F18/213 , G06F18/25 , A61B5/11 , G01C21/16
Abstract: 基于多源传感器数据的潜水员运动状态识别方法和系统，解决了基于视觉方法在低光场景下的人体识别效果差的问题。涉及水下潜水员运动状态识别领域。方法包括：通过惯性传感器采集潜水员的水下活动的数据，并将数据存储在数据库中；对数据进行分割组成事件序列，并嵌入活动级上下文信息；建立词典，将事件序列中的每一个传感器事件转化为词索引，并建立嵌入矩阵；基于Transformer的GIF特征提取模块提取嵌入矩阵的特征，获得特征向量；利用一维平均池化层和带Softmax激活函数的全连接层对特征向量进行处理，获取识别模型，输出每个类别的预测概率，最终得到潜水员的姿态识别结果。本发明应用于水下目标识别领域。
-
公开(公告)号：CN117690190B
公开(公告)日：2024-08-13
申请号：CN202410130129.8
申请日：2024-01-31
Applicant: 吉林大学
IPC: G06V40/20 , G06V20/05 , G06V10/34 , G06V10/426 , G06V10/44 , G06V10/52 , G06V10/62 , G06V10/82 , G06N3/0455 , G06N3/0464 , G06N3/084 , G06N3/0895
Abstract: 本发明属于水下动作识别技术领域，本发明公开了基于超图文本对比的水下动作识别方法、系统及存储介质，包括以下步骤：获取水下动作基准数据集；基于姿态估计法提取水下各种动作指令下的水下人体骨骼数据；对基本人体骨骼进行分区设计，建立关于骨骼关节点的超边，进而获得超图；将所述超图和所述水下人体骨骼数据进行结合，输出水下骨骼的超边特征；基于Transformer模型，输出骨骼特征，将所述骨骼特征和所述文本模型中的文本特征进行对比学习，最终输出精确的潜水员动作指令识别结果。本发明，将超图与输入特征结合推到超边特征，采用文本编码器生成文本特征，实现骨骼‑文本的对比学习，有效地利用多模态信息进一步提升潜水员动作识别的效能。
-
公开(公告)号：CN117649597B
公开(公告)日：2024-05-14
申请号：CN202410114303.X
申请日：2024-01-29
Applicant: 吉林大学
IPC: G06V20/05 , G06V20/40 , G06V20/64 , G06V40/20 , G06V10/82 , G06N3/0455 , G06N3/0464 , G06N3/0499 , G06N3/082
Abstract: 一种基于事件相机的水下三维手部姿态估计方法和系统，涉及水下机器视觉的技术领域。解决在静态的手势重建方法在水下环境中具有局限性的问题。所述方法包括：利用事件相机采集水下潜水员手势视频，将手势视频转换成事件序列，构建数据集；对所述事件序列进行体素化，并通过体素网格方式进行数据表示；利用高斯滤波器处理体素网格形式的事件序列进行滤波处理，获取清洗后的事件序列；构建视频观测模型，获取估计值；使用卡尔曼滤波器对估计值进行处理并生成蒙皮参数；根据蒙皮参数生成蒙皮的可视化结果，完成水下三维手部姿态估计。应用于水下动态手部姿态估计领域。
-
公开(公告)号：CN117745596A
公开(公告)日：2024-03-22
申请号：CN202410182761.7
申请日：2024-02-19
Applicant: 吉林大学
IPC: G06T5/77 , G06N3/0455 , G06N3/0464 , G06N3/048 , G06N3/0499 , G06N3/08 , G06T5/50 , G06T5/60
Abstract: 一种基于跨模态融合的水下去遮挡方法。本发明属于水下机器视觉的技术领域，具体而言，涉及事件和RGB两种数据模态深度融合方法，以及基于事件和RGB数据的水下场景去遮挡重建方法。本发明提供了一种基于跨模态融合的水下去遮挡方法，解决了现有技术中在水下去遮挡时都是先将事件序列与RGB图像各自的特征先进行编码后再融合，此种处理方式容易导致模型计算量和硬件要求翻倍，无法适配于资源受限的水下环境的问题。本发明所述方法将事件序列与RGB图像直接进行融合，然后再进行编码解码，在前融合阶段进行数据融合，减少了系统对计算量的要求，使网络更加轻量化。
-
公开(公告)号：CN117649597A
公开(公告)日：2024-03-05
申请号：CN202410114303.X
申请日：2024-01-29
Applicant: 吉林大学
IPC: G06V20/05 , G06V20/40 , G06V20/64 , G06V40/20 , G06V10/82 , G06N3/0455 , G06N3/0464 , G06N3/0499 , G06N3/082
Abstract: 一种基于事件相机的水下三维手部姿态估计方法和系统，涉及水下机器视觉的技术领域。解决在静态的手势重建方法在水下环境中具有局限性的问题。所述方法包括：利用事件相机采集水下潜水员手势视频，将手势视频转换成事件序列，构建数据集；对所述事件序列进行体素化，并通过体素网格方式进行数据表示；利用高斯滤波器处理体素网格形式的事件序列进行滤波处理，获取清洗后的事件序列；构建视频观测模型，获取估计值；使用卡尔曼滤波器对估计值进行处理并生成蒙皮参数；根据蒙皮参数生成蒙皮的可视化结果，完成水下三维手部姿态估计。应用于水下动态手部姿态估计领域。
-
-
-
-
-
-
-
-
-
Search Results
24
records
(took 0.02 seconds)
