-
公开(公告)号：CN118887592A
公开(公告)日：2024-11-01
申请号：CN202411381944.8
申请日：2024-09-30
Applicant: 安徽大学
IPC: G06V20/40 , G06V10/26 , G06V10/774 , G06V10/80
Abstract: 本发明公开了一种基于缺失感知提示的模态缺失RGBT跟踪方法及系统，方法包括：获取训练帧图像对并对其对打标签，包括有缺失类型和无缺失类型；有缺失类型的图像，设置对应的缺失补偿填充集；判断当前图像对中两张图像是否有缺失，当其中一张图像有缺失时，根据缺失类型从对应的缺失补偿填充集中选择对应的补充帧图像，并与另一张无缺失的图像组成图像对作为输入，若为无缺失类型时，则当前图像对直接应用作为输入；设置图像模板搜索帧边界框并对作为输入的图像对进行分割再进行维度转换，获取图像语义信息并作为建立的缺失感知提示模态融合模型的输入，使用优化算法对模型进行优化训练，并用优化后的模型获取当前帧图像对的目标包围框提高跟踪精度。
-
公开(公告)号：CN119293537B
公开(公告)日：2025-03-18
申请号：CN202411820703.9
申请日：2024-12-11
Applicant: 安徽大学
IPC: G06F18/23213 , G06F18/25 , G06V10/74 , G06V20/40 , G06F16/73
Abstract: 本发明提供了基于层次化预定义知识学习的长时活动分析方法和系统，方法包括：利用多模态语义一致性，通过对比学习将教程活动的视频片段与其对应的文本描述嵌入联合语义空间，学习出视觉语言联合表示先验分布；从下游数据集中按比例采样出部分视频文本对样本，对它们的表示进行聚类，对于不同粒度的层级，构造一个对应的知识图；构成体系化预定义知识图；查找每层知识图中匹配度最高的概念节点，通过自注意融合策略将概念节点的表示进行融合，再与给定模态的样本的原始表示融合，得到样本的增强特征表示。本发明的优点在于：提出的体系化预定义知识增强方法在行为分割任务上达到了最佳性能，帧级准确度得到提高。
-
公开(公告)号：CN119293537A
公开(公告)日：2025-01-10
申请号：CN202411820703.9
申请日：2024-12-11
Applicant: 安徽大学
IPC: G06F18/23213 , G06F18/25 , G06V10/74 , G06V20/40 , G06F16/73
Abstract: 本发明提供了基于层次化预定义知识学习的长时活动分析方法和系统，方法包括：利用多模态语义一致性，通过对比学习将教程活动的视频片段与其对应的文本描述嵌入联合语义空间，学习出视觉语言联合表示先验分布；从下游数据集中按比例采样出部分视频文本对样本，对它们的表示进行聚类，对于不同粒度的层级，构造一个对应的知识图；构成体系化预定义知识图；查找每层知识图中匹配度最高的概念节点，通过自注意融合策略将概念节点的表示进行融合，再与给定模态的样本的原始表示融合，得到样本的增强特征表示。本发明的优点在于：提出的体系化预定义知识增强方法在行为分割任务上达到了最佳性能，帧级准确度得到提高。
-
公开(公告)号：CN118887592B
公开(公告)日：2024-12-03
申请号：CN202411381944.8
申请日：2024-09-30
Applicant: 安徽大学
IPC: G06V20/40 , G06V10/26 , G06V10/774 , G06V10/80
Abstract: 本发明公开了一种基于缺失感知提示的模态缺失RGBT跟踪方法及系统，方法包括：获取训练帧图像对并对其对打标签，包括有缺失类型和无缺失类型；有缺失类型的图像，设置对应的缺失补偿填充集；判断当前图像对中两张图像是否有缺失，当其中一张图像有缺失时，根据缺失类型从对应的缺失补偿填充集中选择对应的补充帧图像，并与另一张无缺失的图像组成图像对作为输入，若为无缺失类型时，则当前图像对直接应用作为输入；设置图像模板搜索帧边界框并对作为输入的图像对进行分割再进行维度转换，获取图像语义信息并作为建立的缺失感知提示模态融合模型的输入，使用优化算法对模型进行优化训练，并用优化后的模型获取当前帧图像对的目标包围框提高跟踪精度。
-
-
-
Search Results
4
records
(took 0.016 seconds)
