-
公开(公告)号:CN114445859B
公开(公告)日:2025-05-13
申请号:CN202111679104.6
申请日:2021-12-31
Applicant: 讯飞智元信息科技有限公司 , 安徽大学
IPC: G06V40/10 , G06V10/774 , G06V10/82 , G06V10/764 , G06V10/74 , G06N3/0464 , G06N3/08
Abstract: 本申请公开了一种行人重识别方法、相关设备及可读存储介质,先基于包含RGB图像和红外图像的图像对训练得到特征提取模型,在获取待查询图像之后,将待查询图像输入特征提取模型,该特征提取模型输出该待查询图像的特征,通过将该待查询图像的特征与查询数据库中各个行人图像的特征进行匹配,即可得到所述待查询图像对应的行人重识别结果。在本申请中,特征提取模型是基于RGB图像和红外图像训练得到的,无论是对RGB图像进行特征提取,还是对红外图像进行特征提取都能保证提取特征的有效性,因此,能够提升行人重识别结果的准确性。
-
公开(公告)号:CN114445461B
公开(公告)日:2025-05-13
申请号:CN202210095429.8
申请日:2022-01-26
Applicant: 安徽大学
IPC: G06T7/246 , G06N3/0464 , G06N3/08 , G06V10/74 , G06V10/774 , G06V10/764 , G06V10/82
Abstract: 本发明公开了一种基于非配对数据的可见光红外目标跟踪训练方法及装置,方法包括获取不成对的可见光图像和热红外图像,并生成候选样本;利用候选样本对可见光红外跟踪器进行训练,可见光红外跟踪器包括依次连接的模态特定模块、模态共享模块、模态自适应注意力模块和模态适配模块,模态特定模块包括第一模态特定网络和第二模态特定网络,可见光图像作为第一模态特定网络和模态共享模块的输入,热红外图像作为第二模态特定网络和模态共享模块的输入,第一、第二模态特定网络的输出分别与模态共享模块的输出融合后作为模态自适应注意力模块的输入。本发明摆脱了对大规模配准数据的依赖,提升目标跟踪性能。
-
公开(公告)号:CN119942152A
公开(公告)日:2025-05-06
申请号:CN202510035392.3
申请日:2025-01-09
Applicant: 安徽大学
Abstract: 本发明提供一种基于像素级融合的RGBT跟踪网络及使用方法,包括:像素级融合适配器:首先,每个模态由一个低级特征提取层划分,然后馈入单独的Vim块以编码特定特征。接下来,应用令牌和通道连接来沿着不同的特征维度合并两个模态,并且两个附加的Vim块进一步编码该融合的信息。最后,使用具有高效局部细节建模能力的卷积层将融合的特征解码成图像。本发明提出了两阶段的任务导向的渐进式学习框架。第一阶段,多专家自适应蒸馏(MAD)。旨在从具有不同结构的多种图像融合模型中继承优越的融合能力。第二阶段,解耦表示微调策略(DRF),通过排斥损失明确分离任务相关和任务不相关信息来提高融合精度,通过重构损失保证保证信息解耦的完备性,从而提高融合鲁棒性。
-
公开(公告)号:CN114663371B
公开(公告)日:2025-04-08
申请号:CN202210236171.9
申请日:2022-03-11
Applicant: 安徽大学
IPC: G06T7/00 , G06V10/25 , G06V10/82 , G06N3/0464 , G06N3/084 , G06V10/40 , G06V10/774 , G06V10/80
Abstract: 本发明公开一种基于模态独有和共有特征提取的图像显著目标检测方法,通过模态共有特征提取模块SFA来建模两种模态之间的强相关性,特征擦除模块(FEB)来建模不同模态之间的差异性;本发明充分利用多模态之间的相关性和差异性,从而使网络获得更强大的模态融合与信息选择的能力;通过特征解码实现各种信息的有利交互,本发明的显著图的置信度高于其他先进的方法。
-
公开(公告)号:CN119625657A
公开(公告)日:2025-03-14
申请号:CN202411701664.0
申请日:2024-11-26
Applicant: 江淮前沿技术协同创新中心 , 安徽大学
Abstract: 本发明公开一种基于多模态的双阶段细化绑定关系的车辆目标检测方法。该方法采用RGB、灰度和红外图像的多模态输入,通过独立网络进行多尺度特征提取,并在不同模态的多尺度特征之间进行融合,构建多模态多尺度特征图。在第一阶段,进行检测目标与查询的初步绑定,通过查询与多模态多尺度特征图的交互确定采样点。基于该位置信息,从多模态多尺度特征图中采样特征,并将采样特征映射到查询的通道维度。接着,通过交叉注意力机制更新查询,并引入历史查询以增强当前查询的效果。在第二阶段,基于初步绑定关系进行得分计算,设定阈值,以区分稳定与不稳定的绑定关系。对于得分高于阈值的目标,加大权重以强化绑定;而得分低于阈值的目标,则通过重新匹配查询与目标,优化绑定关系。最终,预测头对经过强化和调整的查询进行解码,输出目标的类别与边界框。
-
公开(公告)号:CN119313705A
公开(公告)日:2025-01-14
申请号:CN202411359137.6
申请日:2024-09-27
Applicant: 安徽大学
IPC: G06T7/246 , G06N3/0499 , G06N3/0464 , G06N3/0455
Abstract: 一种基于Mamba架构的高效融合RGBT目标跟踪方法,属于深度学习技术领域,解决如何平衡多模态目标跟踪的性能和融合效率问题;本发明引入全局‑局部高效融合模块进行模态交互与融合,两模态特征通过奇偶索引的通道交换进行直接的信息交互,之后通过多路径Mamba进一步的交互;多路径Mamba设计四条路径对多模态数据进行关系建模,从全局视角进行模态级交互的前向路径和反向路径以及从局部视角进行token级和通道级交互的的混合前向和通道前向路径,在特征提取与关系建模主干中插入多个GLE模块以在不同阶段进行模板融合与搜索帧融合,并将相关信息反馈回主干网络;本发明通过Mamba架构设计的融合模块,拥有更少的参数和更高的计算效率,同时保持着较高的跟踪性能。
-
公开(公告)号:CN118887592B
公开(公告)日:2024-12-03
申请号:CN202411381944.8
申请日:2024-09-30
Applicant: 安徽大学
IPC: G06V20/40 , G06V10/26 , G06V10/774 , G06V10/80
Abstract: 本发明公开了一种基于缺失感知提示的模态缺失RGBT跟踪方法及系统,方法包括:获取训练帧图像对并对其对打标签,包括有缺失类型和无缺失类型;有缺失类型的图像,设置对应的缺失补偿填充集;判断当前图像对中两张图像是否有缺失,当其中一张图像有缺失时,根据缺失类型从对应的缺失补偿填充集中选择对应的补充帧图像,并与另一张无缺失的图像组成图像对作为输入,若为无缺失类型时,则当前图像对直接应用作为输入;设置图像模板搜索帧边界框并对作为输入的图像对进行分割再进行维度转换,获取图像语义信息并作为建立的缺失感知提示模态融合模型的输入,使用优化算法对模型进行优化训练,并用优化后的模型获取当前帧图像对的目标包围框提高跟踪精度。
-
公开(公告)号:CN118941914A
公开(公告)日:2024-11-12
申请号:CN202410861508.4
申请日:2024-06-28
Applicant: 安徽大学
IPC: G06V10/82 , G06V10/20 , G06V10/40 , G06V10/766 , G06V10/25 , G06V10/764 , G06N3/0464 , G06N3/084 , G06N3/09
Abstract: 本发明提供结构信息引导的SAR目标细粒度识别方法及系统,方法包括:采用了YOLOv5的策略进行数据预处理;将预处理后的数据送入DCN和注意力模块中,对图像中的关键特征进行引导增强;特征送入检测头,生成最终的识别结果;采用Focaler‑SloU进行网络训练。本发明解决了鲁棒性和泛化性较弱、虚警率高、漏检错检以及目标具体型号难以进行准确的细粒度分类的技术问题。
-
公开(公告)号:CN118781639A
公开(公告)日:2024-10-15
申请号:CN202410908944.2
申请日:2024-07-08
Applicant: 安徽大学
IPC: G06V40/16 , G06V10/40 , G06V10/80 , G06V10/82 , G06V10/764 , G06N3/045 , G06N3/094 , G06N3/0985 , G06N3/0464
Abstract: 一种基于原型传输的昼夜跨域面部表情识别方法,属于人机交互技术领域,解决如何利用丰富的日间可见光情绪图片学习情绪知识以迁移到夜晚暗光条件下的各种情绪识别中,从而提高暗光条件下的情绪识别的问题,本发明提出专注于面部情绪的注意力转换多特征捕获模块,捕获更多可转移的局部情绪特征,提出了原型特征转移模块来学习与模态无关的类别特征,以缩小可见光和红外特征之间的域差距;提出高置信度的混合模块来选择信息丰富的可见光和红外样本进行融合,从而产生融合特征,其中包含关于两个领域的风格信息;本发明在提高夜间情感识别准确率方面有效,并且适用于大多数夜间场景。
-
公开(公告)号:CN118469022A
公开(公告)日:2024-08-09
申请号:CN202410919970.5
申请日:2024-07-10
Applicant: 安徽大学
IPC: G06N5/04 , G06N3/0455 , G06N3/0499 , G06F18/25 , G06V10/40 , G06V10/56 , G06V10/58 , G06F40/30 , G06V10/80 , G06V10/82 , G06N3/048
Abstract: 本发明公开了基于文本信息引导的多源遥感视觉问答方法及系统,方法包括:获得RGB特征、SAR特征以及原始文本特征;原始文本特征和RGB特征输入第一特征增强模型得到RGB增强特征,原始文本特征和SAR特征输入第二特征增强模型得到SAR增强特征;RGB增强特征、SAR增强特征以及原始文本特征均输入QGF模型得到图像融合特征;图像融合特征以及原始文本特征输入第一解码器得到融合文本特征的图像特征,将原始文本特征以及图像融合特征输入第二解码器得到融合图像特征的文本特征,经处理得到最终预测的遥感视觉问答任务答案;本发明的优点在于:提高遥感视觉问答任务回答的准确性。
-
-
-
-
-
-
-
-
-