-
公开(公告)号:CN118674945A
公开(公告)日:2024-09-20
申请号:CN202410872684.8
申请日:2024-07-01
Applicant: 安徽大学
IPC: G06V10/62 , G06N3/0455 , G06N3/084 , G06V10/80
Abstract: 本发明提供一种基于自适应感知的通用型多模态目标跟踪模型、训练方法、应用。具体的,在模型输入层,考虑到可见光模态比红外、深度和事件模态具有更加丰富的语义信息,为了更好的保留这些信息,为可见光模态单独设置了一个嵌入层,为红外、深度和事件模态设置一个共享的嵌入层,这样的设置同样也兼顾了输入层的灵活性,这为了能够对输入模态进行自适应感知,设计了一个简单有效的模态感知模块,能够同时进行特征提取、特征交互和模态感知。在多模态跟踪中,每个模态都包含一些与模态无关的信息,例如目标的形状、运动和上下文信息等。这些信息有助于捕捉不同模态之间共享的语义信息,从而协助模型理解目标的整体上下文。此外,承载着每种模态独特的视角和信息的模态特定特征也十分关键,它可以促进模型对整体信息的理解和处理能力。通过充分利用模态无关特征和模态特定特征,可以提高模型对复杂多模态数据的感知和分析水平,实现更准确、鲁棒的任务执行。
-
公开(公告)号:CN117649565B
公开(公告)日:2024-05-28
申请号:CN202410122839.6
申请日:2024-01-30
Applicant: 安徽大学
IPC: G06V10/764 , G06N3/0464 , G06N3/084 , G06T7/00 , G06V10/44 , G06V10/774 , G06V10/82
Abstract: 本申请公开一种模型训练方法、训练装置及医学影像分类方法,通过获取医学影像训练集,所述医学影像训练集包括若干医学影像及其对应的疾病标签信息和临床信息;将所述医学影像数据集划分为若干数据块,并基于每个所述数据块中医学影像对应的疾病标签信息和/或临床信息构建每个所述数据块的图像级关系矩阵;采用分批方式依次将所述数据块及对应的图像级关系矩阵输入到预训练影像分类模型进行模型训练,以获取训练好的医学影像分类模型。通过在模型训练阶段,引入图像级关系矩阵,优化视觉特征嵌入,帮助分类模型理解图像,提高医学影像分类模型的分类性能。
-
公开(公告)号:CN117726949A
公开(公告)日:2024-03-19
申请号:CN202311188848.7
申请日:2023-09-14
Applicant: 安徽大学
Abstract: 本发明提供基于场景信息解耦引导的极小物体检测方法及系统,方法包括获取大规模高空遥感卫星图像解耦的场景上下文信息;将解耦后的特征图送入前景增强模块中,以产生增强前景特征图;将获取的前景特征图与主干网络提取的特征图送入场景信息融合模块;通过对融合的特征图进行上采样,得到对极小目标的检测。本发明解决了在大规模高空遥感卫星图中对于密集极小目标的场景下,存在的误检率高、目标分类错误和运动轨迹偏差的技术问题。
-
公开(公告)号:CN115018884B
公开(公告)日:2024-03-15
申请号:CN202210871982.6
申请日:2022-07-19
Applicant: 安徽大学
Abstract: 本发明公开一种基于多策略融合树的可见光红外视觉跟踪方法,所述方法包括:获取可见光图像样本和热红外图像样本;将可见光图像样本和热红外图像样本输入至预先训练好的目标跟踪网络模型,目标跟踪网络模型包括可见光模态适配器、热红外模态适配器、融合树网络和实例适配器,各模态对应的适配器包括多个网络层级;融合树网络当前层级的输出特征与各模态对应的适配器当前层级的输出特征进行矩阵相加融合后传入各模态对应的适配器的下一层级网络中;将各模态对应的适配器最后一层级输出的模态特征图拼接后输入实例适配器,预测目标跟踪结果。本发明引入特殊的多策略融合树结构来实现多种不同融合策略的结合,以在复杂场景中获得稳健融合结果。
-
公开(公告)号:CN114444597B
公开(公告)日:2024-03-15
申请号:CN202210096431.7
申请日:2022-01-26
Applicant: 安徽大学
IPC: G06V10/774 , G06N3/0464 , G06N3/08 , G06V10/40 , G06V10/80 , G06V10/82
Abstract: 本发明公开一种基于渐进式融合网络的视觉跟踪方法及装置,方法包括基于一对配准的多模态视频,获取候选样本;将候选样本送入主干网络,生成候选样本的特征图,主干网络包括三个卷积层,每个卷积层加入基于属性的渐进式融合模块,基于属性的渐进式融合模块包括依次连接的属性融合模块、属性聚合模块和增强融合模块;将特征图按照通道维度进行拼接后送入全连接模块,得到目标位置。本发明通过将单个融合步骤给分离为一种三阶段的渐进式的融合方式,使用小规模的训练数据就能有效地训练,解决了对大规模数据的依赖的问题。
-
公开(公告)号:CN117649565A
公开(公告)日:2024-03-05
申请号:CN202410122839.6
申请日:2024-01-30
Applicant: 安徽大学
IPC: G06V10/764 , G06N3/0464 , G06N3/084 , G06T7/00 , G06V10/44 , G06V10/774 , G06V10/82
Abstract: 本申请公开一种模型训练方法、训练装置及医学影像分类方法,通过获取医学影像训练集,所述医学影像训练集包括若干医学影像及其对应的疾病标签信息和临床信息;将所述医学影像数据集划分为若干数据块,并基于每个所述数据块中医学影像对应的疾病标签信息和/或临床信息构建每个所述数据块的图像级关系矩阵;采用分批方式依次将所述数据块及对应的图像级关系矩阵输入到预训练影像分类模型进行模型训练,以获取训练好的医学影像分类模型。通过在模型训练阶段,引入图像级关系矩阵,优化视觉特征嵌入,帮助分类模型理解图像,提高医学影像分类模型的分类性能。
-
公开(公告)号:CN117456390A
公开(公告)日:2024-01-26
申请号:CN202311476090.7
申请日:2023-11-07
Applicant: 安徽大学
Abstract: 本发明提供了一种多视角单目标跟踪方法,包括:采集多个场景的视频数据,获得无人机视频序列和地面视频序列;输入两个视频序列,模型在每一帧跟踪处理前返回过去k帧两个视角的跟踪结果,将两个视角的跟踪结果做差,得到偏移量序列;将偏移量序列输入到偏移量预测模块,预测出当前帧的目标偏移量,根据上一帧跟踪结果确定原始搜索区域,得到响应分数;判断无人机搜索区域和地面搜索区域的质量,响应分数越高,搜索区域质量越好,反之越差,用质量好的搜索区域以及预测出来的偏移量,计算另一个视角搜索区域调整后的位置;将两个视角的搜索区域送入多视角跟踪器;还提供一种多视角单目标跟踪装置,引入偏移量,保证搜索区域尽可能包含跟踪目标。
-
公开(公告)号:CN117456265A
公开(公告)日:2024-01-26
申请号:CN202311524710.X
申请日:2023-11-13
Applicant: 安徽大学
IPC: G06V10/764 , G06V10/774 , G06V10/52 , G06V10/80 , G06V10/82 , G06T5/90 , G06T5/60 , G06N3/0464 , G06N3/048 , G06N3/084
Abstract: 本发明公开了一种基于属性自适应的低光目标检测方法,包括:获取第一样本集和第二样本集;第一样本集包含多个具有不同属性退化的图像增强训练样本子集,第二样本集的第二子样本中至少具有第一样本集中的任意一属性退化,并且属性退化标签未知的图像;建立初始目标检测网络,使用第一样本集和第二样本集对初始目标检测网络进行两阶段训练,获取属性自适应增强目标检测网络,利用属性自适应增强目标检测网络,对待检测图像进行目标检测,输出检测结果。通过本发明公开的基于属性自适应的低光目标检测方法,能够有效改善低光场景下目标检测的性能。
-
公开(公告)号:CN116912298A
公开(公告)日:2023-10-20
申请号:CN202310987575.6
申请日:2023-08-04
Applicant: 安徽大学
IPC: G06T7/33 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 一种渐进式无人机可见光热红外图像配准方法,属于无人机图像处理技术领域,解决现有的无人机图像配准技术在实现可见光图像与热红外图像配准时存在跨模态配准及大位移配准准确率低的问题;构建多层渐进式配准网络模型,将提取到的图像特征通过交叉增强网络进行特征加强,将增强后的图像特征通过单应性估计网络进行单应性矩阵估计,扭曲热红外图像进行图像配准,将可见光图像与配准后的热红外图像作为渐进式配准网络下一层的输入,通过渐进式配准网络多次配准,获得与可见光图像对齐的热红外图像;本发明采用交叉增强网络,将对齐的特征作为单应性估计网络的输入,提高了跨模态配准及大位移配准的准确率。
-
公开(公告)号:CN116503792A
公开(公告)日:2023-07-28
申请号:CN202210049114.X
申请日:2022-01-17
Applicant: 安徽大学
IPC: G06V20/52 , G06N3/0464 , G06N3/08 , G06V10/774 , G06V10/82
Abstract: 本发明公开一种基于交叉一致性的多光谱车辆重识别方法,提出交叉一致性多流网络,通过同时约束同一车辆多光谱特征在模态和样本层面上的一致性来帮助多流网络更好的学习多光谱情景下的车辆特征;本发明重新构建数据集MSVR310,弥补当前已有数据集在数据多样性上的不知足,这极大地丰富数据集的数据多样性并包含有更多的挑战。本发明将新提出的交叉一致性多流网络作为新的多光谱车辆重识别模型,该多光谱车辆重识别模型在MSVR310数据集或其他多光谱车辆重识别数据集上均实现较好的重识别效果,为复杂光照环境和恶劣天气下车辆重识别提供了有效的解决思路。
-
-
-
-
-
-
-
-
-