-
公开(公告)号:CN119129756B
公开(公告)日:2025-03-14
申请号:CN202411639487.8
申请日:2024-11-18
Applicant: 南京信息工程大学
IPC: G06N5/04 , G06V10/764 , G06V10/40 , G06V10/80 , G06V10/24
Abstract: 本发明公开了一种基于情感融合与特征权重引导的幽默风格图像描述方法,首先采用多层卷积与池化操作对输入图像提取其幽默特征向量;同时给定具有人类情感信息的情感图像,使用卷积神经网络构建情感标志向量;将幽默特征向量与情感标志向量实施特征融合组成联合特征向量,通过线性组合变换实现维度对齐后映射进入长短期记忆网络中。在每个时间步捕获与特定输入位置相关的幽默视觉信息,逐个生成单词并最终组成完整的图像描述。对于所生成的图像描述,综合考虑幽默图像描述的组织数据,对该幅被描述图像的联合特征进行权重强化引导。以生成图像描述的幽默程度为收益对模型进行参数微调,从而提高模型对幽默风格图像描述的细粒度生成。
-
公开(公告)号:CN119559036A
公开(公告)日:2025-03-04
申请号:CN202411642293.3
申请日:2024-11-18
Applicant: 南京信息工程大学
Abstract: 本发明公开了一种内容图像对象分离的风格迁移方法,包括:提取目标图像的风格图像和内容图像,以显著目标检测模块处理风格图像,区分风格主体对象与背景对象;构建深度估计机制,以深度估计模块处理内容图像,获取内容图像的深度信息;以卷积特征通道的风格分离属性为基础,提取风格主体对象的特征,并设计不透明度敏感的损失函数,得到风格化主体对象迁移结果;结合内容背景包含复杂对象的特点,以散焦与实例归一化为基础,调整其清晰度与风格信息,以得到风格化背景迁移结果;最后组合对象迁移结果。本发明在面对内容主体纷乱的内容图像时,通过深度估计机制,引导风格迁移模块实现风格迁移,有效解决了复杂场景风格迁移结果杂乱的问题。
-
公开(公告)号:CN118072361A
公开(公告)日:2024-05-24
申请号:CN202410496315.3
申请日:2024-04-24
Applicant: 南京信息工程大学
IPC: G06V40/10 , G06V20/52 , G06V20/40 , G06V10/40 , G06V10/74 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/0455 , G06V10/62
Abstract: 本发明公开了一种基于随机游走的小股行人重识别方法及系统,所述方法包括以下步骤:(1)捕捉到的行人视频并进行预处理;(2)将图片通过单目估计算法得到深度图,并对单人深度图计算深度平均值;通过vision transformer得到行人特征,将行人特征通过按深度平均值大小依次构建成具有不同节点的图结构;(3)通过随机游走模块对图进行重构,每添加一个图节点计算该探针图像和图库图像之间的亲和力分数,并计算该组成员的亲和力分数平均值,得到亲和力分数平均值最高的图;(4)将重构的图在图间通过组上下文信息传递,更新图节点特征,结合注意力机制,进行组匹配,预测两组的匹配得分;本发明节约了大量的人力成本和时间成本。
-
公开(公告)号:CN117635973A
公开(公告)日:2024-03-01
申请号:CN202311661718.0
申请日:2023-12-06
Applicant: 南京信息工程大学
IPC: G06V10/62 , G06V20/52 , G06V20/40 , G06V40/10 , G06V10/26 , G06V10/25 , G06V10/44 , G06V10/42 , G06V10/52 , G06V10/80 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/045 , G06N3/084
Abstract: 本发明公开了一种基于多层动态集中和局部金字塔聚合的换衣行人重识别方法,包括以下步骤:(1)对图像数据集添加风雨场景并执行标准化预处理及数据增强操作;(2)构建输入到Transformer模型的序列;(3)构建基于标准Transformer架构的行人特征提取网络;(4)利用多层动态聚焦模块,对得到的Transformer各层特征进行动态权重调整与融合处理;(5)通过局部金字塔聚合模块选择性地提取并融合Transformer网络中的特定层特征,以获取多尺度特征信息;(6)根据步骤(4)‑(5)所得的特征输出应用于损失函数,以验证查询图像与测试图像是否为同一类别,从而完成模型的训练和优化;本发明在复杂场景下,尤其是面对换衣行人重识别任务时,能够显著提升算法的识别精度和鲁棒性。
-
公开(公告)号:CN112580525B
公开(公告)日:2023-05-23
申请号:CN202011533130.3
申请日:2020-12-22
Applicant: 南京信息工程大学
IPC: G06V20/40 , G06V20/52 , G06V10/25 , G06V10/774 , G16H50/80
Abstract: 本发明公开了一种基于行人再识别的病例活动轨迹监测方法,包括以下步骤:对视频进行预处理,将视频分割为连续的帧,进行统一初始化;基于PyTorch搭建一个基于视频序列的局部对齐行人再识别框架;将MARS行人再识别数据集划分为训练集和测试集两部分,加载训练集对神经网络进行训练;采用MARS测试集对训练得到的模型进行测试,寻找最优模型;在不同场景中获取待查询的行人图像/视频,计算与目标视频库中特征距离最近的若干项作为匹配项,依据拍摄位置信息获取行人轨迹。对现有的行人再识别算法进行改进优化,解决特征提取不鲁棒、准确率低的问题,将行人再识别技术应用到轨迹监测上,方便快速地追踪到潜在被传染者,从而为疫情的防控带来便捷。
-
公开(公告)号:CN115953312A
公开(公告)日:2023-04-11
申请号:CN202211660527.8
申请日:2022-12-23
Applicant: 南京信息工程大学
Abstract: 本发明公开了一种基于单幅图像的联合去雾检测方法、装置及存储介质,所述方法包括获取PASCAL‑VOC2012数据集,使用大气散射模型方程对数据集进行雾化处理,生成不同浓度的雾天图像;将雾天图像输入预先构建的检测网络模型进行检测,其中,检测网络模型包括特征提取模块和颈部检测模块;检测时,将雾天图像输入特征提取模块中,提取雾天图像上不同分辨率的特征图;根据不同分辨率的特征图进行向量之间的特征融合,并输入至颈部检测模块进行检测,获得不同分辨率的检测结果,本发明具有检测精度高、实时性和应用性较强、漏检率低等优点,提升了检测模型在雾天场景中的表现。
-
公开(公告)号:CN114998928A
公开(公告)日:2022-09-02
申请号:CN202210550601.4
申请日:2022-05-18
Applicant: 南京信息工程大学
IPC: G06V40/10 , G06V10/74 , G06V10/80 , G06V10/774
Abstract: 本申请提供一种多粒度特征利用的跨模态行人重识别方法,涉及计算机视觉技术领域,其技术要点是:将跨模态行人重识别的数据集划分为训练集和测试集两部分,在训练集中采用随机批采样策略获取身份对应、数量相同的可见光图片和红外图片;构建包括局部特征提取模块、局部特征约束模块以及多模态特征聚合模块的多粒度特征利用网络模型;加载训练集对所述多粒度特征利用网络模型进行训练;采用测试集对训练得到的模型进行测试,寻找最优模型;利用最优模型对跨模态行人重识别进行查询匹配。该方法同时利用到了行人的全局特征和局部特征,关注到了身体结构信息以及细粒度信息,从而提高重识别效果和精度。
-
公开(公告)号:CN112580525A
公开(公告)日:2021-03-30
申请号:CN202011533130.3
申请日:2020-12-22
Applicant: 南京信息工程大学
Abstract: 本发明公开了一种基于行人再识别的病例活动轨迹监测方法,包括以下步骤:对视频进行预处理,将视频分割为连续的帧,进行统一初始化;基于PyTorch搭建一个基于视频序列的局部对齐行人再识别框架;将MARS行人再识别数据集划分为训练集和测试集两部分,加载训练集对神经网络进行训练;采用MARS测试集对训练得到的模型进行测试,寻找最优模型;在不同场景中获取待查询的行人图像/视频,计算与目标视频库中特征距离最近的若干项作为匹配项,依据拍摄位置信息获取行人轨迹。对现有的行人再识别算法进行改进优化,解决特征提取不鲁棒、准确率低的问题,将行人再识别技术应用到轨迹监测上,方便快速地追踪到潜在被传染者,从而为疫情的防控带来便捷。
-
-
-
-
-
-
-