-
公开(公告)号:CN117726697A
公开(公告)日:2024-03-19
申请号:CN202211096708.2
申请日:2022-09-08
Applicant: 南京大学
IPC: G06T9/00 , G06V10/764 , G06V10/774 , G06V10/82 , G06N3/084 , G06N3/04
Abstract: 一种在场景图生成中引入异质化约束的方法,通过一个异质化模型在生成场景图的过程中引入异质化约束,由场景物体的视觉特征作为物体表征,利用链路预测发现物体潜在的关系,通过图神经网络生成物体之间的混合关系特征,使用梯度反转混淆弱化混合关系特征和物体表征的关联性,从而保证二者的异质性;随后使用自动编码器模块重构混合关系特征,最后对重构的混合关系特征进行建模,使得具有异质性的关系标签传递到场景图生成中,用于生成异质化的场景图。本发明通过在传统场景图生成方法的训练过程中显式解耦物体特征空间和关系特征空间的相关性,成功保证了生成的场景图的异质性。
-
公开(公告)号:CN117195904A
公开(公告)日:2023-12-08
申请号:CN202210582718.0
申请日:2022-05-26
Applicant: 南京大学
Abstract: 基于机器学习的面向领域主观题的智能评分方法,构建一个评分网络框架,包括数据预处理模块、标准答案与考生答案关联特征提取模块、考生答案特征提取模块和评分模块,数据预处理模块实现语义空间转换,处理考生答案文本中的语义歧义问题;标准答案与考生答案关联特征提取模块基于词级注意力机制,得到标准答案与考生答案关联特征fr,考生答案特征提取模块提取考生答案上下文特征fa,评分模块结合fr和fa得到评分。本发明方法能有效处理语义歧义问题,增强了语义识别能力,实现领域主观题智能化评分,支持存在多种标准答案的主观题评分任务,能灵活适用于不同应用场景,在领域主观题评分尤其在多答案形态的领域主观题评分中表现出了较高的准确率。
-
公开(公告)号:CN110660018B
公开(公告)日:2023-10-17
申请号:CN201910860104.2
申请日:2019-09-11
Applicant: 南京大学
Abstract: 一种面向图像的非均匀风格迁移方法,在图像中,检测各个像素的显著性,根据各个像素的显著性采用不同的风格化程度,生成非均匀的图像风格迁移结果。本发明首先对于输入的内容图像的每个像素自动计算显著性,进而设定每个像素的风格化程度,然后分特征图计算风格迁移中的内容损失和风格损失,最小化风格迁移的总损失,生成非均匀的风格迁移结果。本发明解决了图像风格迁移中过度风格化或风格化不足的问题,实现了在突出显著区域内容的同时强烈渲染不显眼区域的风格,在风格化的过程中更好的平衡风格化图像的内容保持程度和风格渲染程度。
-
公开(公告)号:CN116630156A
公开(公告)日:2023-08-22
申请号:CN202310531034.2
申请日:2023-05-11
Applicant: 南京大学
IPC: G06T3/40 , G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 基于环绕式注意力机制的视频超分辨率重构方法、设备及介质,构建一个视频超分辨率重构器,首先使用特征提取网络提取视频中每一帧图像的浅层特征;其次,将提取出的浅层特征分别以顺序和逆序的方式循环输入环绕式注意力对齐模块,以对齐每帧的特征及其邻帧的特征,再通过特征融合网络实现时序互补信息融合;最终,融合后的各帧特征通过上采样网络转化为具有更高分辨率的图像残差,叠加双线性插值后的原始图像,重构出具有更多细节的高分辨率视频。本发明所设计的环绕式注意力机制,能够简化视频超分辨率重构的流程,有效提高重构器的性能,并使其适用于重构运动量较大的视频输入。
-
公开(公告)号:CN116597348A
公开(公告)日:2023-08-15
申请号:CN202310507774.2
申请日:2023-05-04
Applicant: 浙江网商银行股份有限公司 , 南京大学
IPC: G06V20/40 , G06V10/774 , G06V10/80 , G06V10/82
Abstract: 本说明书实施例提供了视频分类模型的训练方法及装置,其中,一种视频分类模型的训练方法包括:对测试视频样本与各训练视频样本的配对标签进行标签转换,根据标签转换获得的测试视频样本以及各训练视频样本的类别标签,对测试视频样本和训练视频样本进行融合处理,获得虚拟视频样本,基于虚拟视频样本对由标签转换过程中获得的模型参数构建的视频分类模型进行模型训练,获得视频分类模型。
-
公开(公告)号:CN111259779B
公开(公告)日:2023-08-01
申请号:CN202010033743.4
申请日:2020-01-13
Applicant: 南京大学
Abstract: 一种基于中心点轨迹预测的视频动作检测方法,在视频时空动作检测中,将每个动作实例视为动作发起者中心点移动的轨迹,轨迹由中间帧动作的中心点和其他帧动作的中心点相对于中间帧中心点的运动矢量来表示,首先对视频帧序列提取特征,得到中间帧的中心点位置预测及动作类别预测,然后得到中间帧的中心点到其他帧中心点运动轨迹,最后生成各帧中心点的检测框,即得到位置定位,由此得到动作的类别和定位结果,完成视频片段上的时空检测任务。本发明提出了一种无锚框的视频动作检测方法,在视频中沿时序上完成动作的时空定位和分类任务,相比于现有技术带锚框的视频动作检测更加精简高效,体现了鲁棒性和高效性,同时具有很强的扩展性和移植性。
-
公开(公告)号:CN116416429A
公开(公告)日:2023-07-11
申请号:CN202310198997.5
申请日:2023-03-03
Applicant: 南京大学
Abstract: 一种扩大感受野的三维点云场景理解方法、设备及介质,构建线性大核类卷积算子LinK模块作为计算机视觉感知的卷积核,首先由三维点云场景得到体素数据进行特征提取,特征编码器由四个编码器层组成,每个编码器层包括一次降采样层、带残差的稀疏卷积模块和LinK模块,降采样后的特征并行送入带残差的稀疏卷积模块和LinK模块中,各编码器层所得特征相加得到体素特征,用于三维点云场景理解的下游任务,如语义分割或目标检测等。本发明能够与现有方法很好地融合,可以加入到任何基于稀疏卷积的3D场景理解的骨干网络中,实现三维点云场景理解任务中的感知范围扩大同时降低参数量,提升网络在多个下游任务上的性能。
-
公开(公告)号:CN115439923A
公开(公告)日:2022-12-06
申请号:CN202110622809.8
申请日:2021-06-04
Applicant: 南京大学
Abstract: 一种在线端到端的时空动作检测方法及检测器,对输入视频序列直接获得相应的时空动作检测结果,而不需要额外的后处理过程。本发明构建检测网络,网络配置包括特征提取网络、特征缓存区、中心点预测分支、包围框回归分支和序列匹配分支,通过特征提取网络抽取视频帧的高维度抽象特征,使用特征缓存模块缓存视频帧特征,采样后将特征序列分别传入动作中心点预测分支、人体包围框回归分支及序列匹配分支,得到动作实例中心点及人体动作检测框,结合序列匹配形成时空动作检测结果。本发明有效利用视频中蕴含的时序信息进行动作识别,避免重复计算,提升检测效率,在视频时空检测任务上体现了鲁棒性和高效性,并具有很强的移植性和扩展性。
-
公开(公告)号:CN114926343A
公开(公告)日:2022-08-19
申请号:CN202210639755.0
申请日:2022-06-08
Applicant: 南京大学
Abstract: 一种基于金字塔融合注意力网络的图像超分辨率方法,通过引入一种金字塔融合注意力机制来从给定的低分辨图像中恢复高分辨图像,首先采用金字塔融合结构,每层金字塔使用残差块进行堆叠,同时使用降采样操作和多尺度融合策略来确保完整的感受野并掌握更多的上下文细节信息。此外,本发明还提出了一种渐进式后向融合策略,以充分利用中间金字塔融合注意力模块产生的分层特征。本发明金字塔融合注意力模块通过对像素之间的关系进行建模,以更好地增强网络的判别能力,从而更好地恢复高频信息。
-
公开(公告)号:CN114842196A
公开(公告)日:2022-08-02
申请号:CN202210493562.9
申请日:2022-05-07
Applicant: 南京大学
Abstract: 本发明公开了一种雷达射频图像目标检测方法,针对雷达信号,首先进行预处理得到射频图像,然后进行特征增强,之后构建卷积神经网络和Transformer结合的模型,进行训练,最后经过基于热图的非极大值抑制算法得到目标检测结果。本发明使用卷积神经网络和Transformer结合的方法,可以对雷达射频图像的局部特征和全局特征进行提取,并能取得很好的效果。
-
-
-
-
-
-
-
-
-