-
公开(公告)号:CN112488117B
公开(公告)日:2022-09-27
申请号:CN202011436923.3
申请日:2020-12-11
Applicant: 南京理工大学
IPC: G06V10/26 , G06V10/764 , G06V10/40 , G06V10/82 , G06N3/04
Abstract: 本发明公开了一种基于方向诱导卷积的点云分析方法,包括构建方向诱导卷积模块,所述方向诱导卷积模块用于提取点云无序邻域的特征;基于方向诱导卷积模块,构建残差方向诱导卷积模块和最远点采样残差方向诱导卷积模块;根据残差方向诱导卷积模块和最远点采样残差方向诱导卷积模块构建方向诱导卷积网络;将点云数据输入方向诱导卷积网络,获得点云分割结果和分类结果。本发明以一种端到端的方式更好的捕获了点云的局部空间结构,提高了点云分类以及点云分割的准确率。
-
公开(公告)号:CN112053327B
公开(公告)日:2022-08-23
申请号:CN202010832866.4
申请日:2020-08-18
Applicant: 南京理工大学 , 腾讯科技(深圳)有限公司
Abstract: 本发明实施例公开了视频目标物检测方法、系统及存储介质和服务器,应用于人工智能的信息处理技术领域。视频目标物检测系统会将待检测视频中多个连续帧图像的特征都融合到其中某一帧图像的特征中,形成首次融合特征,然后将首次融合特征中的多层采样特征再融合形成二次融合特征,最后根据二次融合特征对某一帧图像中的目标物进行检测。由于在两次融合特征获取过程中,不仅考虑了待检测视频中各帧图像本身的信息,还考虑了与相邻帧图像之间的序列信息,进一步地考虑了多层采样特征,使得最终获取的二次融合特征能准确地描述待检测图像中某一帧图像的特征,进而使得根据二次融合特征进行目标物检测的结果也比较准确。
-
公开(公告)号:CN115797794A
公开(公告)日:2023-03-14
申请号:CN202310057656.6
申请日:2023-01-17
Applicant: 南京理工大学
IPC: G06V20/13 , G06V10/62 , G06V10/774 , G06V10/82 , G06V20/40 , G06V10/778
Abstract: 本发明公开了一种基于知识蒸馏的卫星视频多目标跟踪方法,包括以下步骤:构造专门用于目标检测的教师网络;构造用于多目标跟踪的学生网络;结合教师网络和学生网络构建知识蒸馏模块;根据知识蒸馏损失和已有损失优化学生网络模型;结合目标检测结果,输出多目标跟踪结果。本发明的优点在于将知识蒸馏技术应用于卫星视频的多目标跟踪,利用专门用于目标检测的教师网络指导学生网络学习,提升了学生网络检测的泛化能力,可适用于卫星视频中的多目标跟踪问题。
-
公开(公告)号:CN115620803A
公开(公告)日:2023-01-17
申请号:CN202211359901.0
申请日:2022-11-02
Applicant: 南京理工大学
IPC: G16B5/20 , G16B15/30 , G16B40/00 , G06F18/2415 , G06N3/0464 , G06N3/048 , G06N3/08
Abstract: 本发明公开了一种基于跨图注意力的蛋白质相互作用点位预测方法,步骤如下:S1、获取蛋白质数据,对每一对蛋白质分别构建一个表示残基关系的图结构;S2、对于步骤S1中构建的图,提取残基的生信特征构建节点特征矩阵;S3、对于步骤S1中构建的图,提取残基的空间特征构建图邻接特征矩阵;S4、对步骤S3构建的蛋白质图通过图卷积神经网络进行图编码;S5、在步骤S4的基础上,对步骤S3构建的蛋白质图进行跨图信息交互;S6、对步骤S5得到的节点特征进行堆叠,构成残基对特征;S7、将步骤S6得到的残基对特征送入分类器,预测该残基对是否发生了相互作用。本发明的预测方法,具有较强的表征能力和学习能力,在蛋白质相互作用点位预测任务中获得了优异表现。
-
公开(公告)号:CN112749585A
公开(公告)日:2021-05-04
申请号:CN201911041763.X
申请日:2019-10-30
Applicant: 南京理工大学
Abstract: 本发明公开了一种基于图卷积的骨架动作识别方法,其基本单元是一个时空图卷积模块。该时空图卷积模块包括以下步骤:获取骨架视频,基于每一帧的骨架视频构建一个骨架图(graph),根据该骨架图定义不同的人体部件组合,且对各人体部件组合构建关节点关系图,进一步构造成为多维关系交互图,其包含部件组合交互维度和关节点交互维度;对多维交互图分别在关节点交互维度上和部件组合交互维度上进行图卷积;然后把两个图卷积得到的空间特征送到时间切片的局部卷积网络获取时间动态特征。在本发明的网络模型中堆叠多个时空图卷积模块来构建神经网络,并使用softmax分类器进行分类。
-
公开(公告)号:CN119580146A
公开(公告)日:2025-03-07
申请号:CN202411616282.8
申请日:2024-11-13
Applicant: 南京理工大学
IPC: G06V20/40 , G06V10/44 , G06V10/764 , G06V10/80 , G06V10/82 , G06F40/30 , G06N3/0455 , G06N3/0475 , G06N5/045
Abstract: 本发明公开了基于扩散模型和文本嵌入的视频异常检测方法,涉及视频异常检测技术领域。本发明提供的基于扩散模型和文本嵌入的视频异常检测方法,包括首先利用图文生成模型提取各视频帧的文本信息,再通过预训练的CLIP文本编码器得到语义特征;基于图像扩散模型和文本扩散模型,构建视频异常检测模型,并利用交叉注意力机制分别引导图像扩散去噪网络、文本扩散去噪网络重构图像特征和文本特征,再通过整体优化完成模型训练,进而对视频异常进行检测。因此,采用上述方法,能够借助扩散模型的强大生成能力和图生文模型的语义理解能力,缓解了特定场景下的过度泛化问题,增强了视频异常检测的可解释性,提高视频异常检测模型的性能。
-
公开(公告)号:CN119445176A
公开(公告)日:2025-02-14
申请号:CN202411581715.0
申请日:2024-11-07
Applicant: 南京理工大学
IPC: G06V10/762 , G06V10/764 , G06V10/774 , G06V10/25 , G06V10/40 , G06V10/80 , G06F18/213 , G06V10/776 , G06N3/0455 , G06N3/047 , G06N3/084
Abstract: 本发明公开了一种基于双流特征融合的三维点云开放场景理解方法,属于多模态学习领域,包括数据准备,收集三维点云数据V,进行数据标注得到三维点云开放场景理解数据集A,将获得的三维点云开放场景理解数据集A进行数据集划分;构建三维点云开放场景监督信息,构建前景兴趣区和构建开放语义信息,融合双流特征信息;设计包含一个三维点云特征提取器E、预训练的文本特征提取器θtext与多模态判别器D的模型M;训练模型M得到模型M*;在模型M*上进行测试;本发明采用上述一种基于双流特征融合的三维点云开放场景理解方法,实现了在开集上的三维点云场景理解,显著提高了开集语义分割等任务的精度。
-
公开(公告)号:CN115527605A
公开(公告)日:2022-12-27
申请号:CN202211374655.6
申请日:2022-11-04
Applicant: 南京理工大学
Abstract: 本发明公开了基于深度图模型的抗体结构预测方法,构建特征提取模块,提取目标抗体序列的多序列联配和模板序列以生成初始MSA特征和Pair特征;构建双轨的特征更新模块,使用注意力机制实现MSA特征和Pair特征之间的更新;基于图Transformer构建特征聚合模块,更新和聚合MSA特征、Pair特征,以获取最终嵌入表示;构建距离图预测模块,预测残基对之间的相对距离和方向矩阵;构造势能函数,并对势能函数进行优化,以获取势能最小化的抗体三维结构。本发明实现了对抗体三维结构的高效、准确预测,能够有益于改善蛋白质结构测定费时费力的现状,同时解决抗体同源性数据不足的问题。
-
公开(公告)号:CN115271172A
公开(公告)日:2022-11-01
申请号:CN202210731482.2
申请日:2022-06-24
Applicant: 南京理工大学
Abstract: 本发明公开了基于高阶主成分分解时空图卷积交通速度预测方法,基于站点节点之间的距离构建节点的空间关联邻接矩阵,节点属性来自所代表站点车辆行驶的平均速度,此外,节点的属性具备动态时序性,整个交通网络建模为时空图结构;基于高阶主成分分解将交通时空图分解为核心张量和在各个维度的因子矩阵,推理出高阶主成分分解后时空图卷积网络的表现形式,实现了一种时空关联统一建模的时空图卷积网络模型。本发明首次将高阶主成分分解算法应用于时空图卷积网络,从张量空间高维关联建模的角度出发,提出了基于高阶主成分截断分解的时空图卷积模型,具备降低数据维度、并行计算和噪声抑制的优点。
-
公开(公告)号:CN119600198A
公开(公告)日:2025-03-11
申请号:CN202411664069.4
申请日:2024-11-20
Applicant: 南京理工大学
IPC: G06T17/00 , G06T15/08 , G06T3/4053 , G06V40/16 , G06V10/766 , G06V10/52 , G06V10/82 , G06N3/045 , G06N3/084 , G06N3/091
Abstract: 本发明公开了一种基于神经辐射场的三维视线重定向的方法,包括以下步骤:S1、搜集并处理数据集,将数据集中的图像进行人脸模型处理;S2、进行特征编码与多层感知机MLP进行约束学习;S3、通过步骤S1中得到的图像和三维人脸参数,利用三平面特征提取器EF提取三平面特征T并通过三平面特征T进行体渲染生成低分辨率特征FT;S4、模型总体优化通过执行梯度下降法更新模型整体的权重,迭代训练若干轮次。本发明采用上述的一种基于神经辐射场的三维视线重定向的方法,实现了一种端到端的视线重定向模型训练,在使用单视角图像的情况下,实现了头部姿态和注视方向的显式解耦,达到了同时控制注视方向和头部姿态的效果。
-
-
-
-
-
-
-
-
-