公开(公告)号：CN119992645A

公开(公告)日：2025-05-13

申请号：CN202510020551.2

申请日：2025-01-07

Applicant: 南京大学

Inventor： 沈秋 ,  任晟昊 ,  黄佳溢 ,  曹汛

IPC: G06V40/20 ,  G06N3/0464 ,  G06N3/0442 ,  G06N3/084 ,  G06N3/0985 ,  G06V10/82

Abstract: 本发明提供一种基于全局压力的人体姿态估计装置及其方法。该装置包括：空间特征编码器，用于从人体动作的全局压力帧序列中提取人体全局压力空间特征；长短期时序注意力模块，用于从人体全局压力空间特征中提取到人体全局压力时序特征并与人体全局压力空间特征融合得到压力时空特征；动作回归器，用于将压力时空特征进行非线性回归计算，得到人体参数化模型的姿态和位移参数。本发明通过将视觉信息替换为不依赖光照条件、无隐私侵犯以及不受视觉遮挡影响的压力信息，实现了人体姿态估计在特殊场景下的无侵犯性拓展。

公开(公告)号：CN119693284A

公开(公告)日：2025-03-25

申请号：CN202510202938.X

申请日：2025-02-24

Applicant: 南京大学

Inventor： 曹汛 ,  周凯来 ,  蔡李靖 ,  王乙卜 ,  张梦雅 ,  沈秋 ,  陈林森

IPC: G06T5/92 ,  G06V10/74 ,  G06T5/60 ,  G06V10/77

Abstract: 本发明提供了一种近红外驱动的手机影像图像增强方法，包括：步骤1，在移动端搭载额外的近红外光谱传感器，选取近红外光谱波段；通过移动端可见光相机拍摄RGB图像，通过近红外光谱传感器获取近红外图像；步骤2，建立可见光和近红外联合解耦模块，将近红外图像与RGB图像映射到同一特征空间，然后通过解码器输出明暗分量；步骤3，建立明暗分量嵌入框架，以即插即用的方式将明暗分量嵌入到图像增强网络愚蠢中，得到最终增强结果。本发明可以充分利用额外的近红外波段信息，为手机影像提供具有明确物理信息引导的先验，一定程度上可以缓解端到端深度学习方法对数据的依赖以及可解释性差等问题。

公开(公告)号：CN115781666B

公开(公告)日：2025-01-28

申请号：CN202211374939.5

申请日：2022-11-04

Applicant: 南京大学

Inventor： 芦毅 ,  沈秋 ,  曹汛

IPC: B25J9/16 ,  B25J19/02

Abstract: 本发明公开了一种用于机器人全身模仿系统的控制方法。该方法包括如下步骤：步骤1，基于体感相机Kinect捕获的人体骨骼点坐标，将Kinect坐标系下人体各骨骼点坐标变换为在人体坐标系下的表示；步骤2，使用向量法求解人体关节角和各连杆向量；步骤3，建立机器人运动学模型，获得机器人的质心位置、各效应器末端的位置及其约束范围和机器人的连杆向量；步骤4，建立目标函数，迭代求解出最优解作为机器人的控制参数，最后将控制参数传递给机器人执行。本发明将机器人的模仿和平衡控制建模为最优化问题，通过实时迭代求解获得最优控制参数，从而兼顾平衡和模仿的相似性。

公开(公告)号：CN119992646A

公开(公告)日：2025-05-13

申请号：CN202510020594.0

申请日：2025-01-07

Applicant: 南京大学

Inventor： 沈秋 ,  任晟昊 ,  赵家熠 ,  曹汛

IPC: G06V40/20 ,  G06V10/80 ,  G06V20/40 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/084 ,  G06N3/0985

Abstract: 本发明提供一种基于全身压力和单目视频的人体姿态估计装置及其方法。该装置包括：视频特征编码器，用于从人体动作的单目正面视角视频帧序列中提取有关人体动作的视频特征；压力特征编码器，用于从全身地面压力帧序列中提取有关人体动作的全身压力特征；特征融合器，用于将全身压力特征和视频特征进行融合，得到融合特征；动作回归器，用于根据融合特征进行非线性回归计算，得到人体参数化模型的姿态和位移参数。本发明关注人体和地面的交互关系，通过融合压力信息与单目视频信息，实现了人体动作的多维度表征，弥补了传统单目视频人体姿态估计方法忽略环境信息的不足，显著增强了人体姿态估计的准确性及其与地面交互的合理性。

公开(公告)号：CN118803167A

公开(公告)日：2024-10-18

申请号：CN202410786259.7

申请日：2024-06-18

Applicant: 南京大学 ,  南京智谱科技有限公司

Inventor： 曹汛 ,  蔡李靖 ,  陈林森 ,  沈秋 ,  祖永祥 ,  字崇德

IPC: H04N5/21 ,  G06V10/30 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06V20/40 ,  G06N3/084

Abstract: 本申请实施例提供了时空频域联合的视频降噪方法、装置、设备及存储介质，所述方法包括：对第一视频的各帧的图像进行频域降噪，获得第一视频的各帧的降噪后的频域特征；从所述各帧的降噪后的频域特征中提取第一视频的各帧的前后向光流；从所述图像中获得第一视频的各帧的空域深层特征；根据所述空域深层特征和所述前后向光流获得第一视频中传播到每个帧的传播特征；融合所述频域特征、所述传播特征和所述空域深层特征获得第一视频的每个帧的降噪图像。本申请实施例的技术方案在视频的频域降噪的基础上，根据前后光流和空域深层特征，实现时空频域联合的高效降噪。

公开(公告)号：CN118709722A

公开(公告)日：2024-09-27

申请号：CN202410818299.5

申请日：2024-06-24

Applicant: 南京大学

Inventor： 沈秋 ,  颜承洋 ,  蔡志成 ,  曹汛

IPC: G06N3/045 ,  G06N3/0464 ,  G06N3/048 ,  G06V10/82 ,  G06V10/77 ,  G06F18/213

Abstract: 本发明公开了一种基于注意力机制的隐式神经表达方法和系统，包括根据获取的输入信号的输入张量，利用重组合注意力机制单元，得到所述输入张量对应的重组空间信息；基于所述重组空间信息，利用通道重校准注意力机制单元，得到校准特征向量；根据所述校准特征向量，得到所述输入信号对应的隐式神经输出；本发明通过重组合注意力机制单元，能够对输入信号的空间信息进行重组，有利于增强表示能力，通过通道重校准注意力机制单元，能够动态地增强或抑制不同通道的原始特征，使得隐式神经表达的多层感知机能够更好地表达信号，并有利于提升输入信号的隐式神经的表达质量。

公开(公告)号：CN118573885A

公开(公告)日：2024-08-30

申请号：CN202410619307.3

申请日：2024-05-19

Applicant: 南京大学

Inventor： 刘霖枫 ,  沈秋

IPC: H04N19/20 ,  H04N19/42

Abstract: 本发明公开了一种协同适配人眼视觉与机器视觉的智能压缩方法。该方法的步骤包括：将用于人眼视觉重建和机器视觉分析的特征按其特异性与相似性划分，得到用于人眼视觉重建的特异性特征yrec、用于机器视觉分析的特异性特征ycls和共享特征yshare；将特异性特征yrec与共享特征yshare输入解码器中，进行人眼视觉的图像高精度重建；将特异性特征ycls与共享特征yshare并行输入视觉分析器，从而在不完全解码图像的情况下进行高效的机器视觉分析任务。本发明的方法能够在一定程度上根据解码端的实际应用需求，灵活配比码率构成，以实现对人眼视觉和机器视觉应用不同程度的支持。

公开(公告)号：CN116563613A

公开(公告)日：2023-08-08

申请号：CN202310401160.6

申请日：2023-04-15

Applicant: 南京大学

Inventor： 王心悦 ,  蔡志成 ,  曹汛 ,  沈秋

IPC: G06V10/764 ,  G06T7/73 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明提出了一种基于MLP无需分块嵌入映射的视觉识别方法。该方法通过引入一种新的提取特征的方法，对视觉特征提取完全解耦合，从宽度，高度和通道三个维度单独地顺序地交替地进行特征提取，在保证模型表示能力的前提下极大降低了模型的参数量。本发明对于现有的多层感知机模型，是首个完全使用全连接层堆叠而成的模型，无需对输入图像进行卷积映射编码或分块嵌入等操作。

公开(公告)号：CN116310724A

公开(公告)日：2023-06-23

申请号：CN202310277216.1

申请日：2023-03-21

Applicant: 南京大学

Inventor： 蔡志成 ,  曹汛 ,  沈秋

IPC: G06V10/82 ,  G06V10/764 ,  G06N3/08 ,  G06N5/04

Abstract: 本发明公开了一种基于深度学习模型参数空间重参数化的视觉识别方法。该方法的步骤包括：(1)使用给定的优化配置和输入，在初始参数空间训练深度学习模型至完全收敛；(2)将参数W作为基Wbasis，引入可学习变换T作用于基Wbasis，产生相应的额外可学习参数Wtrain，该参数对对应基Wbasis的空间进行动态拉伸，构造新的参数化空间；(3)在新的参数化空间中，使用相同的优化配置对模型进行进一步的优化至完全收敛。本发明利用可学习变换，以初始模型学习到的权重作为基动态拉伸初始参数空间，在新构造的重参数化空间对收敛完成的模型进行进一步的优化，进一步增强视觉模型的识别能力，突破模型的性能瓶颈。

公开(公告)号：CN114677749A

公开(公告)日：2022-06-28

申请号：CN202210482805.9

申请日：2022-05-05

Applicant: 南京大学

Inventor： 佘加辉 ,  沈秋 ,  曹汛

IPC: G06V40/16 ,  G06V10/774 ,  G06K9/62 ,  G06V10/32 ,  G06V10/28 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于限制搜索空间的人脸识别对抗样本生成方法。该方法具体步骤为：(1)对图像数据集进行预处理；(2)将预处理后的图像作为数据预训练生成器模型；(3)将预处理后的图像输入至生成器模型生成对抗样本，然后将生成的对抗样本和经预处理的图像送入判别器进行特征提取，将提取到的特征通过全连接层输出预测分数；(4)将生成的对抗样本和经预处理后的图像送入人脸识别模型进行特征提取，然后通过比较提取到的特征余弦相似度作为目标函数，再通过反向传播的方法优化目标函数。本发明利用了限制搜索空间的手段，能在一定程度上解决人脸识别对抗样本生成中常见的泛化性不足问题，得到更有效的对抗样本。