公开(公告)号：CN119559472A

公开(公告)日：2025-03-04

申请号：CN202411625181.7

申请日：2024-11-14

Applicant: 南京邮电大学

Inventor： 孙宁 ,  王月 ,  张维亮

IPC: G06V10/80 ,  G06V20/70 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0442 ,  G06N3/0895 ,  G06N3/096

Abstract: 本发明公开了一种多模态情感识别方法及系统，涉及图像处理技术领域，包括以下步骤：获取多模态情感数据和缺失情感数据，并进行标注，得到标注后的多模态情感数据和缺失情感数据，其中，所述多模态情感数据包括图像、语音和文本特征；将标注后的多模态情感数据和缺失情感数据输入至预先建立的基于蒸馏机制与对比学习的可训练的深度神经网络模型内，输出得到融合特征和更新的单模态特征；基于融合特征和更新的单模态特征，生成正负样本，基于正负样本将融合特征输入至全连接层，得到情感识别预测结果。

公开(公告)号：CN119541020A

公开(公告)日：2025-02-28

申请号：CN202411605783.6

申请日：2024-11-12

Applicant: 南京邮电大学

Inventor： 孙宁 ,  何佩鲜 ,  刘佶鑫

IPC: G06V40/16 ,  G06V10/82 ,  G06V10/56 ,  G06N3/045 ,  G06N3/0895 ,  G16H40/67 ,  G16H50/30

Abstract: 本发明属于图像处理技术领域，具体涉及一种基于颜色放大和时空自注意力的远程心率测量方法；所述方法包括以下步骤：步骤1、通过人脸关键点检测技术对视频每帧图像进行处理，实现裁剪和人脸对齐操作，然后将裁剪对齐后的视频序列分成训练集和测试集步骤2、构建视频颜色放大、时空自注意力特征提取和对比学习相结合的端到端可训练的心率检测神经网络模型；步骤3、将训练集输入步骤2中心率检测神经网络模型进行训练，并利用测试集进行验证；步骤4、利用训练后的心率检测神经网络模型对新视频进行远程心率测量；本发明提出的模型，解决了在远程心率测量中如何准确建模面部颜色细微变化的挑战，提高了测量的准确性和有效性。

公开(公告)号：CN119444771A

公开(公告)日：2025-02-14

申请号：CN202411567120.X

申请日：2024-11-05

Applicant: 南京邮电大学

Inventor： 孙宁 ,  李凯 ,  徐恒越

IPC: G06T7/10 ,  G06V10/40 ,  G06V10/80 ,  G06V10/764 ,  G06V10/82

Abstract: 本发明公开了一种基于互注意力的铁路场景点云分割方法及系统，涉及三维点云处理，包括采用激光雷达采集铁路不同轨道场景的点云数据；构建基于互注意力和点云序列化的铁路场景点云分割网络模型，并进行点云特征提取；根据所述点云数据对所述铁路场景点云分割网络模型进行模型训练，得到训练后的模型权重；应用所述训练后的模型权重，并根据所述点云数据进行模型测试，生成铁路场景点云的分割结果。本发明提高了真实环境下铁路场景点云的分割准确率，有效地改善了真实环境下铁路场景点云分割的现状。

公开(公告)号：CN116462229A

公开(公告)日：2023-07-21

申请号：CN202310364526.7

申请日：2023-04-07

Applicant: 南京邮电大学 ,  南京昱浩渲新能源科技有限公司

Inventor： 李梦竹 ,  王龙禄 ,  常诚 ,  殷葳楠 ,  李静文 ,  孙宁 ,  潘俊安

IPC: C01G39/06 ,  C01B3/02 ,  C25B1/02 ,  C25B11/075 ,  B01J23/28

Abstract: 硫化钼是一种先进的催化析氢材料，但其活性位点只存于边缘，而且难以最大化其活性位点的本征活性。据此，多种提高催化性能的方法已经被提出。纳米团簇是创造新型先进功能材料的理想基元，是关联宏观性质和物质微观结构的理想模型，对深刻认识和理解物质转化的规律具有重大意义。研究发现，[Mo3S13]2‑团簇可作为基本结构单元构筑硫化钼纳米线，其具有类MoS2体相的规则边缘碎片的结构特征，可视为规则的超小“量子点”。本发明在现存的结构明确的钼硫团簇的基础上，以[Mo3S13]2‑团簇为基元，构筑了团簇多级结构的无定型硫化钼纳米线功能催化析氢材料。这种结构的硫化钼纳米线具有大量的边缘S活性位点，可有效实现产氢性能的大幅提升。

公开(公告)号：CN116229147A

公开(公告)日：2023-06-06

申请号：CN202310003314.6

申请日：2023-01-03

Applicant: 南京邮电大学

Inventor： 孙宁 ,  陈仕涛 ,  梁德志

IPC: G06V10/764 ,  G06V10/82 ,  G06N3/08

Abstract: 本发明提出了一种基于几何损失函数的轻量化目标检测方法和系统。该方法包括以下步骤：1、从图像识别的数据集中选取多张图片，通过使用标注工具对图像中的物体进行标注并对每张图像进行裁剪操作，将裁剪过后的图像按相应的比例划分为训练集和测试集；2、构建了一种基于几何损失函数的轻量化目标检测器；3、将步骤1中划分好的训练集送入到基于几何损失函数的轻量化目标检测器中进行训练；4、保存训练得到模型，用于之后的目标检测，最终得到图像里面对应目标的类别和位置信息。本发明将图像送入轻量化目标检测器进行训练后，用保存下了的训练模型进行检测，可以达到良好检测效果的同时提高检测速度，并且更适合实际场景的应用。

公开(公告)号：CN108334830B

公开(公告)日：2022-10-04

申请号：CN201810071440.4

申请日：2018-01-25

Applicant: 南京邮电大学

Inventor： 孙宁 ,  李文丽 ,  李晓飞

IPC: G06V20/00 ,  G06V10/424 ,  G06V10/80 ,  G06V10/774 ,  G06V10/764 ,  G06V10/77 ,  G06V10/82 ,  G06N3/04

Abstract: 一种基于目标语义和深度外观特征融合的场景识别方法，具体步骤为：获取待识别的场景图像；提取场景图像的目标语义信息，生成保持空间布局信息的目标语义特征；提取场景图像的外观上下文信息，生成外观上下文特征；提取场景图像的外观全局信息，生成外观全局特征；根据目标语义特征、外观上下文特征和外观全局特征，获取场景图像的识别结果。本发明采用多类目标检测器算法，精准地获取关键目标、类别及其布局信息；通过SFV模型获取室内场景图像的目标语义特征；卷积层和LSTM层组成端到端可训练的混合DNN网络结构可以有效提取场景图像的上下文相信息。该方法融合了目标语义信息、全局外观信息和外观的上下文特征，提高了识别算方法的识别率和鲁棒性。

公开(公告)号：CN111860151B

公开(公告)日：2022-08-26

申请号：CN202010532746.2

申请日：2020-06-12

Applicant: 南京邮电大学

Inventor： 孙宁 ,  卢情义 ,  李晓飞

IPC: G06V40/16 ,  G06V10/774 ,  G06V10/764 ,  G06N3/08

Abstract: 本发明公开了一种无监督跨角度面部表情图像识别方法，将由正脸表情图像训练得到的分类器迁移到侧脸图像域，实现侧脸表情图像的高精度识别。本方法是一种深度神经网络，称为无监督跨角度面部表情自适应网络。该网络使用两个生成对抗网络进行正脸图像和侧脸图像的循环生成，这种机制建立了两个对应的编码‑解码对，完成由图像到高层语义特征再到图像的变换，从而得到表情图像的高维特征。正脸图像和侧脸图像在特征空间的分布差异要远小于两者在图像空间的分布差异，本方法在两者的特征空间进行半监督学习，完成由正脸图像分类向侧脸图像的领域自适应。此外，本发明还使用了合成侧脸图像质量评估，域平均脸和乒乓螺旋上升训练等技巧。

公开(公告)号：CN111860116B

公开(公告)日：2022-08-26

申请号：CN202010493237.3

申请日：2020-06-03

Applicant: 南京邮电大学

Inventor： 孙宁 ,  王龙玉 ,  李晓飞

IPC: G06V10/774 ,  G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提出了一种基于深度学习和特权信息的场景识别方法，属于图像处理技术领域。其具体步骤包括(1.1)：从场景识别库中选取多个主要场景的RGB图像和深度图像，并将其与RGB图像进行配对；(1.2)：构建结合特权信息和注意力机制的端到端可训练的深度神经网络模型；(1.3)：对深度神经网络模型进行训练，训练时使用权重重分配的方式避免数据不均衡；(1.4)：得到该图像的场景分类结果。本发明以图像编码到特征解码再到图像编码为架构，建立了由RGB图像到深度图像再到深度图像高层语义特征的映射关系。有效解决了深度模态缺失的现状，在只使用RGB图像的情况下，达到了多模态图像融合的效果。

公开(公告)号：CN114266938A

公开(公告)日：2022-04-01

申请号：CN202111592561.1

申请日：2021-12-23

Applicant: 南京邮电大学

Inventor： 孙宁 ,  李响 ,  朱良伟

IPC: G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明是一种基于多模态信息和全局注意力机制的场景识别方法，具体包括步骤1：选取多个场景的RGB图像和深度图像，将编码后的深度图像与RGB图像进行配对，划分为训练集和测试集；步骤2：构建双通道深度神经网络模型；步骤3：将步骤1中划分好的训练集送入到步骤2中的双通道深度神经网络中进行训练；步骤4：识别场景图片。本发明有效的利用了RGB图像和深度图像之间的互补性，通过对RGB图像和深度图像进行全局注意力监测，分别获得对应的可学习类别向量，从而进行场景分类，本发明在提高特征提取能力以及保持并行计算特点的同时，还提高了多模态场景识别的识别率。

公开(公告)号：CN108446609B

公开(公告)日：2022-03-11

申请号：CN201810173858.6

申请日：2018-03-02

Applicant: 南京邮电大学

Inventor： 孙宁 ,  朱逸程 ,  李晓飞

IPC: G06V40/16 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明揭示了一种基于生成对抗网络的多角度面部表情识别方法，该方法包括以下步骤：S1步骤：通过构建多角度人脸生成对抗网络来学习由侧脸图像生成正脸图像的变换关系；S2步骤：使用正脸表情图像训练用于判别正脸表情类别的深度神经网络；S3步骤：将多角度人脸生成对抗网络的低层部分与正脸表情判别网络的高层相连接，形成一个判别侧脸表情类别的深度神经网络；S4步骤：将一个侧脸表情图像T输入到深度神经网络，得到对该图像中面部表情的识别结果。本方法在两个标准人脸表情图像数据库上进行了大量测试，结果显示该方法实现了在缺乏侧脸表情图像训练数据时对多角度侧脸图像的面部表情识别功能。