公开(公告)号：CN118968584A

公开(公告)日：2024-11-15

申请号：CN202410954003.2

申请日：2024-07-16

Applicant: 南京工业大学

Inventor： 贾鹏程 ,  董冠男 ,  朱艾春 ,  李义丰

IPC: G06V40/16 ,  G06V20/40 ,  G06V10/774 ,  G06V10/764 ,  G06V10/82

Abstract: 本文提出了一种基于频率引导的分层差异感知的交互式人脸伪造检测算法。本算法从空间域和频域出发，通过设计多样化控制器对原始人脸样本生成多样化的语义组件，进而输入到多层网络进行特征感知交互。从而提高有效信息占比，扩大特征映射，解决伪造特征捕捉不全面的问题。本算法还改进了骨干网络Xception，并在其中引入弱化特定感知的注意力模块，集聚每个语义组件空间中相关语义信息，从而得到多层次的差异特征。此外，还引入了频率引导的分层交互模块，将多层次的差异特征进行交互并转换到频率上，交互所有层的聚类特征，进而捕捉细微且不可预测伪影。最终，引导互补的语义信息相互靠近，收敛不同的伪造信息成分进行真假人脸判定。

公开(公告)号：CN117112813A

公开(公告)日：2023-11-24

申请号：CN202310910990.1

申请日：2023-07-24

Applicant: 南京工业大学

Inventor： 朱艾春 ,  张旭 ,  董冠男 ,  倪帆 ,  胡方强

IPC: G06F16/432 ,  G06V20/40 ,  G06V10/82 ,  G06N3/048 ,  G06N3/047 ,  G06N3/08

Abstract: 本发明提供了一种基于跨模态学习的文本和行人视频检索方法，对多个待识别的视频分别进行灰度化处理和掩码处理，对文本进行灰度化的过滤处理；通过视觉特征提取网络对各视频进行处理获取三组视频全局特征，通过文本编码器对文本进行处理获取两组文本全局特征；采用完成训练的视频检索模型捕获细粒度信息；基于全局特征和细粒度特征获取各视频与文本的相似度；对各视频与文本的相似度进行排序，获取相似度最高的视频作为检索结果。本发明针对目前视频检索方法中对于视频中行人特征的细节不够以及颜色依赖问题导致的干扰进行了改善，选择灰度与彩色视频帧相结合以及全局与局部相结合的方式，细化了行人特征和文本特征，提高模型的检索精度。

公开(公告)号：CN119051702A

公开(公告)日：2024-11-29

申请号：CN202411022856.9

申请日：2024-07-29

Applicant: 南京工业大学

Inventor： 朱艾春 ,  陈楷其 ,  董冠男 ,  邓杰 ,  朱晓梅

IPC: H04B7/06 ,  H04W84/12

Abstract: 本发明提供了一种基于时序空间双流学习的WiFi人体行为识别方法，预设若干种人体行为，利用WiFi信号发射器和接收器采集CSI数据集；预处理并分成空间流与时序流，形成训练数据集；分别提取空间流与时序流对应的通道特征和时间特征，聚合为通道时间特征，学习动作样本的联合表示完成训练获得动作识别模型，利用模型对人体行为数据进行评估分类，准确识别出不同的动作。本发明的方法采用双流结构将TCN与多头自注意力机制结合起来，保证了CSI特征不会泄漏，并保持更长的记忆容量，能够有效表征人类行为的CSI连续特征，增强了模型对于全局特征提取的能力，识别结果准确、高效。

公开(公告)号：CN117079209A

公开(公告)日：2023-11-17

申请号：CN202310985607.9

申请日：2023-08-07

Applicant: 南京工业大学

Inventor： 朱艾春 ,  贾鹏程 ,  董冠男 ,  朱晓梅 ,  李义丰

IPC: G06V20/52 ,  G06V40/20 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08 ,  G06Q50/02

Abstract: 本发明的基于多流时空自注意力图卷积的煤矿井下人员不安全行为识别方法，该方法采用智能监控设备，获取煤矿监控视频，通过OpenPose人体姿态估计方法标定视频中的骨架点坐标信息；对骨架点坐标信息进行处理，提取骨架的浅层特征；利用完成训练的多流时空自注意力图卷积网络模型对骨架的浅层特征进行处理，识别煤矿井下人员的不安全行为并发出报警提示。该方法能够精准地发现异常行为并发出报警提示，做到防患于未然，保障煤矿安全生产。