公开(公告)号：CN109460707A

公开(公告)日：2019-03-12

申请号：CN201811165862.4

申请日：2018-10-08

Applicant: 华南理工大学

Inventor： 许泽珊 ,  余卫宇

IPC: G06K9/00 ,  G06N3/04

Abstract: 本发明公开了一种基于深度神经网络的多模态动作识别方法，该方法综合利用视频图像、光流图以及人体骨架等多模态信息，具体步骤如下：首先，对视频进行一系列预处理和压缩；基于视频的相邻帧，获取光流图；利用姿态估计算法，从视频中按帧获取人体骨架，并计算骨架序列的路径积分特征；将所得的光流图、骨架路径积分特征以及原始的视频图像，输入到具有多分枝结构的深度神经网络中,令其学习关于人体动作的抽象时空表征，并正确判断其动作类别。此外，在视频图像支路中，还接入了基于注意力机制的pooling层，强化与最终动作分类结果息息相关的抽象特征，减少无关干扰。本发明综合利用多模态信息，具有鲁棒性强强、识别率高等优点。

公开(公告)号：CN107122701A

公开(公告)日：2017-09-01

申请号：CN201710122736.X

申请日：2017-03-03

Applicant: 华南理工大学

Inventor： 许泽珊 ,  叶绿珊 ,  余卫宇

IPC: G06K9/00 ,  G06N3/06 ,  G06N3/08

CPC classification number: G06K9/00818 ,  G06N3/061 ,  G06N3/08

Abstract: 本发明公开了一种基于图像显著性和深度学习的交通道路标志识别方法。所述方法首先由卷积神经网络(CNN)生成一个网络(Alexnet),然后通过从ImageNet数据集中获取交通道路标志图片，对训练图片进行归一化预处理之后输入网络，然后训练AlexNet网络。再将测试图片进行RC显著性提取之后输入训练好的Alexnet卷积神经网络，进行交通道路标志的测试分类。本发明结合了图像显著性高效提取显著区域和深度学习在图片识别中的优势，达到对交通道路标志图片进行精准分类的目的。

公开(公告)号：CN106683049A

公开(公告)日：2017-05-17

申请号：CN201611189524.5

申请日：2016-12-21

Applicant: 华南理工大学

Inventor： 方杰 ,  许泽珊 ,  周智恒 ,  余卫宇

IPC: G06T3/40

CPC classification number: G06T3/4053

Abstract: 本发明公开了一种基于显著图和稀疏表示的图像超分辨率重构方法，基于全局对比度的FT算法，与超分辨率重构算法相互结合，通过对低分辨率图像进行插值分块得到低分辨率图像块，以及采取FT算法检测得到的显著图进行二值化，按照图像块是否包含二值化显著图的显著点来判定是否为图像的显著区域，然后对图像的显著区域通过来联合训练方法对高低分辨率的字典对进行训练，并采取基于稀疏表示的超分辨率重构算法进行重构，非显著区域则采取双三次插值法，最后将各个图像块合并连接，得到最终的高分辨率图像。与现有的技术相比，本发明具有更快速的重构速率、有针对性地重构显著区域的优点。