基于深度混合编解码神经网络的驾驶员行为识别方法

    公开(公告)号:CN111695435A

    公开(公告)日:2020-09-22

    申请号:CN202010425736.9

    申请日:2020-05-19

    Applicant: 东南大学

    Abstract: 本发明提供了一种基于深度混合编解码神经网络的驾驶员行为识别方法,包括:建立驾驶员行为识别数据集;构建编解码时空卷积网络;构建卷积长短期记忆网络;构建分类网络;训练驾驶员行为识别模型中三个网络;采用训练好的驾驶员行为识别模型对数据集中的视频进行识别,将视频样本送入训练好的编解码时空卷积网路中得到短期行为时空特征表示,将短期行为时空特征表示送入训练好的卷积长短期记忆网络中得到长期行为时空特征表示,训练好的分类网络输出最终的驾驶员行为分类结果。本发明能够有效地从短期视频剪辑中提取隐含的运动信息,并通过时空融合实现长视频中的驾驶员行为特征编码,识别精度高,可实现监控视频中的驾驶员行为识别。

    基于多尺度掩码感知回馈卷积神经网络的人数统计方法

    公开(公告)号:CN110503014A

    公开(公告)日:2019-11-26

    申请号:CN201910728917.6

    申请日:2019-08-08

    Applicant: 东南大学

    Inventor: 路小波 姜胜芹

    Abstract: 本发明公开了一种基于多尺度掩码感知回馈卷积神经网络的人数统计方法,包括如下步骤:(1)搜集制作人数统计数据库;(2)生成训练和测试样本;(3)对训练和测试集的样本进行数据预处理;(4)构建人数统计的深度网络模型;(5)将生成的训练样本送入构建好的深度网络模型进行训练,通过Adam优化方法对网络的参数进行优化;(6)测试深度网络模型。本发明使用了一个多任务学习的策略来构建人数统计网络,网络将掩膜估计分支的结果,融合到图片特征中,而后获得鲁棒的人数统计模型;使用了一个简单的融合策略和一个基于空洞卷积的多尺度学习策略,实现了较为准确和稳定的检测结果,这避免了应用中复杂的配置以及内存消耗。

    一种基于加权样本的视频背景提取方法

    公开(公告)号:CN106855942B

    公开(公告)日:2019-10-11

    申请号:CN201611145068.4

    申请日:2016-12-13

    Applicant: 东南大学

    Inventor: 路小波 姜胜芹

    Abstract: 本方法公开了一种基于加权样本的视频背景提取方法,第一步,读入视频图像;第二步,对读取的图像进行背景建模,如果读取的图像为第一帧,则初始化模型,否则背景检测;第三步,如果当前像素为背景像素,则随机进行背景更新;第四步,获得背景图像,保存图像。本发明提出了一种加权样本的视频背景提取方法,利用样本的权重和“活动”样本进行样本更新,降低了有效样本的错误更新,提高了模型的表达能力。在保证背景检测准确率的前提下,降低了样本的使用量,提高了计算效率,因而可以降低视频背景提取的成本,实时性更优,适用范围广。

    基于多任务时空卷积神经网络的视频驾驶员行为识别方法

    公开(公告)号:CN109784150A

    公开(公告)日:2019-05-21

    申请号:CN201811489325.5

    申请日:2018-12-06

    Applicant: 东南大学

    Abstract: 本发明提供了一种基于多任务时空卷积神经网络的视频驾驶员行为识别方法,将多任务学习策略引入到时空卷积神经网络的训练过程并应用于监控视频中的驾驶员行为识别,辅助的驾驶员定位和光流估计任务隐含地嵌入到视频分类任务中,促进卷积神经网络模型学习到更丰富的驾驶员局部空间和运动时间特征,以提升驾驶员行为识别的准确率。对比目前现有的驾驶员识别方法,本发明所设计的多任务时空卷积神经网络架构结合了帧间信息,泛化性强,识别准确率高,可用于监控视频下的实时驾驶员行为识别,在交通安全领域有重要的应用价值。

    一种基于3D卷积神经网络的森林烟火检测方法

    公开(公告)号:CN109409256A

    公开(公告)日:2019-03-01

    申请号:CN201811179875.7

    申请日:2018-10-10

    Applicant: 东南大学

    Inventor: 路小波 曹毅超

    Abstract: 本发明提供了一种基于3D卷积神经网络的森林烟火检测方法,包括:建立初步的森林烟火图像样本数据集;设计基于3D卷积的神经网络结构,引入表示卷积与池化操作的时间深度参数;利用据集对3D卷积神经网络进行训练优化;对待处理视频以块为单位进行运动检测,判定疑似烟雾区域;利用疑似烟雾区域训练优化后的3D卷积神经网络模型执行前向计算,即得到该疑似烟区的分类结果。本发明基于3D卷积神经网络,通过3D卷积核在时间轴上滑动组合连续帧的空间特征,挖掘连续子图像的时空特征,在保证高检测率的同时,能够降低大量单帧图像造成的误报,从而大大提高了识别精度,拥有更好的鲁棒性与泛化能力。

    一种基于三正交平面时空特征的黑烟车检测方法

    公开(公告)号:CN109325426A

    公开(公告)日:2019-02-12

    申请号:CN201811018281.8

    申请日:2018-09-03

    Applicant: 东南大学

    Inventor: 路小波 陶焕杰

    Abstract: 本发明提供了一种基于三正交平面时空特征的黑烟车检测方法,包括:利用样本一致性背景模型SACON从道路监控视频中提取前景目标,并将图像划分成网格,记录前景目标所在的小方格;从每个前景目标小方格中分别提取时空纹理信息、时空颜色信息和时空形状信息;将时空纹理特征,时空颜色特征和时空形状特征分别输入三个训练好的反向传播神经网络BPNN分类器,通过对分类结果加权融合得到小方格的最终分类结果,结合每帧连通黑烟小方格的个数和连续多帧小方格的分布特点,对当前视频段是否有黑烟车做出判断。本发明能够基于视频分析对当前视频段是否有黑烟车做出判断,进一步提高识别率,降低阴影引起的误报。

    一种基于图像分析的夜间雾天能见度分类方法

    公开(公告)号:CN109241831A

    公开(公告)日:2019-01-18

    申请号:CN201810833982.0

    申请日:2018-07-26

    Applicant: 东南大学

    Inventor: 路小波 冯逸霏

    Abstract: 本发明公开了一种基于图像分析的夜间雾天能见度分类方法,包括如下步骤:(1)初始化,读入非雾天情况下的图像视频;(2)对采集得到视频每隔n帧获取一帧彩色图像,一共统计m帧,作为m幅原图像I,其中图像大小为M×N×3,每一个像素的坐标为(x,y)(x=0,1,…,M-1;y=0,1,…,N-1),对这些彩色图像进行滤波,减少噪声的影响;(3)对结果图像I′进行固定光源的定位与感兴趣区域的选取;(4)重新通过监控摄像机采集被测图像,针对图像进行雾天能见度分类的特征提取;(5)根据步骤(4)得到的两个特征进行雾天能见度分类,分为非雾天,小雾,大雾三个等级。本发明的算法简单,方便参数调整,实现高准确度的检测分类。

    基于自组织背景差模型和多特征融合的黑烟车检测方法

    公开(公告)号:CN109191495A

    公开(公告)日:2019-01-11

    申请号:CN201810781383.9

    申请日:2018-07-17

    Applicant: 东南大学

    Inventor: 路小波 陶焕杰

    Abstract: 本发明公开了基于自组织背景差模型和多特征融合的黑烟车检测方法,包括:利用自组织背景差模型从视频监控中检测运动目标,确定关键区域;将关键区域图像转化到YCrCb颜色空间,提取颜色矩特征;将关键区域转化到灰度空间,分别提取局部三值模式直方图特征和边缘方向直方图特征;根据当前帧关键区域的位置,在整个帧序列中提取其前后若干帧的对应区域,将所有时序区域提取的同一类特征串联形成每一类的特征向量,对每一类的特征向量归一化,串联起来形成最终的特征向量;利用剪枝径向基神经网络分类器对所提最终特征向量进行分类,识别黑烟关键区域,并进一步识别黑烟车。本发明能够进一步提高识别率,降低误报率,对黑烟比较轻的黑烟车有较好识别效果。

    一种基于特征分离的正则化人脸图像复杂光照去除方法

    公开(公告)号:CN109118444A

    公开(公告)日:2019-01-01

    申请号:CN201810833411.7

    申请日:2018-07-26

    Applicant: 东南大学

    Inventor: 路小波 张杨

    Abstract: 本发明公开了一种基于特征分离的正则化人脸图像复杂光照去除方法,包括如下步骤:(1)读入人脸图像,然后将人脸图像进行对数变换;(2)对步骤(1)中得到的图像f进行对数全变差的变换,分解出人脸图像的高频特征分量和低频特征分量;(3)分别对低频特征分量D和高频特征分量G做处理;(4)将正则化后的低频分量Dend和增强的高频分量Hend合成为新的去除了光照噪声的人脸图像,记为Fface。本发明能够减少计算机的内存的使用量,同时去噪能力得到明显提升。

    一种基于LHI特征的智能视频黑烟车检测方法

    公开(公告)号:CN109086681A

    公开(公告)日:2018-12-25

    申请号:CN201810754401.4

    申请日:2018-07-11

    Applicant: 东南大学

    Inventor: 路小波 陶焕杰

    Abstract: 本发明公开了一种基于LHI特征的智能视频黑烟车检测方法,包括如下步骤:(1)利用前景检测算法从道路监控视频中提取运动目标,并识别车辆目标;(2)利用积分投影技术检测车辆尾部位置;(3)提取车尾部后方区域的LHI特征,该特征包括LBP特征、HOG特征和IP特征;LHI特征是LBP特征、HOG特征和IP特征的融合,FLHI={xLBP,xHOG,xIP};(4)利用BP网络分类器对所提特征向量进行分类,识别黑烟帧,从而进一步识别黑烟车。本发明能够进一步提高识别率,降低误报率。

Patent Agency Ranking