一种基于双路3D卷积网络的行为识别方法

    公开(公告)号:CN110991219B

    公开(公告)日:2024-02-06

    申请号:CN201910964765.X

    申请日:2019-10-11

    Applicant: 东南大学

    Inventor: 路小波 姜胜芹

    Abstract: 本发明设计了一种基于双路3D卷积网络的行为识别方法,本发明主要由3D卷积和伪3D卷积堆叠而成,包括时空降采样模块、细分支、粗分支和侧边连接等四个模块。该网络通过一个共享的时空降采样模块,为两个分支提供低层的时空基元信息。细分支是由三个3D卷积块组成的,其中每个卷积块包含两个卷积层。粗分支是从所有的输入视频帧中学习时空特征。同时采用侧边连接以融合两个分支的特征。本发明参数少、准确率高、速度快,可用于手机、录像机、监控摄像头等设备所拍摄视频的分类,在家庭、公共场所等场景中有着重要的应用价值。

    一种基于多层次特征聚合网络的动车油迹检测方法

    公开(公告)号:CN115457520A

    公开(公告)日:2022-12-09

    申请号:CN202211082591.2

    申请日:2022-09-06

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于多层次特征聚合网络的动车油迹检测方法,根据动车内部结构得到原始图像,将其分为正常图像和带有油迹的图像,并进行人工标注,每一张图像标注获得对应的mask图像;对原始图像和其对应的mask图像预处理后,将其输入到多层次特征聚合网络模型中提取特征、增强特征、融合多方面的特征,输出关于油迹分布的图像,基于损失函数、基于随机梯度下降算法不断调整网络的参数,得到最合适的多层次特征聚合网络模型;该模型至少包括跨层特征注意力模块、多层次精炼特征模块、跨层特征增强模块;再基于全连接条件随机场进行后处理,优化图像中边界区域,输出油迹分布二值图,提供一种有效且合适的定位列车中油迹位置的方法。

    一种基于渐进式上下文理解网络的动车油迹检测方法

    公开(公告)号:CN114757932A

    公开(公告)日:2022-07-15

    申请号:CN202210465152.3

    申请日:2022-04-29

    Applicant: 东南大学

    Inventor: 路小波 刘维 魏运

    Abstract: 本发明涉及一种基于渐进式上下文理解网络的动车油迹检测方法,包括以下步骤:使用高清相机获得动车内部结构的二维图像,对数据集进行筛选,分为正常图像数据和带有油迹图像的数据;在训练阶段,对图像进行像素级标注,将图像中的油迹区域标注出来并将其像素值设为255,其余非油迹区域设为0,这就是图像的mask;将原图像和其mask图像分别进行预处理包括随机翻转等数据增强和归一化操作;将预处理后的数据输入到渐进式上下文理解网络中进行特征学习,得到一张可能包括油迹区域的二值图像。最后,将全连接条件随机场作为后处理操作,对输出的二值图像进行进一步的优化得到更准确的结果。本发明可以准确检测出动车内部结构中油迹在图像中的位置。

    一种基于无人机平台的实时车辆检测方法

    公开(公告)号:CN110717387B

    公开(公告)日:2022-07-08

    申请号:CN201910823920.6

    申请日:2019-09-02

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于无人机平台的实时车辆检测方法,通过无人机拍摄建立航拍车辆数据集,整体数据集按一定比例划分为训练集和测试集;建立卷积神经网络的快速消除卷积层;建立神经网络的多尺度卷积层;基于航拍视频中车辆的宽高比进行多尺度锚点设计,并对小尺度锚点进行稠密化处理;基于二值权重网络;对网络进行时间优化;加载视频数据集,对卷积神经网络进行训练;在无人机航拍视频中实时检测出视频中的车辆。本发明可以在运动的背景中检测出车辆,适用于无人机航拍的环境,通过合理设计RDCL层的步长和调整锚点宽高比等措施大大减小了小目标车辆的漏检率,航拍视频中的车辆能够在机载计算模块上被实时得检测出来。

    基于深度混合编解码神经网络的驾驶员行为识别方法

    公开(公告)号:CN111695435B

    公开(公告)日:2022-04-29

    申请号:CN202010425736.9

    申请日:2020-05-19

    Applicant: 东南大学

    Abstract: 本发明提供了一种基于深度混合编解码神经网络的驾驶员行为识别方法,包括:建立驾驶员行为识别数据集;构建编解码时空卷积网络;构建卷积长短期记忆网络;构建分类网络;训练驾驶员行为识别模型中三个网络;采用训练好的驾驶员行为识别模型对数据集中的视频进行识别,将视频样本送入训练好的编解码时空卷积网路中得到短期行为时空特征表示,将短期行为时空特征表示送入训练好的卷积长短期记忆网络中得到长期行为时空特征表示,训练好的分类网络输出最终的驾驶员行为分类结果。本发明能够有效地从短期视频剪辑中提取隐含的运动信息,并通过时空融合实现长视频中的驾驶员行为特征编码,识别精度高,可实现监控视频中的驾驶员行为识别。

    一种利用特征自适应加权的安全驾驶监测方法

    公开(公告)号:CN114241456A

    公开(公告)日:2022-03-25

    申请号:CN202111564304.7

    申请日:2021-12-20

    Applicant: 东南大学

    Abstract: 本发明公开了一种利用特征自适应加权的安全驾驶监测方法。本发明研究了不同尺度的全局特征与关键点特征的融合策略。针对融合过程中的注意力问题,本发明并非直接级联全局特征和关键点特征,而是针对两者提出基于姿态的特征融合模块。驾驶员行为的类别差异表现在不同的图像区域,模型应关注不同输入图像的不同区域,因此提出了自适应加权模块,通过学习一组特定于输入数据的专家权值来选择用于计算的卷积核,这为驾驶员动作识别提供了一个新的方向,并进一步提高驾驶员行为识别准确率。本发明在交通安全领域有重要的应用价值。

    轨道扣件图像生成方法及模型训练方法

    公开(公告)号:CN114140364A

    公开(公告)日:2022-03-04

    申请号:CN202111462840.6

    申请日:2021-12-02

    Applicant: 东南大学

    Inventor: 路小波 苏仕祥

    Abstract: 本发明公开了轨道扣件图像生成方法及模型训练方法,方法包括:获取包含至少一个目标对象的原始图像;计算目标对象的第一弹条图像和第一背景图像;基于第一弹条图像生成第二弹条图像;基于第一背景图像得到第二背景图像;基于第二弹条图像和第二背景图像生成第二扣件图像;基于第二扣件图像对图像分类模型进行训练,获得针对所述目标对象的扣件图像分类模型。本发明基于真实的无病害扣件图像生成有病害和无病害的扣件图像。生成的图像具备丰富的多样性和较高的真实性,解决了无病害扣件图像和有病害扣件图像的样本不平衡问题,极大提高了病害扣件图像检测的准确率。

    基于自组织背景差模型和多特征融合的黑烟车检测方法

    公开(公告)号:CN109191495B

    公开(公告)日:2022-02-15

    申请号:CN201810781383.9

    申请日:2018-07-17

    Applicant: 东南大学

    Inventor: 路小波 陶焕杰

    Abstract: 本发明公开了基于自组织背景差模型和多特征融合的黑烟车检测方法,包括:利用自组织背景差模型从视频监控中检测运动目标,确定关键区域;将关键区域图像转化到YCrCb颜色空间,提取颜色矩特征;将关键区域转化到灰度空间,分别提取局部三值模式直方图特征和边缘方向直方图特征;根据当前帧关键区域的位置,在整个帧序列中提取其前后若干帧的对应区域,将所有时序区域提取的同一类特征串联形成每一类的特征向量,对每一类的特征向量归一化,串联起来形成最终的特征向量;利用剪枝径向基神经网络分类器对所提最终特征向量进行分类,识别黑烟关键区域,并进一步识别黑烟车。本发明能够进一步提高识别率,降低误报率,对黑烟比较轻的黑烟车有较好识别效果。

    一种基于动态纹理和变换域时空特征的黑烟车识别方法

    公开(公告)号:CN108921147B

    公开(公告)日:2022-02-15

    申请号:CN201811018299.8

    申请日:2018-09-03

    Applicant: 东南大学

    Inventor: 路小波 陶焕杰

    Abstract: 本发明提供了一种基于动态纹理和变换域时空特征的黑烟车识别方法,包括:将视频序列中的每帧图像转化为灰度图像,并平均分成若干网格小方格;对每一帧的每个小方格图像提取动态纹理特征;对每一帧的每个小方格图像得到变换域特征;将动态纹理特征和变换域特征进行融合,得到用于区分烟方格和非烟方格的时空特征;利用SVM分类器对所提时空特征进行分类,得到每个方格的识别结果,结合每帧所有方格识别结果的分布以及连续多帧识别结果的特点,判断当前视频段是否有黑烟车。本发明能借助对黑烟方格位置和个数的分析估计整个黑烟尾气的位置和面积,对黑烟车的污染程度和等级做出初步估计,提高了特征的鲁棒性,避免了阴影的误报,降低了误报率。

    一种基于深度学习的黑烟车检测方法

    公开(公告)号:CN113762144A

    公开(公告)日:2021-12-07

    申请号:CN202111035079.8

    申请日:2021-09-05

    Applicant: 东南大学

    Inventor: 路小波 袁立

    Abstract: 本发明公开了一种基于深度学习的黑烟车检测方法,模型构建包括以下步骤:对实际道路摄像头获取的图像中的车辆目标进行标注,构建车辆目标检测数据集;采用YOLOv3模型对已标注的车辆目标数据集进行训练,实现模型对图像中的车辆目标进行检测并获得车辆目标尾部区域图像,以构建黑烟分类数据集;采用结合蒸馏和训练优化的改进的VisionTransformer模型进行黑烟分类模型训练以判断车辆是否排放黑烟;对实际道路视频传来的视频数据进行实时黑烟车检测,若发现黑烟车则警示,本发明采用计算机视觉的方式,在无人监视条件下,从视频数据中对黑烟车进行有效自动检测和警示的方法,能够有效提升黑烟车检测的精度和速度,避免受到图像中阴影等因素的干扰。

Patent Agency Ranking