基于非局部网络深度学习的视频异常行为判别方法

    公开(公告)号:CN110084151B

    公开(公告)日:2023-02-28

    申请号:CN201910285159.5

    申请日:2019-04-10

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于非局部网络深度学习的视频异常行为判别方法,属于计算机视觉与智能、多媒体信号处理领域。本发明使用多示例学习的思路构建训练集合,定义和标注视频数据的正负包和示例。采用非局部网络进行视频样本的特征提取,残差结构的I3D网络作为提取时空信息的卷积滤波器,非局部网络块融合长距离依赖信息,以满足视频特征提取的时序和空间需求。获取特征后,通过弱监督的学习方法建立回归任务,训练模型。本发明对可对未标注的类别进行判别,适用于异常检测任务正样本稀少并且类内多样性高的状况。这种方法满足了异常场景的召回率需求,具有工程应用价值。

    基于全卷积神经网络的织物纹理瑕疵检测方法

    公开(公告)号:CN110136126A

    公开(公告)日:2019-08-16

    申请号:CN201910414690.8

    申请日:2019-05-17

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于全卷积神经网络的圆织机织物纹理瑕疵检测方法,属于计算机视觉技术领域。本发明对于软管纺织中存在的四类瑕疵和检测时的实时性要求,将基于区域的全卷积网络中使用的ResNet-101替换为浮点数运算量减少一半,特征提取能力相当的ResNeXt-50网络。针对条带状织物特征图尺寸较小的问题,去除网络中最后一次降采样,并引入空洞卷积替代普通卷积,加大感受野,使每个卷积的输出都含有较大范围的信息,使用多尺度交替训练和在线难示例挖掘保证网络得到更加充分的训练。采用本发明设计的检测方案可以满足实时性要求,实现对条带状织物上纹理瑕疵的有效检测。

    一种基于高效三维卷积的视频行为识别方法

    公开(公告)号:CN110084202B

    公开(公告)日:2023-04-18

    申请号:CN201910356716.8

    申请日:2019-04-29

    Applicant: 东南大学

    Abstract: 一种基于高效三维卷积的视频行为识别方法,在三维卷积神经网络的基础上,进一步降低了它的运行时间、计算量以及参数量。本发明先对输入视频进行稀疏采样,再利用二维卷积网络处理经过稀疏采样之后的视频帧,得到各个随机采样帧的特征表示,然后利用一个三维卷积网络对这些不同帧的特征进行融合,生成最终的动作分类标签。本发明提出了一种新的三维卷积方式,使网络能在保持甚至超过现有性能的情况下,降低计算量、参数量以及运行时间。本发明在数据集UCF101上进行测试,利用该三维卷积网络结合上述的行为识别流程,使得在UCF101数据集上的准确率达到了92.9%。另一方面,本发明大大降低了三维网络的计算量、参数量以及运行时间,有利于算法实时性的实现。

    基于即时定位建图与三维语义分割的语义建图系统

    公开(公告)号:CN110097553B

    公开(公告)日:2023-05-02

    申请号:CN201910285181.X

    申请日:2019-04-10

    Applicant: 东南大学

    Abstract: 本发明公开了一种新型的基于即时定位与建图和三维点云语义分割的语义建图系统,属于计算机视觉和人工智能技术领域。本发明利用即时定位与建图建立稀疏地图并获取关键帧和相机位姿,利用点云语义分割基于关键帧进行语义分割。利用二维目标检测方法和点云拼接获取平截头体建议,设计一种贝叶斯更新方案将候选平截头体的语义标签进行整合,将带有最终修正标签的点插入到建立的稀疏地图中。实验表明本系统具有较高的效率和准确率。

    一种基于多尺度特征融合的图像细粒度识别方法

    公开(公告)号:CN110097090A

    公开(公告)日:2019-08-06

    申请号:CN201910282865.4

    申请日:2019-04-10

    Applicant: 东南大学

    Abstract: 基于密集卷积和深度可分离卷积的视网膜血管分割方法。包括:对视网膜血管图原始图像进行预处理;对数据集进行数据增强;构建基于密集卷积与深度可分离卷积结合的全卷积神经网络,并使用带有权重的损失函数对训练集进行训练;测试并得到最后分割结果图。本发明是以编码-解码的对称网络作为主干网络。加入深度可分离卷积,大大降低了模型参数量;使用了密集卷积块,将所有层在通道上连接,加强了信息的传递并有效利用了各个尺度的特征值;在图像预处理过程中,对其进行自适应伽马矫正,对不同特征区域用不同的伽马值矫正,在提升特征对比度的同时弱化背景噪声;在训练时使用带有权重的损失函数,增强待分割血管在训练时所占比重。

    基于即时定位建图与三维语义分割的语义建图系统

    公开(公告)号:CN110097553A

    公开(公告)日:2019-08-06

    申请号:CN201910285181.X

    申请日:2019-04-10

    Applicant: 东南大学

    Abstract: 本发明公开了一种新型的基于即时定位与建图和三维点云语义分割的语义建图系统,属于计算机视觉和人工智能技术领域。本发明利用即时定位与建图建立稀疏地图并获取关键帧和相机位姿,利用点云语义分割基于关键帧进行语义分割。利用二维目标检测方法和点云拼接获取平截头体建议,设计一种贝叶斯更新方案将候选平截头体的语义标签进行整合,将带有最终修正标签的点插入到建立的稀疏地图中。实验表明本系统具有较高的效率和准确率。

    基于局部特征聚合描述符和时序关系网络的视频行为识别方法

    公开(公告)号:CN110097000A

    公开(公告)日:2019-08-06

    申请号:CN201910357466.X

    申请日:2019-04-29

    Applicant: 东南大学

    Abstract: 本发明基于局部特征聚合描述符和时序关系网络的视频行为识别方法包括如下步骤:(1)视频采样获得多尺度有序视频帧序列;(2)使用卷积神经网络提取图片特征;(3)将得到的特征映射输入到VLAD层,将特征融合;(4)使用分类层得到当前输入视频中的动作行为属于数据集中各个类别的概率值;(5)融合多个尺度的时序关系,得到视频行为识别结果;(6)在UCF101和something-something数据集上对网络进行训练和测试,优化网络参数。本发明提供基于局部特征聚合描述符和时序关系网络的视频行为识别方法,在网络结构中加入局部特征聚合(VLAD)层将卷积层提取的特征映射进行融合来学习时序关系,并通过融合多尺度的时序关系来判别视频中人体动作的类别。

    一种基于高效三维卷积的视频行为识别方法

    公开(公告)号:CN110084202A

    公开(公告)日:2019-08-02

    申请号:CN201910356716.8

    申请日:2019-04-29

    Applicant: 东南大学

    Abstract: 一种基于高效三维卷积的视频行为识别方法,在三维卷积神经网络的基础上,进一步降低了它的运行时间、计算量以及参数量。本发明先对输入视频进行稀疏采样,再利用二维卷积网络处理经过稀疏采样之后的视频帧,得到各个随机采样帧的特征表示,然后利用一个三维卷积网络对这些不同帧的特征进行融合,生成最终的动作分类标签。本发明提出了一种新的三维卷积方式,使网络能在保持甚至超过现有性能的情况下,降低计算量、参数量以及运行时间。本发明在数据集UCF101上进行测试,利用该三维卷积网络结合上述的行为识别流程,使得在UCF101数据集上的准确率达到了92.9%。另一方面,本发明大大降低了三维网络的计算量、参数量以及运行时间,有利于算法实时性的实现。

    基于非局部网络深度学习的视频异常行为判别方法

    公开(公告)号:CN110084151A

    公开(公告)日:2019-08-02

    申请号:CN201910285159.5

    申请日:2019-04-10

    Applicant: 东南大学

    Abstract: 本发明公开了一种基于非局部网络深度学习的视频异常行为判别方法,属于计算机视觉与智能、多媒体信号处理领域。本发明使用多示例学习的思路构建训练集合,定义和标注视频数据的正负包和示例。采用非局部网络进行视频样本的特征提取,残差结构的I3D网络作为提取时空信息的卷积滤波器,非局部网络块融合长距离依赖信息,以满足视频特征提取的时序和空间需求。获取特征后,通过弱监督的学习方法建立回归任务,训练模型。本发明对可对未标注的类别进行判别,适用于异常检测任务正样本稀少并且类内多样性高的状况。这种方法满足了异常场景的召回率需求,具有工程应用价值。

Patent Agency Ranking