基于深度压缩域特征的场景分类方法、系统及设备

    公开(公告)号:CN112991476A

    公开(公告)日:2021-06-18

    申请号:CN202110190015.9

    申请日:2021-02-18

    摘要: 本发明属于图像识别领域,具体涉及了一种基于深度压缩域特征的场景分类方法、系统、装置,旨在解决现有的场景分类方法由于图像的分辨率高数据庞大而导致的计算资源浪费、实时性差以及存储空间占用过多的问题。本发明包括:通过JPEG压缩方法对待测图像进行部分解码,获得待测图像的三通道DCT系数,通过反卷积调节所述三通道DCT系数的尺寸,获得尺寸匹配的三通道DCT系数,将所述尺寸匹配的三通道DCT系数进行拼接融合,获取深度压缩域特征,基于所述深度压缩域特征,通过训练好的压缩域特征分类网络,获取所述待测图像的场景类别。本发明避免了将图像全部解码造成额外计算成本增加和存储介质浪费,降低了时间消耗和计算资源消耗。

    面向压缩域的视频敏感人物识别方法、系统及设备

    公开(公告)号:CN112990273A

    公开(公告)日:2021-06-18

    申请号:CN202110190037.5

    申请日:2021-02-18

    摘要: 本发明属于图像识别领域,具体涉及了一种面向压缩域的视频敏感人物识别方法、系统、设备,旨在解决现有的敏感人物识别方法低效和浪费资源的问题。本发明包括:对待检测视频部分解码获取压缩域多模态信息,将压缩域多模态信息进行检测和校准,将校准后的压缩域人脸多模态信息通过训练好的多模态人脸识别网络获取多模态人脸特征,将多模态人脸特征与敏感人脸特征库进行比对,确认是否存在敏感人脸。其中,压缩域人脸多模态信息通过I分支、MV分支和Res分支分别提取不同的特征再进行多模态特征融合得到唯一的多模态人脸特征。本发明只需要进行部分解码就能完成特征提取,解决了现有技术低效和资源浪费的问题,同时保有较高的识别精度。

    基于特征空间变化的蒸馏学习方法、系统、装置

    公开(公告)号:CN110135562B

    公开(公告)日:2020-12-01

    申请号:CN201910360632.1

    申请日:2019-04-30

    IPC分类号: G06N3/04 G06N3/08

    摘要: 本发明属于计算机视觉及机器学习领域,具体涉及了一种基于特征空间变化的蒸馏学习方法、系统、装置,旨在解决学生网络无法学习教师网络全局知识的问题。本发明方法包括:按照蒸馏学习教师网络的参数结构构建对应的学生网络;分别选取预设的网络层,计算每一层的特征空间表示以及特定两个层间的跨层特征空间变化矩阵;计算基于特征空间变化的损失函数,根据真实标签计算分类损失函数;通过两个损失函数的加权将教师网络的特征空间变化作为知识迁移到学生网络中。本发明将教师网络层与层之间的特征空间变化刻画为一种新的知识,从而,使得学生网络在学习层与层之间的特征空间变化时,就学习到整个教师网络全局的知识。

    深度卷积神经网络的压缩方法及系统

    公开(公告)号:CN111612143A

    公开(公告)日:2020-09-01

    申请号:CN202010440475.8

    申请日:2020-05-22

    IPC分类号: G06N3/08 G06N3/04

    摘要: 本发明涉及一种深度卷积神经网络的压缩方法及系统,所述压缩方法包括:根据滤波器重要性选择方式和/或模型压缩率,确定待压缩深度卷积神经网络中不重要的滤波器;对不重要的滤波器施加渐进式稀疏约束,作为正则项加入到网络训练的损失函数中,得到优化损失函数;根据正则项,采用阈值迭代算法及反向传播算法联合求解,得到待压缩深度卷积神经网络的更新参数;基于所述优化损失函数及更新参数,获得具有滤波器稀疏形式的卷积神经网络模型;利用结构化剪枝算法,对所述具有滤波器稀疏形式的卷积神经网络模型进行剪枝,得到网络精度较高的压缩后的卷积神经网络模型。

    基于骨骼关节点分区域分层次的行为识别方法、系统

    公开(公告)号:CN110215216B

    公开(公告)日:2020-08-25

    申请号:CN201910500528.8

    申请日:2019-06-11

    IPC分类号: A61B5/11

    摘要: 本发明属于计算机视觉领域,具体涉及一种基于骨骼关节点分区域分层次的行为识别方法、系统、装置,旨在为了解决有效提高行为识别准确率同时减少网络层数的问题。本发明方法包括:获取输入视频的各帧图像,从各帧图像中分别提取骨骼关节点;对每一帧图像,将其中所提取的所述骨骼关节点划分至所划分的各人体区域,并通过图卷积操作获取对应的特征表示,得到第一层特征表示集;对每一帧图像,按照所述各人体区域,基于所述第一层特征表示,通过池化、图卷积方法逐层减少关节点数量,直至通过多层聚合得到一个特征向量,并将该特征向量输入到两个全连接层得到行为类别。本发明提高了行为识别的准确率,加快了训练速度与检测速度。

    基于多模态注意力机制的视频内容描述方法、系统、装置

    公开(公告)号:CN111079601A

    公开(公告)日:2020-04-28

    申请号:CN201911243331.7

    申请日:2019-12-06

    发明人: 胡卫明 孙亮 李兵

    摘要: 本发明属于计算机视觉和自然语言处理领域,具体涉及一种基于多模态注意力机制的视频内容描述方法、系统、装置,旨在解决视频内容描述方法只考虑视频特征而忽略高级语义属性信息,导致生成的描述语句准确度较低的问题。本发明方法包括:获取待描述视频的视频帧序列;提取视频帧序列的多模态特征向量,构建多模态特征向量序列,并通过循环神经网络得到各模态特征向量序列对应的特征表示;通过语义属性检测网络得到各特征表示对应的语义属性向量;基于各模态特征向量序列对应的特征表示级联后的向量、语义属性向量,通过基于注意力机制的LSTM网络得到待描述视频的描述语句。本发明融合视觉特征和高层语义属性,提高了生成视频描述语句的准确度。

    基于低秩矩阵表示的图像前景物体检测方法及检测系统

    公开(公告)号:CN106204613B

    公开(公告)日:2019-09-24

    申请号:CN201610575854.1

    申请日:2016-07-20

    摘要: 本发明公开了一种基于低秩矩阵表示的图像前景物体检测方法及检测系统。其中,该方法包括提取待处理图像的特征,并利用特征聚类的方式对待处理图像进行子区域划分;接着计算每一子区域的特征均值,以获得子区域的特征表示,并将全部子区域的特征表示排列成矩阵,以获得待处理图像的特征矩阵;然后,利用低秩矩阵表示方法,将特征矩阵分解成低秩矩阵与稀疏矩阵;再针对稀疏矩阵的每一列计算l∞范数,以获得对应子区域的显著性值,并基于子区域的显著值来构成待处理图像的显著图;最后,对显著图进行自适应阈值划分,从而获得待处理图像的前景物体区域。通过本发明实施例解决了如何从前景和背景表观相似的图像中完整地检测前景物体的技术问题。

    基于图卷积网络的人体骨架行为识别方法、系统、装置

    公开(公告)号:CN110222611A

    公开(公告)日:2019-09-10

    申请号:CN201910446596.0

    申请日:2019-05-27

    IPC分类号: G06K9/00 G06K9/62 G06N3/04

    摘要: 本发明属于计算机视觉及深度学习领域,具体涉及了一种基于图卷积网络的人体骨架行为识别方法、系统、装置,旨在解决基于图卷积神经网络的人体骨架行为识别结果精度不高的问题。本发明方法包括:获取骨架视频帧并归一化;构建每一帧图对应的人体关节自然连接图;学习非自然连接边,获得人体关节连接图;为人体关节连接图各条边分配权重值;进行图卷积操作,获得骨架序列的空间信息;在时间维度上进行卷积操作,获得骨架序列的行为类别。本发明自然连接边能够学习到基本的人体行为特征,同时非自然连接边可以学习到附加的行为特征,通过自然连接边和非自然连接边共同构成一张图,可以更加充分的表征人体运动信息,提高识别性能。

    一种基于视觉显著性分析的恐怖图像识别方法及系统

    公开(公告)号:CN103440494A

    公开(公告)日:2013-12-11

    申请号:CN201310279120.5

    申请日:2013-07-04

    发明人: 李兵 胡卫明 吴偶

    IPC分类号: G06K9/62

    摘要: 本发明公开了一种基于视觉显著性分析的恐怖图像识别方法及系统。该方法包括:建立包括恐怖图像样本和非恐怖图像样本的训练集;利用图像视觉显著性分析算法对每一幅训练样本图像进行视觉显著性分析,以得到每幅训练样本图像的视觉显著图;将每幅训练样本图像划分成W×W小图像块,并对每个图像块提取视觉和情感特征,并利用基于视觉显著性的词包表示模型得到每幅训练样本图像的视觉单词直方图表示;利用得到的每幅训练样本图像的视觉单词直方图及其对应的标签训练支持向量机以得到恐怖图像的分类模型,并利用该分量模型对新的测试图像进行识别,判断其是否为恐怖图像。本发明可应用到Web恐怖图像过滤以及图像情感语义识别等领域,具有广阔的应用前景。