人体行为识别方法、装置、电子设备及可读存储介质

    公开(公告)号:CN115909479A

    公开(公告)日:2023-04-04

    申请号:CN202211289157.1

    申请日:2022-10-20

    Abstract: 本发明提供一种人体行为识别方法、装置、电子设备及可读存储介质,其中人体行为识别方法包括:从压缩视频数据中提取压缩域信息,压缩域信息中包括多个I帧、残差以及运动矢量;将各I帧及各目标残差所对应的深层特征进行融合处理,得到各I帧对应的局部时空特征;将相邻两个局部时空特征进行融合处理,得到压缩视频数据对应的全局时空特征;基于全局时空特征、运动矢量及残差,确定压缩视频数据对应的目标特征,并基于目标特征确定压缩视频数据对应的人体行为识别结果。通过将各I帧及各目标残差进行融合,能得到表达能力更强的局部时空特征以及全局时空特征,基于全局时空特征、运动矢量及残差进行人体行为识别,能够提高人体行为识别的准确率。

    面向压缩域的视频敏感人物识别方法、系统及设备

    公开(公告)号:CN112990273B

    公开(公告)日:2021-12-21

    申请号:CN202110190037.5

    申请日:2021-02-18

    Abstract: 本发明属于图像识别领域,具体涉及了一种面向压缩域的视频敏感人物识别方法、系统、设备,旨在解决现有的敏感人物识别方法低效和浪费资源的问题。本发明包括:对待检测视频部分解码获取压缩域多模态信息,将压缩域多模态信息进行检测和校准,将校准后的压缩域人脸多模态信息通过训练好的多模态人脸识别网络获取多模态人脸特征,将多模态人脸特征与敏感人脸特征库进行比对,确认是否存在敏感人脸。其中,压缩域人脸多模态信息通过I分支、MV分支和Res分支分别提取不同的特征再进行多模态特征融合得到唯一的多模态人脸特征。本发明只需要进行部分解码就能完成特征提取,解决了现有技术低效和资源浪费的问题,同时保有较高的识别精度。

    基于图卷积网络的人体骨架行为识别方法、系统、装置

    公开(公告)号:CN110222611B

    公开(公告)日:2021-03-02

    申请号:CN201910446596.0

    申请日:2019-05-27

    Abstract: 本发明属于计算机视觉及深度学习领域,具体涉及了一种基于图卷积网络的人体骨架行为识别方法、系统、装置,旨在解决基于图卷积神经网络的人体骨架行为识别结果精度不高的问题。本发明方法包括:获取骨架视频帧并归一化;构建每一帧图对应的人体关节自然连接图;学习非自然连接边,获得人体关节连接图;为人体关节连接图各条边分配权重值;进行图卷积操作,获得骨架序列的空间信息;在时间维度上进行卷积操作,获得骨架序列的行为类别。本发明自然连接边能够学习到基本的人体行为特征,同时非自然连接边可以学习到附加的行为特征,通过自然连接边和非自然连接边共同构成一张图,可以更加充分的表征人体运动信息,提高识别性能。

    基于特征空间变化的蒸馏学习方法、系统、装置

    公开(公告)号:CN110135562A

    公开(公告)日:2019-08-16

    申请号:CN201910360632.1

    申请日:2019-04-30

    Abstract: 本发明属于计算机视觉及机器学习领域,具体涉及了一种基于特征空间变化的蒸馏学习方法、系统、装置,旨在解决学生网络无法学习教师网络全局知识的问题。本发明方法包括:按照蒸馏学习教师网络的参数结构构建对应的学生网络;分别选取预设的网络层,计算每一层的特征空间表示以及特定两个层间的跨层特征空间变化矩阵;计算基于特征空间变化的损失函数,根据真实标签计算分类损失函数;通过两个损失函数的加权将教师网络的特征空间变化作为知识迁移到学生网络中。本发明将教师网络层与层之间的特征空间变化刻画为一种新的知识,从而,使得学生网络在学习层与层之间的特征空间变化时,就学习到整个教师网络全局的知识。

    音视频内容风险识别方法、装置、电子设备和存储介质

    公开(公告)号:CN118296446A

    公开(公告)日:2024-07-05

    申请号:CN202410728250.0

    申请日:2024-06-06

    Abstract: 本发明提供一种音视频内容风险识别方法、装置、电子设备和存储介质,属于多媒体内容安全识别领域,该方法包括:构建多模态特征推理模型;构建风险样例知识库,所述风险样例知识库中包含至少一个风险样例分别对应的多模态特征向量,所述至少一个风险样例分别属于至少一种风险类别;将待识别音视频输入所述多模态特征推理模型,获得所述待识别音视频的多模态特征向量;将所述待识别音视频的多模态特征向量与所述风险样例知识库中的多模态特征向量进行相似度计算,并基于相似度输出所述待识别音视频的风险类别,可以提高风险内容识别的精准率和召回率。

    基于深度压缩域特征的场景分类方法、系统及设备

    公开(公告)号:CN112991476B

    公开(公告)日:2021-09-28

    申请号:CN202110190015.9

    申请日:2021-02-18

    Abstract: 本发明属于图像识别领域,具体涉及了一种基于深度压缩域特征的场景分类方法、系统、装置,旨在解决现有的场景分类方法由于图像的分辨率高数据庞大而导致的计算资源浪费、实时性差以及存储空间占用过多的问题。本发明包括:通过JPEG压缩方法对待测图像进行部分解码,获得待测图像的三通道DCT系数,通过反卷积调节所述三通道DCT系数的尺寸,获得尺寸匹配的三通道DCT系数,将所述尺寸匹配的三通道DCT系数进行拼接融合,获取深度压缩域特征,基于所述深度压缩域特征,通过训练好的压缩域特征分类网络,获取所述待测图像的场景类别。本发明避免了将图像全部解码造成额外计算成本增加和存储介质浪费,降低了时间消耗和计算资源消耗。

    基于深度压缩域特征的场景分类方法、系统及设备

    公开(公告)号:CN112991476A

    公开(公告)日:2021-06-18

    申请号:CN202110190015.9

    申请日:2021-02-18

    Abstract: 本发明属于图像识别领域,具体涉及了一种基于深度压缩域特征的场景分类方法、系统、装置,旨在解决现有的场景分类方法由于图像的分辨率高数据庞大而导致的计算资源浪费、实时性差以及存储空间占用过多的问题。本发明包括:通过JPEG压缩方法对待测图像进行部分解码,获得待测图像的三通道DCT系数,通过反卷积调节所述三通道DCT系数的尺寸,获得尺寸匹配的三通道DCT系数,将所述尺寸匹配的三通道DCT系数进行拼接融合,获取深度压缩域特征,基于所述深度压缩域特征,通过训练好的压缩域特征分类网络,获取所述待测图像的场景类别。本发明避免了将图像全部解码造成额外计算成本增加和存储介质浪费,降低了时间消耗和计算资源消耗。

    面向压缩域的视频敏感人物识别方法、系统及设备

    公开(公告)号:CN112990273A

    公开(公告)日:2021-06-18

    申请号:CN202110190037.5

    申请日:2021-02-18

    Abstract: 本发明属于图像识别领域,具体涉及了一种面向压缩域的视频敏感人物识别方法、系统、设备,旨在解决现有的敏感人物识别方法低效和浪费资源的问题。本发明包括:对待检测视频部分解码获取压缩域多模态信息,将压缩域多模态信息进行检测和校准,将校准后的压缩域人脸多模态信息通过训练好的多模态人脸识别网络获取多模态人脸特征,将多模态人脸特征与敏感人脸特征库进行比对,确认是否存在敏感人脸。其中,压缩域人脸多模态信息通过I分支、MV分支和Res分支分别提取不同的特征再进行多模态特征融合得到唯一的多模态人脸特征。本发明只需要进行部分解码就能完成特征提取,解决了现有技术低效和资源浪费的问题,同时保有较高的识别精度。

Patent Agency Ranking