-
公开(公告)号:CN114757822A
公开(公告)日:2022-07-15
申请号:CN202210663896.6
申请日:2022-06-14
Abstract: 本发明公开一种基于双目的人体三维关键点检测方法及系统,该方法包括:步骤一:通过采用YOLOv5目标检测算法的目标检测模块分别获得左、右视场图像中的人体矩形框;步骤二:扣取人体矩形框对应的人体图像,通过人体二维关键点识别算法提取左、右视场图像中人体各关键点的二维热力图;步骤三:将左、右人体二维关键点热力图反向投影到三维空间,得到三维反投影热力图;步骤四,将三维反投影热力图输入三维卷积编解码网络,通过编解码操作得到三维关键点热力图;步骤五,三维关键点热力图中每一通道通过自变量最大值软操作得到该通道表示的三维关键点所在坐标,最终得到全部人体三维关键点坐标。本发明具有较高的可行性和实用性。
-
公开(公告)号:CN113936339B
公开(公告)日:2022-04-22
申请号:CN202111537924.1
申请日:2021-12-16
Abstract: 本发明公开了基于双通道交叉注意力机制的打架识别方法和装置,该方法首先采集生成视频数据集,设置快慢两种帧率获取不同帧图像序列,进行预处理后分别送入快慢通道,在快慢通道采用基于分开时空自注意力机制的Transformer编码器提取图像序列时空编码特征;然后,经过交叉注意力模块融合一个通道CLS token与另一通道patch token信息,实现双通道时空编码特征融合;最后,将融合后的时空编码特征经过多层感知机头进行打架行为识别。本发明通过双通道Transformer模型与交叉注意力模块能有效提取视频时空特征,提高打架行为识别的准确率,适用于室内外监控系统。
-
公开(公告)号:CN113936339A
公开(公告)日:2022-01-14
申请号:CN202111537924.1
申请日:2021-12-16
Abstract: 本发明公开了基于双通道交叉注意力机制的打架识别方法和装置,该方法首先采集生成视频数据集,设置快慢两种帧率获取不同帧图像序列,进行预处理后分别送入快慢通道,在快慢通道采用基于分开时空自注意力机制的Transformer编码器提取图像序列时空编码特征;然后,经过交叉注意力模块融合一个通道CLS token与另一通道patch token信息,实现双通道时空编码特征融合;最后,将融合后的时空编码特征经过多层感知机头进行打架行为识别。本发明通过双通道Transformer模型与交叉注意力模块能有效提取视频时空特征,提高打架行为识别的准确率,适用于室内外监控系统。
-
公开(公告)号:CN113378809B
公开(公告)日:2021-12-14
申请号:CN202110937135.0
申请日:2021-08-16
Applicant: 之江实验室
IPC: G06K9/00
Abstract: 本发明公开了一种基于单目三维人体姿态的摔倒检测方法,该方法通过目标检测模块检测出人体及沙发、床等适合躺的物品在场景图像中的矩形框,将人体图像输入三维人体姿态估计模块获得数字化人体模型的参数,包括人体在相机坐标系下的姿态、各关节相对于其父关节的姿态以及各关节在人体坐标系下的三维坐标。利用人体模型参数通过决策模块判定人员是否摔倒。本方法利用单个摄像头即可获得三维人体姿态,无须采集额外的图像对摔倒任务进行训练调优,硬件成本低,可广泛应用于智能监控等领域。
-
公开(公告)号:CN113378809A
公开(公告)日:2021-09-10
申请号:CN202110937135.0
申请日:2021-08-16
Applicant: 之江实验室
IPC: G06K9/00
Abstract: 本发明公开了一种基于单目三维人体姿态的摔倒检测方法,该方法通过目标检测模块检测出人体及沙发、床等适合躺的物品在场景图像中的矩形框,将人体图像输入三维人体姿态估计模块获得数字化人体模型的参数,包括人体在相机坐标系下的姿态、各关节相对于其父关节的姿态以及各关节在人体坐标系下的三维坐标。利用人体模型参数通过决策模块判定人员是否摔倒。本方法利用单个摄像头即可获得三维人体姿态,无须采集额外的图像对摔倒任务进行训练调优,硬件成本低,可广泛应用于智能监控等领域。
-
公开(公告)号:CN112802129B
公开(公告)日:2021-07-06
申请号:CN202110392460.3
申请日:2021-04-13
Applicant: 之江实验室
Abstract: 本发明公开了一种基于单目视觉的焊接安全距离测量方法,属于焊接安全领域。该方法具体为利用放置标志物的图像坐标及世界坐标,计算地面和映射平面高度的单应矩阵;并将图像数据集输入改进的Faster RCNN+FPN目标检测模型,输出目标检测结果;最后通过地面单应矩阵、映射平面高度单应矩阵和目标物检测结果,并针对实际焊接场景,获得一种明火高度测量方法,实现目标物间距离测量。本发明的焊接安全距离测量方法能有效检测易燃气瓶是否倾倒及测量目标物间距离,并在目标物间距离小于阈值时发出预警,减少人工监督成本和存在的安全隐患。
-
公开(公告)号:CN114648723B
公开(公告)日:2024-08-02
申请号:CN202210454687.0
申请日:2022-04-28
IPC: G06V20/40 , G06V20/52 , G06N3/0464 , G06N3/0895 , G06N3/084
Abstract: 本发明涉及智能视频监控及深度学习领域,尤其涉及一种基于时间一致性对比学习的动作规范性检测方法和装置,该方法为:首先将第一数量标注和第二数量未标注的通过摄像头采集的视频构建数据集,第一数量小于第二数量;然后将未标注视频经过强弱数据增强后提取特征,再输入时间一致性行为对齐网络,输出特征图和不同样本间相似动作起始与结束帧集合,映射集合在特征图上对应子特征图,构造同类与不同类子特征图样本,送入对比学习网络提取时空判别性特征;再将第一数量标注视频送入预训练后的网络进行迁移学习,输出行为类别;最后通过帧间行为类别变化判断行为规范性,若不规范则发出预警。
-
公开(公告)号:CN112528960B
公开(公告)日:2023-07-14
申请号:CN202011588312.0
申请日:2020-12-29
Applicant: 之江实验室
IPC: G06V40/20 , G06V10/46 , G06V20/52 , G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明属于视频行为分析技术领域,涉及一种基于人体姿态估计和图像分类的吸烟行为检测方法,首先读取检测区域监控视频,对视频帧进行预处理和归一化,然后采用YoloV3目标检测方法进行人体框检测,得到人体框位置坐标,在视频帧上面进行剪裁,得到需要进行人体姿态估计的子图,再以所述子图作为输入,使用改进后的人体姿态估计的方法AlphaPose进行人体关键点检测提取,通过定位嘴部和左、右手腕关键点,截取相应的局部图像块,制作分类网络数据集,设计图像分类网络模型,进行网络训练,得到吸烟分类模型,再采用训练好的模型对实时图像进行分类判断,得到视频的吸烟行为检测结果。本发明较好的弥补了两种方法的不足,同时改进算法,提升了检测效率。
-
公开(公告)号:CN113793380A
公开(公告)日:2021-12-14
申请号:CN202110995023.0
申请日:2021-08-27
Applicant: 之江实验室
Abstract: 本发明公开了一种基于单目相机的头部三维坐标的摔倒检测方法,首先估计单目视频中头部三维坐标,再根据头部三维坐标的变化检测人员是否摔倒。单目头部三维坐标估计通过相机标定获得相机内参矩阵,通过头部检测获得头部在图像中的矩形框,利用相机内参、头部矩形框和预设的头部基本几何参数构建头部三维坐标求解方程,求解在相机坐标系下的头部三维坐标。通过系统标定获得世界坐标系到相机坐标系的变换矩阵,经过坐标变换,得到在世界坐标系下的头部三维坐标。当头部坐标z分量小于一定阈值时判定人员为摔倒状态。本方法利用单个摄像头即可估计头部的三维坐标,并判断人员是否摔倒,硬件成本低,可广泛应用于智能监控等领域。
-
公开(公告)号:CN111368815B
公开(公告)日:2020-09-04
申请号:CN202010467045.5
申请日:2020-05-28
Applicant: 之江实验室
Abstract: 本发明提供了一种基于多部件自注意力机制的行人重识别方法,该方法首先预训练深度卷积神经网络骨干模型;然后对骨干模型进行分支后构建多部件自注意力网络,获得多部件自注意力特征;接着将多部件自注意力特征输入分类器,联合训练最小化交叉熵损失和度量损失;最后将测试集图片输入训练好的模型,融合输出的部件特征获得整体特征,经度量排序实现行人重识别。本发明通过充分考虑行人重识别问题中存在的各种挑战,提出了多部件自注意力机制,有效地扩展了注意力激活区域,丰富了行人特征;自注意力模块使网络更充分细致地关注具有判别特性的区域就,其中空间注意力模块和通道注意力模块以残差的形式融入网络,使得网络更加健壮稳定,容易训练。
-
-
-
-
-
-
-
-
-