一种面向监控视频的多目标行为识别方法及系统

    公开(公告)号:CN110378259A

    公开(公告)日:2019-10-25

    申请号:CN201910602588.0

    申请日:2019-07-05

    Abstract: 本发明提出一种面向监控视频的多目标行为识别方法,包括:分别训练目标检测模型和行为识别模型;预测视频当前帧中行人的位置信息,并将位置信息作为当前帧的目标检测框;根据当前帧目标检测框,通过上一帧信息预测到当前帧的目标跟踪框,计算两者之间的目标框匹配度;将当前帧的目标检测框与当前帧的目标跟踪框进行匹配,得到匹配信息;估计当前帧的行人目标框坐标,并预测行人目标在下一帧的目标跟踪框坐标;裁剪出行人图片并保存行人编号;根据行人编号,将连续多帧中编号相同的行人图片进行匹配,组合成列表并保存行人编号;若列表长度达到指定帧数阈值,则将列表中保存的行人图片输入到所述行为识别模型,计算该列表的行为类别概率。

    基于深度学习和自动纠错的化验报告单结构化识别方法

    公开(公告)号:CN117116409A

    公开(公告)日:2023-11-24

    申请号:CN202311143625.9

    申请日:2023-09-06

    Abstract: 本发明涉及医疗化验单识别技术领域,具体涉及一种基于深度学习和自动纠错的化验报告单结构化识别方法,基于可微分二值化网络对医疗化验单检测识别的场景特点进行改进,使用级联稀疏查询的可微分二值化网络对化验报告单图像进行文本检测和识别,获得化验报告单的结构化识别结果,另外针对OCR模块输出的结构化结果存在的项目错行、单项目信息分离、多项目信息粘连等问题,通过BK树和AC自动机,对整理后的结构化表格中的项目信息进行自动纠错,最后将识别出的项目信息合并在同一个新的表格当中,最后将整理好的新表格以JSON格式输出。本发明弥补了现有技术的不足,实现了化验报告单信息的自动化采集提高数据收集和整理的效率。

    一种基于跨模态时序对比学习的自监督动作识别方法

    公开(公告)号:CN116721458A

    公开(公告)日:2023-09-08

    申请号:CN202310490527.6

    申请日:2023-05-04

    Abstract: 本发明涉及视频处理技术领域,具体涉及一种基于跨模态时序对比学习的自监督动作识别方法,通过从无标签的视频样本中生成RGB帧和光流数据,再采用不同的数据增强方法获得输入数据的不同扩增视图,经编码器得到不同视图的编码特征,并建立双路径自监督动作识别网络;进一步通过实例判别的对比学习捕获视频序列的全局语义依赖,通过局部时序对比学习任务建模局部片段间的时序运动特性,初始化训练后得到两分支独立训练的初步模型;基于跨模态自监督动作识别和局部时序对比学习方法协同训练,得到最终模型;最后利用带标签数据对最终模型的参数进行微调,并使用测试数据进行效果评估,得到模型的识别性能。

    一种基于自适应相关性学习的半监督人体行为识别方法

    公开(公告)号:CN115063882A

    公开(公告)日:2022-09-16

    申请号:CN202210652599.1

    申请日:2022-06-07

    Abstract: 本发明涉及视频处理技术领域,具体涉及一种基于自适应相关性学习的半监督人体行为识别方法,包括提取视频样本数据的特征,得到样本特征;将视频样本数据划分为有标签数据和无标签数据;基于样本特征构建无向图结构;利用标签数据和无标签数据,并基于自适应相关性学习模块对视频样本数据进行相关性建模,得到归一化权重;基于无向图结构和归一化权重,并利用图卷积模型对局部邻域内的样本特征进行聚合,得到输入特征;利用输入特征对分类层进行训练,得到最终模型;利用测试数据对最终模型进行评估,得到识别性能,解决了现有的人体行为识别方法未使用无标签数据对模型进行训练,从而导致模型的识别性能受到限制的问题。

    一种基于时空显著性区域检测的人体行为分析方法

    公开(公告)号:CN107563345B

    公开(公告)日:2020-05-22

    申请号:CN201710847985.5

    申请日:2017-09-19

    Abstract: 本发明公开一种基于时空显著性区域检测的人体行为分析方法,利用数据集训练Faster R‑CNN模型;输入多路视频并将单路视频分割成视频图像帧;对分割的视频图像帧使用Faster R‑CNN模型进行目标检测;分析目标检测结果并重新计算目标候选框;对单路视频使用块匹配构造运动矢量场;通过运动矢量场计算感兴趣区域的运动矢量,用混合高斯模型计算出的概率选定前景显著运动区域;根据目标候选框和显著运动区域合成时空显著性区域;对目标时空显著性区域进行特征采样和特征预处理;对视频的目标时空显著性区域进行编码和池化;对视频的时空显著性区域进行人体行为分析识别;将分析识别结果写入时空显著性区域框。本发明使可以合理分析视频中的人体行为活动的所属类别。

    一种面向多路视频的人体行为事件实时分析方法

    公开(公告)号:CN107527045A

    公开(公告)日:2017-12-29

    申请号:CN201710851835.1

    申请日:2017-09-19

    Abstract: 本发明公开一种面向多路视频的人体行为事件实时分析方法,前端摄像机通过RTMP协议将采集到的视频内容推送到服务器端;服务器接收视频内容并将RTMP协议流媒体转换为HLS协议;服务器开启索引文件定时扫描线程,读取HLS协议中的M3U8索引文件,得到索引中指定的TS视频文件名,并将其加入作业队列;循环读取队列中的作业,每个作业在服务器端开启相应子线程,子线程并发地对每个作业的视频内容进行分析识别;将分析识别的结果写入原视频片段,最终展现到客户端,或将信息提交到其他预警系统中。本发明采用多路并发处理前端摄像机的视频流数据,后台服务器的多线程直接对前端多路摄像机做一对一的多路并发处理,从而实时响应多路视频的人体行为事件分析。

    一种基于多目标跟踪的人体行为识别方法及系统

    公开(公告)号:CN110399808A

    公开(公告)日:2019-11-01

    申请号:CN201910602596.5

    申请日:2019-07-05

    Abstract: 本发明提出一种基于多目标跟踪的人体行为识别方法,包括:训练目标检测模型和行为识别模型;根据目标检测模型预测行人目标所在位置,作为目标检测框;估计目标检测框在下一帧所在位置,作为目标跟踪框;判断目标检测框与目标跟踪框是否表示同一行人目标;当目标跟踪队列长度达到设定帧数阈值时,将所有目标跟踪框串联形成目标跟踪区域,将目标跟踪区域加入行为识别缓冲区的任务队列;在行为识别缓冲区的任务队列中预测目标对象的行为得分,并将结果回给目标跟踪队列;在目标跟踪队列中间隔时间t帧,将新的目标跟踪区域添加到行为识别缓冲区的任务队列;将目标跟踪队列前n次行为得分进行融合,更新最新得分作为当前目标跟踪区域的识别结果。

    一种基于时空显著性区域检测的人体行为分析方法

    公开(公告)号:CN107563345A

    公开(公告)日:2018-01-09

    申请号:CN201710847985.5

    申请日:2017-09-19

    Abstract: 本发明公开一种基于时空显著性区域检测的人体行为分析方法,利用数据集训练Faster R-CNN模型;输入多路视频并将单路视频分割成视频图像帧;对分割的视频图像帧使用Faster R-CNN模型进行目标检测;分析目标检测结果并重新计算目标候选框;对单路视频使用块匹配构造运动矢量场;通过运动矢量场计算感兴趣区域的运动矢量,用混合高斯模型计算出的概率选定前景显著运动区域;根据目标候选框和显著运动区域合成时空显著性区域;对目标时空显著性区域进行特征采样和特征预处理;对视频的目标时空显著性区域进行编码和池化;对视频的时空显著性区域进行人体行为分析识别;将分析识别结果写入时空显著性区域框。本发明使可以合理分析视频中的人体行为活动的所属类别。

Patent Agency Ranking