基于自适应采样与推理的长视频高效识别系统与方法

    公开(公告)号:CN116310963A

    公开(公告)日:2023-06-23

    申请号:CN202310167331.3

    申请日:2023-02-27

    Abstract: 本发明提供了一种基于自适应采样与推理的长视频高效识别系统与方法,解决对长的未裁剪视频的高效识别问题。本发明系统包括视频预处理模块、局部特征提取模块、全局语义推理模块和视频分类模块。本发明方法包括:将待识别视频预处理,输出尺寸标准化的视频帧序列;利用分层结构的局部特征提取模块定位不同的局部事件,利用全局语义推理模块在多个局部事件的基础上,推理整部视频全局的语义特征;利用视频分类模块映射输出视频分类分布。经试验验证,采用本发明的系统与方法,能更高效准确地完成对长的未裁剪视频的识别,解决长视频的高效识别问题,消除现有识别技术中心化的决策网络带来的弊端。

    基于骨骼点的时空域优化实时人体动作计数方法

    公开(公告)号:CN119360270B

    公开(公告)日:2025-04-25

    申请号:CN202411385193.7

    申请日:2024-09-30

    Abstract: 本发明提供了一种基于骨骼点的时空域优化实时人体动作计数方法,用于对多媒体实时视频智能分析中。本发明方法包括:根据不同动作的标准示范视频对应生成若干条动作字典条目,每条目包含动作索引,骨骼点‑动作状态值的映射函数,理想时间‑动作状态波形,不同稠密采样的期望关键帧序列;对输入的视频流识别每个动作视频,对动作视频识别动作类型,根据关键帧序列对视频提取关键帧,并根据提取的关键帧的状态值动态调整所使用的期望关键帧序列,最后基于所提取的关键帧判断动作是否合格;进行动作计数直到视频流中断或结果,输出计数结果。本发明可实现动作内容可知的实时人体动作计数,且保证了足够高的精确度,识别的动作种类具有高可拓展性。

    视频集片段检索的错误依赖消除方法

    公开(公告)号:CN119149778A

    公开(公告)日:2024-12-17

    申请号:CN202411277266.0

    申请日:2024-09-12

    Abstract: 本发明公开了一种视频集片段检索的错误依赖消除方法,属于多模态数据检索领域。本发明方法包括:对VCMR模型当前应用的视频数据集进行重分割,在重分割的数据集上通过分布外测试评估该VCMR模型对视频数据集中目标时域位置的偏置依赖程度,若模型的性能相比于原数据集明显下降,则表示模型对数据集中的偏置产生了明显的错误依赖;构造结构化归因模型分析模型的推理路径,通过归因介入调整模型的推理路径,缓解和消除VCMR模型对目标时域位置的错误偏置依赖。本发明方法实现对模型在不同分布的数据集上泛化能力的公平测试,能修正对数据集偏置进行错误依赖的原有推理路径,显著提高了模型在不同分布数据集上的检索和泛化能力。

    一种基于话题模型的社会化视频主题提取系统的提取方法

    公开(公告)号:CN108513176B

    公开(公告)日:2020-04-14

    申请号:CN201810083796.X

    申请日:2018-01-29

    Abstract: 本发明公开了一种基于话题模型的社会化视频主题提取系统及方法,涉及社会化视频主题抽取技术。提取系统包括用户评论采集模块,原始评论数据库,用户评论预处理模块,主题检测模块,主题数据库以及结果展示模块;首先用户评论采集模块爬取某段时间内待处理视频的用户评论数据;用户评论预处理模块对每一条用户评论数据进行预处理,主题检测模块对预处理结果采用主题提取算法进行计算,获得细粒度主题关键词集合;将细粒度主题关键词集合写入主题数据库进行存储;结果展示模块调用主题数据库中的细粒度主题关键词进行展示。本发明基于人物的弹幕数据挖掘,填补了空白,从一定程度上缓解弹幕语义稀疏性的问题,展示的结果更好。

    一种基于话题模型的社会化视频主题提取系统及方法

    公开(公告)号:CN108513176A

    公开(公告)日:2018-09-07

    申请号:CN201810083796.X

    申请日:2018-01-29

    Abstract: 本发明公开了一种基于话题模型的社会化视频主题提取系统及方法,涉及社会化视频主题抽取技术。提取系统包括用户评论采集模块,原始评论数据库,用户评论预处理模块,主题检测模块,主题数据库以及结果展示模块;首先用户评论采集模块爬取某段时间内待处理视频的用户评论数据;用户评论预处理模块对每一条用户评论数据进行预处理,主题检测模块对预处理结果采用主题提取算法进行计算,获得细粒度主题关键词集合;将细粒度主题关键词集合写入主题数据库进行存储;结果展示模块调用主题数据库中的细粒度主题关键词进行展示。本发明基于人物的弹幕数据挖掘,填补了空白,从一定程度上缓解弹幕语义稀疏性的问题,展示的结果更好。

    基于骨骼点的时空域优化实时人体动作计数方法

    公开(公告)号:CN119360270A

    公开(公告)日:2025-01-24

    申请号:CN202411385193.7

    申请日:2024-09-30

    Abstract: 本发明提供了一种基于骨骼点的时空域优化实时人体动作计数方法,用于对多媒体实时视频智能分析中。本发明方法包括:根据不同动作的标准示范视频对应生成若干条动作字典条目,每条目包含动作索引,骨骼点‑动作状态值的映射函数,理想时间‑动作状态波形,不同稠密采样的期望关键帧序列;对输入的视频流识别每个动作视频,对动作视频识别动作类型,根据关键帧序列对视频提取关键帧,并根据提取的关键帧的状态值动态调整所使用的期望关键帧序列,最后基于所提取的关键帧判断动作是否合格;进行动作计数直到视频流中断或结果,输出计数结果。本发明可实现动作内容可知的实时人体动作计数,且保证了足够高的精确度,识别的动作种类具有高可拓展性。

    一种基于多模态的未修剪长视频识别系统及方法

    公开(公告)号:CN116189053A

    公开(公告)日:2023-05-30

    申请号:CN202310167318.8

    申请日:2023-02-27

    Abstract: 本发明提供了一种基于多模态的未修剪长视频识别系统及方法。本发明系统包括视频采集和预处理模块、待识别视频数据库、识别和检测模块以及结果数据库。本发明方法中利用识别和检测模块中的视频识别模型对视频多个模态的帧序列进行处理,对每个模态的帧序列使用多个采样器进行交互,定位局部事件,通过单模态语义推理模块对局部事件之间的时间因果关系进行推理,由子识别模块输出单模态预测分布,最后由多模态融合模块为不同模态分配注意力权值,进行多模态预测分布融合,输出视频级的多模态类别预测结果。本发明提升了未修剪长视频识别系统的推理效率以及识别精度,识别准确性明显超过了目前最优的视频识别方法。

Patent Agency Ranking