-
公开(公告)号：CN109726671A
公开(公告)日：2019-05-07
申请号：CN201811612590.8
申请日：2018-12-27
申请人： 上海交通大学
摘要： 本发明提供一种从全局到类别特征表达学习的动作识别方法和系统，对输入的动作视频，使用深度神经网络学习动作数据的全局特征表达并提取特征；通过提取到的全局特征表达，使用特征通道稀疏度来获取类别间的相似度结构关系；对输入的每一类视频动作，使用全卷积深度神经网络学习其相应的类别掩膜；使用得到的类别间相似度结构关系来约束类别掩膜的相似程度；对输入的动作视频，使用深度神经网络学习动作数据的类别特定特征表达并提取相应特征；对提取的全局和类别特定特征进行融合，得到最终具有区分性表达的特征并完成动作的识别。能够对输入的动作视频提取从全局到类别特定的特征表达，进行复杂动作的识别。
-
公开(公告)号：CN114120189A
公开(公告)日：2022-03-01
申请号：CN202111388139.4
申请日：2021-11-22
申请人： 上海交通大学
摘要： 本发明提供了一种渐进式特权信息蒸馏的在线动作检测方法及系统，包括：步骤S1：对未经裁剪的视频使用视频特征提取网络进行特征提取，得到能够表达视频语义信息的视频特征序列；步骤S2：截取当前时刻之后不同时长的视频，并利用相应的视频特征序列分别对多个不同的离线教师模型进行训练；步骤S3：利用提取的视频特征序列对在线学生模型进行训练，得到训练后的在线学生模型；步骤S4：将离线教师模型和在线学生模型在模型层面的不同层次间进行特征对齐；步骤S5：特征对齐后，在线学生模型通过渐进式模型蒸馏的方式向多个不同的离线教师模型学习；步骤S6：利用提取的视频特征序列根据蒸馏学习后的的在线学生模型预测当前时刻动作检测的结果。
-
公开(公告)号：CN113936174A
公开(公告)日：2022-01-14
申请号：CN202111190861.7
申请日：2021-10-13
申请人： 上海交通大学
摘要： 本发明提供了一种单帧监督视频时序动作检测与分类方法及系统，包括：根据输入长视频提取视频特征图；将视频特征图映射为动作种子帧概率图；产生动作种子帧位置；根据动作种子帧位置将输入长视频划分为若干个单实例视频片段；将单实例视频片段特征映射为动作位置提案；将动作位置提案映射为时序位置掩膜；基于时序位置掩膜获取单实例视频片段中的动作特征、背景特征；将动作特征、背景特征映射为动作类别概率、背景类别概率；基于动作位置提案、动作类别概率产生视频的检测与分类结果。本发明采用分而治之的策略将单帧监督时序动作检测与分类任务化繁为简，实现更完整、更精确的时序动作检测与分类。
-
公开(公告)号：CN111259775B
公开(公告)日：2023-04-28
申请号：CN202010032794.5
申请日：2020-01-13
申请人： 上海交通大学
IPC分类号： G06V20/40 , G06V10/774 , G06V10/764 , G06V10/82 , G06N3/0464
摘要： 本发明提供一种约束时域关系的视频动作定位方法和系统，包括：视频特征提取步骤：对输入的未经裁剪的长视频，使用3D深度神经网络提取其特征，得到能够表达视频语义信息的特征序列；动作曲线预测步骤：利用提取好的视频特征序列训练动作概率曲线模型，预测视频中动作的开始、持续、结束的概率曲线；动作曲线约束步骤：在训练动作概率曲线模型的过程中同时约束动作的开始、持续、结束的概率曲线，使其有平稳连续的输出并且使动作的开始、持续、结束的概率曲线峰值遵循合理的时间顺序。本发明对输入的视频进行逐个时刻的动作概率预测，重点约束动作在时间维度上的关系，通过在模型的训练过程中加入约束，使得其能够准确地预测动作发生的概率，从而能够精确的定位视频中所发生的动作。
-
公开(公告)号：CN109726671B
公开(公告)日：2020-08-04
申请号：CN201811612590.8
申请日：2018-12-27
申请人： 上海交通大学
摘要： 本发明提供一种从全局到类别特征表达学习的动作识别方法和系统，对输入的动作视频，使用深度神经网络学习动作数据的全局特征表达并提取特征；通过提取到的全局特征表达，使用特征通道稀疏度来获取类别间的相似度结构关系；对输入的每一类视频动作，使用全卷积深度神经网络学习其相应的类别掩膜；使用得到的类别间相似度结构关系来约束类别掩膜的相似程度；对输入的动作视频，使用深度神经网络学习动作数据的类别特定特征表达并提取相应特征；对提取的全局和类别特定特征进行融合，得到最终具有区分性表达的特征并完成动作的识别。能够对输入的动作视频提取从全局到类别特定的特征表达，进行复杂动作的识别。
-
公开(公告)号：CN111259775A
公开(公告)日：2020-06-09
申请号：CN202010032794.5
申请日：2020-01-13
申请人： 上海交通大学
摘要： 本发明提供一种约束时域关系的视频动作定位方法和系统，包括：视频特征提取步骤：对输入的未经裁剪的长视频，使用3D深度神经网络提取其特征，得到能够表达视频语义信息的特征序列；动作曲线预测步骤：利用提取好的视频特征序列训练动作概率曲线模型，预测视频中动作的开始、持续、结束的概率曲线；动作曲线约束步骤：在训练动作概率曲线模型的过程中同时约束动作的开始、持续、结束的概率曲线，使其有平稳连续的输出并且使动作的开始、持续、结束的概率曲线峰值遵循合理的时间顺序。本发明对输入的视频进行逐个时刻的动作概率预测，重点约束动作在时间维度上的关系，通过在模型的训练过程中加入约束，使得其能够准确地预测动作发生的概率，从而能够精确的定位视频中所发生的动作。
-
-
-
-
-
搜索结果
6 条记录 (耗时 0.025 秒)
