-
公开(公告)号：CN113537040B
公开(公告)日：2024-07-05
申请号：CN202110790271.1
申请日：2021-07-13
Applicant: 南京理工大学
IPC: G06V40/20 , G06V20/40 , G06V10/774 , G06V10/764
Abstract: 本发明涉及一种基于半监督学习的时序行为检测方法及系统，该方法包括：获取视频的时空特征并构建训练集和测试集；获取一个端到端的时序行为检测模型；将训练集输入时序行为检测模型得到分类分数和位置偏移量；然后对时序行为检测模型进行学习优化得到初始模型参数；根据时空特征计算扰动噪声特征；构建学生模型和教师模型；根据初始模型参数对学生模型和教师模型进行初始化；将扰动噪声特征输入初始化学生模型，将时空特征输入初始化教师模型；根据初始化学生模型和初始化教师模型的输出结果对初始化教师模型进行优化；将测试集输入优化后的教师模型得到当前视频中包含的动作类别和动作的时间边界。本发明能够提升行为检测的准确度。
-
公开(公告)号：CN111797771B
公开(公告)日：2022-09-09
申请号：CN202010644474.5
申请日：2020-07-07
Applicant: 南京理工大学
Abstract: 本发明涉及一种基于迭代学习的弱监督视频行为检测方法及系统，包括：提取包含动作行为的视频的时空特征；构建神经网络模型组；根据视频的真实类别标签、第一神经网络模型输出的类激活序列和第一神经网络模型输出的视频特征训练第一神经网络模型；根据视频的真实类别标签、当前神经网络模型输出的时序伪标签、下一个神经网络模型输出的类激活序列和下一个神经网络模型输出的视频特征训练下一个神经网络模型；根据检测精度最高值对应的神经网络模型对待检测视频进行动作检测。本发明中根据当前神经网络模型输出的时序伪标签信息训练下一个神经网络模型，可以使神经网络模型学习出的类激活序列更加精准，从而能够准确的检测出视频中的动作。
-
公开(公告)号：CN108875532A
公开(公告)日：2018-11-23
申请号：CN201810073174.9
申请日：2018-01-25
Applicant: 南京理工大学
Abstract: 本发明提供了一种基于稀疏编码和长度后验概率的视频动作检测方法，包括特征提取、生成动作片段提议、动作片段提议分类、冗余检测去除四个过程；首先，将视频输入到三维卷积神经网络C3D网络中，提取网络最后一个全连接层的输出作为特征；然后使用上下文相关稀疏编码方法生成动作片段提议；再然后使用分类器对动作片段提议进行分类，分类后使用长度后验概率对分类结果进行调整；最后使用非极大值抑制方法去除冗余检测。本发明使用上下文相关稀疏编码生成动作片段提议，能够得到包含绝大部分真实动作片段的高质量的动作片段提议，并且在动作片段提议分类后使用长度后验概率对分类结果进行调整，能够大幅度的提高动作检测结果的精度。
-
公开(公告)号：CN115100737A
公开(公告)日：2022-09-23
申请号：CN202210630316.3
申请日：2022-06-06
Applicant: 南京理工大学
IPC: G06V40/20 , G06V10/82 , G06V10/80 , G06V10/764 , G06V10/44
Abstract: 本发明公开了一种基于交互对象运动增强的组合动作时空检测方法：(1)首先利用预训练好的检测器和追踪器得到物体坐标以及轨迹信息；(2)使用mask操作对输入视频片段中的特定物体部分遮挡，得到处理后的视频片段；(3)使用预训练好的网络模型对(2)中的视频抽取出时空特征；(4)根据所述物体坐标和时空特征，使用Non‑local模块和RoiAlign得到局部特征；(5)通过轨迹提取模块获取轨迹特征；(6)融合局部特征和轨迹特征，得到组合特征；(7)利用组合特征做最终动作预测。
-
公开(公告)号：CN110659572B
公开(公告)日：2022-08-12
申请号：CN201910778111.8
申请日：2019-08-22
Applicant: 南京理工大学
Abstract: 本发明提供了一种基于双向特征金字塔的视频动作检测方法，包括以下步骤：步骤1，对数据集进行预处理，提取I3D特征；步骤2，制作训练样本；步骤3，搭建网络，并将步骤1得到的I3D特征输入到网络中进行训练；步骤4，将测试视频对应的I3D特征输入到网络中，得到动作检测结果，使用非极大值抑制算法去除冗余检测结果。
-
Patent Agency Ranking
-
公开(公告)号：CN109389035A
公开(公告)日：2019-02-26
申请号：CN201810998778.4
申请日：2018-08-30
Applicant: 南京理工大学
Abstract: 本发明提供了一种基于多特征和帧置信分数的低延迟视频动作检测方法，包括：步骤1，对数据集进行数据预处理，得到RGB图片和光流图片集；步骤2，构建三维卷积-反卷积的CDC神经网络模型；步骤3，将步骤1中得到的RGB图片和光流图片训练集分别输入到步骤2的网络模型中进行训练，得到训练好的模型；步骤4，将RGB图片和光流图片的测试集分别放入步骤3训练好的两个模型中，生成两个模型的输出后并融合，得到每一帧的置信分数，生成动作片段；步骤5，使用步骤4得到的动作片段，在时序上分别选取不同百分比的帧数并与真值作比较，得到低延迟动作检测结果。
-
公开(公告)号：CN109271876A
公开(公告)日：2019-01-25
申请号：CN201810971986.5
申请日：2018-08-24
Applicant: 南京理工大学
Abstract: 本发明提供了一种基于时间演化建模和多示例学习的动作检测方法，包括特征提取、制作训练样本并统计动作长度分布、对训练样本进行时间演化建模并训练多示例学习神经网络、对测试视频进行检测四个过程；首先，通过滑动窗口的方法来切分训练视频得到训练动作片段；然后将训练动作片段进行时间演化建模作为网络的输入特征；再然后使用多任务损失函数来训练网络；最后使用训练好的网络对测试视频上的动作片段提议进行分类和边界估计，得到测试视频上的动作检测结果。
-
公开(公告)号：CN113850143A
公开(公告)日：2021-12-28
申请号：CN202110999523.1
申请日：2021-08-29
Applicant: 南京理工大学
Abstract: 本发明公开了一种基于多模态多粒度的老年人日常行为自动识别方法，包括以下步骤：将原始输入视频的骨骼模态和RGB模态分别被细化为骨骼点+骨架和提名+关键帧；对骨骼点和骨架数据建立图结构，并分别利用图卷积网络S‑GTCNs学习特征，得到基于骨骼点和骨架数据的动作类别得分；利用边界敏感网络提取视频的提名，利用I3D网络提取提名和关键帧的底层特征，基于提名和关键帧数据建立图结构，并分别使用图卷积网络R‑GCNs学习特征，得到基于提名和关键帧数据的动作类别得分；将四种颗粒度的识别得分进行融合得到最终的识别结果。该方法相比于其他方法，有更高的识别准确率。
-
公开(公告)号：CN113537040A
公开(公告)日：2021-10-22
申请号：CN202110790271.1
申请日：2021-07-13
Applicant: 南京理工大学
Abstract: 本发明涉及一种基于半监督学习的时序行为检测方法及系统，该方法包括：获取视频的时空特征并构建训练集和测试集；获取一个端到端的时序行为检测模型；将训练集输入时序行为检测模型得到分类分数和位置偏移量；然后对时序行为检测模型进行学习优化得到初始模型参数；根据时空特征计算扰动噪声特征；构建学生模型和教师模型；根据初始模型参数对学生模型和教师模型进行初始化；将扰动噪声特征输入初始化学生模型，将时空特征输入初始化教师模型；根据初始化学生模型和初始化教师模型的输出结果对初始化教师模型进行优化；将测试集输入优化后的教师模型得到当前视频中包含的动作类别和动作的时间边界。本发明能够提升行为检测的准确度。
-
-
-
-
-
-
-
-
-
Search Results
21
records
(took 0.018 seconds)
