-
公开(公告)号：CN112926492A
公开(公告)日：2021-06-08
申请号：CN202110291231.2
申请日：2021-03-18
Applicant: 南京理工大学
Abstract: 本发明涉及一种基于单帧监督的时序行为检测方法及系统，本发明构建了初始时序行为检测模型，该模型包括视频处理模块、分类融合模块和动作背景挖掘模块。该模型为一个循环‑依赖系统，其中动作背景挖掘模块首先根据分类融合模块的输出和标注帧挖掘动作和背景；然后挖掘到的动作和背景又作为监督信息反过来训练时序行为检测模型，使得时序行为检测模型的训练精度进一步提高，进而提高时序行为检测的精确度。
-
公开(公告)号：CN112315456A
公开(公告)日：2021-02-05
申请号：CN202011067849.2
申请日：2020-10-07
Applicant: 南京理工大学
Abstract: 本发明公开了一种基于跳接注意力机制的人体动作预测方法，包括：将归一化的每一帧的人体骨骼点坐标输入到由多层的自更新卷积门控循环网络组成的编码器中，提取人体骨骼点序列的分层特征；将编码器最后一个时间步提取的分层特征聚合得到人体动作的长期语义向量；将编码器最后一个时间步的各层隐藏变量作为解码器的初始隐藏变量，使用跳接注意力机制根据编码器的人体动作长期语义向量计算解码器每一层特征的权重；将调整后的分层特征和人体动作长期语义向量连接成新的特征，经过卷积神经网络生成待预测的人体骨骼点帧与前一帧的变化量，与输入骨骼点相加，再进行归一化数据还原，得到人体动作骨骼点的预测值。本方法可有效预测人体动作，准确率高。
-
公开(公告)号：CN115050096A
公开(公告)日：2022-09-13
申请号：CN202210629941.6
申请日：2022-06-06
Applicant: 南京理工大学
IPC: G06V40/20 , G06V10/82 , G06V10/774 , G06V10/764 , G06N3/08
Abstract: 本发明公开了一种基于混合对比学习的零样本动作识别方法，步骤如下：1、首先对视频类别进行随机划分，2、对视频和类别的文本描述分别生成正例样本，3、对视频进行预处理得到视频的时空特征，4、学习与任务相关的视频嵌入特征，5、学习与任务相关的文本嵌入特征，6、同时优化视频和文本的嵌入特征，7、在公共特征空间中对齐视频和文本的嵌入特征，8、训练模型，9、测试模型。本发明提出了一种端到端的零样本动作识别框架，和一种基于混合对比学习的零样本动作识别方法，通过在公共特征空间对不同模态特征同时进行优化和对齐以实现不同模态间信息的泛化。为了具体实现这一目标，本发明还针对该混合对比学习方法，提出了分别针对视频和文本的正例样本生成方法，最终提升了零样本动作识别的性能。
-
公开(公告)号：CN112926492B
公开(公告)日：2022-08-12
申请号：CN202110291231.2
申请日：2021-03-18
Applicant: 南京理工大学
IPC: G06V40/20 , G06V10/764 , G06V10/80 , G06K9/62
Abstract: 本发明涉及一种基于单帧监督的时序行为检测方法及系统，本发明构建了初始时序行为检测模型，该模型包括视频处理模块、分类融合模块和动作背景挖掘模块。该模型为一个循环‑依赖系统，其中动作背景挖掘模块首先根据分类融合模块的输出和标注帧挖掘动作和背景；然后挖掘到的动作和背景又作为监督信息反过来训练时序行为检测模型，使得时序行为检测模型的训练精度进一步提高，进而提高时序行为检测的精确度。
-
公开(公告)号：CN112315456B
公开(公告)日：2022-02-11
申请号：CN202011067849.2
申请日：2020-10-07
Applicant: 南京理工大学
Abstract: 本发明公开了一种基于跳接注意力机制的人体动作预测方法，包括：将归一化的每一帧的人体骨骼点坐标输入到由多层的自更新卷积门控循环网络组成的编码器中，提取人体骨骼点序列的分层特征；将编码器最后一个时间步提取的分层特征聚合得到人体动作的长期语义向量；将编码器最后一个时间步的各层隐藏变量作为解码器的初始隐藏变量，使用跳接注意力机制根据编码器的人体动作长期语义向量计算解码器每一层特征的权重；将调整后的分层特征和人体动作长期语义向量连接成新的特征，经过卷积神经网络生成待预测的人体骨骼点帧与前一帧的变化量，与输入骨骼点相加，再进行归一化数据还原，得到人体动作骨骼点的预测值。本方法可有效预测人体动作，准确率高。
-
Patent Agency Ranking
公开(公告)号：CN114170683A
公开(公告)日：2022-03-11
申请号：CN202111458271.8
申请日：2021-12-02
Applicant: 南京理工大学
Abstract: 本发明涉及一种基于多模态注意力融合网络的行为识别方法及系统。该方法包括利用多模态注意力融合网络中的ResNeXt101网络提取待识别的视频中的RGB特征；并利用多模态注意力融合网络中的Shift‑GCN网络提取骨骼特征；对利用多模态注意力融合网络中的模态融合网络对RGB特征和骨骼特征进行模态融合，确定模态融合后的特征；利用多模态注意力融合网络中的通道融合网络对模态融合后的特征进行通道融合，确定通道融合后的特征；对RGB特征的损失、骨骼特征的损失以及通道融合后的特征的损失进行整合，确定多模态损失，并利用多模态损失优化多模态注意力融合网络，输出行为识别结果。本发明能够提高行为识别的准确性。
-
公开(公告)号：CN109271876B
公开(公告)日：2021-10-15
申请号：CN201810971986.5
申请日：2018-08-24
Applicant: 南京理工大学
Abstract: 本发明提供了一种基于时间演化建模和多示例学习的动作检测方法，包括特征提取、制作训练样本并统计动作长度分布、对训练样本进行时间演化建模并训练多示例学习神经网络、对测试视频进行检测四个过程；首先，通过滑动窗口的方法来切分训练视频得到训练动作片段；然后将训练动作片段进行时间演化建模作为网络的输入特征；再然后使用多任务损失函数来训练网络；最后使用训练好的网络对测试视频上的动作片段提议进行分类和边界估计，得到测试视频上的动作检测结果。
-
公开(公告)号：CN111797771A
公开(公告)日：2020-10-20
申请号：CN202010644474.5
申请日：2020-07-07
Applicant: 南京理工大学
Abstract: 本发明涉及一种基于迭代学习的弱监督视频行为检测方法及系统，包括：提取包含动作行为的视频的时空特征；构建神经网络模型组；根据视频的真实类别标签、第一神经网络模型输出的类激活序列和第一神经网络模型输出的视频特征训练第一神经网络模型；根据视频的真实类别标签、当前神经网络模型输出的时序伪标签、下一个神经网络模型输出的类激活序列和下一个神经网络模型输出的视频特征训练下一个神经网络模型；根据检测精度最高值对应的神经网络模型对待检测视频进行动作检测。本发明中根据当前神经网络模型输出的时序伪标签信息训练下一个神经网络模型，可以使神经网络模型学习出的类激活序列更加精准，从而能够准确的检测出视频中的动作。
-
公开(公告)号：CN111242048A
公开(公告)日：2020-06-05
申请号：CN202010043443.4
申请日：2020-01-15
Applicant: 南京理工大学
Abstract: 本发明公开了一种基于时空协同关注循环神经网络的人体骨架动作预测方法，步骤如下：由MOCAP捕获人体骨架动作序列，选取人体骨架中的17个关节；对每一未来时间步，提取骨架-关节协同关注特征；将骨架-关节协同关注特征输入到已使用加权格拉姆损失函数训练好的骨架-关节协同关注的循环神经网络中，生成未来的人体骨架动作。本发明可以通过已观测到的人体骨架动作预测未来一定时间内的人体骨架动作，同时关注骨骼在时间域上的演化和空间域上关节的相关性，较其他方法具有更好的人体骨架动作预测效果。
-
公开(公告)号：CN110580456A
公开(公告)日：2019-12-17
申请号：CN201910778094.8
申请日：2019-08-22
Applicant: 南京理工大学
Abstract: 本发明提供了一种基于相干约束图长短时记忆网络的群体活动识别方法，包括以下步骤：(1)将所有人的CNN特征作为相干约束图长短时记忆网络的输入，共同学习所有人在时空上下文相干性约束下随时间的个体运动状态；(2)利用全局上下文相干性的注意力机制，通过学习不同运动对应的注意力因子，量化相关运动的贡献；(3)在每个时间步中采用聚合LSTM将所有由不同注意力因素加权的单个运动状态聚合为整个活动的隐藏表示，并将每个活动的隐藏表示输入到softmax分类器中；(4)对每个时间步的softmax分类器的输出进行平均，得到群体活动的概率类向量，从而推断出群体活动的类别。
-
-
-
-
-
-
-
-
-
Search Results
21
records
(took 0.018 seconds)
