-
公开(公告)号:CN110163156A
公开(公告)日:2019-08-23
申请号:CN201910437384.6
申请日:2019-05-24
Applicant: 南京邮电大学
Abstract: 本发明公开一种基于卷积自编码模型的唇部特征提取方法,该发明首先通过对用户输入的视频逐帧提取唇部区域;然后对每帧唇部区域图像进行处理;处理完成后利用卷积自编码模型来提取唇部区域图像特征,最后将特征输入到LSTM进行训练,LSTM根据输入的特征对单词进行分类,从而完成对唇部的读取。本发明通过对唇部图像的压缩与重构,有助于帮助我们从唇部图像中提取视觉特征,从而得到更准确的潜在表示空间,能够有效提升唇读的准确性与可靠性。
-
公开(公告)号:CN110163157A
公开(公告)日:2019-08-23
申请号:CN201910438591.3
申请日:2019-05-24
Applicant: 南京邮电大学
Abstract: 本发明公开一种利用新型损失函数进行多人姿态估计的方法,该发明使用的模型由两个关键的部分组成:候选关节的单人姿态估计和全局最大的关节关联算法。本发明使用全局视图解决目标干扰问题,采用自上而下的框架,首先检测个人,然后进行执行单人姿态估计,输出每个候选关节的位置列表,然后利用关联算法将候选关节点构成一个person-joints的连接图,最后用全局最大的关节联合算法求解图中关节点得出最终姿态。本发明使用图模型对每个关节和全局关联进行多重预测,对于拥挤场景中的不可避免的干扰以及非常有效的推理具有鲁棒性。
-
公开(公告)号:CN113673537B
公开(公告)日:2023-08-18
申请号:CN202110795727.3
申请日:2021-07-14
Applicant: 南京邮电大学
Abstract: 本发明公开一种基于步态序列视频的人物轮廓特征提取方法,该发明首先获取一个周期内的步态轮廓序列,在获取到的步态轮廓序列基础之上获取步态能量图,分别对步态能量图进行水平方向和垂直方向特征提取,得到人物轮廓共性特征;利用双流Inception网络进行特征学习,引入注意力机制来获取人物显著性特征,最后将两种特征聚合,获取人物轮廓特征表示。本发明通过对人物步态能量图进行水平方向和垂直方向的特征提取,有助于获取人物行走时的共性特征,通过引入注意力机制可得到人物显著性特征,最后将其聚合有助于获取人物的轮廓特征,得到每个人的个性特征表达,有效提升人物识别的准确性与可靠性。
-
公开(公告)号:CN110175575A
公开(公告)日:2019-08-27
申请号:CN201910454096.1
申请日:2019-05-29
Applicant: 南京邮电大学
Abstract: 本发明公开一种基于新型高分辨率网络架构进行单人姿态估计的方法。该发明首先用检测器对输入的包含单个行人的图像进行检测,去除不精确的检测框,其次通过数据增强来扩充数据集;然后在实例化网络结构中通过并行多分辨率子网保持高分辨率特征图,而不需要恢复分辨率,在并行子网中引入交换单元,使每个子网重复地从其他并行子网接收信息,提高对单人姿态估计的准确率;由于在大多数的复杂场景中,会出现关键点被遮挡的现象,所以提出使用一个关键点掩蔽的数据增强方案,通过这个方案可以很有效地微调训好的卷积神经网络,通过相邻的匹配强大地定位被遮挡的关键点,提升对遮挡问题的准确率,从而得到更优的模型。
-
公开(公告)号:CN109903339A
公开(公告)日:2019-06-18
申请号:CN201910235608.5
申请日:2019-03-26
Applicant: 南京邮电大学
Abstract: 本发明公开一种多维融合特征的视频群体人物定位检测方法。该发明首先抽取多层级视频特征图,建立自顶向下和自底向上的双向特征处理通道充分挖掘视频的语义信息,接着融合多层级视频特征图获取多维融合特征,抓取视频候选目标,最后并行处理候选目标位置回归和类别分类,完成视频群体人物定位检测。本发明通过融合多层级特征获得丰富的视频语义信息,同时进行多任务预测操作,有效提升群体人物定位检测的速度,具有良好的准确率和实施性。
-
公开(公告)号:CN113673537A
公开(公告)日:2021-11-19
申请号:CN202110795727.3
申请日:2021-07-14
Applicant: 南京邮电大学
Abstract: 本发明公开一种基于步态序列视频的人物轮廓特征提取方法,该发明首先获取一个周期内的步态轮廓序列,在获取到的步态轮廓序列基础之上获取步态能量图,分别对步态能量图进行水平方向和垂直方向特征提取,得到人物轮廓共性特征;利用双流Inception网络进行特征学习,引入注意力机制来获取人物显著性特征,最后将两种特征聚合,获取人物轮廓特征表示。本发明通过对人物步态能量图进行水平方向和垂直方向的特征提取,有助于获取人物行走时的共性特征,通过引入注意力机制可得到人物显著性特征,最后将其聚合有助于获取人物的轮廓特征,得到每个人的个性特征表达,有效提升人物识别的准确性与可靠性。
-
公开(公告)号:CN109903339B
公开(公告)日:2021-03-05
申请号:CN201910235608.5
申请日:2019-03-26
Applicant: 南京邮电大学
Abstract: 本发明公开一种多维融合特征的视频群体人物定位检测方法。该发明首先抽取多层级视频特征图,建立自顶向下和自底向上的双向特征处理通道充分挖掘视频的语义信息,接着融合多层级视频特征图获取多维融合特征,抓取视频候选目标,最后并行处理候选目标位置回归和类别分类,完成视频群体人物定位检测。本发明通过融合多层级特征获得丰富的视频语义信息,同时进行多任务预测操作,有效提升群体人物定位检测的速度,具有良好的准确率和实施性。
-
公开(公告)号:CN111105443A
公开(公告)日:2020-05-05
申请号:CN201911362575.7
申请日:2019-12-26
Applicant: 南京邮电大学
Abstract: 本发明公开了一种基于特征关联的视频群体人物运动轨迹跟踪方法。该发明首先检测视频中出现的群体人物,获取群体人物的位置信息和特征掩码;接着检测新增人物,选定当前追踪人物,逐帧计算当前追踪人物与相邻视频帧中人物的关联相似度;最后结合关联相似度,确定当前追踪人物的帧间动态,更新当前追踪人物运动线索,并遍历视频序列完成视频群体人物的运动轨迹跟踪。本发明利用群体人物的运动特性,在帧间人物关联匹配过程中,综合考虑位置关系和动作形态的影响,能够有效提高群体人物运动轨迹跟踪的准确率,具有良好的实施性和鲁棒性。
-
-
-
-
-
-
-