-
公开(公告)号:CN110765921B
公开(公告)日:2022-04-19
申请号:CN201910994258.0
申请日:2019-10-18
Applicant: 北京工业大学
Abstract: 本发明提供了一种基于弱监督学习和视频时空特征的视频物体定位方法。该方法仅以视频段和视频段描述作为输入来定位描述中物体在视频中的位置,解决了现有方法需要大量边框标注的问题。同时本方法引入了候选框的时空关联并设计了一种多特征关系度量网络,解决了度量学习中多模态关系表达问题。该方法先对视频段分帧,用训练好的目标检测网络对每一帧提候选框,再对视频段描述进行实体解析,然后提取候选框和定位物体的特征,并用时空关联捕获模块得到候选框关联,最后将这些特征输入多特征关系度量网络得到候选框与物体的匹配度。该方法旨在减少人工标注成本,提高定位精度,并通过测试验证了方法的可行性,具有重要应用价值。
-
公开(公告)号:CN110765921A
公开(公告)日:2020-02-07
申请号:CN201910994258.0
申请日:2019-10-18
Applicant: 北京工业大学
Abstract: 本发明提供了一种基于弱监督学习和视频时空特征的视频物体定位方法。该方法仅以视频段和视频段描述作为输入来定位描述中物体在视频中的位置,解决了现有方法需要大量边框标注的问题。同时本方法引入了候选框的时空关联并设计了一种多特征关系度量网络,解决了度量学习中多模态关系表达问题。该方法先对视频段分帧,用训练好的目标检测网络对每一帧提候选框,再对视频段描述进行实体解析,然后提取候选框和定位物体的特征,并用时空关联捕获模块得到候选框关联,最后将这些特征输入多特征关系度量网络得到候选框与物体的匹配度。该方法旨在减少人工标注成本,提高定位精度,并通过测试验证了方法的可行性,具有重要应用价值。
-