一种基于双重自注意力机制的图像描述方法

    公开(公告)号:CN112329794B

    公开(公告)日:2024-03-12

    申请号:CN202011235688.3

    申请日:2020-11-06

    Abstract: 本发明公开了一种基于双重自注意力机制的图像描述网络,包括特征提取器、双重自注意力模块、解码器。其中,Faster R‑CNN网络作为特征提取器用于提取图像的重要特征。双重自注意力模块由两个自注意力分支组成,利用自注意力机制能够捕获长范围依赖关系的特性分别从空间和通道维度捕获特征的依赖性。解码器由两层LSTM构成,分别为注意层和语言层,注意层来预测生成当前词汇在图像上的注意力分布,语言层生成描述。本发明能自适应地将局部特征与全局相关性结合起来,从而获得图像的上下文信息,有利于生成更精确的描述,提高了描述语句的准确性。

    一种基于自适应模板更新的孪生网络跟踪方法

    公开(公告)号:CN112132856A

    公开(公告)日:2020-12-25

    申请号:CN202011056564.9

    申请日:2020-09-30

    Abstract: 本发明涉及一种基于自适应模板更新的孪生网络跟踪方法,用于解决目标跟踪过程中面对遮挡和快速变形等问题时的跟踪精度和鲁棒性低的问题。首先将待跟踪的视频帧和目标模板输入到孪生跟踪模块中,输出预测的目标跟踪边界框;然后将历史跟踪信息输入到轨迹预测模块中,判断是否启动模板更新模块;若启动了模板更新模块,模板更新模块对当前帧使用的目标模板进行更新,更新后的目标模板代替更新前的目标模板作为孪生跟踪模块的输入;重复这一过程完成视频跟踪。本发明使目标模板特征能够适应目标的外观变化,实现了实时跟踪,有效解决了目标在发生被遮挡或快速变形等问题时目标跟踪精度和鲁棒性低的问题。

    一种基于注意力机制的行人轨迹预测方法

    公开(公告)号:CN113160269B

    公开(公告)日:2024-03-12

    申请号:CN202110176024.2

    申请日:2021-02-09

    Abstract: 本发明涉及一种基于注意力的行人轨迹预测方法,用于更准确快速地预测行人的未来轨迹。具体包括三个模块,个体注意力编码模块,用于计算行人自身历史轨迹中隐藏向量的相似性并输出个体注意力特征矩阵,以获取在运动过程中行人自身的主要影响因素;社会注意力池化模块,用于接收个体注意力编码模块的计算结果,即个体注意力特征矩阵,计算场景中所有行人的历史轨迹中隐藏向量的相似性并输出综合运动特征矩阵,以获取在运动过程中行人之间的相互影响关系;门控循环单元解码模块,用于接收社会注意力池化模块的计算结果,即综合运动特征矩阵,利用门控循环单元计算并输出行人的未来轨迹坐标;本方法有效地提高了预测精度和速度。

    一种基于注意力机制的行人轨迹预测方法

    公开(公告)号:CN113160269A

    公开(公告)日:2021-07-23

    申请号:CN202110176024.2

    申请日:2021-02-09

    Abstract: 本发明涉及一种基于注意力的行人轨迹预测方法,用于更准确快速地预测行人的未来轨迹。具体包括三个模块,个体注意力编码模块,用于计算行人自身历史轨迹中隐藏向量的相似性并输出个体注意力特征矩阵,以获取在运动过程中行人自身的主要影响因素;社会注意力池化模块,用于接收个体注意力编码模块的计算结果,即个体注意力特征矩阵,计算场景中所有行人的历史轨迹中隐藏向量的相似性并输出综合运动特征矩阵,以获取在运动过程中行人之间的相互影响关系;门控循环单元解码模块,用于接收社会注意力池化模块的计算结果,即综合运动特征矩阵,利用门控循环单元计算并输出行人的未来轨迹坐标;本方法有效地提高了预测精度和速度。

    一种基于自适应模板更新的孪生网络跟踪方法

    公开(公告)号:CN112132856B

    公开(公告)日:2024-05-24

    申请号:CN202011056564.9

    申请日:2020-09-30

    Abstract: 本发明涉及一种基于自适应模板更新的孪生网络跟踪方法,用于解决目标跟踪过程中面对遮挡和快速变形等问题时的跟踪精度和鲁棒性低的问题。首先将待跟踪的视频帧和目标模板输入到孪生跟踪模块中,输出预测的目标跟踪边界框;然后将历史跟踪信息输入到轨迹预测模块中,判断是否启动模板更新模块;若启动了模板更新模块,模板更新模块对当前帧使用的目标模板进行更新,更新后的目标模板代替更新前的目标模板作为孪生跟踪模块的输入;重复这一过程完成视频跟踪。本发明使目标模板特征能够适应目标的外观变化,实现了实时跟踪,有效解决了目标在发生被遮挡或快速变形等问题时目标跟踪精度和鲁棒性低的问题。

    一种基于双重自注意力机制的图像描述方法

    公开(公告)号:CN112329794A

    公开(公告)日:2021-02-05

    申请号:CN202011235688.3

    申请日:2020-11-06

    Abstract: 本发明公开了一种基于双重自注意力机制的图像描述网络,包括特征提取器、双重自注意力模块、解码器。其中,Faster R‑CNN网络作为特征提取器用于提取图像的重要特征。双重自注意力模块由两个自注意力分支组成,利用自注意力机制能够捕获长范围依赖关系的特性分别从空间和通道维度捕获特征的依赖性。解码器由两层LSTM构成,分别为注意层和语言层,注意层来预测生成当前词汇在图像上的注意力分布,语言层生成描述。本发明能自适应地将局部特征与全局相关性结合起来,从而获得图像的上下文信息,有利于生成更精确的描述,提高了描述语句的准确性。

Patent Agency Ranking