公开(公告)号：CN113255493B

公开(公告)日：2023-06-30

申请号：CN202110533314.8

申请日：2021-05-17

Applicant: 南京信息工程大学

Inventor： 陈亚当 ,  季传俊 ,  江结林

IPC: G06V20/40 ,  G06V10/26 ,  G06V10/74 ,  G06V10/762 ,  G06V10/774 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种融合视觉词和自注意力机制的视频目标分割方法，属于计算机视觉技术领域。该方法包括如下步骤：首先利用固定数量的视觉词来表示感兴趣的目标，即使一个对象作为一个整体可能会受到遮挡，变形，视点变化或者从同一视频中消失并重新出现，但其某些局部部分的外观仍会保持一致，因此使用视觉词可以实现更鲁棒的匹配。然后，我们将自注意力机制用于视觉单词匹配生成的相似图，以捕获不同相似图之间的依赖关系。最后，为了解决目标对象的外观变化和视觉词不匹配问题，提出了在线更新和全局匹配机制进一步提高准确率。本发明在部分视频场景中分割精度超出同类算法，同时分割效率有明显的提升。

公开(公告)号：CN113255493A

公开(公告)日：2021-08-13

申请号：CN202110533314.8

申请日：2021-05-17

Applicant: 南京信息工程大学

Inventor： 陈亚当 ,  季传俊 ,  江结林

IPC: G06K9/00 ,  G06K9/34 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种融合视觉词和自注意力机制的视频目标分割方法，属于计算机视觉技术领域。该方法包括如下步骤：首先利用固定数量的视觉词来表示感兴趣的目标，即使一个对象作为一个整体可能会受到遮挡，变形，视点变化或者从同一视频中消失并重新出现，但其某些局部部分的外观仍会保持一致，因此使用视觉词可以实现更鲁棒的匹配。然后，我们将自注意力机制用于视觉单词匹配生成的相似图，以捕获不同相似图之间的依赖关系。最后，为了解决目标对象的外观变化和视觉词不匹配问题，提出了在线更新和全局匹配机制进一步提高准确率。本发明在部分视频场景中分割精度超出同类算法，同时分割效率有明显的提升。