公开(公告)号：CN115861618A

公开(公告)日：2023-03-28

申请号：CN202211631302.X

申请日：2022-12-19

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  孙晓帅 ,  郭天宇 ,  王昊为 ,  纪家沂

IPC: G06V10/26 ,  G06V10/82 ,  G06V10/52 ,  G06V10/80 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/0895

Abstract: 一种端到端的全景叙事分割的单阶段方法，涉及全景叙事分割。包括步骤:1)用卷积神经网络对图像特征进行多尺度提取并且融合；利用基于变换器的双向编码器表示技术提取文本中的每个词向量,并且利用数据集注释过滤掉非名词部分的词向量，同时对于多个词向量同时对应一个名词的情况，采用取平均值的方法作为当前名词所对应的特征；2)将局部空间先验嵌入到注意力建模中，增强不同尺度的视觉特征，从而提高分割效果；3)用步骤2)提取的文本特征做卷积核，在得到的特征图上做卷积得到掩码M；使用一个双向对比学习损失规范模态间的语义一致性；同时加上其它的损失函数来使得预测掩码的数值和分布接近真实掩码。