基于关联感知跨模态注意网络的社交网中服饰推荐方法

    公开(公告)号:CN117635769A

    公开(公告)日:2024-03-01

    申请号:CN202311681109.1

    申请日:2023-12-06

    Abstract: 本发明公开了一种基于关联感知跨模态注意网络的社交网中服饰推荐方法,方法包括:(1)针对服饰单品的多模态数据,利用多模态特征编码器提取视觉、文本特征以及类别嵌入表示;(2)构建基于模态驱动的协同学习模块,利用跨模态协同注意网络建模多模态信息间的交互关系;(3)设计基于关联感知的信息聚合模块,通过图注意网络自适应地捕捉单品间的上下文信息,获得套装全局表示;(4)引入自注意力机制强化套装最终表示,用于时尚兼容性分数计算,由此推荐与之互补的可搭配单品。本发明通过跨模态信息融合与上下文关系传播的方式丰富单品特征表示,有效增强多模态表示学习能力,保证模态信息的一致性和互补性,对套装兼容性评估精准建模。

Patent Agency Ranking