公开(公告)号：CN118674966A

公开(公告)日：2024-09-20

申请号：CN202410400318.2

申请日：2024-04-03

Applicant: 北京邮电大学

Inventor： 许文嘉 ,  王一旭 ,  孙倩 ,  魏智威 ,  彭木根

IPC: G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/084 ,  G06N5/04

Abstract: 本申请提出了一种基于可解释多任务模型的预测与解释方法及装置，该方法包括：获取初始图像，抽取初始图像的图像特征，对图像特征进行类别预测与属性预测，得到初始类别预测结果和预测属性；将初始类别预测结果和预测属性嵌入到同一维度向量进行特征维度对齐，拼接对齐后得到的属性嵌入和类别嵌入以生成集成嵌入，利用CNN分类器将所述集成嵌入映射为图像类别标签，得到集成类别预测结果；根据初始类别预测结果和集成类别预测结果，得到最终预测结果；基于嵌入注意力和梯度反传注意力，分别对最终预测结果进行语义解释和视觉解释。本申请通过结合类别预测和属性预测，为细粒度分类提供关键视觉依据，并筛选具有较大影响的属性构成模型决策的解释。