公开(公告)号：CN113822178A

公开(公告)日：2021-12-21

申请号：CN202111038054.3

申请日：2021-09-06

申请人： 中车工业研究院有限公司

发明人： 马志 ,  李正光 ,  刘昱 ,  龚明 ,  赵新玉 ,  胡浩 ,  郑舒阳 ,  刘蕊 ,  李明高 ,  祝弘滨

IPC分类号： G06K9/00 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

摘要： 本发明提供一种基于跨模态注意力机制的焊缝缺陷识别方法，包括：采集焊接过程中与焊接质量密切相关的多模态数据；将所述多模态数据作为输入，分别建立多层深度学习分支网络，并基于所述从模态数据计算其所在的深度学习分支网络的注意力机制系数；根据各个所述从模态数据所在的深度学习分支网络的注意力机制系数，对主模态数据所在的深度学习分支网络中间层输出结果进行修正；汇总各条多层深度学习分支网络的最后一层输出结果，并输入至融合层进行融合处理，得到焊缝缺陷分类结果。本发明基于多模态数据计算注意力机制系数，增强重点信息的甄别能力，提升了焊缝缺陷识别能力。

公开(公告)号：CN113822178B

公开(公告)日：2024-04-02

申请号：CN202111038054.3

申请日：2021-09-06

申请人： 中车工业研究院有限公司

发明人： 马志 ,  李正光 ,  刘昱 ,  龚明 ,  赵新玉 ,  胡浩 ,  郑舒阳 ,  刘蕊 ,  李明高 ,  祝弘滨

IPC分类号： G06V20/10 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

摘要： 本发明提供一种基于跨模态注意力机制的焊缝缺陷识别方法，包括：采集焊接过程中与焊接质量密切相关的多模态数据；将所述多模态数据作为输入，分别建立多层深度学习分支网络，并基于所述从模态数据计算其所在的深度学习分支网络的注意力机制系数；根据各个所述从模态数据所在的深度学习分支网络的注意力机制系数，对主模态数据所在的深度学习分支网络中间层输出结果进行修正；汇总各条多层深度学习分支网络的最后一层输出结果，并输入至融合层进行融合处理，得到焊缝缺陷分类结果。本发明基于多模态数据计算注意力机制系数，增强重点信息的甄别能力，提升了焊缝缺陷识别能力。