公开(公告)号：CN118504617A

公开(公告)日：2024-08-16

申请号：CN202410641506.4

申请日：2024-05-22

Applicant: 河钢数字技术股份有限公司

Inventor： 李宏鹏 ,  纪树梅 ,  郑士良 ,  徐瑛琦 ,  张麟 ,  魏晓飞 ,  张丛灿 ,  魏强

IPC: G06N3/0455 ,  G06N3/082

Abstract: 本发明公开了基于Transformer模块化分解模型方法，涉及图像处理和计算机视觉技术领域，该基于Transformer模块化分解模型方法，包括以下步骤：步骤1：神经网络模型等效改造；步骤2：重新训练改造后的Transformer网络模型#imgabs0#步骤3：梯度重置；步骤4：设置二进制掩码；步骤5：模块化Transformer；步骤6：等效转化获得目标模块，事先训练好的Transformer模型分解为一组更小且可重用的模块，通过这一独特的分解过程，生成的模块能够被灵活地重用，以构建全新的、甚至更加精准的Transformer模型，而无需从头开始进行昂贵的训练。这种模块化分解方法不仅提高了模型的灵活性和可重用性，同时降低了模型开发的成本和时间，为深度学习模型的定制和优化提供了一种高效而创新的途径。