公开(公告)号：CN118397640A

公开(公告)日：2024-07-26

申请号：CN202410454108.1

申请日：2024-04-16

Applicant: 南京邮电大学

Inventor： 刘峰 ,  张仟凤 ,  宋婉茹

IPC: G06V30/246 ,  G06V30/244 ,  G06V30/18 ,  G06V30/19 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464

Abstract: 本发明公开了一种基于改进Transformer的手写英文识别方法、系统，该方法包括获取手写英文图像，对该图像进行预处理，得到单词图像和单词图像文本标签；构建预设编码模块、预设解码模块和预设分析模块；利用预设编码模块得到视觉特征矩阵和语义特征矩阵；将视觉特征矩阵和语义特征矩阵对齐，输入预设解码模块，得到联合反向残差特征矩阵；将联合反向残差特征矩阵输入预设分析模块，获得预测概率分布，对预设编码模块、预设解码模块和预设分析模块进行调整；利用调整后的模块，选取每个英文字母类别中概率最高的标记作为手写英文识别的预测结果。本发明对手写英文图像进行双模态处理，完善了手写英文识别任务的处理，有效提高了手写英文识别的准确率。