公开(公告)号：CN114255379A

公开(公告)日：2022-03-29

申请号：CN202111581067.5

申请日：2021-12-22

Applicant: 南京邮电大学

Inventor： 周名杰 ,  程艳云

IPC: G06V10/774 ,  G06V10/82 ,  G06K9/62 ,  G06F17/16 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提出基于编解码的数学公式识别方法及装置、可读存储介质，输入图片通过ResNet网络和位置编码模块进行特征的编码，紧接着使用多头注意力模型及前向网络的组合对特征序列进行解码计算实现预测避免了单字符切割和识别的步骤，能够从手写数学公式的整体信息中学习到字符间的空间关系，最终完成整个手写数学公式的识别。本发明的有益效果为：本方法编码模块中通过在ResNet网络的输出中添加位置信息，使得编码模块能够更准确地学习到公式图片的特征信息；解码模块中，不同于使用循环神经网络的方法，本方法通过使用多头注意力模型来进行并行化计算，使得运行速度得到了明显的改进。

公开(公告)号：CN114255379B

公开(公告)日：2024-11-08

申请号：CN202111581067.5

申请日：2021-12-22

Applicant: 南京邮电大学

Inventor： 周名杰 ,  程艳云

IPC: G06V10/774 ,  G06V10/82 ,  G06F17/16 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提出基于编解码的数学公式识别方法及装置、可读存储介质，输入图片通过ResNet网络和位置编码模块进行特征的编码，紧接着使用多头注意力模型及前向网络的组合对特征序列进行解码计算实现预测避免了单字符切割和识别的步骤，能够从手写数学公式的整体信息中学习到字符间的空间关系，最终完成整个手写数学公式的识别。本发明的有益效果为：本方法编码模块中通过在ResNet网络的输出中添加位置信息，使得编码模块能够更准确地学习到公式图片的特征信息；解码模块中，不同于使用循环神经网络的方法，本方法通过使用多头注意力模型来进行并行化计算，使得运行速度得到了明显的改进。