- 专利标题: 一种基于Self-Attention的离线数学公式符号识别方法
-
申请号: CN201911405977.0申请日: 2019-12-31
-
公开(公告)号: CN111160343B公开(公告)日: 2023-03-28
- 发明人: 蔡毅 , 刘诤
- 申请人: 华南理工大学
- 申请人地址: 广东省广州市天河区五山路381号
- 专利权人: 华南理工大学
- 当前专利权人: 华南理工大学
- 当前专利权人地址: 广东省广州市天河区五山路381号
- 代理机构: 广州市华学知识产权代理有限公司
- 代理商 裴磊磊
- 主分类号: G06V20/62
- IPC分类号: G06V20/62 ; G06V30/19 ; G06V10/764 ; G06V10/82 ; G06N3/0464 ; G06N3/047 ; G06N3/08
摘要:
本发明公开了一种基于Self‑Attention的离线数学公式识别方法,包括:对输入的数学公式图像进行预处理;编码阶段:对数学公式图像进行特征提取;将提取的特征的隐向量转换为多头的自注意力机制输入所需的维度;对提取的特征的隐向量进行编码,获得特征结果向量;解码阶段:依次输入字符到嵌入层,获得嵌入向量;将特征结果向量以及嵌入向量输入到网络块,获取输入字符的结果向量;获取输入字符的结果向量对应的的概率向量,找出概率向量中最大概率值索引对应的字符作为生成的字符;循环解码阶段,获得数学公式图像对应的latex字符序列。本发明仅仅使用注意力机制,不仅避免了LSTM固有的长距离依赖的问题,而且极大提升了模型的训练效率和识别准确率。
公开/授权文献
- CN111160343A 一种基于Self-Attention的离线数学公式符号识别方法 公开/授权日:2020-05-15