公开(公告)号：CN111428727A

公开(公告)日：2020-07-17

申请号：CN202010227200.6

申请日：2020-03-27

Applicant: 华南理工大学

Inventor： 林庆祥 ,  金连文 ,  罗灿杰 ,  赖松轩

IPC: G06K9/36 ,  G06K9/32 ,  G06K9/62 ,  G06N3/08 ,  G06N3/04

Abstract: 本发明公开一种基于序列变换纠正及注意力机制的自然场景文本识别方法,包括数据获取、数据处理、标签制作、训练网络、测试网络；所述训练网络包括：构建识别网络，并将训练数据及处理好的标签输入预先设计好的识别网络，完成识别网络的训练；所述识别网络包括序列变换纠正器、基于注意力机制的文本识别器；所述序列变换纠正器包括若干个卷积层、非线性层和池化层；所述序列变换纠正器还包括分解层、由若干个全连接层组成的定位网络；所述基于注意力机制的文本识别器包括特征编码网络和基于注意力机制的解码器。本发明极大降低了识别模型的识别难度，识别准确率高、鲁棒性强，针对形状不规则的文本具有很好的识别性能。

公开(公告)号：CN111428727B

公开(公告)日：2023-04-07

申请号：CN202010227200.6

申请日：2020-03-27

Applicant: 华南理工大学

Inventor： 林庆祥 ,  金连文 ,  罗灿杰 ,  赖松轩

IPC: G06V20/62 ,  G06V30/16 ,  G06V30/19 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/047 ,  G06N3/048

Abstract: 本发明公开一种基于序列变换纠正及注意力机制的自然场景文本识别方法,包括数据获取、数据处理、标签制作、训练网络、测试网络；所述训练网络包括：构建识别网络，并将训练数据及处理好的标签输入预先设计好的识别网络，完成识别网络的训练；所述识别网络包括序列变换纠正器、基于注意力机制的文本识别器；所述序列变换纠正器包括若干个卷积层、非线性层和池化层；所述序列变换纠正器还包括分解层、由若干个全连接层组成的定位网络；所述基于注意力机制的文本识别器包括特征编码网络和基于注意力机制的解码器。本发明极大降低了识别模型的识别难度，识别准确率高、鲁棒性强，针对形状不规则的文本具有很好的识别性能。

公开(公告)号：CN110414498A

公开(公告)日：2019-11-05

申请号：CN201910517855.4

申请日：2019-06-14

Applicant: 华南理工大学

Inventor： 黄云龙 ,  金连文 ,  罗灿杰 ,  林庆祥 ,  周伟英

IPC: G06K9/20 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开一种基于交叉注意力机制的自然场景文本识别方法，包括数据获取：下载自然场景下的样本图片，并对所述图片使用公开的代码合成训练集；数据处理：对所有训练样本图片的大小进行拉伸操作，处理后样本图片的大小为32*100，高宽比例与原图保持一致，不足的部分使用黑边填充；标签制作：采用有监督的方法来训练识别模型，所以每张行文本图片都有对应的文本信息；训练网络：把准备好的训练图片数据及标签输入到交叉注意力网络中训练，交叉注意力网络由垂直注意力网络和水平注意力网络组成；输入测试数据到已训练网络中，最后得到识别结果和预测每个字符的置信度。本发明识别准确率高、鲁棒性强、针对形状不规则文本有很好的识别性能。

公开(公告)号：CN110414498B

公开(公告)日：2023-07-11

申请号：CN201910517855.4

申请日：2019-06-14

Applicant: 华南理工大学

Inventor： 罗灿杰 ,  金连文 ,  黄云龙 ,  林庆祥 ,  周伟英

IPC: G06V20/62 ,  G06V30/14 ,  G06V30/18 ,  G06V30/19 ,  G06V10/82 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/047 ,  G06N3/048 ,  G06N3/084 ,  G06N3/09

Abstract: 本发明公开一种基于交叉注意力机制的自然场景文本识别方法，包括数据获取：下载自然场景下的样本图片，并对所述图片使用公开的代码合成训练集；数据处理：对所有训练样本图片的大小进行拉伸操作，处理后样本图片的大小为32*100，高宽比例与原图保持一致，不足的部分使用黑边填充；标签制作：采用有监督的方法来训练识别模型，所以每张行文本图片都有对应的文本信息；训练网络：把准备好的训练图片数据及标签输入到交叉注意力网络中训练，交叉注意力网络由垂直注意力网络和水平注意力网络组成；输入测试数据到已训练网络中，最后得到识别结果和预测每个字符的置信度。本发明识别准确率高、鲁棒性强、针对形状不规则文本有很好的识别性能。

公开(公告)号：CN113723423A

公开(公告)日：2021-11-30

申请号：CN202111039925.3

申请日：2021-09-06

Applicant: 华南理工大学

Inventor： 廖倩颖 ,  梁凌宇 ,  金连文 ,  林庆祥 ,  罗灿杰 ,  张家鑫 ,  彭德智 ,  王天玮

IPC: G06K9/36 ,  G06K9/34 ,  G06K9/32

Abstract: 本发明公开了一种基于渐进矫正机制的场景文本识别方法，包括：采集场景文本图像，将所述场景文本图像进行渐进式矫正，获得目标文本图像，基于所述目标文本图像进行文本识别，获得识别结果。本发明通过采用一种渐进的矫正机制将不规则文本矫正为规则文本，并将其准确识别，能够消除拍摄角度带来的透视变形和字符的不规则排列带来的弯曲性等形变，同时剔除或抑制复杂背景带来的干扰，解决了包含不规则文本的场景识别问题，大大提高了识别系统对场景文本的鲁棒性，从而进一步提升了识别效果。