-
公开(公告)号：CN119625760A
公开(公告)日：2025-03-14
申请号：CN202411694627.1
申请日：2024-11-25
Applicant: 厦门理工学院
IPC: G06V30/226 , G06V30/186 , G06V30/262 , G06V30/19 , G06V10/766 , G06V10/82 , G06N3/0464 , G06N3/0455 , G06N3/0499 , G06N3/0985 , G06N3/048
Abstract: 本发明提出一种基于部首表示学习的零样本汉字识别方法，包括以下步骤：建立零样本汉字识别数据集，获取汉字的表意描述序列；根据表意描述序列获取所有汉字的语义嵌入向量和所有部首及结构嵌入向量；汉字图像经过ResNet提取图像特征向量；图像特征向量经过特征增强编码模块得到增强特征；部首表示解码模块在部首及结构嵌入向量的引导下将增强特征转化为部首表示特征；汉字匹配模块利用部首表示特征和部首及结构嵌入向量预测语义嵌入向量，并与所有语义向量进行匹配以识别汉字。本发明通过减轻图像区域几何特征的纠缠问题，来提高图像特征向语义特征的可转移性，并利用部首嵌入学习和定位汉字图像中的关键部首表示，有效的提高未见汉字的识别能力。
-
公开(公告)号：CN119251852B
公开(公告)日：2025-02-25
申请号：CN202411774132.X
申请日：2024-12-05
Applicant: 厦门理工学院
Abstract: 一种基于多模态大模型的甲骨文字图像识别方法、装置、设备和介质，涉及计算机视觉技术领域。其中，这种甲骨文字图像识别方法首先，从OBIMD数据集提取甲骨文单字图像，并从镜原甲骨平台检索基础信息，形成单字数据集。接着，利用大语言模型生成包含文字释义等信息的第一对话数据集，并对Qwen2VL模型进行微调，得到初始识别模型。然后，通过位置信息对话数据集进行第二微调，获得定位顺序识别模型，该模型能识别字符并完成定位标注。进一步，生成现代汉语翻译对话数据集，并对模型进行第三微调，得到语义识别模型，能组合字符成句并翻译。最后，输入待识别甲骨文字图像，模型根据图像是单字或多字，分别输出字符标识、释义或组合句子并翻译成现代汉语。
-
公开(公告)号：CN119251852A
公开(公告)日：2025-01-03
申请号：CN202411774132.X
申请日：2024-12-05
Applicant: 厦门理工学院
Abstract: 一种基于多模态大模型的甲骨文字图像识别方法、装置、设备和介质，涉及计算机视觉技术领域。其中，这种甲骨文字图像识别方法首先，从OBIMD数据集提取甲骨文单字图像，并从镜原甲骨平台检索基础信息，形成单字数据集。接着，利用大语言模型生成包含文字释义等信息的第一对话数据集，并对Qwen2VL模型进行微调，得到初始识别模型。然后，通过位置信息对话数据集进行第二微调，获得定位顺序识别模型，该模型能识别字符并完成定位标注。进一步，生成现代汉语翻译对话数据集，并对模型进行第三微调，得到语义识别模型，能组合字符成句并翻译。最后，输入待识别甲骨图像，模型根据图像是单字或多字，分别输出字符标识、释义或组合句子并翻译成现代汉语。
-
-
Search Results
3
records
(took 0.016 seconds)
