-
公开(公告)号:CN117407870A
公开(公告)日:2024-01-16
申请号:CN202311394745.6
申请日:2023-10-25
Applicant: 厦门理工学院
IPC: G06F21/55 , G06F21/33 , G06F18/2413 , G06F18/21
Abstract: 本发明提出一种基于令牌损失信息的通用对抗攻击检测方法,通过分割目标样本为独立序列令牌,其次计算每个令牌序列的损失权重信息并转为TLV(Token‑Loss Value,TLV)度量值并建立全样本序列查询表T,设定差异性检测器阈值来判断对抗样本,有效的解决了可学习式非实例对抗性样本的扰动检测,且在长短文本上均能取得高性能的表现,在当前任务中达到了最优的检测结果。
-
公开(公告)号:CN119360455A
公开(公告)日:2025-01-24
申请号:CN202411933425.8
申请日:2024-12-26
Applicant: 厦门理工学院
IPC: G06V40/30 , G06V30/244 , G06V30/19 , G06V30/148 , G06V10/82 , G06N3/0464 , G06N3/0455
Abstract: 本发明涉及一种基于多任务学习的手写签名认证方法,通过手写签名验证任务与光学字符识别任务进行多任务学习,通过光学字符识别任务进行学习笔迹图片的文本信息,用于手写签名验证任务,辅助手写签名验证任务的判断,包括:从脱机签名验证图片中提取文本信息;构建拉普拉斯注意力模块;构建手写签名验证任务与光学字符识别任务共享参数模块,用于提取两任务共同的签名图像特征;构建用于光学字符识别任务的第一独立参数模块,该模块为Mamba模块;构建用于手写签名验证任务的第二独立参数模块,该模块为多尺度全局融合模块;构建分类模型,将输出特征整合后,通过分类模型判断两张图片是否相似。该方法有利于提高手写签名认证的准确性。
-
公开(公告)号:CN118378621B
公开(公告)日:2024-11-22
申请号:CN202410808562.2
申请日:2024-06-21
Applicant: 厦门理工学院
IPC: G06F40/279 , G06F40/30 , G06F40/284 , G06N3/045 , G06N3/0475 , G06N3/08
Abstract: 本发明提出一种基于多样特征生成的零样本汉字识别方法,解析汉字的部首组成获取表意描述序列;对表意描述序列进行混合语义嵌入获得多语义向量;对已见类汉字图像进行特征提取获取真实特征;构建特征生成网络学习多语义向量到真实特征的映射;通过已见类训练集进行训练后通过多种未见类语义向量生成未见类特征;利用未见类特征结合已见类训练集的特征共同训练识别模型使其具备识别已见类和未见类汉字能力。本发明通过混合语义嵌入提供多种语义来生成训练样本,有助于缓解合成特征的域迁移问题和特征混淆问题,提高特征生成的泛化能力和鲁棒性;通过为识别模型提供高质量的未见类特征,缓解零样本汉字识别的偏倚问题,提高了未见汉字的识别能力。
-
公开(公告)号:CN119625760A
公开(公告)日:2025-03-14
申请号:CN202411694627.1
申请日:2024-11-25
Applicant: 厦门理工学院
IPC: G06V30/226 , G06V30/186 , G06V30/262 , G06V30/19 , G06V10/766 , G06V10/82 , G06N3/0464 , G06N3/0455 , G06N3/0499 , G06N3/0985 , G06N3/048
Abstract: 本发明提出一种基于部首表示学习的零样本汉字识别方法,包括以下步骤:建立零样本汉字识别数据集,获取汉字的表意描述序列;根据表意描述序列获取所有汉字的语义嵌入向量和所有部首及结构嵌入向量;汉字图像经过ResNet提取图像特征向量;图像特征向量经过特征增强编码模块得到增强特征;部首表示解码模块在部首及结构嵌入向量的引导下将增强特征转化为部首表示特征;汉字匹配模块利用部首表示特征和部首及结构嵌入向量预测语义嵌入向量,并与所有语义向量进行匹配以识别汉字。本发明通过减轻图像区域几何特征的纠缠问题,来提高图像特征向语义特征的可转移性,并利用部首嵌入学习和定位汉字图像中的关键部首表示,有效的提高未见汉字的识别能力。
-
公开(公告)号:CN119251852B
公开(公告)日:2025-02-25
申请号:CN202411774132.X
申请日:2024-12-05
Applicant: 厦门理工学院
Abstract: 一种基于多模态大模型的甲骨文字图像识别方法、装置、设备和介质,涉及计算机视觉技术领域。其中,这种甲骨文字图像识别方法首先,从OBIMD数据集提取甲骨文单字图像,并从镜原甲骨平台检索基础信息,形成单字数据集。接着,利用大语言模型生成包含文字释义等信息的第一对话数据集,并对Qwen2VL模型进行微调,得到初始识别模型。然后,通过位置信息对话数据集进行第二微调,获得定位顺序识别模型,该模型能识别字符并完成定位标注。进一步,生成现代汉语翻译对话数据集,并对模型进行第三微调,得到语义识别模型,能组合字符成句并翻译。最后,输入待识别甲骨文字图像,模型根据图像是单字或多字,分别输出字符标识、释义或组合句子并翻译成现代汉语。
-
公开(公告)号:CN117523587A
公开(公告)日:2024-02-06
申请号:CN202311427150.6
申请日:2023-10-31
Applicant: 厦门理工学院
IPC: G06V30/242 , G06V30/19 , G06V10/82 , G06N3/0464 , G06N3/0455 , G06N3/0442
Abstract: 本发明涉及一种基于字符敏感编辑距离的零样本汉字识别方法。汉字图像经过编码器,得到特征向量;特征向量分别经过解码器、部首计数模块,得到预测的汉字表意描述序列以及预测部首数量;汉字表意描述序列中的部首数量与预测部首数量相比较,形成代价门控用来约束编辑距离中的插入代价和删除代价。通过查找结构、笔画数、偏旁和四角号码字典信息,获得每个部首对之间的相似度作为替换代价;汉字表意描述序列和IDS字典中的每个候选序列经过编辑距离获得相似得分;选取相似得分最高的候选序列所对应的汉字为最终汉字。本发明方法消除了模型错误识别成相似部首和模型过解析或欠解析造成的部首序列失匹配的影响,有效地提高了对未见汉字的识别能力。
-
公开(公告)号:CN119251852A
公开(公告)日:2025-01-03
申请号:CN202411774132.X
申请日:2024-12-05
Applicant: 厦门理工学院
Abstract: 一种基于多模态大模型的甲骨文字图像识别方法、装置、设备和介质,涉及计算机视觉技术领域。其中,这种甲骨文字图像识别方法首先,从OBIMD数据集提取甲骨文单字图像,并从镜原甲骨平台检索基础信息,形成单字数据集。接着,利用大语言模型生成包含文字释义等信息的第一对话数据集,并对Qwen2VL模型进行微调,得到初始识别模型。然后,通过位置信息对话数据集进行第二微调,获得定位顺序识别模型,该模型能识别字符并完成定位标注。进一步,生成现代汉语翻译对话数据集,并对模型进行第三微调,得到语义识别模型,能组合字符成句并翻译。最后,输入待识别甲骨图像,模型根据图像是单字或多字,分别输出字符标识、释义或组合句子并翻译成现代汉语。
-
公开(公告)号:CN118378621A
公开(公告)日:2024-07-23
申请号:CN202410808562.2
申请日:2024-06-21
Applicant: 厦门理工学院
IPC: G06F40/279 , G06F40/30 , G06F40/284 , G06N3/045 , G06N3/0475 , G06N3/08
Abstract: 本发明提出一种基于多样特征生成的零样本汉字识别方法,解析汉字的部首组成获取表意描述序列;对表意描述序列进行混合语义嵌入获得多语义向量;对已见类汉字图像进行特征提取获取真实特征;构建特征生成网络学习多语义向量到真实特征的映射;通过已见类训练集进行训练后通过多种未见类语义向量生成未见类特征;利用未见类特征结合已见类训练集的特征共同训练识别模型使其具备识别已见类和未见类汉字能力。本发明通过混合语义嵌入提供多种语义来生成训练样本,有助于缓解合成特征的域迁移问题和特征混淆问题,提高特征生成的泛化能力和鲁棒性;通过为识别模型提供高质量的未见类特征,缓解零样本汉字识别的偏倚问题,提高了未见汉字的识别能力。
-
-
-
-
-
-
-