一种基于多模态模型的汉字易混淆集构建方法

    公开(公告)号:CN112990353A

    公开(公告)日:2021-06-18

    申请号:CN202110402126.1

    申请日:2021-04-14

    Applicant: 中南大学

    Abstract: 本发明涉及汉字易混淆集构建领域,公开了一种基于多模态模型的汉字易混淆集构建方法。S1:得到字形编码的相似度,S2:得到字音编码的相似度,S3:构建并训练出一个图像分类的神经网络模型,由图像分类的神经网络模型输出一个M维的向量,S4:构建并训练出一个音频分类的神经网络模型,由音频分类的神经网络模型输出一个M维的向量,S5:将汉字字符Ci的字形编码相似度向量、字音编码相似度向量、字形视觉易混淆向量、字音听觉易混淆向量,加权组合为一个向量,作为音形易混淆向量,从而依据音形易混淆向量中每个维度上的相似度,选择对应的字典Dic中的汉字,构成音形易混淆集。本发明能够模拟人的视觉和听觉构建易混淆集。

    一种基于多模态模型的汉字易混淆集构建方法

    公开(公告)号:CN112990353B

    公开(公告)日:2021-07-30

    申请号:CN202110402126.1

    申请日:2021-04-14

    Applicant: 中南大学

    Abstract: 本发明涉及汉字易混淆集构建领域,公开了一种基于多模态模型的汉字易混淆集构建方法。S1:得到字形编码的相似度,S2:得到字音编码的相似度,S3:构建并训练出一个图像分类的神经网络模型,由图像分类的神经网络模型输出一个M维的向量,S4:构建并训练出一个音频分类的神经网络模型,由音频分类的神经网络模型输出一个M维的向量,S5:将汉字字符Ci的字形编码相似度向量、字音编码相似度向量、字形视觉易混淆向量、字音听觉易混淆向量,加权组合为一个向量,作为音形易混淆向量,从而依据音形易混淆向量中每个维度上的相似度,选择对应的字典Dic中的汉字,构成音形易混淆集。本发明能够模拟人的视觉和听觉构建易混淆集。

Patent Agency Ranking