一种基于多模态预训练融合中文拼写纠正技术

    公开(公告)号:CN116842933A

    公开(公告)日:2023-10-03

    申请号:CN202310630599.6

    申请日:2023-05-31

    Abstract: 一种基于多模态预训练融合中文拼写纠正技术,它涉及一种中文拼写纠正技术。本发明为了解决现有中文拼写错误纠正技术的准确度和发现速度难以满足实际需要的问题。本发明的步骤为:对于输入的中文句子,从数据库中读取每个字的拼音和音调,并加载该字的黑体字体、小篆字体、该字繁体形式的黑体字体作为字音、字形信息;将句子及其对应字的拼音、字体分别映射为向量,再经过不同的编码器和BERT获取同维度的编码表示;对特征做非线性变换和加权和,获取进一步表示;将字的字音字形编码表示和文本编码表示输入门控层,对三种特征表示做加权融合,进而获得中文字的表示;将字的三个模态融合的表示输入BERT。本发明属于自然语言处理技术领域。

    一种基于大模型的跨语言知识获取方法

    公开(公告)号:CN116681067A

    公开(公告)日:2023-09-01

    申请号:CN202310629799.X

    申请日:2023-05-31

    Abstract: 一种基于大模型的跨语言知识获取方法,它涉及一种跨语言知识获取方法。本发明为了解决现有词典抽取方法在遇到非组成性短语时,通过以往的词典难以表达出短语的正确语义,甚至造成严重误导作用,而针对组成性短语而言,词典的简单组合也往往表示的短语语义不够精确的问题。本发明的步骤为:预处理源语言和目标语言的单语语料,同时从中抽取出候选短语,并构建短语用于评价短语对齐的测试集;将单语语料和候选短语作为训练数据,通过所设计的短语向量训练方法进行静态短语向量的训练;将静态短语向量通过跨语言映射方法;将单语语料和候选短语作为训练数据;将静态短语向量和步骤四的动态短语向量。本发明属于自然语言处理技术领域。

    一种基于预训练的字音字形知识增强的中文拼写纠正方法

    公开(公告)号:CN114970503A

    公开(公告)日:2022-08-30

    申请号:CN202210598799.3

    申请日:2022-05-30

    Abstract: 本发明提出一种基于预训练的字音字形知识增强的中文拼写纠正方法。属于自然语言处理技术领域。本发明的目的是为了改进中文拼写纠正技术的准确性,更好地解决字音或字形混淆导致的拼写错误,节省人工复核的时间。本发明首先从数据库中取出待纠错文本对应的拼音和仓颉码序列,然后将文本和拼音、仓颉码序列一同输入模型中。模型会整合文本的上下文语义信息和字音字形知识,给出拼写纠正建议。本发明还采用了特定的mask策略和预训练任务,在大规模中文语料上预训练得到更适用于中文拼写纠正技术的预训练语言模型。本发明可用于各种文本纠错场景,提高了校验文章的效率。

    一种针对特定目标的立场检测方法

    公开(公告)号:CN114330360A

    公开(公告)日:2022-04-12

    申请号:CN202111469526.0

    申请日:2021-12-03

    Abstract: 本发明提出一种针对特定目标的立场检测方法,使用深度网络抽取句子的语义特征,并在立场检测时充分考虑目标特征,实现目标特征与句子特征的交互,模型使用稠密连接的BiLSTM网络和嵌套的LSTM网络抽取句子的语义特征,在捕捉句子深层的语义信息的同时,能够解决梯度消失问题和长期依赖问题;使用注意力机制获取特定目标对于句子各部分的重要度,从而得到融入特定目标信息的句子向量表示,帮助模型在进行立场检测时充分考虑给定的特定目标;通过实验验证本发明已达到较优的特定目标立场检测性能。

    利用不同词嵌入模型进行协同训练的无监督双语翻译词典获取方法

    公开(公告)号:CN113343719A

    公开(公告)日:2021-09-03

    申请号:CN202110688705.7

    申请日:2021-06-21

    Abstract: 本发明公开了一种利用不同词嵌入模型进行协同训练的无监督双语翻译词典获取方法,包括:使用至少两种不同词嵌入模型在源语言和目标语言的单语语料上分别进行训练获得多组不同模型的词嵌入;按照词嵌入训练模型进行分组,并分别进行初始化得到对应初始词典;分别利用当前各模型相对应的词嵌入以及双语翻译词典进行自学习,以更新各个词嵌入分别利用更新后的词嵌入获取当前各自对应的双语翻译词典,并通过协同训练优化过滤提升各个双语翻译词典的置信度;重复第三、第四步直至训练结果收敛,并分别得到各个进程上的最终双语翻译词典。该方法解决了小语种语料资源匮乏的问题,提升了基于无监督学习的单语语料上获取双语翻译词典的无监督方法的效果。

    一种小样本场景下的自然语言理解方法

    公开(公告)号:CN113326360A

    公开(公告)日:2021-08-31

    申请号:CN202110447496.7

    申请日:2021-04-25

    Abstract: 本发明提出一种小样本场景下的自然语言理解方法,所示方法提出预训练模型语言语义表示、意图识别和槽位识别、引入标签语义,使用线性空间映射方法拉远语义表示距离、建立门控网络并融合槽信息和意图信息以及运用抽象标签转移概率来达到在不同领域中也能快速学习理解的目的;本发明的方法能够在小样本的场景下更好的判断出问题的意图,并识别出问题的槽位,从而良好的解决任务型对话系统的自然语言理解任务下数据不足、数据标注成本和模型迁移代价过高的问题。

    一种基于多任务学习的属性级情感分析方法

    公开(公告)号:CN111414476A

    公开(公告)日:2020-07-14

    申请号:CN202010153639.9

    申请日:2020-03-06

    Abstract: 本发明是一种基于多任务学习的属性级情感分析方法。本发明通过构建多个任务的学习模型,实现属性词抽取及其情感极性判断两个子任务的一站式完成,提高系统性能。通过构建属性词平均长度预测辅助任务降低模型属性词抽取的难度;通过构建情感词抽取和词语级情感极性分类辅助任务增强属性词情感极性判断能力;通过构建文档级文本的情感极性分类和领域分类辅助任务从较大规模语料中引入有效的语义信息;通过显式构建属性词抽取和属性词情感极性判别的特征交互单元使模型能学习到两个子任务之间的相关信息。通过实验验证本发明已达到较优的属性级情感分析性能。

    一种面向医疗领域基于深度学习的命名实体识别方法

    公开(公告)号:CN106202054B

    公开(公告)日:2018-12-14

    申请号:CN201610590151.6

    申请日:2016-07-25

    Abstract: 一种面向医疗领域基于深度学习的命名实体识别方法,本发明涉及命名实体识别方法。本发明是要解决CRF模型由于不考虑语义信息,在训练语料极度缺乏的情况下,标注结果中会出现大量的无意义的标注结果的问题,而提出的一种面向医疗领域基于深度学习的命名实体识别方法。该方法是通过一、得到了补充医疗领域语料的词表voc和词表voc对应的词向量vec;二、利用有标注语料中的训练语料进行长短期记忆单元网络LSTM的训练;三、根据二中的更新的神经网络参数θ进行标注结果的路径查找,得到有标注语料的标注结果;利用命名实体识别评估标准F值对有标注语料中的测试语料的标注结果进行评估等步骤实现的。本发明应用于命名实体识别领域。

Patent Agency Ranking