一种编码网络的训练方法、文本编码方法和系统

    公开(公告)号:CN113095040B

    公开(公告)日:2024-07-16

    申请号:CN202110410042.2

    申请日:2021-04-16

    Inventor: 胡翔 温祖杰

    Abstract: 本说明书实施例提供了一种编码网络的训练方法、文本编码方法和系统,包括:获取训练文本;确定训练文本中的遮罩片段;通过编码模型确定训练文本中的遮罩片段的上文向量表示和下文向量表示;基于上文向量表示和下文向量表示,通过预测模型确定遮罩片段中各字符对应的出现概率;基于包含出现概率项的损失函数更新编码模型和预测模型的参数;其中,编码模型以及预测模型分别具有编码网络,且共享编码网络的参数,还包括:基于所的字符向量序列,通过编码模型进行多次处理以获得文本中两个或以上连续字符组成的字符串的向量表示,编码模型用于接收第一向量表示与第二向量表示,输出组合向量表示及组合概率值。

    韵律预测模型的训练方法及装置、语音合成方法及装置

    公开(公告)号:CN116978354B

    公开(公告)日:2024-04-30

    申请号:CN202310963940.X

    申请日:2023-08-01

    Abstract: 本说明书实施例提供了韵律预测模型的训练方法及装置、语音合成方法及装置。该训练方法包括:利用韵律预测模型包括的编码器对样本字符序列进行编码处理,得到编码结果;利用切分值预测网络处理该编码结果,从而针对各相邻字符之间的各位置,预测得到在该位置处进行语义切分的切分值;基于各位置的切分值,生成表征样本字符序列的句法的第一句法二叉树;利用预训练的结构化语言模型,针对样本字符序列生成第二句法二叉树;基于第一句法二叉树和第二句法二叉树,确定结构损失;以最小化总预测损失为目标,调整该编码器的参数;其中,总预测损失基于结构损失确定、且与结构损失正相关。

    计算机执行、利用神经网络生成依存句法树的方法及装置

    公开(公告)号:CN112016299A

    公开(公告)日:2020-12-01

    申请号:CN202010898079.X

    申请日:2020-08-31

    Abstract: 本说明书实施例了提供一种生成依存句法树的方法及装置。该方法包括:在嵌入层,对待分析句子中各个位置对应的各个字分别进行嵌入处理,得到所述各个字各自的特征向量;在字关系生成层,利用自注意力机制,基于第一字的特征向量和第二字的特征向量,确定第一字到第二字的字间依存度;第一字和第二字为所述待分析句子中两个不同位置的字;在词关系生成层,基于第一词中的字到第二词中的字的字间依存度,确定第一词到第二词的词间依存度,第一词和第二词为所述待分析句子所包含的多个词中的两个不同词;在输出层,基于所述多个词中各词相互的词间依存度,确定依存句法树。该方法可以减少集外词情况的发生,具有较高的新词容错能力。

    句法语言模型的无监督训练方法及装置

    公开(公告)号:CN118014046A

    公开(公告)日:2024-05-10

    申请号:CN202410296243.8

    申请日:2024-03-14

    Inventor: 胡翔 武威 屠可伟

    Abstract: 本说明书实施例提供一种句法语言模型的无监督训练方法及装置,在训练方法中,首先将输入文本输入组合模型进行句法推导,得到最佳句法树。之后,可以对该最佳句法树进行全部层级的遍历,得到文本片段序列。接着可以将文本片段序列中各文本片段的内部表征一起输入生成模型,得到针对各文本片段预测的各动作类别。最后,可以分别基于生成模型输出的动作类别和基于组合模型确定的各文本片段的外部表征,计算第一预测损失和第二预测损失,并基于第一预测损失和第二预测损失的综合损失,调整组合模型和生成模型的参数。

    用于训练及应用机器学习模型的方法、系统、装置和介质

    公开(公告)号:CN115496225A

    公开(公告)日:2022-12-20

    申请号:CN202211192577.8

    申请日:2022-09-28

    Inventor: 胡翔 孔心宇

    Abstract: 公开了一种用于训练机器学习模型的方法,包括获取包括多个句子及其经标注标签集的训练集,生成句子的解析树并生成句子的标签树,确定该句子的总损失,该总损失等于解析树生成损失和标签树生成损失的加权和;以及使用该训练集训练该机器学习模型以最小化该总损失。本申请还涉及用于训练机器学习模型以及使用该机器学习模型处理句子的系统、装置和介质。

    一种编码网络的训练方法、文本编码方法和系统

    公开(公告)号:CN113095040A

    公开(公告)日:2021-07-09

    申请号:CN202110410042.2

    申请日:2021-04-16

    Inventor: 胡翔 温祖杰

    Abstract: 本说明书实施例提供了一种编码网络的训练方法、文本编码方法和系统,包括:获取训练文本;确定训练文本中的遮罩片段;通过编码模型确定训练文本中的遮罩片段的上文向量表示和下文向量表示;基于上文向量表示和下文向量表示,通过预测模型确定遮罩片段中各字符对应的出现概率;基于包含出现概率项的损失函数更新编码模型和预测模型的参数;其中,编码模型以及预测模型分别具有编码网络,且共享编码网络的参数,还包括:基于所的字符向量序列,通过编码模型进行多次处理以获得文本中两个或以上连续字符组成的字符串的向量表示,编码模型用于接收第一向量表示与第二向量表示,输出组合向量表示及组合概率值。

    基于对话系统获取与用户问句对应的反问句的方法和装置

    公开(公告)号:CN111008268B

    公开(公告)日:2021-05-18

    申请号:CN201911054861.7

    申请日:2019-10-31

    Inventor: 姚开盛 胡翔

    Abstract: 本说明书实施例提供了一种基于对话系统获取与用户问句对应的反问句的方法和装置,所述对话系统中预设有与第一标准问题对应的第一反问模块,所述第一反问模块中包括从所述第一标准问题拆分的第一子句和第二子句,所述方法包括:获取第一用户的第一问句;从所述第一问句拆分出第三子句和第四子句;确定所述第三子句与所述第一子句是否匹配;在确定所述第三子句与所述第一子句匹配的情况中,通过合并所述第四子句与所述第一子句获取第二问句;获取所述第二问句与所述第一标准问题的相似度;在所述第二问句与所述第一标准问题的相似度大于预定阈值的情况中,基于所述第一子句获取与所述第一问句对应的反问句。

    扩展问句的召回方法和装置

    公开(公告)号:CN111144098A

    公开(公告)日:2020-05-12

    申请号:CN201911371686.4

    申请日:2019-12-26

    Inventor: 胡翔

    Abstract: 本说明书提供一种扩展问句的召回方法,包括:根据输入问句与每个扩展问句集合的集合关联程度,选择P个扩展问句集合作为候选集合;每个扩展问句集合分别对应于不同的标准问句;P为大于1的自然数;在每个候选集合中,根据所述输入问句与所述候选集合中每个扩展问句的问句关联程度,选择至少一个扩展问句作为所述候选集合的候选扩展问句;基于所有候选集合的候选扩展问句生成召回结果。

    基于对话系统获取与用户问句对应的反问句的方法和装置

    公开(公告)号:CN111008268A

    公开(公告)日:2020-04-14

    申请号:CN201911054861.7

    申请日:2019-10-31

    Inventor: 姚开盛 胡翔

    Abstract: 本说明书实施例提供了一种基于对话系统获取与用户问句对应的反问句的方法和装置,所述对话系统中预设有与第一标准问题对应的第一反问模块,所述第一反问模块中包括从所述第一标准问题拆分的第一子句和第二子句,所述方法包括:获取第一用户的第一问句;从所述第一问句拆分出第三子句和第四子句;确定所述第三子句与所述第一子句是否匹配;在确定所述第三子句与所述第一子句匹配的情况中,通过合并所述第四子句与所述第一子句获取第二问句;获取所述第二问句与所述第一标准问题的相似度;在所述第二问句与所述第一标准问题的相似度大于预定阈值的情况中,基于所述第一子句获取与所述第一问句对应的反问句。

Patent Agency Ranking