一种基于全局-局部对比学习的跨语言自然语言理解方法

    公开(公告)号:CN116227498B

    公开(公告)日:2025-05-13

    申请号:CN202211571399.X

    申请日:2022-12-08

    Abstract: 本发明涉及一种基于全局‑局部对比学习的跨语言自然语言理解方法,属于自然语言处理技术领域。该方法针对自然语言理解模型的高性能跨语言迁移需求,研究基于全局‑局部对比学习网络的跨语言自然语言理解方法,主要包括三个模块:局部句子级意图对比学习模块,针对意图检测任务实现跨语言句子表示对齐;局部字符级槽位对比学习模块,针对槽位填充任务实现跨语言字符表示对齐;语义级全局意图‑槽位对比学习模块,实现意图和槽位间的表示对齐。本发明能够学习不同层级的细粒度对齐信息,挖掘出丰富的语义特征,缩小原始语言与目标语言之间的预测差异。

    基于多头注意力机制和时延神经网络的语音识别方法

    公开(公告)号:CN117672218A

    公开(公告)日:2024-03-08

    申请号:CN202311591964.3

    申请日:2023-11-27

    Abstract: 本发明涉及一种基于多头注意力机制和时延神经网络的语音识别方法,属于语音识别技术领域。本发明针对已有低资源语音识别模型单一,长序列上下文依赖捕获能力差、局部特征提取能力不足的问题。本发明将通过对比学习、时延神经网络等方法提高自监督低资源语音识别模型特征提取能力。针对目标域标注数据稀缺的情景,传统的低资源语音识别模型由于训练数据和测试数据的不匹配的影响,通常难以在高维潜在空间中找到更加理想的片段语音到字元的维特比对齐,最终导致了模型的健壮性不理想。本研究拟定通过数据增强的方法对未标注数据进行理想分布拓展,降低了未标注数据的概念偏移量,加强了未标注数据的可靠性。

    一种基于全局-局部对比学习的跨语言自然语言理解方法

    公开(公告)号:CN116227498A

    公开(公告)日:2023-06-06

    申请号:CN202211571399.X

    申请日:2022-12-08

    Abstract: 本发明涉及一种基于全局‑局部对比学习的跨语言自然语言理解方法,属于自然语言处理技术领域。该方法针对自然语言理解模型的高性能跨语言迁移需求,研究基于全局‑局部对比学习网络的跨语言自然语言理解方法,主要包括三个模块:局部句子级意图对比学习模块,针对意图检测任务实现跨语言句子表示对齐;局部字符级槽位对比学习模块,针对槽位填充任务实现跨语言字符表示对齐;语义级全局意图‑槽位对比学习模块,实现意图和槽位间的表示对齐。本发明能够学习不同层级的细粒度对齐信息,挖掘出丰富的语义特征,缩小原始语言与目标语言之间的预测差异。

    一种基于重参数化交叉并行卷积神经网络的说话人识别方法

    公开(公告)号:CN116030802A

    公开(公告)日:2023-04-28

    申请号:CN202310018504.5

    申请日:2023-01-06

    Abstract: 本发明涉及一种基于重参数化交叉并行卷积神经网络的说话人识别方法,属于语音识别领域,包括以下步骤:S1:构建结构重参数化卷积网络RepCNN;S2:基于RepCNN搭建交叉平行卷积神经网络;S3:采用两个不同三角滤波器个数的梅尔滤波器组从说话人的语音帧中提取两个不同频域分辨率的特征S4:以作为交叉平行卷积神经网络的输入,输出增强特征和S5:将特征和进行特征融合,输出说话人深层特征向量。本发明降低了模型对计算资源的依赖,提升了模型运算速率和准确性的同时,实现了网络模型的轻量化。

Patent Agency Ranking