-
公开(公告)号:CN113326689A
公开(公告)日:2021-08-31
申请号:CN202010128327.2
申请日:2020-02-28
Applicant: 中国科学院声学研究所 , 国家计算机网络与信息安全管理中心
IPC: G06F40/205 , G06F40/211 , G06N20/00 , G06K9/62
Abstract: 本发明属于数据通信和数据处理技术领域,具体涉及一种基于深度强化学习模型的数据清洗方法,该方法包括:获取待清洗的带标签的数据集;采用预筛选算法,删除待清洗的带标签的数据集中的无内容数据、不在标签集内的标签数据和标签矛盾的数据,获得待分类的数据集;将待分类的数据集输入至预先训练的深度强化学习模型中,获得不同类别的延迟奖励;再根据获得的不同类别的延迟奖励,依据预先训练的深度强化学习模型中的动作集合,丢弃掉有偏数据,保留有效数据,并更新状态列表S,最大化每一类别的延迟奖励值,将每一类别的最大延迟奖励值对应的带标签的训练数据集作为清洗干净的带标签的训练数据集,从而完成数据清洗。
-
公开(公告)号:CN112989839A
公开(公告)日:2021-06-18
申请号:CN201911309397.1
申请日:2019-12-18
Applicant: 中国科学院声学研究所 , 国家计算机网络与信息安全管理中心
IPC: G06F40/30 , G06F40/284
Abstract: 本发明属于自然语言处理技术领域,具体涉及一种基于关键词特征嵌入语言模型的意图识别方法,包括:采用前后向最大分词算法,对提取的有效文本的语言信息进行分词,获得不同类别的分词结果;针对获得的不同类别的分词结果,获得不同类别的分词结果对应的候选意图相关的关键词列表;剔除每一种类别的分词结果对应的候选意图相关的关键词列表中的通用高频词和领域无关词,获得每一种类别的分词结果对应的最终关键词表,进而获得不同的关键词特征向量;将获得的每一个关键词特征向量嵌入至预先训练好的语言模型,获得带有关键词特征的有效文本的语音信息;并对其进行编码和分类,获得该有效文本的语言信息的意图识别结果。
-
公开(公告)号:CN113420111A
公开(公告)日:2021-09-21
申请号:CN202110674586.X
申请日:2021-06-17
Applicant: 中国科学院声学研究所 , 国家计算机网络与信息安全管理中心
IPC: G06F16/33 , G06F16/332 , G06F40/126 , G06F40/289 , G06F40/30 , G06K9/62 , G06N3/02
Abstract: 本申请实施例公开了一种用于多跳推理问题的智能问答方法及装置,方法包括:获取问题文本;对问题文本进行语义编码,获得问题文本的语义编码表示;根据问题文本的语义编码表示,确定第一预测结果,第一预测结果为问题文本的至少一个问题主体所在位置的预测结果;根据问题文本的语义编码表示,确定第二预测结果,第二预测结果为问题文本的至少一个问题关系的预测结果;根据第一预测结果和第二预测结果,生成子问题文本,子问题文本包括至少一个子问题;根据筛选文档,对至少一个子问题依次进行回答,获得与至少一个子问题对应的答案,筛选文档包括至少一个子问题对应的答案;根据至少一个子问题对应的答案,确定问题文本的最终答案。
-
公开(公告)号:CN113420111B
公开(公告)日:2023-08-11
申请号:CN202110674586.X
申请日:2021-06-17
Applicant: 中国科学院声学研究所 , 国家计算机网络与信息安全管理中心
IPC: G06F16/33 , G06F16/332 , G06F40/126 , G06F40/289 , G06F40/30 , G06F18/24 , G06N3/02
Abstract: 本申请实施例公开了一种用于多跳推理问题的智能问答方法及装置,方法包括:获取问题文本;对问题文本进行语义编码,获得问题文本的语义编码表示;根据问题文本的语义编码表示,确定第一预测结果,第一预测结果为问题文本的至少一个问题主体所在位置的预测结果;根据问题文本的语义编码表示,确定第二预测结果,第二预测结果为问题文本的至少一个问题关系的预测结果;根据第一预测结果和第二预测结果,生成子问题文本,子问题文本包括至少一个子问题;根据筛选文档,对至少一个子问题依次进行回答,获得与至少一个子问题对应的答案,筛选文档包括至少一个子问题对应的答案;根据至少一个子问题对应的答案,确定问题文本的最终答案。
-
公开(公告)号:CN113326689B
公开(公告)日:2023-08-18
申请号:CN202010128327.2
申请日:2020-02-28
Applicant: 中国科学院声学研究所 , 国家计算机网络与信息安全管理中心
IPC: G06F40/205 , G06F40/211 , G06F18/214 , G06F18/2415 , G06N3/045 , G06N3/092
Abstract: 本发明属于数据通信和数据处理技术领域,具体涉及一种基于深度强化学习模型的数据清洗方法,该方法包括:获取待清洗的带标签的数据集;采用预筛选算法,删除待清洗的带标签的数据集中的无内容数据、不在标签集内的标签数据和标签矛盾的数据,获得待分类的数据集;将待分类的数据集输入至预先训练的深度强化学习模型中,获得不同类别的延迟奖励;再根据获得的不同类别的延迟奖励,依据预先训练的深度强化学习模型中的动作集合,丢弃掉有偏数据,保留有效数据,并更新状态列表S,最大化每一类别的延迟奖励值,将每一类别的最大延迟奖励值对应的带标签的训练数据集作为清洗干净的带标签的训练数据集,从而完成数据清洗。
-
公开(公告)号:CN113420123B
公开(公告)日:2025-01-14
申请号:CN202110705729.9
申请日:2021-06-24
Applicant: 中国科学院声学研究所 , 国家计算机网络与信息安全管理中心
IPC: G06F16/3329 , G06F16/334 , G06F18/214 , G06N3/02
Abstract: 本申请提供了一种语言模型的训练方法、NLP任务处理方法及装置,包括:获取训练样本集;训练样本集包括新任务的第一任务标签、新任务的多个第一训练文本和每个第一训练文本的第一文本标签、至少一个旧任务中每个旧任务的第二任务标签;复制语言模型得到教师语言模型,将语言模型作为学生语言模型;将第二任务标签输入至教师语言模型中,生成旧任务对应的多个第二训练文本和每个第二训练文本的第二文本标签;将第一任务标签、第二任务标签、第一训练文本和第二训练文本输入至学生语言模型中,生成第一预测文本、第一预测结果、第二预测文本和第二预测结果,对学生语言模型进行训练。根据本申请实施例,能够解决相关技术中存储资源占用大的问题。
-
公开(公告)号:CN113420123A
公开(公告)日:2021-09-21
申请号:CN202110705729.9
申请日:2021-06-24
Applicant: 中国科学院声学研究所 , 国家计算机网络与信息安全管理中心
IPC: G06F16/33 , G06F16/332 , G06K9/62 , G06N3/02
Abstract: 本申请提供了一种语言模型的训练方法、NLP任务处理方法及装置,包括:获取训练样本集;训练样本集包括新任务的第一任务标签、新任务的多个第一训练文本和每个第一训练文本的第一文本标签、至少一个旧任务中每个旧任务的第二任务标签;复制语言模型得到教师语言模型,将语言模型作为学生语言模型;将第二任务标签输入至教师语言模型中,生成旧任务对应的多个第二训练文本和每个第二训练文本的第二文本标签;将第一任务标签、第二任务标签、第一训练文本和第二训练文本输入至学生语言模型中,生成第一预测文本、第一预测结果、第二预测文本和第二预测结果,对学生语言模型进行训练。根据本申请实施例,能够解决相关技术中存储资源占用大的问题。
-
公开(公告)号:CN114996479A
公开(公告)日:2022-09-02
申请号:CN202210707870.7
申请日:2022-06-21
Applicant: 中国科学院声学研究所
IPC: G06F16/36 , G06F16/332 , G06N3/04 , G06N3/08
Abstract: 本申请提供一种基于增强技术的对话状态追踪方法,包括:获取数据库和已知领域对话状态追踪模型;利用数据增强技术从数据库和已知领域训练样本获取新领域本轮对话文本、上轮对话状态、本轮对话状态标签;使用槽位值类别预测器预测新槽位的类型,输出本轮对话文本编码矩阵;利用特征增强技术对本轮对话文本编码矩阵提取多个上下文特征向量;根据预测的槽位类型、多个上下文特征向量在槽位值解码器中解码得到新槽位值,将上轮对话状态中的槽位值进行更新得到本轮对话状态;比较本轮对话状态与本轮对话状态标签的差异并梯度回传,采用神经网络技术迭代训练对话状态追踪模型以减少差异,该模型能够实现新领域的当前轮次会话状态追踪。
-
公开(公告)号:CN114996479B
公开(公告)日:2024-08-09
申请号:CN202210707870.7
申请日:2022-06-21
Applicant: 中国科学院声学研究所
IPC: G06F16/36 , G06F16/332 , G06N3/0464 , G06N3/042 , G06N3/08
Abstract: 本申请提供一种基于增强技术的对话状态追踪方法,包括:获取数据库和已知领域对话状态追踪模型;利用数据增强技术从数据库和已知领域训练样本获取新领域本轮对话文本、上轮对话状态、本轮对话状态标签;使用槽位值类别预测器预测新槽位的类型,输出本轮对话文本编码矩阵;利用特征增强技术对本轮对话文本编码矩阵提取多个上下文特征向量;根据预测的槽位类型、多个上下文特征向量在槽位值解码器中解码得到新槽位值,将上轮对话状态中的槽位值进行更新得到本轮对话状态;比较本轮对话状态与本轮对话状态标签的差异并梯度回传,采用神经网络技术迭代训练对话状态追踪模型以减少差异,该模型能够实现新领域的当前轮次会话状态追踪。
-
-
-
-
-
-
-
-