公开(公告)号：CN111626056A

公开(公告)日：2020-09-04

申请号：CN202010281724.3

申请日：2020-04-11

Applicant: 中国人民解放军战略支援部队信息工程大学

Inventor： 李邵梅 ,  胡新棒 ,  黄瑞阳 ,  李辉 ,  胡楠 ,  郑洪浩

IPC: G06F40/295 ,  G06F40/284 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明属于命名实体识别技术领域，特别涉及一种基于RoBERTa-BiGRU-LAN模型的中文命名实体识别方法及装置，该方法包括将待处理中文语料转换为字向量序列；将获得的字向量序列输入RoBERTa-BiGRU-LAN模型的第一层BiGRU-LAN，获取融合局部信息的编码序列；将上面获得的编码序列输入RoBERTa-BiGRU-LAN模型的第二层BiGRU-LAN，获取融合全局信息的注意力分布；根据上面获得的注意力分布得到命名实体识别结果。本发明改进字嵌入方法更好地进行中文表征，同时将BiLSTM-CRF改进为BiGRU-LAN，减少了模型的参数，降低模型复杂度，节省了训练时间。

公开(公告)号：CN113849637A

公开(公告)日：2021-12-28

申请号：CN202110985570.0

申请日：2021-08-26

Applicant: 中国人民解放军战略支援部队信息工程大学

Inventor： 于洪涛 ,  胡新棒 ,  李邵梅 ,  张建朋 ,  李继中 ,  黄瑞阳 ,  高超

IPC: G06F16/35 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供一种低噪声干扰的有监督关系抽取方法及装置。该方法包括：将待处理的语料转换为向量化的形式，得到编码序列；将所述编码序列送入MogrifierBiGRU‑GateAttention‑softmax中的第二层MogrifierBiGRU，得到融入上下文信息的编码序列；将所述融入上下文信息的编码序列送入MogrifierBiGRU‑GateAttention‑softmax中的第三层GateAttention，剔除任务无关信息，并聚合筛选结果，得到句向量；将所述句向量送入softmax，得到关系抽取结果。本发明改进了现有的BiGRU编码器以提高其特征抽取能力，设计了门控注意力层，并提出了两种门控策略去除句中任务无关词，能够在上下文信息建模的同时，减少噪声干扰。此外，无需语言工具进行数据预处理，减少了误差传播的影响。

公开(公告)号：CN111626056B

公开(公告)日：2023-04-07

申请号：CN202010281724.3

申请日：2020-04-11

Applicant: 中国人民解放军战略支援部队信息工程大学

Inventor： 李邵梅 ,  胡新棒 ,  黄瑞阳 ,  李辉 ,  胡楠 ,  郑洪浩

IPC: G06F40/295 ,  G06F40/284 ,  G06N3/0442 ,  G06N3/048 ,  G06N3/045 ,  G06N3/082

Abstract: 本发明属于命名实体识别技术领域，特别涉及一种基于RoBERTa‑BiGRU‑LAN模型的中文命名实体识别方法及装置，该方法包括将待处理中文语料转换为字向量序列；将获得的字向量序列输入RoBERTa‑BiGRU‑LAN模型的第一层BiGRU‑LAN，获取融合局部信息的编码序列；将上面获得的编码序列输入RoBERTa‑BiGRU‑LAN模型的第二层BiGRU‑LAN，获取融合全局信息的注意力分布；根据上面获得的注意力分布得到命名实体识别结果。本发明改进字嵌入方法更好地进行中文表征，同时将BiLSTM‑CRF改进为BiGRU‑LAN，减少了模型的参数，降低模型复杂度，节省了训练时间。