公开(公告)号：CN117217228A

公开(公告)日：2023-12-12

申请号：CN202311083475.7

申请日：2023-08-25

Applicant: 嵩山实验室 ,  中国人民解放军战略支援部队信息工程大学

Inventor： 胡楠 ,  李邵梅 ,  李鹏 ,  张建朋 ,  石宪 ,  贵恒 ,  杨瑞 ,  李丽

IPC: G06F40/30 ,  G06N3/0985 ,  G06F16/35 ,  G06F40/216 ,  G06F40/289 ,  G06F40/295

Abstract: 本申请提出了一种基于标签语义的神经网络权重初始化方法，该方法包括：获取当前待处理的自然语言处理任务和样本数据；通过在预训练后进行微调的方式获得初始自然语言处理模型，并根据自然语言处理任务的类型确定样本数据的标签；根据自然语言处理任务的类型，通过相应的语义嵌入方式将标签的语义信息引入至输出层神经网络的初始化参数中，对神经网络的权重参数进行初始化；将获得的初始化权重矩阵载入初始自然语言处理模型中进行再次训练，并通过最终自然语言处理模型对待处理的文本进行处理。该方法利用不同类别标签的语义信息对输出层神经网络的参数进行初始化，能够提高执行自然语言处理任务的精确度。

公开(公告)号：CN111626056A

公开(公告)日：2020-09-04

申请号：CN202010281724.3

申请日：2020-04-11

Applicant: 中国人民解放军战略支援部队信息工程大学

Inventor： 李邵梅 ,  胡新棒 ,  黄瑞阳 ,  李辉 ,  胡楠 ,  郑洪浩

IPC: G06F40/295 ,  G06F40/284 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明属于命名实体识别技术领域，特别涉及一种基于RoBERTa-BiGRU-LAN模型的中文命名实体识别方法及装置，该方法包括将待处理中文语料转换为字向量序列；将获得的字向量序列输入RoBERTa-BiGRU-LAN模型的第一层BiGRU-LAN，获取融合局部信息的编码序列；将上面获得的编码序列输入RoBERTa-BiGRU-LAN模型的第二层BiGRU-LAN，获取融合全局信息的注意力分布；根据上面获得的注意力分布得到命名实体识别结果。本发明改进字嵌入方法更好地进行中文表征，同时将BiLSTM-CRF改进为BiGRU-LAN，减少了模型的参数，降低模型复杂度，节省了训练时间。

公开(公告)号：CN113870042A

公开(公告)日：2021-12-31

申请号：CN202111144429.4

申请日：2021-09-28

Applicant: 中国人民解放军战略支援部队信息工程大学

Inventor： 张建朋 ,  李辉 ,  陈福才 ,  黄瑞阳 ,  李邵梅 ,  高超 ,  赵家乐 ,  胡楠

IPC: G06Q50/00

Abstract: 本发明属于局部扩展社区发现技术领域，特别涉及一种基于网络motif的局部高阶社区发现方法及装置，该方法包括基于motif的高阶邻接矩阵与基于边的一阶邻接矩阵进行融合，得到权重矩阵；在网络中选择优质的种子节点；将挑选出的每一个种子进行扩展，得到种子的局部社区结构；对上面得到的社区进行优化处理。本发明在寻找优质种子节点以及局部扩展的过程中将网络的低阶信息和高阶信息进行融合，更好地利用网络信息挖掘更优的种子节点以及节点的局部社区结构，从而提高了社区划分的精度。

公开(公告)号：CN117952176A

公开(公告)日：2024-04-30

申请号：CN202310536211.6

申请日：2023-05-12

Applicant: 中国人民解放军战略支援部队信息工程大学 ,  嵩山实验室

Inventor： 李邵梅 ,  李锦玲 ,  黄瑞阳 ,  胡楠 ,  高超 ,  张建朋 ,  郭康

IPC: G06N3/082 ,  G06N3/0455 ,  G06F40/211 ,  G06F40/284 ,  G06F40/268 ,  G06F40/30

Abstract: 本发明提供给一种用于序列标注任务的Bert模型微调方法。该方法包括：定义token的层次化标签，记作{tag1,tag2,tag3,…,tagn,tag}；其中，tag表示token的原始类别标记，tag1,tag2,tag3,…,tagn表示新增的token的其他语义信息标记，n表示标记所在层次；token表示待标注文本序列中的字或词；新增n个解码器，所述n个解码器分别与Bert模型中最后一层编码器的前n层编码器一一对应连接，使得对应层编码器的输出作为与其连接的解码器的输入；其中，第n个解码器的解码结果对应层次化标签中的第n层标记。

公开(公告)号：CN111626056B

公开(公告)日：2023-04-07

申请号：CN202010281724.3

申请日：2020-04-11

Applicant: 中国人民解放军战略支援部队信息工程大学

Inventor： 李邵梅 ,  胡新棒 ,  黄瑞阳 ,  李辉 ,  胡楠 ,  郑洪浩

IPC: G06F40/295 ,  G06F40/284 ,  G06N3/0442 ,  G06N3/048 ,  G06N3/045 ,  G06N3/082

Abstract: 本发明属于命名实体识别技术领域，特别涉及一种基于RoBERTa‑BiGRU‑LAN模型的中文命名实体识别方法及装置，该方法包括将待处理中文语料转换为字向量序列；将获得的字向量序列输入RoBERTa‑BiGRU‑LAN模型的第一层BiGRU‑LAN，获取融合局部信息的编码序列；将上面获得的编码序列输入RoBERTa‑BiGRU‑LAN模型的第二层BiGRU‑LAN，获取融合全局信息的注意力分布；根据上面获得的注意力分布得到命名实体识别结果。本发明改进字嵌入方法更好地进行中文表征，同时将BiLSTM‑CRF改进为BiGRU‑LAN，减少了模型的参数，降低模型复杂度，节省了训练时间。