公开(公告)号：CN119537554A

公开(公告)日：2025-02-28

申请号：CN202411700335.4

申请日：2024-11-25

Applicant: 重庆邮电大学

Inventor： 张璞 ,  黄荣耀 ,  李玉川 ,  林雨

IPC: G06F16/3329 ,  G06F18/23213 ,  G06F18/214 ,  G06N3/0455 ,  G06N3/084 ,  G06N3/0499 ,  G06F17/16 ,  G06F17/18 ,  G06F40/289

Abstract: 本发明属于自然语言处理与参数高效微调领域，具体涉及一种基于低秩自适应矩阵和混合专家的多领域问答任务微调方法，该方法包括：加载数据集并划分；使用句向量模型抽取数据集句向量表示，对句向量使用K均值聚类算法获得类别数N；加载预训练语言模型，冻结原模型参数；在模型中指定的结构旁构建N个非对称的低秩专家模块以及路由模块；将句向量表示作为路由模块输入，路由模块计算专家权重并将不同专家加权求和。所述多领域问答任务微调方法包括低秩自适应矩阵以及混合专家模块。本发明利用低秩自适应矩阵显著降低可训练参数数量，提高训练效率；使用混合专家模块，学习复杂问答任务中不同领域问题的专有知识，提高模型的泛化能力。

公开(公告)号：CN118261156A

公开(公告)日：2024-06-28

申请号：CN202211692066.2

申请日：2022-12-28

Applicant: 重庆邮电大学

Inventor： 张璞 ,  梁文涛 ,  何磊

IPC: G06F40/295 ,  G06F40/30 ,  G06N5/04 ,  G06N3/08 ,  G16H10/60 ,  G06N3/0464

Abstract: 本发明属于自然语言处理领域，具体涉及种结合注意力机制和语义类型过滤进行电子病历的命名实体标准化方法，该方法通过数据的预处理提高准确率，然后输入BERT+BiLSTM+CRF进行实体识别，再将每个识别到的提及和WikiMed数据集中的标准实体计算余弦相似度分数获得初步的候选实体集合。在初步筛选之后，为了进一步缩小候选实体的数量加快推理的速度并且对不适用的标准实体进行提出，本发明使用了语义类型过滤的方法将不同语义类型的候选实体去除。最终，在候选实体排名模块中在提及和候选实体之间结合Self‑Attention以及Cross‑Attention，进一步学习自身和两者间的特征，明显提高了模型的准确率。

公开(公告)号：CN119938928A

公开(公告)日：2025-05-06

申请号：CN202510028268.4

申请日：2025-01-08

Applicant: 重庆邮电大学

Inventor： 张璞 ,  李玉川 ,  林雨 ,  黄荣耀

IPC: G06F16/353 ,  G06F16/334 ,  G06F18/22 ,  G06F18/2415 ,  G06N3/042 ,  G06N3/0895 ,  G06N3/045

Abstract: 本发明属于自然语言处理与对话情绪识别领域，具体涉及一种基于双图注意力神经网络和对比学习的对话情绪识别方法，包括：对数据集进行预处理；将预处理后的数据输入到训练好的对话情绪识别模型中，得到对话中每句发言属于各个情感类别的概率。所述对话情绪识别模型包括双图注意力神经网络模型和对比学习模块，本发明利用包含两个异构图神经网络的双图注意力神经网络模型获取上下文相关的发言情感特征，解决了以往方法中，简单结构的图神经网络提取信息能力弱和复杂结构的图神经网络容易产生噪声的问题；再利用对比学习模块计算经模型提取后的发言特征之间的相似度，并依此计算损失，用于解决以往方法中少样本的情感分类准确率低的问题。

公开(公告)号：CN119539192A

公开(公告)日：2025-02-28

申请号：CN202411701241.9

申请日：2024-11-25

Applicant: 重庆邮电大学

Inventor： 张璞 ,  田哲宇 ,  孙玉辰

IPC: G06Q10/04 ,  G06F18/10 ,  G06F18/214 ,  G06F18/22 ,  G06F18/24 ,  G06N3/0455 ,  G06N3/08 ,  G06F17/16 ,  G06F17/18 ,  G06Q50/18

Abstract: 本发明涉及自然语言处理技术与法律判决预测(LJP)领域，提出了一种基于BERT模型、关键词提取和交叉注意力机制的方法。具体而言，该方法包括：首先，将案件事实描述输入到基于Transformer的关键词提取模型中，提取出法律事实关键词，并将其输入BERT模型以获得向量表示；接着，利用交叉注意力机制将法典语义融入模型，从而对罪名预测、法条预测(分类任务)以及刑期预测(回归任务)进行预测。本发明通过提取上下文相关的关键词并嵌入BERT模型，同时采用交叉注意力机制纳入法典语义，有效解决了传统方法难以准确捕捉关键事件信息的问题，从而提升了LJP各子任务的预测准确性。

公开(公告)号：CN119537609A

公开(公告)日：2025-02-28

申请号：CN202411691328.2

申请日：2024-11-25

Applicant: 重庆邮电大学

Inventor： 张璞 ,  孙玉辰 ,  田哲宇

IPC: G06F16/36 ,  G06F18/214 ,  G06F18/24 ,  G06F18/22 ,  G06F18/25 ,  G06N3/0442 ,  G06N3/048 ,  G06N3/0455 ,  G06N3/0499 ,  G06N3/08

Abstract: 本发明属于自然语言处理技术与虚假新闻的事实核查领域，具体涉及到知识图谱辅助和注意力机制的新型虚假新闻检测的方法，该方法包括：首先从目标新闻文本中抽取数据，识别关键实体并将其链接到知识图谱，通过门控机制得到基于知识图谱的实体嵌入向量；接着，将目标文本中的句子、主题和实体作为输入向量，利用Transformer编码器提取其高阶知识表示；然后，通过多头注意力机制获取更深层次的文本嵌入，包括句子‑实体和句子‑主题的嵌入表示；最后，对比所获取的所有高级知识表示，并将它们一同输入模型，以预测新闻的真实度评分，从而有效甄别潜在的虚假新闻报道。

公开(公告)号：CN117725964A

公开(公告)日：2024-03-19

申请号：CN202311840195.6

申请日：2023-12-28

Applicant: 重庆邮电大学

Inventor： 张璞 ,  韦鑫桥 ,  孙媚蓉

IPC: G06N3/0455 ,  G06N3/047 ,  G06N3/0475 ,  G06N3/042 ,  G06N3/084 ,  G06N3/0985 ,  G06F40/205 ,  G06F40/284

Abstract: 本发明属于自然语言处理技术的文本生成领域，具体涉及一种基于BART模型的多修辞文本生成方法，该方法包括预训练和微调两部分：1.预训练：将大量文本(包括普通句子和修辞句子)以30％掩码概率掩盖文本部分序列作为输入，其对应的完整句子作为标签，额外利用一个BART编码器以VAE(变分自编码器)训练方式编码文本的潜在变量分布，使其趋于标准正态分布，融合编码向量和潜在变量；2.微调：使用少量文本在得到的预训练模型上进行普通文本和修辞文本相互转换训练，使用一种修辞注意力将目标修辞信息注入到原BART编码器中，冻结VAE编码器参数，同时利用一种标签广播网络将全局潜在变量分布转换到目标修辞的局部潜在变量分布。此两阶段均在解码时注入常识知识，使用预训练的双编码器作为常识知识检索器，由检索器得到最佳匹配常识知识。本发明在预训练阶段融合VAE潜在变量使模型能够最大限度地保留文本含义，微调阶段的修辞注意力和标签广播网络提高了源文本转换到目标修辞文本的准确性，使得文本在保留自身含义和转换修辞类型上达到平衡，解码阶段融入常识知识能大幅提升模型性能，多次随机生成服从标准正态分布的潜在变量替换模型生成的固定潜在变量，可以引导模型生成同一类型修辞上的多个不同句子，从而实现多修辞文本生成。

公开(公告)号：CN117708335A

公开(公告)日：2024-03-15

申请号：CN202311826672.3

申请日：2023-12-28

Applicant: 重庆邮电大学

Inventor： 张璞 ,  蔡泽坤 ,  郑思畅

IPC: G06F16/35 ,  G06F40/268 ,  G06F18/2415 ,  G06F18/2431 ,  G06N3/0455 ,  G06N3/042 ,  G06N3/0464 ,  G06N3/084 ,  G06N3/0985

Abstract: 本发明属于自然语言处理技术与情感分析领域，具体涉及一种基于BERT模型和机器阅读理解的情感分析方法，该方法包括：获取情感分析数据，对数据进行预处理；将预处理后的数据输入到BERT模型中，得到上下文相关向量；将上下文向量与其对应的词性进行拼接，然后放入分类器得到影响方面词情感的单词；将上下文向量放入注意力层得到注意力分数矩阵；然后将情感词分类器得到的关系与注意力分数矩阵结合，得到方面词与情感词之间的图网络，然后通过图卷积神经网络，最终输出预测结果；本发明在BERT基础上使用了机器阅读理解的方法解决了情感分析任务。

公开(公告)号：CN114444484A

公开(公告)日：2022-05-06

申请号：CN202210036599.9

申请日：2022-01-13

Applicant: 重庆邮电大学

Inventor： 张璞 ,  张雄 ,  陈小阳

IPC: G06F40/279 ,  G06N3/04 ,  G06N3/08 ,  G06N7/00 ,  G06N5/00

Abstract: 本发明属于自然语言处理领域，具体涉及一种基于双层图的文档级事件抽取方法及系统；该方法包括：获取文档数据，对文档数据进行预处理，得到预处理后的文档数据；将预处理后的文档数据输入到训练好的基于双层图的文档级事件抽取模型中，得到文档级事件抽取结果；本发明通过构建结构图和依赖图这两个图结构使用图卷积神经网络使得实体提及能够捕捉文档全局的特征以及实体之间的依赖特征；通过使用扩展分类器预测事件论元的扩展路径，使用深度优先搜索算法解码出完整的事件记录，最终完成事件的抽取，抽取结果F1值更高，具有广阔的应用前景。

公开(公告)号：CN114398478A

公开(公告)日：2022-04-26

申请号：CN202210047258.1

申请日：2022-01-17

Applicant: 重庆邮电大学

Inventor： 张璞 ,  尘勇 ,  谢传威

IPC: G06F16/34 ,  G06F16/33 ,  G06F40/216 ,  G06F40/289 ,  G06N3/04 ,  G06N3/08 ,  G06N5/02

Abstract: 本发明属于自然语言处理领域，具体涉及一种基于BERT和外部知识的生成式自动文摘方法，包括获取文档数据，并通过TextRank模块获取文档数据对应的关键词；将文档数据输入到BERT模型中进行编码，得到编码后的文档信息；通过关键词从外部知识模块检索外部知识，通过门控机制将外部知识与文档信息进行融合；将融合后的信息输入到Transformer模型进行解码，生成摘要；本发明使用BERT模型对文档数据编码捕捉更多的上下文信息和内部信息，提高编码的质量，使用关键词获取外部知识与文档信息进行融合，用Transformer模型丰富生成文摘的语义，提高生成摘要的流畅性和完整性，生成高质量的摘要。

公开(公告)号：CN114385803A

公开(公告)日：2022-04-22

申请号：CN202210034681.8

申请日：2022-01-13

Applicant: 重庆邮电大学

Inventor： 张璞 ,  谢陈 ,  金诗鸿

IPC: G06F16/332 ,  G06F16/242 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明属于自然语言处理技术与机器阅读理解领域，具体涉及一种基于外部知识和片段选择的抽取式阅读理解方法，包括获取数据并对数据进行预处理；将预处理后数据送入训练好的抽取式阅读理解模型，通过抽取式阅读理解模型输出针对数据的问题的最佳答案；抽取式阅读理解模型包括SpanBERT编码模块、外部知识融合模块以及片段选择模块；本发明采用SpanBERT模型对文本和问题进行处理，处理后判断问题是否可回答，提高了识别不可回答问题的准确率，减少错误概率，同时在SpanBERT模型中利用了融合外部知识信息的多头注意力机制，丰富了文本和问题的特征表示，使用片段选择方法处理文本中存在多个相同答案内容情况，取得更好的模型抽取效果，提升了出去答案的准确率。