公开(公告)号：CN117009525A

公开(公告)日：2023-11-07

申请号：CN202310994477.5

申请日：2023-08-08

Applicant: 山东省计算中心(国家超级计算济南中心) ,  齐鲁工业大学(山东省科学院)

Inventor： 李钊 ,  居正雨 ,  陈通 ,  展一鸣 ,  王灿俊 ,  张超 ,  王瑞霜

IPC: G06F16/35 ,  G06F40/30 ,  G06F18/2415 ,  G06F18/22 ,  G06F18/27 ,  G06N3/0464 ,  G06N3/084 ,  G06N3/042 ,  G06N5/04

Abstract: 本发明属于文本分类技术领域，提供了基于提示学习的虚拟类表示的小样本文本分类方法及系统，其方案为：将原始文本序列和提示模板整合，将文本分类任务转化为完形填空任务，得到整合后的带有MASK的输入序列；基于整合后的带有MASK的输入序列和预训练语言模型，得到MASK位置的最后一层隐藏层的回归值；为每一类设计一个相同长度的随机数字作为类的虚拟表示，随机初始化一个嵌入机制，并将虚拟类表示放入随机初始化嵌入机制得到类的初始表示；基于类的初始表示进行多维度特征提取得到每一个类表示向量；将MASK位置的最后一层隐藏层的回归值和每一个类表示向量求余弦相似度，将求得的相似度向量最大值的索引作为最终的分类预测结果。

公开(公告)号：CN117473386A

公开(公告)日：2024-01-30

申请号：CN202311437250.7

申请日：2023-10-31

Applicant: 山东省计算中心(国家超级计算济南中心) ,  齐鲁工业大学(山东省科学院)

Inventor： 居正雨 ,  李钊 ,  陈通 ,  展一鸣 ,  赵秀浩 ,  张超 ,  王灿俊

IPC: G06F18/241 ,  G06F18/213 ,  G06N3/0464 ,  G06N3/08 ,  G06F18/27

Abstract: 本发明提出了一种基于差异化提示字符的分层级文本分类方法及系统，涉及文本分类技术领域，设计一个预置多个占位符的分层级预测提示模版；分别对第一层级的类别集合和第二层级的类别集合进行语义特征提取与聚合，得到第一层级和第二层级的差异化提示字符；将待分类文本、第一层级和第二层级的差异化提示字符填充到分层级预测提示模版的相应占位符中，得到待预测序列；将待预测序列输入到预训练语言模型中，对第一层级类别掩码和第二层级类别掩码进行预测，得到最终的预测结果。本发明基于设计的分层级预测提示模版，使用提示学习，在小样本背景下，将文本分类的问题转化为完形填空问题，基于对预训练语言模型的知识挖掘，实现分层级的文本分类任务。

公开(公告)号：CN115391513A

公开(公告)日：2022-11-25

申请号：CN202211063932.1

申请日：2022-08-31

Applicant: 山东省计算中心(国家超级计算济南中心)

Inventor： 赵秀浩 ,  李钊 ,  吴士伟 ,  李晓 ,  王瑞霜 ,  王灿俊

IPC: G06F16/332 ,  G06F16/33 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明属于问答匹配技术领域，提供了一种基于问题对匹配和问答对匹配的问答匹配方法及系统，在获取问题后，先通过预设的问句‑问句匹配模型，得到问题中的问句向量表示和预设问答库中问句的向量表示，在此基础上计算问题中的问句和预设问答库中问句之间的相似度，对问答库进行初步筛选；然后，再通过预设的问句‑答案匹配模型，得到问题中的问句向量表示和筛选后问答库中答案的向量表示，在此基础上，计算问题中的问句和筛选后问答库中答案之间的相似度，并将相似度得分最高的问答对作为获取问题最终匹配的问答对；在问答对匹配过程中，两次相似度计算实现了对问答对的初步筛选和最终确定，提高了相似度计算的精度，保证了匹配效果。