-
公开(公告)号：CN113723106B
公开(公告)日：2024-03-12
申请号：CN202110861340.3
申请日：2021-07-29
Applicant: 北京工业大学
IPC: G06F40/30 , G06F40/284 , G06F40/211 , G06F18/214 , G06F16/35
Abstract: 本发明公开了基于标签扩展的零样本文本分类方法，该方法包括以下两个步骤：步骤一：扩展标签；对数据集的假设标签信息通过专家知识，大型的知识库以及与预训练的语言模型扩充丰富其语义知识。步骤二：零样本文本分类；BERT是基于注意力的双向语言模型，将标识作为输入，BERT通过多层的Transformer编码器获取标识嵌入。将BERT在大型的文本蕴含数据集上进行预训练。对BERT模型进行微调和预训练完成之后，对可见类别的实例S进行训练。照BERT的输入标识规则输入BERT中，BERT提取两句话的特征，最后将特征通过线性层输出两句话蕴含和矛盾的概率。训练完成之后，任意输入测试集的两句话进行蕴含测试。使得标签和文本之间蕴含更多的语义信息来提高泛化的零样本文本分类性能。
-
公开(公告)号：CN113723458B
公开(公告)日：2024-08-13
申请号：CN202110861311.7
申请日：2021-07-29
Applicant: 北京工业大学
IPC: G06F18/214 , G06N3/0464 , G06N3/044 , G06N3/048 , G06F16/35
Abstract: 本发明公开了基于层注意Transformer网络的长文档分类方法，步骤一：提取节级别特征；步骤二：节特征之间的交互；步骤三：获取文档的最终表示；步骤四：长文档分类；在验证和测试集方面，提出的HATN网络模型在F1分数下的所有数据集上都优于所有基线，说明的模型能够捕获文档的长时依赖以及实现不同节之间的更高级别的特征交互，从而提高了文档分类的性能。此外，长文档分类模型MLP over SciBERT、LSTM over SciBERT、Longfromer和HATN比传统方法性能更好，这个结果说明得益于注意力和大量的语料库，预训练语言模型对于文档分类的优越性。HATN模型在所有数据集上都得到了一致的改进，证实了该方法的有效性，因为文档的结构信息和层次交互网络带来了改进。
-
公开(公告)号：CN113723458A
公开(公告)日：2021-11-30
申请号：CN202110861311.7
申请日：2021-07-29
Applicant: 北京工业大学
Abstract: 本发明公开了基于层注意Transformer网络的长文档分类方法，步骤一：提取节级别特征；步骤二：节特征之间的交互；步骤三：获取文档的最终表示；步骤四：长文档分类；在验证和测试集方面，提出的HATN网络模型在F1分数下的所有数据集上都优于所有基线，说明的模型能够捕获文档的长时依赖以及实现不同节之间的更高级别的特征交互，从而提高了文档分类的性能。此外，长文档分类模型MLP over SciBERT、LSTM over SciBERT、Longfromer和HATN比传统方法性能更好，这个结果说明得益于注意力和大量的语料库，预训练语言模型对于文档分类的优越性。HATN模型在所有数据集上都得到了一致的改进，证实了该方法的有效性，因为文档的结构信息和层次交互网络带来了改进。
-
公开(公告)号：CN113723106A
公开(公告)日：2021-11-30
申请号：CN202110861340.3
申请日：2021-07-29
Applicant: 北京工业大学
IPC: G06F40/30 , G06F40/284 , G06F40/211 , G06K9/62 , G06F16/35
Abstract: 本发明公开了基于标签扩展的零样本文本分类方法，该方法包括以下两个步骤：步骤一：扩展标签；对数据集的假设标签信息通过专家知识，大型的知识库以及与预训练的语言模型扩充丰富其语义知识。步骤二：零样本文本分类；BERT是基于注意力的双向语言模型，将标识作为输入，BERT通过多层的Transformer编码器获取标识嵌入。将BERT在大型的文本蕴含数据集上进行预训练。对BERT模型进行微调和预训练完成之后，对可见类别的实例S进行训练。照BERT的输入标识规则输入BERT中，BERT提取两句话的特征，最后将特征通过线性层输出两句话蕴含和矛盾的概率。训练完成之后，任意输入测试集的两句话进行蕴含测试。使得标签和文本之间蕴含更多的语义信息来提高泛化的零样本文本分类性能。
-
-
-
Search Results
4
records
(took 0.016 seconds)
