基于标签扩展的零样本文本分类方法

    公开(公告)号:CN113723106B

    公开(公告)日:2024-03-12

    申请号:CN202110861340.3

    申请日:2021-07-29

    Abstract: 本发明公开了基于标签扩展的零样本文本分类方法,该方法包括以下两个步骤:步骤一:扩展标签;对数据集的假设标签信息通过专家知识,大型的知识库以及与预训练的语言模型扩充丰富其语义知识。步骤二:零样本文本分类;BERT是基于注意力的双向语言模型,将标识作为输入,BERT通过多层的Transformer编码器获取标识嵌入。将BERT在大型的文本蕴含数据集上进行预训练。对BERT模型进行微调和预训练完成之后,对可见类别的实例S进行训练。照BERT的输入标识规则输入BERT中,BERT提取两句话的特征,最后将特征通过线性层输出两句话蕴含和矛盾的概率。训练完成之后,任意输入测试集的两句话进行蕴含测试。使得标签和文本之间蕴含更多的语义信息来提高泛化的零样本文本分类性能。

    一种基于多块收缩自动编码器的发酵过程故障监测方法

    公开(公告)号:CN111324110A

    公开(公告)日:2020-06-23

    申请号:CN202010205127.2

    申请日:2020-03-20

    Inventor: 刘腾飞 高学金

    Abstract: 本发明公开了一种对青霉素发酵过程进行实时故障监测的新方法,包括“离线建模”和“在线监测”两个阶段。“离线建模”包括:首先将历史三维数据展开为二维数据矩阵,使用互信息(MI)对累积误差数据进行相关子块划分,在此基础上,利用收缩自编码器(CAE)对每个子空间进行建模和监测;“在线监测”包括:对新采集的数据按照模型进行处理,计算其统计量并与控制限进行比较判断发酵过程是否运行正常,最终构造综合统计量将不同子空间监测结果融合在一起,进行综合分析。本发明使用累积误差和互信息构造子块,有效降低了系统复杂度且提高了故障监测灵敏度;分块监测模型反映了过程更多的局部信息,故障更容易被监测到。

    一种预制钢筋混凝土空心桥墩承插式节点连接构造及作法

    公开(公告)号:CN110886202A

    公开(公告)日:2020-03-17

    申请号:CN201911176790.8

    申请日:2019-11-26

    Abstract: 本发明公开了一种预制钢筋混凝土空心桥墩承插式节点连接构造及作法,该构造的构件一为预制承台,承台浇筑时留有相应的墩柱槽洞,便于与墩柱连接,同时在承插位置处,锚固于承台中,深入孔洞处的钢筋,构件二为预制空心墩柱,墩柱底部用钢板焊接,钢板在相应位置留有孔洞,便于承台锚固钢筋伸入,可明显增加墩柱与承台的整体连接性能,同时墩柱与承台在对应位置设置斜向钢锲,墩柱插入后,旋转具有自锁功能,可不使用临时支撑进行加固,便于施工。同时墩柱与承台表面设置界面波纹,增加连接和抗剪性能,墩柱与承台空隙采用UHPC进行灌缝,极大程度的满足承插连接质量,同时达到早期强度高,能够快速施工的性能。且操作简便,施工容易,质量可控。

    基于层注意Transformer网络的长文档分类方法

    公开(公告)号:CN113723458B

    公开(公告)日:2024-08-13

    申请号:CN202110861311.7

    申请日:2021-07-29

    Abstract: 本发明公开了基于层注意Transformer网络的长文档分类方法,步骤一:提取节级别特征;步骤二:节特征之间的交互;步骤三:获取文档的最终表示;步骤四:长文档分类;在验证和测试集方面,提出的HATN网络模型在F1分数下的所有数据集上都优于所有基线,说明的模型能够捕获文档的长时依赖以及实现不同节之间的更高级别的特征交互,从而提高了文档分类的性能。此外,长文档分类模型MLP over SciBERT、LSTM over SciBERT、Longfromer和HATN比传统方法性能更好,这个结果说明得益于注意力和大量的语料库,预训练语言模型对于文档分类的优越性。HATN模型在所有数据集上都得到了一致的改进,证实了该方法的有效性,因为文档的结构信息和层次交互网络带来了改进。

    基于跨模态多粒度交互融合的长文档分类方法及装置

    公开(公告)号:CN116522275A

    公开(公告)日:2023-08-01

    申请号:CN202310301100.7

    申请日:2023-03-24

    Abstract: 基于跨模态多粒度交互融合的长文档分类方法及装置,能够有效弥补现有方法对视觉信息的忽视,通过引入特征偏移网络在不同粒度实现跨模态的交互和融合,控制计算复杂度,达到分类准确率和分类效率的平衡。方法包括:(1)输入一个长文档中对应的文本序列,以及对应的单张或多张图片;(2)分别通过预训练编码器BERT和VGG‑16提取对应模态的多粒度特征表示;(3)使用多模态协同池化模块,在视觉信息和文本信息的协同引导下池化细粒度文本特征;(4)使用跨模态特征偏移网络,分别在4个不同的粒度组合下实现跨模态特征的交互和融合;(5)使用特征聚合网络实现多空间特征的融合,并获得最终的长文档分类结果。

    基于层注意Transformer网络的长文档分类方法

    公开(公告)号:CN113723458A

    公开(公告)日:2021-11-30

    申请号:CN202110861311.7

    申请日:2021-07-29

    Abstract: 本发明公开了基于层注意Transformer网络的长文档分类方法,步骤一:提取节级别特征;步骤二:节特征之间的交互;步骤三:获取文档的最终表示;步骤四:长文档分类;在验证和测试集方面,提出的HATN网络模型在F1分数下的所有数据集上都优于所有基线,说明的模型能够捕获文档的长时依赖以及实现不同节之间的更高级别的特征交互,从而提高了文档分类的性能。此外,长文档分类模型MLP over SciBERT、LSTM over SciBERT、Longfromer和HATN比传统方法性能更好,这个结果说明得益于注意力和大量的语料库,预训练语言模型对于文档分类的优越性。HATN模型在所有数据集上都得到了一致的改进,证实了该方法的有效性,因为文档的结构信息和层次交互网络带来了改进。

    基于标签扩展的零样本文本分类方法

    公开(公告)号:CN113723106A

    公开(公告)日:2021-11-30

    申请号:CN202110861340.3

    申请日:2021-07-29

    Abstract: 本发明公开了基于标签扩展的零样本文本分类方法,该方法包括以下两个步骤:步骤一:扩展标签;对数据集的假设标签信息通过专家知识,大型的知识库以及与预训练的语言模型扩充丰富其语义知识。步骤二:零样本文本分类;BERT是基于注意力的双向语言模型,将标识作为输入,BERT通过多层的Transformer编码器获取标识嵌入。将BERT在大型的文本蕴含数据集上进行预训练。对BERT模型进行微调和预训练完成之后,对可见类别的实例S进行训练。照BERT的输入标识规则输入BERT中,BERT提取两句话的特征,最后将特征通过线性层输出两句话蕴含和矛盾的概率。训练完成之后,任意输入测试集的两句话进行蕴含测试。使得标签和文本之间蕴含更多的语义信息来提高泛化的零样本文本分类性能。

Patent Agency Ranking