一种基于Inception模块的提示微调方法

    公开(公告)号:CN118780341A

    公开(公告)日:2024-10-15

    申请号:CN202410891816.1

    申请日:2024-07-04

    Abstract: 本发明涉及一种基于Inception模块的提示微调方法,通过将一个用于下游任务的提示网络插入预训练模型内部,该网络包含有随机选取预训练模型词表进行初始化的连续提示,以及与连续提示相连接的多个尺寸递增的带有上下投影的瓶颈网络,其形状类似于Inception模块,起到对单一连续提示向量的深度和宽度进行高效扩充的作用。在针对下游任务微调预训练模型时,冻结主干模型使得仅提示网络可以进行参数更新,因提示网络放置于预训练模型的中后部,在反向传播过程中距离较短任务相关信息损失少,同时优化训练时间和内存占用。

    一种基于图神经网络的特定目标情感分类方法

    公开(公告)号:CN111563164B

    公开(公告)日:2022-06-28

    申请号:CN202010379339.2

    申请日:2020-05-07

    Abstract: 本发明涉及一种基于图神经网络的特定目标情感分类任务,包括采集数据集并初始化BERT模型,通过BERT模型得到每个目标词的一维特征向量,将目标词的特征向量输入到图卷积神经网络模型中,构造网络拓扑图,并计算邻接矩阵,根据邻接矩阵通过三种方式来获取网络拓扑图中节点的三种特征,引入关系分类任务,整个模型在分类上分为两个阶段两个任务,两个任务分别是目标主体的情感极性分类和目标主体之间的关系分类。本发明采用图神经网络,对句子中出现的多个主体进行构图,同时对多个目标进行处理,更符合人类判断情感极性的认知规律,有助于保证模型的效果,与此同时引入关系分类任务进行辅助分类,更进一步提升了分类的准确率。

    一种基于历史新闻报道的事件趋势预测方法

    公开(公告)号:CN113159363B

    公开(公告)日:2022-04-19

    申请号:CN202011607205.8

    申请日:2020-12-30

    Abstract: 本发明涉及一种基于历史新闻报道的事件趋势预测方法,首先确定待预测新事件领域,基于公开数据集或网络采集的数据获取同类事件;在每个同类事件内部,将描述同一具体事件的新闻聚类为一个子事件,根据事件内容的关联性和时间先后顺序,获得每个子事件后续事件分布信息;计算同类事件和待预测新事件的相似度获得相似事件;再在相似事件内部通过计算相似度得到当前子事件和相似事件中的子事件的相似度,根据前述两个相似度和事件分布信息,对当前子事件的发展趋势进行预测,本发明方法避免了人工趋势预测的主观性和随意性,能够全面且量化地给出未来事件发展的各种可能,有利于相关人员进行不确定场景下的分析和预测。

    一种基于自信息损失补偿的机器生成文本检测方法

    公开(公告)号:CN112580351B

    公开(公告)日:2022-04-19

    申请号:CN202011631513.4

    申请日:2020-12-31

    Abstract: 本发明涉及一种基于自信息损失补偿的机器生成文本检测方法,包括首先确定细分领域并对爬取到的数据进行清洗,再对数据集中的文本数据进行分词并处理为固定长度,通过词嵌入工具得到文本数据的初始词向量表示矩阵,基于矩阵进行编码获得文本双向信息,然后拼接双向信息,编码逻辑特征并捕获最大特征,对捕获的特征进行自信息损失补偿输入全连接层,本发明方法学习领域文本中的逻辑信息,包括词序逻辑、上下文承接逻辑、句子间主题一致性逻辑等逻辑信息,提高文本分类的准确性。对学习过程中损失的有价值信息利用文本自身信息进行补偿,补足了词序信息丢失这个短板,提升了文本分类准确率,减少了人为操作的工作量。

    一种基于历史新闻报道的事件趋势预测方法

    公开(公告)号:CN113159363A

    公开(公告)日:2021-07-23

    申请号:CN202011607205.8

    申请日:2020-12-30

    Abstract: 本发明涉及一种基于历史新闻报道的事件趋势预测方法,首先确定待预测新事件领域,基于公开数据集或网络采集的数据获取同类事件;在每个同类事件内部,将描述同一具体事件的新闻聚类为一个子事件,根据事件内容的关联性和时间先后顺序,获得每个子事件后续事件分布信息;计算同类事件和待预测新事件的相似度获得相似事件;再在相似事件内部通过计算相似度得到当前子事件和相似事件中的子事件的相似度,根据前述两个相似度和事件分布信息,对当前子事件的发展趋势进行预测,本发明方法避免了人工趋势预测的主观性和随意性,能够全面且量化地给出未来事件发展的各种可能,有利于相关人员进行不确定场景下的分析和预测。

    一种基于图神经网络的特定目标情感分类方法

    公开(公告)号:CN111563164A

    公开(公告)日:2020-08-21

    申请号:CN202010379339.2

    申请日:2020-05-07

    Abstract: 本发明涉及一种基于图神经网络的特定目标情感分类任务,包括采集数据集并初始化BERT模型,通过BERT模型得到每个目标词的一维特征向量,将目标词的特征向量输入到图卷积神经网络模型中,构造网络拓扑图,并计算邻接矩阵,根据邻接矩阵通过三种方式来获取网络拓扑图中节点的三种特征,引入关系分类任务,整个模型在分类上分为两个阶段两个任务,两个任务分别是目标主体的情感极性分类和目标主体之间的关系分类。本发明采用图神经网络,对句子中出现的多个主体进行构图,同时对多个目标进行处理,更符合人类判断情感极性的认知规律,有助于保证模型的效果,与此同时引入关系分类任务进行辅助分类,更进一步提升了分类的准确率。

    一种基于细粒度标注数据的情感判别方法

    公开(公告)号:CN111046171A

    公开(公告)日:2020-04-21

    申请号:CN201910809268.2

    申请日:2019-08-29

    Abstract: 本发明涉及一种基于细粒度标注数据的情感判别方法,方法包括:采集财经新闻数据,将新闻数据划分为标注样例集和未标注样例集,通过标注样例集和未标注样例集对第一分类器和第二分类器进行训练,使第一分类器能够筛选出文章中的关键句,第二分类器判别文章的情感倾向,分别得到第一分类器的模型参数和第二分类器的模型参数,将分类结果中置信度高的数据加入到标注样例集中,并利用主动学习理论,从未标注样例集中选出最值得标注的数据C发给人工进行标注,以此循环训练情感判别模型,直到达到分类精度,训练结束,得到判别模型。

    一种基于改进BERT模型的特定目标情感分类方法

    公开(公告)号:CN110609899A

    公开(公告)日:2019-12-24

    申请号:CN201910809516.3

    申请日:2019-08-29

    Abstract: 本发明涉及一种基于改进BERT模型的特定目标情感分类方法,包括:采集公开或自行构造的数据集,对自行构造的数据集进行人工标注,初始化BERT模型参数后将采集的数据集作为模型的输入,数据集中的句子经过分词处理后全部输入到模型中,得到目标词的编码,对目标词的编码进行进行最大池化处理、全连接层、函数分类得到分类结果,对多目标任务,将全连接输出结果利用神经网络进行不同目标之间的特征组合,然后进行分类。本发明的技术方案在进行特定目标情感分类时,对目标词与整个句子的上下文建立很好地编码联系,提高了分类的准确性和泛化能力。进一步的,将多个目标的分类结果利用神经网络进行串连处理,提取出不同目标之间的内在联系和相互影响。

Patent Agency Ranking