公开(公告)号：CN118607511B

公开(公告)日：2024-11-26

申请号：CN202411081248.5

申请日：2024-08-08

Applicant: 之江实验室

Inventor： 卢成梁 ,  李亮 ,  许浩 ,  林志农

IPC: G06F40/205 ,  G06N3/0442 ,  G06N3/0455 ,  G06N3/084

Abstract: 本发明公开了一种基于蒸馏提升BERT的财经新闻情感分析方法和装置，方法包括以下步骤：利用大语言模型构建情感感知摘要数据集；对BERT模型进行领域自适应预训练；构建包括预训练后的BERT模型、双向GRU网络和基于注意力机制的指针网络的情绪语句摘要任务模型，对情感语句摘要任务模型进行微调；利用大语言模型对预训练后的BERT模型进行知识蒸馏；利用微调后的情感语句摘要任务模型和知识蒸馏后的BERT模型进行情感类别分析。本发明能够将大语言模型的情感分析能力迁移到训练硬件需求更小、更易部署、计算效率更高的BERT模型上，提高财经新闻情感分析的效率和准确性，为用户提供更有价值的情感分析结果。

公开(公告)号：CN118607511A

公开(公告)日：2024-09-06

申请号：CN202411081248.5

申请日：2024-08-08

Applicant: 之江实验室

Inventor： 卢成梁 ,  李亮 ,  许浩 ,  林志农

IPC: G06F40/205 ,  G06N3/0442 ,  G06N3/0455 ,  G06N3/084

Abstract: 本发明公开了一种基于蒸馏提升BERT的财经新闻情感分析方法和装置，方法包括以下步骤：利用大语言模型构建情感感知摘要数据集；对BERT模型进行领域自适应预训练；构建包括预训练后的BERT模型、双向GRU网络和基于注意力机制的指针网络的情绪语句摘要任务模型，对情感语句摘要任务模型进行微调；利用大语言模型对预训练后的BERT模型进行知识蒸馏；利用微调后的情感语句摘要任务模型和知识蒸馏后的BERT模型进行情感类别分析。本发明能够将大语言模型的情感分析能力迁移到训练硬件需求更小、更易部署、计算效率更高的BERT模型上，提高财经新闻情感分析的效率和准确性，为用户提供更有价值的情感分析结果。