公开(公告)号：CN118627581A

公开(公告)日：2024-09-10

申请号：CN202410753364.0

申请日：2024-06-12

Applicant: 国家计算机网络与信息安全管理中心

Inventor： 秘蓉新 ,  贺敏 ,  曾宣玮 ,  徐丹丹 ,  李林 ,  张露晨 ,  袁方方 ,  曹聪

IPC: G06N3/082 ,  G06N3/045 ,  G06N3/0499 ,  G06N3/084

Abstract: 本发明属于人工智能技术领域，涉及一种基于输入激活的大语言模型低秩近似剪枝方法和装置。该方法包括：根据权重和输入激活计算剪枝指标；根据剪枝指标对大语言模型的线性层的每个输出进行局部权重的比较和修剪；使用低秩近似法对剪枝后的大语言模型进行微调以促进大语言模型性能的恢复。本发明能够有效地压缩LLMs，实现了较高的计算效率，在单个前向传播中执行，并且只有很小的内存开销，不仅避免了在局部分层重建过程中计算逆矩阵，而且保持了与幅值剪枝一样的简洁性。

公开(公告)号：CN119988623A

公开(公告)日：2025-05-13

申请号：CN202411978984.0

申请日：2024-12-31

Applicant: 国家计算机网络与信息安全管理中心

Inventor： 施力 ,  张啸梁 ,  郭点点 ,  张立昂 ,  王大魁 ,  曹聪 ,  刘燕兵

IPC: G06F16/353 ,  G06F16/34 ,  G06F40/284 ,  G06F40/216 ,  G06N20/00

Abstract: 本发明公开一种面向公共事务的负面信息细分类方法及系统，属于人工智能技术领域。所述方法包括：收集负面信息样本，并标识所述负面信息样本的标签，所述标签包括：程度标签和分类标签；抽取所述负面信息样本的摘要信息与关键词，并对所述负面信息样本进行情感分类；基于所述负面信息样本以及该负面信息样本的标签、摘要信息、关键词与情感分类结果，构建训练数据集；使用所述训练数据集微调Ernie模型，得到负面信息细分类模型；基于所述负面信息细分类模型进行目标负面信息的分类，得到该目标负面信息的细分类结果。本发明可以提升对多类别公共事务负面信息的精确分类能力，并解决现有技术中的分类混淆和准确性不足问题。

公开(公告)号：CN119988622A

公开(公告)日：2025-05-13

申请号：CN202411978982.1

申请日：2024-12-31

Applicant: 国家计算机网络与信息安全管理中心

Inventor： 施力 ,  张啸梁 ,  郭点点 ,  张立昂 ,  王大魁 ,  曹聪 ,  刘燕兵

IPC: G06F16/353 ,  G06F40/284 ,  G06N20/00 ,  G06N5/04

Abstract: 本发明公开一种面向公共事务的负面信息判别方法及系统，属于人工智能技术领域。所述方法包括：收集并筛选信息样本，以得到负面信息样本；将筛选后的负面信息样本嵌入到提示模板，以微调大模型；将目标信息嵌入到提示模板，并基于微调后的大模型，得到该目标信息的负面判别结果。本发明可以通过先进的语言模型提升对复杂公共事务负面信息的判别能力。