公开(公告)号：CN119692411A

公开(公告)日：2025-03-25

申请号：CN202411679953.5

申请日：2024-11-22

Applicant: 北京计算机技术及应用研究所

Inventor： 杨恒 ,  李聪昊 ,  田明昊 ,  刘朋杰 ,  陈美玲 ,  张悦枫 ,  叶亚峰 ,  李世元 ,  吴楠 ,  任建新 ,  高彤 ,  张宁 ,  刘炯

IPC: G06N3/08 ,  G06F18/214 ,  G06N3/045 ,  G06V10/82 ,  G06V10/764 ,  G06V10/74 ,  G06N5/04

Abstract: 本发明涉及一种提升多模态模型细颗粒度判别能力的微调优化方法，属于人工智能领域。本发明通过对微调阶段的图像编码器通道引入ArcFace的角度边界辅助损失来优化图像和文本的联合表示学习。该方法包括预训练和微调两个阶段，预训练阶段使用在大规模图像‑文本对数据集上进行训练，微调阶段则基于特定领域数据集通过固定文本分支的全部参数和图像分支的多数参数，并在图像分支结合辅助损失函数调整模型参数，从而实现多模态模型对特定细颗粒场景判别能力的优化提升。

公开(公告)号：CN115392454A

公开(公告)日：2022-11-25

申请号：CN202211006937.0

申请日：2022-08-22

Applicant: 北京计算机技术及应用研究所

Inventor： 李世元 ,  刘洪宇 ,  吴敏

IPC: G06N3/08 ,  G06N3/04

Abstract: 本发明涉及一种自动神经网络剪枝方法，属于神经网络领域。本发明在卷积层后添加BN层，在BN层加入缩放因子γ并对缩放因子γ加L1正则化使之稀疏；融合卷积层Filter与BN层，从而使缩放因子γ的稀疏化作用于卷积层Filter；使用融合后的卷积层Filter权重的绝对值作为衡量其重要性的手段，结合对特征输出的可重建性的影响，获得全局剪枝方案；对裁减之后的网络重新训练。本发明基于BN层，在BN层加入缩放因子γ并对之加L1正则化使之稀疏，然后裁剪缩放因子γ值小的部分对应权重。解决了传统基于权重的剪枝方法不容易平衡不同层剪枝比例的问题，提升剪枝效率。