公开(公告)号：CN117195998A

公开(公告)日：2023-12-08

申请号：CN202311097640.4

申请日：2023-08-29

Applicant: 安徽大学

Inventor： 钱付兰 ,  张崇浩 ,  晏焕钱 ,  苏航 ,  赵姝 ,  张燕平 ,  洪嘉成 ,  陈海

IPC: G06N3/082 ,  G06N3/0464

Abstract: 本发明公开了一种改进的卷积神经网络模型的滤波器软剪枝方法，包括步骤：S1、对神经网络模型参数化设置；S2、对神经网络模型训练更新其参数，对BN层的缩放因子γ施加稀疏惩罚；S3、依据稀疏分布的缩放因子γ对部分卷积层滤波器参数置零；S4、依据参数置零情况进行剪枝，获取轻量化神经网络模型。本发明对神经网络模型中的滤波器软剪枝的流程进行了优化，通过去除软剪枝流程中的预剪枝(Pre‑Pruning)阶段，并结合融合历史梯度的参数优化器，使用不依赖于滤波器参数的剪枝标准(即BN层的缩放因子γ)，解决了软剪枝面对类ReLU激活函数时无法生效的问题，克服现有滤波器软剪枝方法的缺陷，从而发挥出软剪枝方法的潜力，获得更好的神经网络模型性能。

公开(公告)号：CN116665068A

公开(公告)日：2023-08-29

申请号：CN202310521321.5

申请日：2023-05-10

Applicant: 安徽大学

Inventor： 钱付兰 ,  洪嘉成 ,  张崇浩 ,  陈海 ,  赵姝

IPC: G06V20/13 ,  G06V20/70 ,  G06V10/778 ,  G06V10/764 ,  G06V10/766 ,  G06V10/80 ,  G06N3/0464 ,  G06N3/082 ,  G06V10/82

Abstract: 本发明公开了一种面向遥感目标检测的混合知识解耦的知识蒸馏算法，其中方法包括以下步骤：S1，构建遥感目标检测模型作为用于知识蒸馏的教师模型；S2，对模型进行轻量化处理，形成用于知识蒸馏的学生模型；S3，对边界框信息进行预测并计算目标检测损失；S4，教师模型引导学生模型解耦不同类型的知识；S5，从输出层次上蒸馏语义知识，计算输出层蒸馏的损失函数值；S6，交叉蒸馏不同层次的语义特征和定位特征，计算交叉特征蒸馏的损失函数值；S7，计算总损失函数值，优化学生模型。本发明解决了参数量大、复杂的遥感检测模型难以部署到卫星等边缘设备的问题。本方法不仅实现了遥感检测器的轻量化，还提升了检测器的性能。