公开(公告)号：CN113159188B

公开(公告)日：2024-03-12

申请号：CN202110444362.X

申请日：2021-04-23

Applicant: 北京达佳互联信息技术有限公司 ,  北京交通大学

Inventor： 刘理 ,  许明恺 ,  杨超 ,  刘凌志 ,  王东 ,  冯乾泰 ,  许柯

IPC: G06V10/764 ,  G06V10/82 ,  G06N3/08 ,  G06N3/04 ,  G06V10/774

Abstract: 本公开关于一种模型生成方法、装置、设备及存储介质，涉及计算机技术领域，可以在保证现有神经网络模型性能不变的情况下，有效压缩神经网络模型。该模型生成方法包括：基于神经网络架构搜索算法，从与样本数据对应的搜索空间中获取初始模型；初始模型中的第一节点与第二节点之间通过初始边连接；初始边用于表示第一节点与第二节点之间执行的候选操作；初始边对应一个边权重；基于样本数据，对初始模型执行预设次数的训练操作，以得到第一模型；若第一模型中，与初始模型中的初始边对应的目标边的边权重满足预设条件，则对第一模型中的目标边进行裁剪，以得到目标模型。

公开(公告)号：CN113159188A

公开(公告)日：2021-07-23

申请号：CN202110444362.X

申请日：2021-04-23

Applicant: 北京达佳互联信息技术有限公司 ,  北京交通大学

Inventor： 刘理 ,  许明恺 ,  杨超 ,  刘凌志 ,  王东 ,  冯乾泰 ,  许柯

IPC: G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本公开关于一种模型生成方法、装置、设备及存储介质，涉及计算机技术领域，可以在保证现有神经网络模型性能不变的情况下，有效压缩神经网络模型。该模型生成方法包括：基于神经网络架构搜索算法，从与样本数据对应的搜索空间中获取初始模型；初始模型中的第一节点与第二节点之间通过初始边连接；初始边用于表示第一节点与第二节点之间执行的候选操作；初始边对应一个边权重；基于样本数据，对初始模型执行预设次数的训练操作，以得到第一模型；若第一模型中，与初始模型中的初始边对应的目标边的边权重满足预设条件，则对第一模型中的目标边进行裁剪，以得到目标模型。

公开(公告)号：CN113762489A

公开(公告)日：2021-12-07

申请号：CN202110923119.6

申请日：2021-08-12

Applicant: 北京交通大学

Inventor： 王东 ,  李浥东 ,  许柯 ,  冯乾泰

IPC: G06N3/063 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供了一种对深度卷积神经网络进行多位宽量化的方法。该方法包括：建立权重共享的多位宽感知量化模型，对多位宽感知量化模型进行多位宽感知的量化超网训练，根据需求设置目标约束，根据所述目标约束对训练好的多位宽感知量化模型进行混合精度搜索，得到满足约束的子网络，利用各个满足约束的子网络组成多位宽量化的深度卷积神经网络。本发明实施例通过最小‑随机‑最大位宽协同训练以及自适应标签软化解决不同比特子网下竞争训练的问题，实现不同平均比特位宽约束下更高的模型精度。