确定网络模型量化策略的方法、装置、设备以及存储介质

    公开(公告)号:CN112149266B

    公开(公告)日:2024-09-24

    申请号:CN202011149553.5

    申请日:2020-10-23

    Inventor: 希滕 张刚 温圣召

    Abstract: 本申请实施例公开了确定网络模型量化策略的方法、装置、设备以及存储介质,涉及计算机视觉、深度学习等人工智能技术领域,具体可用于图像处理场景。该方法包括:采用针对目标硬件的网络模型的量化策略搜索空间的配置信息,生成量化策略搜索空间;采用量化策略搜索空间,生成量化策略编码生成器;采用量化策略编码生成器,随机生成量化策略编码;对量化策略编码进行解码,得到待选量化策略;根据对应于待选量化策略的网络模型的量化精度损失,确定用于目标硬件的网络模型的目标量化策略,从而提高网络模型在目标硬件上的精度,改善网络模型的适配效果。

    数据剪枝方法和序列模型的训练方法、装置、设备和介质

    公开(公告)号:CN116611477B

    公开(公告)日:2024-05-17

    申请号:CN202310638785.4

    申请日:2023-05-31

    Abstract: 本公开提供了一种数据剪枝方法和序列模型的训练方法、装置、设备和介质,涉及人工智能领域,具体涉及计算机视觉、自然语言处理和深度学习等技术领域,可应用于图像分类、OCR、文本抽取和问答系统等场景。数据剪枝方法包括:获取针对目标计算单元的输入标记序列;输入标记序列中的每个标记指示多媒体数据中一个数据单元的特征;根据设置于目标计算单元之前的注意力单元生成的注意力矩阵,对输入标记序列进行剪枝处理,得到剪枝后标记序列和被剪枝标记;将剪枝后标记序列输入目标计算单元,得到目标计算单元输出的计算后标记序列;以及组合计算后标记序列和被剪枝标记,得到设置于目标计算单元之后的在后计算单元的输入数据。

    基于超网络的模型获取方法、装置、设备及存储介质

    公开(公告)号:CN111783951B

    公开(公告)日:2024-02-20

    申请号:CN202010606935.X

    申请日:2020-06-29

    Inventor: 希滕 张刚 温圣召

    Abstract: 本申请公开了基于超网络的模型获取方法、装置、设备及存储介质,涉及深度学习、计算机视觉和图像处理。具体实现方案为:获取至少两个超网络,至少两个超网络对应的网络结构相同,至少两个超网络的参数不同;基于至少两个超网络的参数,训练目标子网络,得到损失函数,目标子网络为随机从网络结构的搜索空间中选择的子网络;根据损失函数,更新至少两个超网络的参数;根据更新后的至少两个超网络,确定目标模型。在基于超网络的模型获取过程中通过自监督对超网络的参数的反向传播,来提升目标模型的性能,使得目标模型的精度较高,且处理图像的速度较快;进一步地,目标模型在硬件上的处理速度快就能使用较便宜的芯片,从而节省部署成本。

    基于超网络的神经网络模型生成方法和装置

    公开(公告)号:CN111563592B

    公开(公告)日:2023-12-15

    申请号:CN202010383358.2

    申请日:2020-05-08

    Inventor: 希滕 张刚 温圣召

    Abstract: 本申请涉及人工智能领域,公开了基于超网络的神经网络模型生成方法和装置。该方法包括:获取经过训练的候选超网络集合;从各候选超网络中分别采样出多个子网络,获取从各候选超网络中采样出的子网络的性能;对每一个候选超网络,对从候选超网络中采样出的子网络的性能进行排序,作为子网络对应的神经网络模型结构在候选超网络中的性能排序;基于各子网络对应的神经网络模型结构在候选超网络中的性能排序,确定各子网络对应的神经网络模型结构的综合性能排序;根据各子网络对应的神经网络模型结构的综合性能排序,确定出至少一个子网络对应的神经网络模型结构作为目标神经网络模型的结构。该方法实现了目标神经网络模型结构的优化。

    生成神经网络模型的方法和装置

    公开(公告)号:CN111582452B

    公开(公告)日:2023-10-27

    申请号:CN202010387565.5

    申请日:2020-05-09

    Inventor: 希滕 张刚 温圣召

    Abstract: 本申请涉及人工智能领域,公开了生成神经网络模型的方法和装置。该方法包括:基于目标神经网络模型的结构构建超网络,超网络的各层包括分别与目标神经网络模型的各层对应的候选结构单元集合,且候选结构单元集合包括目标神经网络模型的结构中对应层的网络结构单元以及至少一个与目标神经网络模型的结构中对应层的网络结构单元相似的候选结构单元;初始化超网络,并基于预设域的样本数据和超网络各层对应的候选结构单元集合训练超网络;将训练完成的超网络中与目标神经网络模型对应的目标子网络的参数同步至目标神经网络模型。该方法实现了目标神经网络模型的优化。

    用于训练预测模型的方法和装置

    公开(公告)号:CN111340220B

    公开(公告)日:2023-10-20

    申请号:CN202010116709.3

    申请日:2020-02-25

    Inventor: 希滕 张刚 温圣召

    Abstract: 本公开涉及人工智能领域。本公开的实施例公开了用于训练预测模型的方法和装置。该预测模型用于预测神经网络结构的性能,该方法包括通过采样操作训练预测模型;采样操作包括:从已训练完成的超网络中采样出子网络,并对采样出的子网络进行训练,得到训练完成的子网络的性能信息;基于训练完成的子网络和对应的性能信息构建样本数据,并利用样本数据训练预测模型;响应于确定当前采样操作中训练得到的预测模型的精度不满足预设的条件,执行下一次采样操作,并在下一次采样操作中增加采样的子网络的数量。该方法可以降低神经网络模型结构的搜索成本。

Patent Agency Ranking