-
公开(公告)号：CN111523663A
公开(公告)日：2020-08-11
申请号：CN202010321189.X
申请日：2020-04-22
Applicant: 北京百度网讯科技有限公司
Abstract: 本申请公开了一种模型训练方法、装置以及电子设备，涉及机器学习技术领域。具体实现方案为：获取第一模态的第一样本集以及第二模态的第二样本集的特征分布；将第一样本集输入初始深度神经网络模型，得到第一样本集的特征数据，第一样本集的特征数据包括第一样本集的第一类特征数据；基于第一样本集的第一类特征数据，得到第一样本集的特征分布；利用第一损失函数对初始深度神经网络模型的参数进行调整，得到目标神经网络模型；其中，第一损失函数与第一样本集的特征分布以及第二样本集的特征分布相关。可提高目标深度神经网络模型的准确性。
-
公开(公告)号：CN111523639A
公开(公告)日：2020-08-11
申请号：CN202010274778.7
申请日：2020-04-09
Applicant: 北京百度网讯科技有限公司
Abstract: 本公开涉及人工智能领域，具体公开了用于训练超网络的方法和装置。该方法包括：初始化待训练的超网络并复制初始化后的超网络得到第一超网络和第二超网络；依次执行多次迭代操作；迭代操作包括：对第一超网络进行采样得到第一子网络序列，对第一子网络序列进行乱序得到第二子网络序列；基于第一超网络训练第一子网络序列，基于第一子网络序列和第二子网络序列的训练结果分别对第一超网络和第二超网络进行拟更新；响应于确定拟更新后的第一超网络与拟更新后的第二超网络的性能之间的差异不超过预设的范围，将拟更新后的第一超网络作为新的第一超网络，将拟更新后的第二超网络作为新的第二超网络，执行下一次迭代操作。该方法提升了超网络的精度。
-
公开(公告)号：CN111353601A
公开(公告)日：2020-06-30
申请号：CN202010116707.4
申请日：2020-02-25
Applicant: 北京百度网讯科技有限公司
Abstract: 本公开涉及人工智能领域。本公开的实施例公开了用于预测模型结构的延时的方法和装置。该方法包括：通过执行训练操作获得训练完成的延时预测模型；利用训练完成的延时预测模型预测目标模型结构在设备运行环境中运行产生的延时；其中，训练操作包括：在预设的网络结构搜索空间中采样出网络结构作为样本模型结构；获取样本模型结构在设备运行环境中运行时产生的实际延时；利用样本模型结构训练预设的延时预测模型；基于样本模型结构在设备的运行环境中运行时产生的实际延时确定训练后的延时预测模型的预测误差，响应于确定预测误差满足预设的收敛条件，得出训练完成的延时预测模型。该方法提升了对模型结构运行时产生的延时的估计结果的准确性。
-
公开(公告)号：CN111327472A
公开(公告)日：2020-06-23
申请号：CN202010113213.0
申请日：2020-02-24
Applicant: 北京百度网讯科技有限公司
Abstract: 本公开的实施例公开了用于获取目标网络的方法及装置。该方法的一具体实施方式包括：对于基准网络集合中的基准网络，计算该基准网络对应待处理超网络的负梯度信息；对于上述基准网络集合对应的至少一个负梯度信息，计算上述至少一个负梯度信息的梯度均值，将上述梯度均值设置为上述待处理超网络的性能反馈参数；通过上述性能反馈参数对上述待处理超网络的网络参数进行更新迭代操作；响应于上述更新迭代操作的达到设定的迭代次数，或上述网络参数的变化量小于等于设定阈值，将上述更新迭代操作后的待处理超网络标记为目标超网络。该实施方式使得目标超网络与局部网络空间内的基准网络具有良好的一致性，提高了目标超网络的适应性。
-
公开(公告)号：CN111275190A
公开(公告)日：2020-06-12
申请号：CN202010116576.X
申请日：2020-02-25
Applicant: 北京百度网讯科技有限公司
IPC: G06N3/08
Abstract: 本申请公开了一种神经网络模型的压缩方法及装置、图像处理方法、图像处理器，涉及神经网络压缩领域。神经网络模型的压缩方法包括：建立神经网络模型的每个神经网络层对应的搜索空间，搜索空间包括候选剪枝率；各搜索空间的候选剪枝率输入至剪枝策略生成模型，得到剪枝策略；根据剪枝策略对神经网络模型进行剪枝。因为对每个神经网络层建立对应的搜索空间，使得各个神经网络层对应的剪枝率可以不同，克服了由于每个神经网络层对应的剪枝率均相同，从而导致的剪枝后神经网络模型的提速不明显，模型性能较差的技术问题，有效提升神经网络模型的速度以及性能。
-
Patent Agency Ranking
公开(公告)号：CN110852421A
公开(公告)日：2020-02-28
申请号：CN201911095878.7
申请日：2019-11-11
Applicant: 北京百度网讯科技有限公司
Abstract: 本公开涉及人工智能领域。本公开的实施例公开了模型生成方法和装置。该方法包括：通过依次执行多次迭代操作生成用于执行深度学习任务的神经网络模型；迭代操作包括：基于当前的奖励反馈值，在与预设的神经网络模型的各网络结构单元分别对应的量化方法搜索空间中确定出各网络结构单元的当前量化方法，以更新预设的神经网络模型的量化策略；基于更新后的量化策略对预设的神经网络模型进行量化；获取量化后的神经网络模型的性能，并更新奖励反馈值；响应于确定奖励反馈值达到预设的收敛条件或迭代操作的次数达到预设的阈值，确定当前量化后的神经网络模型为生成的用于执行深度学习任务的神经网络模型。该方法可以减少神经网络模型占用的内存空间。
-
公开(公告)号：CN110852379A
公开(公告)日：2020-02-28
申请号：CN201911096470.1
申请日：2019-11-11
Applicant: 北京百度网讯科技有限公司
Abstract: 本申请公开了一种训练样本生成方法、装置以及电子设备，涉及训练样本领域。具体实现方案为：获取初始样本编码序列及其对应的多个均衡属性的标签；将初始样本编码序列、编码序列长度、多个均衡属性的标签输入至自适应均衡生成模型中，得到预测样本编码序列；根据预测样本编码序列计算均衡值，并利用均衡值对自适应均衡生成模型进行更新；在自适应均衡生成模型收敛的情况下，得到均衡样本编码序列，对均衡样本编码序列进行解码，得到均衡样本集合。利用均衡样本集合训练深度神经元网络模型，达到了不仅加快模型的收敛速度，而且提升模型精度的技术效果。
-
公开(公告)号：CN110807515A
公开(公告)日：2020-02-18
申请号：CN201911045637.1
申请日：2019-10-30
Applicant: 北京百度网讯科技有限公司
Abstract: 本公开涉及人工智能领域。本公开的实施例公开了模型生成方法和装置。该方法包括：通过依次执行多次迭代操作生成用于执行深度学习任务的神经网络模型；迭代操作包括：基于当前的反馈奖励值对预设的模型结构控制器进行更新，采用更新后的模型结构控制器生成多个待训练的神经网络；按照预设的分级训练方式，对待训练的神经网络进行至少两级训练；根据经过至少两级训练后的神经网络的性能更新奖励反馈值；响应于确定奖励反馈值达到预设的收敛条件或迭代操作的次数达到预设的阈值，确定当前迭代操作中经过至少两级训练后性能最优的神经网络为用于执行深度学习任务的神经网络模型。该方法提升了神经网络模型结构搜索的效率。
-
公开(公告)号：CN110766142A
公开(公告)日：2020-02-07
申请号：CN201911045657.9
申请日：2019-10-30
Applicant: 北京百度网讯科技有限公司
Abstract: 本公开涉及人工智能技术领域。本公开的实施例提供了模型生成方法和装置。该方法包括：获取用于执行深度学习任务的第一神经网络；通过执行多次迭代操作搜索出第二神经网络；迭代操作包括：基于当前的反馈奖励值对预设的模型结构控制器进行更新，采用更新后的模型结构控制器生成候选神经网络；基于第一神经网络对候选神经网络进行蒸馏，确定蒸馏后的候选神经网络的蒸馏损失函数；基于蒸馏后的候选神经网络的蒸馏损失函数更新奖励反馈值；响应于确定奖励反馈值达到预设的收敛条件或者迭代操作的累计次数达到预设的次数阈值，确定当前迭代操作中得到的蒸馏后的候选神经网络为搜索出的第二神经网络。该方法可以自动搜索出适合蒸馏的神经网络模型结构。
-
公开(公告)号：CN110766089A
公开(公告)日：2020-02-07
申请号：CN201911047714.7
申请日：2019-10-30
Applicant: 北京百度网讯科技有限公司
Abstract: 本申请公开了一种超网络的模型结构采样方法、装置以及电子设备，涉及超网络的模型结构采样领域。具体实现方案为：构建超网络的多路径搜索空间，多路径搜索空间包括多层特征图，每层特征图包括多个尺寸的特征图；在多路径搜索空间中，选择同时满足第一约束条件和第二约束条件的模型结构，作为采样模型；其中，第一约束条件为特征图层之间的各连接在多次采样的过程中被采样的次数相等；第二约束条件为与第l-1层特征图中特征图连接的第l层特征图的特征图，连接至第l+1层特征图，l大于或等于2。采样没有重复，提高了采样的效率，节省了资源。同时，保证了采样的有效性。
-
-
-
-
-
-
-
-
-
Search Results
294
records
(took 0.041 seconds)
