-
公开(公告)号：CN114897666B
公开(公告)日：2023-04-18
申请号：CN202210573156.3
申请日：2022-05-19
申请人： 北京百度网讯科技有限公司
摘要： 本公开提供了一种图数据存储、访问、处理方法、训练方法、设备及介质，涉及人工智能技术领域，尤其涉及图神经网络技术、计算机视觉和深度学习技术领域。具体实现方案为：响应于接收到图数据存储请求，对待存储图数据进行划分，得到至少两个待存储图切片数据；根据至少两个待存储图切片数据，得到目标图切片数据和关联图切片数据；将目标图切片数据存储至图形处理器GPU；将关联图切片数据存储至内部存储器；将至少两个待存储图切片数据存储至外部存储器。
-
公开(公告)号：CN114897666A
公开(公告)日：2022-08-12
申请号：CN202210573156.3
申请日：2022-05-19
申请人： 北京百度网讯科技有限公司
摘要： 本公开提供了一种图数据存储、访问、处理方法、训练方法、设备及介质，涉及人工智能技术领域，尤其涉及图神经网络技术、计算机视觉和深度学习技术领域。具体实现方案为：响应于接收到图数据存储请求，对待存储图数据进行划分，得到至少两个待存储图切片数据；根据至少两个待存储图切片数据，得到目标图切片数据和关联图切片数据；将目标图切片数据存储至图形处理器GPU；将关联图切片数据存储至内部存储器；将至少两个待存储图切片数据存储至外部存储器。
-
公开(公告)号：CN114418063A
公开(公告)日：2022-04-29
申请号：CN202111614444.0
申请日：2021-12-27
申请人： 北京百度网讯科技有限公司
摘要： 本公开提供一种神经网络模型中网络层的分配方法、装置、电子设备及可读存储介质，涉及深度学习、大数据、云服务等人工智能技术领域。其中，神经网络模型中网络层的分配方法包括：获取待处理神经网络模型与计算设备集合；根据待处理神经网络模型中的网络层与计算设备集合中的计算设备，生成目标数量的分配方案，分配方案中包含网络层与计算设备之间的对应关系；根据计算设备的设备类型，将各个分配方案中对应相同的设备类型的网络层合并为一个阶段，得到各个分配方案的合并结果；根据各个分配方案的合并结果，得到各个分配方案的适应值；根据适应值从各个分配方案中确定目标分配方案，将目标分配方案作为待处理神经网络模型中网络层的分配结果。
-
公开(公告)号：CN114861911B
公开(公告)日：2023-04-07
申请号：CN202210559489.0
申请日：2022-05-19
申请人： 北京百度网讯科技有限公司
摘要： 本公开提供了一种深度学习模型的训练方法，涉及人工智能领域，具体涉及深度学习和智能推荐领域。深度学习模型的训练方法的具体实现方案为：根据当前训练轮次的第一训练数据，确定对第一训练数据进行嵌入处理所需的第一网络参数中需要写入目标存储器的第一目标参数；其中，目标存储器为目标处理器所包括的存储器；根据目标存储器的存储槽位和网络参数之间的第一映射关系，确定目标存储器中的剩余存储槽位；以及响应于剩余存储槽位满足第一目标参数的存储需求，将第一目标参数写入目标存储器，以使得目标处理器包括的计算核根据第一训练数据对第一网络参数进行调整。
-
公开(公告)号：CN114860405B
公开(公告)日：2023-01-31
申请号：CN202210536778.9
申请日：2022-05-17
申请人： 北京百度网讯科技有限公司
IPC分类号： G06F9/48
摘要： 本公开提供了一种多任务模型的参数更新方法、装置和存储介质，涉及人工智能技术领域，具体涉及深度学习等技术领域。具体实现方案为：从多任务模型中获取训练数据所属目标任务所对应的私有网络层，根据训练数据对从第一图形处理器中读取到的共享网络层的第一网络参数和从处理器中读取到的私有网络层的第二网络参数进行计算，以得到第一网络参数和私有网络层的网络参数的计算结果，并控制第一图形处理器根据第一网络参数的计算结果第一网络参数进行更新，并控制处理器根据第二网络参数的计算结果对第二网络参数进行更新。由此，将多个任务所共享的网络层的网络参数和目标任务所的网络层的网络参数分开存储的同时，实现多任务模型的局部参数更新。
-
公开(公告)号：CN113222118B
公开(公告)日：2022-09-09
申请号：CN202110548446.8
申请日：2021-05-19
申请人： 北京百度网讯科技有限公司
摘要： 本公开提供了一种神经网络训练方法、装置、电子设备、介质和程序产品，涉及人工智能领域，尤其是深度学习领域和分布式学习领域。该方法包括：获取用于深度学习的神经网络；针对神经网络建立深度强化学习模型；以及使用深度强化学习模型，基于使用多个类型的处理单元中的每个类型的处理单元针对神经网络中的多个网络层中的每个网络层执行训练所需的时长、以及每个类型的处理单元的成本，来确定针对多个网络层的处理单元选择。利用上述方法，可以使得在保证训练时长小于预定时长的情况下，使用的不同处理单元的总成本最小，从而能够最为合理地划分神经网络以实现分布式训练，提升深度学习的效率和使用深度学习的用户的用户体验。
-
公开(公告)号：CN114416351A
公开(公告)日：2022-04-29
申请号：CN202111643872.6
申请日：2021-12-29
申请人： 北京百度网讯科技有限公司
摘要： 本公开提供了资源分配方法、装置、设备、介质及计算机程序产品，涉及计算机领域，尤其涉及分布式作业技术领域。具体实现方案为：确定待进行资源分配的神经网络模型，并确定能够为神经网络模型提供资源的设备集合；基于设备集合和神经网络模型，确定第一评估点集合；对第一评估点集合进行更新迭代，得到第二评估点集合，第二评估点集合中包括第二数量的评估点，且每一评估点对应一个资源分配方案，以及该资源分配方案对应的资源使用成本，第二数量大于第一数量；在第二评估点集合中选择资源使用成本最小的资源分配方案，作为对神经网络模型进行资源分配的资源分配方案。通过本公开可以实现为神经网络模型分配合适的资源。
-
公开(公告)号：CN114861911A
公开(公告)日：2022-08-05
申请号：CN202210559489.0
申请日：2022-05-19
申请人： 北京百度网讯科技有限公司
摘要： 本公开提供了一种深度学习模型的训练方法，涉及人工智能领域，具体涉及深度学习和智能推荐领域。深度学习模型的训练方法的具体实现方案为：根据当前训练轮次的第一训练数据，确定对第一训练数据进行嵌入处理所需的第一网络参数中需要写入目标存储器的第一目标参数；其中，目标存储器为目标处理器所包括的存储器；根据目标存储器的存储槽位和网络参数之间的第一映射关系，确定目标存储器中的剩余存储槽位；以及响应于剩余存储槽位满足第一目标参数的存储需求，将第一目标参数写入目标存储器，以使得目标处理器包括的计算核根据第一训练数据对第一网络参数进行调整。
-
公开(公告)号：CN114860405A
公开(公告)日：2022-08-05
申请号：CN202210536778.9
申请日：2022-05-17
申请人： 北京百度网讯科技有限公司
IPC分类号： G06F9/48
摘要： 本公开提供了一种多任务模型的参数更新方法、装置和存储介质，涉及人工智能技术领域，具体涉及深度学习等技术领域。具体实现方案为：从多任务模型中获取训练数据所属目标任务所对应的私有网络层，根据训练数据对从第一图形处理器中读取到的共享网络层的第一网络参数和从处理器中读取到的私有网络层的第二网络参数进行计算，以得到第一网络参数和私有网络层的网络参数的计算结果，并控制第一图形处理器根据第一网络参数的计算结果第一网络参数进行更新，并控制处理器根据第二网络参数的计算结果对第二网络参数进行更新。由此，将多个任务所共享的网络层的网络参数和目标任务所的网络层的网络参数分开存储的同时，实现多任务模型的局部参数更新。
-
公开(公告)号：CN116560817B
公开(公告)日：2024-05-07
申请号：CN202310619512.5
申请日：2023-05-29
申请人： 北京百度网讯科技有限公司
摘要： 本公开提供了一种任务执行方法，涉及人工智能技术领域，尤其涉及大数据、云计算、深度学习和参数服务器等技术领域，可应用于信息推荐场景下。具体实现方案为：根据第一批次任务数据的索引，将第一批次任务数据中的第一数据读取至第一存储单元，其中，第一数据用于执行第一批次任务中的多个第一子任务，第一数据包括多个第一数据项和多个第一数据项各自关联的第一索引；构建第一映射关系，其中，第一映射关系包括第一数据项与第一索引之间的映射关系；以及根据第一映射关系，利用与多个第一子任务关联的至少一个目标数据项，依次执行多个第一子任务，得到任务执行结果。本公开还提供了一种任务执行装置、电子设备和存储介质。
-
-
-
-
-
-
-
-
-
搜索结果
20 条记录 (耗时 0.032 秒)
