模型运行方法、装置、设备、介质及产品

    公开(公告)号:CN119204125A

    公开(公告)日:2024-12-27

    申请号:CN202411242743.X

    申请日:2024-09-05

    Abstract: 本申请提出一种模型运行方法、装置、设备、介质及产品,该方法通过确定硬件设备的剩余存储资源;通过将硬件设备的剩余存储资源与量化模型所需的存储资源进行比较,确定硬件设备能够运行的目标模型的类型,目标模型的类型为第一量化模型或第二量化模型,第一量化模型及其对应的第一量化系数存储在内存中,第一量化参数用于对第一量化模型进行解量化得到第二量化模型,第二量化模型对应的模型参数的位宽大于第一量化模型对应的模型参数的位宽;根据目标模型的类型获取相应的目标模型,并由硬件设备运行目标模型执行目标任务。本申请能够实现占用内存小且推理准确度高的效果。

    生产调度规划方法、车间调度系统及存储介质

    公开(公告)号:CN117234161A

    公开(公告)日:2023-12-15

    申请号:CN202311281708.4

    申请日:2023-09-28

    Abstract: 本申请提供一种生产调度规划方法、车间调度系统及存储介质,生产调度规划方法包括:根据生产订单数据和生产车间数据,构建用于目标生产车间生产目标产品的预设规划模型,其中,预设规划模型定义目标生产车间生产目标产品所达到的目标函数组,目标函数组包括按照优先级排列的多个目标函数;按照多个目标函数的优先级,对多个目标函数依次进行求解,得到目标求解结果;获取目标求解结果对应的生产调度信息,以规划生产调度。本申请中的方案,通过构建用于目标生产车间生产目标产品的预设规划模型,预设规划模型定义目标生产车间生产目标产品的目标函数组,通过求解目标函数组以得到最优结果,能够适应复杂的场景,规划车间的生产调度。

    智能对话方法及相关装置、电子设备和存储介质

    公开(公告)号:CN119311812A

    公开(公告)日:2025-01-14

    申请号:CN202411116431.4

    申请日:2024-08-14

    Abstract: 本申请公开了一种智能对话方法及相关装置、电子设备和存储介质,其中,智能对话方法包括:基于待回复的第一语句,提取得到初始语句特征;基于初始语句特征进行线性量化,得到量化语句特征,并按照智能对话模型中网络层的执行顺序,逐个加载网络层的目标计算参数;基于量化语句特征与目标量化参数,得到第一输出特征,并基于初始语句特征与量化语句特征之间的差异语句特征和目标权重参数,得到第二输出特征;融合第一输出特征和第二输出特征,作为新的初始语句特征,并返回基于初始语句特征进行线性量化,得到量化语句特征的步骤,直至各个网络层执行完毕,得到用于回复的第二语句。上述方案,能够升设备智能对话的响应速度和响应精度。

    一种车间机器的调度方法、装置、电子设备及存储介质

    公开(公告)号:CN117032115A

    公开(公告)日:2023-11-10

    申请号:CN202311018387.9

    申请日:2023-08-10

    Abstract: 本申请提供一种车间机器的调度方法、装置、电子设备及存储介质,应用于计算机,所述车间机器的调度方法,包括:获得针对车间机器设置的调度约束矩阵,以及所述调度约束矩阵的基矩阵;所述调度约束矩阵,用于表示针对所述车间机器执行工件加工任务设置的约束条件;基于所述调度约束矩阵的出基变量和所述基矩阵,获得用于构建对偶单纯形算法的特征向量;根据所述特征向量的稀疏度和所述调度约束矩阵的稀疏度,选择串行计算方式或选择符合所述计算机的线程资源的并行计算方式,计算所述特征向量和所述调度约束矩阵的乘积,获得所述车间机器执行所述工件加工任务的调度方案。

    一种模型训练方法、工作节点及参数更新服务器

    公开(公告)号:CN110097188B

    公开(公告)日:2021-07-06

    申请号:CN201910362862.1

    申请日:2019-04-30

    Abstract: 本申请公开了一种模型训练方法、工作节点及参数更新服务器,该方法包括:根据第一模型的任务类型,确定第一模型中各个网络层的目标计算精度,并基于第一模型中各个网络层的目标计算精度,利用第一模型的训练数据进行前向计算和后向计算,得到第一模型的各个网络层的网络参数的目标梯度值,以便根据该目标梯度值对第二模型进行参数更新。由于不同任务类型所需求的计算精度不同,因而,根据任务类型确定的目标计算精度更适应于该任务类型对精度的需求,从而使得在第一模型基于目标计算精度进行计算的过程中,不但可以减少在工作节点上的资源消耗和提升在工作节点上的计算加速,还可以降低因第一模型的计算精度损失带来的对第二模型的训练效果损失。

    一种神经网络的前向推理方法、装置、设备及存储介质

    公开(公告)号:CN109919315B

    公开(公告)日:2021-10-01

    申请号:CN201910188467.6

    申请日:2019-03-13

    Abstract: 本申请提供了一种神经网络的前向推理方法、装置、设备及存储介质,其中,方法包括:将目标神经网络划分为多个子网络,任一子网络包括目标神经网络的至少一个隐层,在推理平台的硬件设备上创建多个子网络分别对应的推理实例和推理引擎,基于多个子网络分别对应的推理实例和推理引擎,对目标神经网络进行前向推理。由于一个推理引擎只负责神经网络的一部分隐层,同一时刻可以有多个数据输入在不同的推理引擎内并行执行,因此,本申请提供的前向推理方法具有较高的推理效率和数据吞吐量,且推理平台的硬件资源得到充分利用。

    一种神经网络的前向推理方法、装置、设备及存储介质

    公开(公告)号:CN109919315A

    公开(公告)日:2019-06-21

    申请号:CN201910188467.6

    申请日:2019-03-13

    Abstract: 本申请提供了一种神经网络的前向推理方法、装置、设备及存储介质,其中,方法包括:将目标神经网络划分为多个子网络,任一子网络包括目标神经网络的至少一个隐层,在推理平台的硬件设备上创建多个子网络分别对应的推理实例和推理引擎,基于多个子网络分别对应的推理实例和推理引擎,对目标神经网络进行前向推理。由于一个推理引擎只负责神经网络的一部分隐层,同一时刻可以有多个数据输入在不同的推理引擎内并行执行,因此,本申请提供的前向推理方法具有较高的推理效率和数据吞吐量,且推理平台的硬件资源得到充分利用。

    一种模型训练方法、工作节点及参数更新服务器

    公开(公告)号:CN110097188A

    公开(公告)日:2019-08-06

    申请号:CN201910362862.1

    申请日:2019-04-30

    Abstract: 本申请公开了一种模型训练方法、工作节点及参数更新服务器,该方法包括:根据第一模型的任务类型,确定第一模型中各个网络层的目标计算精度,并基于第一模型中各个网络层的目标计算精度,利用第一模型的训练数据进行前向计算和后向计算,得到第一模型的各个网络层的网络参数的目标梯度值,以便根据该目标梯度值对第二模型进行参数更新。由于不同任务类型所需求的计算精度不同,因而,根据任务类型确定的目标计算精度更适应于该任务类型对精度的需求,从而使得在第一模型基于目标计算精度进行计算的过程中,不但可以减少在工作节点上的资源消耗和提升在工作节点上的计算加速,还可以降低因第一模型的计算精度损失带来的对第二模型的训练效果损失。

Patent Agency Ranking