文件处理方法、客户端、服务器及存储介质

    公开(公告)号:CN118796774A

    公开(公告)日:2024-10-18

    申请号:CN202410001689.3

    申请日:2024-01-02

    Abstract: 本申请实施例提供了一种文件处理方法、客户端、服务器及存储介质,该方法包括:接收客户端发送的第一模型信息,所述第一模型信息包括待上传的第一模型文件的文件唯一标识和/或所述第一模型文件的分块信息;根据第一模型信息,获得第一模型文件的文件唯一标识,并在第一数据库表查找所述第一模型文件的文件唯一标识;在第一数据库表中记录有所述第一模型文件的文件唯一标识的情况下,根据所述多个第一数据块的数据块存储路径以及所述多个第一数据块的数据块顺序号,对所述多个第一数据块进行合并得到第一模型文件,并将第一模型文件存入所述客户端对应的第一用户路径。本申请实施例能够减少客户端上传不必要的数据块,从而减少了带宽消耗。

    神经网络模型压缩方法和系统
    2.
    发明公开

    公开(公告)号:CN116542311A

    公开(公告)日:2023-08-04

    申请号:CN202210086928.0

    申请日:2022-01-25

    Abstract: 本发明提供一种神经网络模型压缩方法和系统,该神经网络模型压缩方法包括:针对训练集中的每个训练样本,将训练样本输入至待量化的神经网络模型,并提取神经网络模型的卷积层中各个通道的激励因子;针对卷积层中的每个通道,根据训练集中的所有训练样本对应的所述通道的激励因子确定通道的权重;根据卷积层中每个通道的权重,对卷积层中每个通道进行量化,其中,每个通道的量化程度与通道的权重负相关。本发明中,依据卷积层的通道的权重(重要性)确定通道的量化程度,重要性的通道量化程度低,不重要的通道量化程度高,可以在保证神经网络模型性能的同时,减少冗余的不重要的参数的数量,从而减少神经网络模型的存储空间和运行时内存。

    一种资源分配方法、装置和电子设备

    公开(公告)号:CN116339964A

    公开(公告)日:2023-06-27

    申请号:CN202111587741.0

    申请日:2021-12-23

    Abstract: 本发明提供一种资源分配方法、装置和电子设备,涉及网络传输技术领域,所述方法包括:在获取到第一任务的第一GPU资源调用请求时,判断所述第一任务是否有运行于第一GPU的资源授权信息;在判断所述第一任务没有运行于所述第一GPU的资源授权信息时,根据等待队列的任务数量、所述等待队列中每一任务对应的优先级级别和第一GPU资源使用率,以及所述第一GPU当前运行的任务数量和任务对应的优先级级别,确定所述第一任务的资源授权信息;所述等待队列包括至少一个待分配第一GPU资源的任务;所述资源授权信息包括所述第一任务在所述第一GPU运行的时间配额,能够保证第一优先级任务的性能,提高GPU资源使用率,减少系统开销。

    一种数据处理方法、装置、设备、介质及程序产品

    公开(公告)号:CN118796980A

    公开(公告)日:2024-10-18

    申请号:CN202410877689.X

    申请日:2024-07-02

    Abstract: 本发明提供了一种数据处理方法、装置及电子设备,涉及数据处理技术领域。其中,所述数据处理方法包括:对多个第一数据文件进行第一处理,获得训练样本;其中,第一处理包括:数据混合处理和/或数据切片处理;任意两个第一数据文件的数据类型不同;在利用训练样本进行训练的过程中,若已经完成训练的第一训练样本的质量低于第二数据文件的质量,则利用第二数据文件对未参与训练的第一数据文件进行更新,获得更新的训练样本;其中,第二数据文件是多个第一数据文件之外的其他数据文件;第二数据文件和第一训练样本的数据类型相同。本发明的方案,能够在训练过程中,利用高质量的第二数据文件实现对训练样本的动态更新,从而提升模型的训练效果。

    流量权重处理方法、装置、设备、存储介质及计算机程序产品

    公开(公告)号:CN118802526A

    公开(公告)日:2024-10-18

    申请号:CN202410205430.0

    申请日:2024-02-23

    Abstract: 本申请公开了一种流量权重处理方法、装置、设备、存储介质及计算机程序产品。其中,流量权重处理方法包括:采集针对目标服务的服务请求数据;所述目标服务包括至少两个灰度发布版本;基于所述服务请求数据,确定各所述灰度发布版本的当前流量权重对应的第一信息;所述第一信息表征每分钟内每秒查询率;基于所述第一信息,预测各所述灰度发布版本的当前流量权重对应的第二信息;所述第二信息表征服务请求失败率预测值;基于所述第二信息,确定各所述灰度发布版本的目标流量权重;基于所述目标流量权重,对所述当前流量权重进行调整,直至权重比例满足设定第一条件。

    一种模型训练方法、装置、计算机设备及存储介质

    公开(公告)号:CN118796547A

    公开(公告)日:2024-10-18

    申请号:CN202311780670.5

    申请日:2023-12-22

    Abstract: 本申请提供了一种模型训练方法、装置、计算机设备及存储介质,其中,所述训练方法包括:在模型训练过程中,每一次迭代完成模型状态更新之后,根据当前迭代次数选择备份计算节点,并将当前的模型状态信息存储至所述备份计算节点;当模型训练中断时,获取中断之前最近一次迭代的次数;再根据所述最近一次迭代的次数,从对应的备份计算节点中获取模型状态信息;根据所获取的模型状态信息进行接续训练。本申请通过设置备份计算节点对每一次模型训练中间状态进行保存,实现了在不影响训练任务的前提下对模型状态的连续备份,使得当训练过程异常中断时也能以最新迭代的参数恢复,从而节约了模型训练时间,提高了模型训练效率。

Patent Agency Ranking