数据处理方法、装置、电子设备、介质及程序产品

    公开(公告)号:CN118819395A

    公开(公告)日:2024-10-22

    申请号:CN202410220809.9

    申请日:2024-02-28

    Abstract: 本申请公开了一种数据处理方法、装置、电子设备、介质及程序产品,方法包括:获取数据访问地址;从预获取的数据访问记录中查找数据访问地址对应的节点信息,得到查找结果,数据访问记录用于记录存储在第一硬盘中的数据的节点信息;若查找结果包括目标节点信息,则从第一硬盘中获取目标节点信息对应的目标数据,目标节点信息包括目标数据的描述信息;若查找结果不包括目标节点信息,则从第二硬盘中获取目标数据,存储在第一硬盘上的数据的访问频率高于存储在第二硬盘上的数据的访问频率。上述中,可以通过查询数据访问记录来确定目标数据是存储在哪个硬盘,从而直接确定目标数据的存储位置,避免多次访问硬盘,提高数据获取效率。

    模型训练加速方法和装置
    24.
    发明公开

    公开(公告)号:CN118798283A

    公开(公告)日:2024-10-18

    申请号:CN202311782784.3

    申请日:2023-12-22

    Abstract: 本申请公开了一种模型训练加速方法和装置,该模型训练加速方法包括:在模型训练过程中,对梯度变化率低于冻结阈值的网络层进行冻结,所述冻结用于使得所述网络层停止反向传播;根据衰减系数对所述冻结阈值进行衰减处理,得到衰减冻结阈值;利用未冻结的网络层进行模型训练,对梯度变化率低于所述衰减冻结阈值的网络层进行冻结,直至所述模型训练达到预设精度或预设次数为止。本申请实施例在模型训练过程中逐渐冻结部分网络层,以停止反向传播,有效减少了显存占用提升运算效率,提升训练速度,同时对冻结阈值进行衰减处理,避免提前将未训练收敛的网络层冻结的情况发生。

Patent Agency Ranking