-
公开(公告)号:CN118337710A
公开(公告)日:2024-07-12
申请号:CN202410726395.7
申请日:2024-06-06
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本发明提供一种拥塞避免方法、装置、数据发送设备、程序产品及介质,应用于数据发送设备,方法包括:在处于拥塞避免阶段时,根据拥塞窗口值向数据接收设备执行当前传输轮次的数据包传输,并统计当前传输轮次从数据接收设备处连续收到的重复确认请求的最大连续数量;在确定当前传输轮次正常结束时,根据最大连续数量所表征的数据发送设备与数据接收设备间的网络状态,对拥塞窗口值进行增大、保持或减小;根据调整后的拥塞窗口值向数据接收设备执行下一传输轮次的数据包传输;能够根据数据发送设备与数据接收设备间实际的网络状态,对拥塞窗口值进行动态调整,从而可确保拥塞窗口值与网络状态相吻合,进而可提升拥塞避免的可靠度。
-
公开(公告)号:CN117910536B
公开(公告)日:2024-06-07
申请号:CN202410309633.4
申请日:2024-03-19
Applicant: 浪潮电子信息产业股份有限公司
IPC: H04L43/08 , G06N3/082 , G06N3/098 , G06N3/0495 , G06N5/04
Abstract: 本发明涉及人工智能技术领域,公开了文本生成方法及其模型梯度剪枝方法、装置、设备、介质,训练预热阶段保持文本生成模型当前的模型梯度不变;非训练预热阶段,基于滑窗尺寸信息和性能损失函数,确定出文本生成模型在每个训练步数下以损失函数变化率为表征的性能;根据设定的训练状态条件以及每个训练步数下以损失函数变化率为表征的性能和单步训练时长,依次对每个训练步数下的梯度剪枝量进行调整。每得到一个调整后的梯度剪枝量,则按照调整后的梯度剪枝量对文本生成模型进行梯度剪枝操作,直至当前训练步数达到文本生成模型的总训练步数,结束对文本生成模型的剪枝操作,保证了文本生成模型的训练任务能够在低速不稳定的网络环境中顺利完成。
-
公开(公告)号:CN118316877A
公开(公告)日:2024-07-09
申请号:CN202410726090.6
申请日:2024-06-06
Applicant: 浪潮电子信息产业股份有限公司
IPC: H04L47/12 , H04L47/22 , H04L1/1829 , H04L1/1867
Abstract: 本发明涉及通信技术领域,具体公开了一种网络拥塞控制方法、系统、装置、设备及存储介质,通过在基于传输控制协议发送报文时若根据接收端设备的应答信息确定发送端设备满足快速重传条件,获取历史慢启动阈值对应的传输成功记录,并根据历史慢启动阈值对应的传输成功记录确定发送端设备采用历史慢启动阈值的传输稳定性以从中选出目标慢启动阈值,得到了适应通信网络情况变化的慢启动阈值,利用该目标慢启动阈值重置发送端设备的慢启动阈值,以使发送端设备根据目标慢启动阈值更新拥塞窗口值后继续执行报文发送任务,解决了慢启动阈值采用固定减半的方法无法自适应网络变化情况的问题,提高了通信效率。
-
公开(公告)号:CN117875397A
公开(公告)日:2024-04-12
申请号:CN202410269821.9
申请日:2024-03-11
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06N3/084 , G06N3/0442 , G06N3/082
Abstract: 本发明提供一种待更新参数选择方法、装置、计算设备及存储介质,涉及计算机技术领域,方法应用于计算设备,计算设备存储有待训练的神经网络模型,包括:在对神经网络模型的模型参数执行每轮迭代训练的反向传播操作前,获取与神经网络模型中的各网络层对应的辅助网络;辅助网络包含与网络层中的各神经元对应的辅助参数,辅助参数利用与神经网络模型在每轮迭代训练中共同确定的损失值进行迭代更新;利用门控单元确定各辅助参数对应的门控值;将门控值不大于门控阈值的辅助参数对应的神经元所包含的模型参数设置为待更新参数,并清除不属于待更新参数的模型参数;门控阈值利用计算设备的存储资源量设置;可减少对计算设备存储资源的消耗。
-
公开(公告)号:CN118316877B
公开(公告)日:2024-08-20
申请号:CN202410726090.6
申请日:2024-06-06
Applicant: 浪潮电子信息产业股份有限公司
IPC: H04L47/12 , H04L47/22 , H04L1/1829 , H04L1/1867
Abstract: 本发明涉及通信技术领域,具体公开了一种网络拥塞控制方法、系统、装置、设备及存储介质,通过在基于传输控制协议发送报文时若根据接收端设备的应答信息确定发送端设备满足快速重传条件,获取历史慢启动阈值对应的传输成功记录,并根据历史慢启动阈值对应的传输成功记录确定发送端设备采用历史慢启动阈值的传输稳定性以从中选出目标慢启动阈值,得到了适应通信网络情况变化的慢启动阈值,利用该目标慢启动阈值重置发送端设备的慢启动阈值,以使发送端设备根据目标慢启动阈值更新拥塞窗口值后继续执行报文发送任务,解决了慢启动阈值采用固定减半的方法无法自适应网络变化情况的问题,提高了通信效率。
-
公开(公告)号:CN117875397B
公开(公告)日:2024-06-04
申请号:CN202410269821.9
申请日:2024-03-11
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06N3/084 , G06N3/0442 , G06N3/082
Abstract: 本发明提供一种待更新参数选择方法、装置、计算设备及存储介质,涉及计算机技术领域,方法应用于计算设备,计算设备存储有待训练的神经网络模型,包括:在对神经网络模型的模型参数执行每轮迭代训练的反向传播操作前,获取与神经网络模型中的各网络层对应的辅助网络;辅助网络包含与网络层中的各神经元对应的辅助参数,辅助参数利用与神经网络模型在每轮迭代训练中共同确定的损失值进行迭代更新;利用门控单元确定各辅助参数对应的门控值;将门控值不大于门控阈值的辅助参数对应的神经元所包含的模型参数设置为待更新参数,并清除不属于待更新参数的模型参数;门控阈值利用计算设备的存储资源量设置;可减少对计算设备存储资源的消耗。
-
公开(公告)号:CN117808083B
公开(公告)日:2024-05-03
申请号:CN202410230106.4
申请日:2024-02-29
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06N3/098 , G06N3/082 , G06N3/0495
Abstract: 本发明涉及机器学习技术领域,具体公开了一种分布式训练通信方法、装置、系统、设备及存储介质,通过根据分布式训练任务的模型精度损失函数,构建以满足梯度数据的期望稀疏度为约束条件、以模型精度损失最小化为优化目标的数据稀疏化目标函数;基于分布式训练任务的迭代计算得到的节点梯度数据和分布式训练任务的模型网络求解数据稀疏化目标函数,得到梯度数据稀疏化位置信息,从而在计算节点传输节点梯度数据时根据梯度数据稀疏化位置信息进行梯度数据稀疏化传输,使梯度数据稀疏化位置信息的生成次数小于分布式训练任务的迭代计算次数,实现了在分布式训练过程中自适应梯度数据稀疏化处理,兼具提高训练效率和保证模型精度的效果。
-
公开(公告)号:CN117808083A
公开(公告)日:2024-04-02
申请号:CN202410230106.4
申请日:2024-02-29
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06N3/098 , G06N3/082 , G06N3/0495
Abstract: 本发明涉及机器学习技术领域,具体公开了一种分布式训练通信方法、装置、系统、设备及存储介质,通过根据分布式训练任务的模型精度损失函数,构建以满足梯度数据的期望稀疏度为约束条件、以模型精度损失最小化为优化目标的数据稀疏化目标函数;基于分布式训练任务的迭代计算得到的节点梯度数据和分布式训练任务的模型网络求解数据稀疏化目标函数,得到梯度数据稀疏化位置信息,从而在计算节点传输节点梯度数据时根据梯度数据稀疏化位置信息进行梯度数据稀疏化传输,使梯度数据稀疏化位置信息的生成次数小于分布式训练任务的迭代计算次数,实现了在分布式训练过程中自适应梯度数据稀疏化处理,兼具提高训练效率和保证模型精度的效果。
-
公开(公告)号:CN117910536A
公开(公告)日:2024-04-19
申请号:CN202410309633.4
申请日:2024-03-19
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本发明涉及人工智能技术领域,公开了文本生成方法及其模型梯度剪枝方法、装置、设备、介质,训练预热阶段保持文本生成模型当前的模型梯度不变;非训练预热阶段,基于滑窗尺寸信息和性能损失函数,确定出文本生成模型在每个训练步数下以损失函数变化率为表征的性能;根据设定的训练状态条件以及每个训练步数下以损失函数变化率为表征的性能和单步训练时长,依次对每个训练步数下的梯度剪枝量进行调整。每得到一个调整后的梯度剪枝量,则按照调整后的梯度剪枝量对文本生成模型进行梯度剪枝操作,直至当前训练步数达到文本生成模型的总训练步数,结束对文本生成模型的剪枝操作,保证了文本生成模型的训练任务能够在低速不稳定的网络环境中顺利完成。
-
-
-
-
-
-
-
-