-
公开(公告)号:CN119648514A
公开(公告)日:2025-03-18
申请号:CN202411688808.3
申请日:2024-11-22
Applicant: 中国电信股份有限公司技术创新中心 , 中国电信股份有限公司
Inventor: 刘圆
Abstract: 本公开提供了一种数据处理方法、装置、设备及存储介质,涉及通信技术领域。该方法包括:在GPU节点中进行模型训练得到参数梯度以及中间数据,确定中间数据是否满足预设条件,在中间数据满足预设条件的情况下,将中间数据以及参数梯度存储至CPU节点,在模型训练中断的情况下,确定当前模型训练的阶段,模型训练的阶段包括前向传播阶段以及后向传播阶段,基于模型训练的阶段以及预设策略完成上下文恢复,在模型训练中断的情况下,降低了模型训练中计算资源的浪费。
-
公开(公告)号:CN119232660A
公开(公告)日:2024-12-31
申请号:CN202411322862.6
申请日:2024-09-20
Applicant: 中国电信股份有限公司技术创新中心 , 中国电信股份有限公司
IPC: H04L47/127 , H04L47/30 , H04L47/70 , H04L67/12
Abstract: 本公开提供了一种数据传输方法及装置、存储介质及电子设备,涉及物联网技术领域。该方法包括:对多个节点的数据包进行缓存合并,确定传输消息;通过第一传输路径向目标接收端发送所述传输消息,预测所述第一传输路径的拥塞状态;根据预测的所述第一传输路径的拥塞状态,确定是否将所述传输消息通过第二传输路径发送至所述目标接收端。通过对多个节点的数据包进行缓存合并生成单条传输消息,可以显著减少网络中传输的数据包数量,提高数据传输效率;对第一传输路径进行拥塞预测,在第一传输路径拥塞之前就提前规划出第二传输路径,当第一传输路径拥塞时,切换至第二传输路径,减少了发生拥塞后重新配置网络拓扑需要的时间。
-
公开(公告)号:CN118709752A
公开(公告)日:2024-09-27
申请号:CN202410749393.X
申请日:2024-06-11
Applicant: 中国电信股份有限公司技术创新中心 , 中国电信股份有限公司
Abstract: 本公开提供了一种分布式训练微批量数据确定方法、装置、设备和介质,涉及新兴信息技术领域例如,该方法包括:基于预先确定的微批量数据大小将训练数据集划分为多个训练数据子集,以使计算相应的梯度值;接收预设数量的训练节点返回的梯度值,从各个训练节点中筛选出目标训练节点;判断预设时长内是否接收到目标训练节点返回的满足预设条件的梯度值;将接收到的全部梯度值、接收全部梯度值所耗费的总时长以及各个训练节点的模型性能参数输入至预先训练的神经网络模型,输出各个训练节点更新后的的模型性能参数,最终确定各个训练节点对应的微批量数据大小。本公开能够合理划分训练数据的微批量大小,以保证模型的性能和训练情况。
-
公开(公告)号:CN118378026A
公开(公告)日:2024-07-23
申请号:CN202410841284.0
申请日:2024-06-26
Applicant: 中国电信股份有限公司 , 中国电信股份有限公司技术创新中心
IPC: G06F18/10 , H04L41/142 , G06F18/241 , G06F18/214 , G06N3/0442
Abstract: 本公开提供了一种数据传输方法、装置、设备及存储介质,涉及计算机技术领域,该方法包括获取数据节点,基于预先去诶定的虚节点依赖树、失效节点以及修复节点确定多个数据修复需求,基于每个数据修复需求中节点之间的连接关系、节点之间的预测流量传输数据、每个数据修复需求对应的时间点以及预设算法去诶的那个多个数据修复需求的修复序列,基于修复序列对失效数据进行修复,降低了网络拥堵,提高了数据修复的效率。
-
公开(公告)号:CN118898286A
公开(公告)日:2024-11-05
申请号:CN202410940456.X
申请日:2024-07-12
Applicant: 中国电信股份有限公司技术创新中心 , 中国电信股份有限公司
Abstract: 本公开提供一种分布式模型训练方法、系统和相关设备,涉及计算机与互联网技术领域。该方法包括:将训练目标模型的训练集进行拆分,获得第一训练子集,第一训练子集包括多个第一迷你子集;第一训练节点通过第一迷你子集对目标模型进行梯度计算,获得第一梯度;第一训练节点从对应的CXL内存中获取第一梯度聚合变量;第一训练节点根据第一梯度对第一梯度聚合变量进行聚合更新,并将聚合更新后的第一梯度聚合变量刷新到第一训练节点对应的CXL内存中,其中CXL内存控制第一梯度聚合变量保持全局一致性;通过第一机架中的第一梯度聚合变量对目标模型的模型参数进行更新。本实施例提供的技术方案可以高效的完成对目标模型的分布式训练。
-
公开(公告)号:CN118368249A
公开(公告)日:2024-07-19
申请号:CN202410788606.X
申请日:2024-06-18
Applicant: 中国电信股份有限公司 , 中国电信股份有限公司技术创新中心
IPC: H04L47/12 , H04L47/283 , H04L47/56
Abstract: 本公开提供一种拥塞控制方法、装置、设备、介质和产品,其中,拥塞控制方法包括:控制接收端网卡向发送端网卡关联的发送端分配预信用包;控制发送端网卡对待传输的发送接收数据流进行分类预测,并根据分类预测的结果将预信用包中的预信用调度分配至发送接收数据流中的数据包;控制发送端网卡统计数据包的RTT的变化梯度,并根据变化梯度对可用的预信用的调度分配策略进行调整。通过本公开实施例,解决了First RTT的问题,减少了小流被大流抢占导致延迟增加的情况发生,降低了发送接收数据流拥塞的概率,提升了的主动传输的效率和可靠性。
-
公开(公告)号:CN116264075A
公开(公告)日:2023-06-16
申请号:CN202111539450.4
申请日:2021-12-14
Applicant: 中国电信股份有限公司
Abstract: 本发明的一个方面涉及多采样率语音识别训练方法和装置。公开了一种用于多采样率语音识别装置的训练方法,多采样率语音识别装置至少包括数据扩展模块和语音识别模块,训练方法包括:将多采样率样本语音数据特征输入到数据扩展模块中,以生成所需采样率的语音数据特征;将生成的语音数据特征和所需采样率的样本语音数据特征输入到判别模块中,以判定生成的语音数据特征是否合格;基于判定结果优化数据扩展模块;将被判定为合格的语音数据特征输入语音识别模块进行训练,并计算语音识别模块的损失值;基于判定结果和语音识别模块的损失值优化判别模块;重复以上步骤,直到数据扩展模块生成的语音数据特征全部被判定为合格。
-
公开(公告)号:CN114299633A
公开(公告)日:2022-04-08
申请号:CN202111623475.2
申请日:2021-12-28
Applicant: 中国电信股份有限公司
Abstract: 本公开提供了一种汽车驾驶事故预测方法、装置、电子设备及存储介质,涉及车辆技术领域。所述方法包括:实时采集汽车驾驶过程中的行车数据;将所述行车数据输入预先构建的动态融合模型,以得到汽车驾驶事故预测值;根据得到的汽车驾驶事故预测值与预设的驾驶安全阈值之间的关系,动态预测汽车驾驶风险。本公开提供了一种汽车驾驶事故预测方法、装置、电子设备及存储介质,采集汽车驾驶过程中的行车数据,将采集到的行车数据输入预先构建的动态融合模型,自动预测汽车驾驶过程中发生交通事故的预测值,动态预测汽车驾驶风险,降低交通事故发生的几率,提升用户体验。
-
公开(公告)号:CN105100544B
公开(公告)日:2018-12-04
申请号:CN201410213856.7
申请日:2014-05-21
Applicant: 中国电信股份有限公司
Abstract: 本发明公开了一种视频信息显示方法和系统。该方法包括:接收视频、以及要在视频播放过程中进行展示的附加信息的二进制编码;分别以普通帧和黑帧表示二进制编码的取值,根据要进行展示的二进制编码,将黑帧插入视频的普通帧之间,以普通帧和黑帧结合来表示完整的二进制编码,并播放携带二进制编码的视频。本发明避免二维码图标遮挡电视屏幕上播放的内容。
-
公开(公告)号:CN105592281B
公开(公告)日:2018-07-06
申请号:CN201410564688.6
申请日:2014-10-22
Applicant: 中国电信股份有限公司
IPC: H04N5/76
Abstract: 本发明公开了一种MPEG视频处理方法、装置和系统,涉及视频领域。本发明实施例通过拆分MPEG视频帧,并编制相应的视频帧类型映射表,进而将MPEG视频帧的关键信息由读写速度和可靠性较高的高性能闪存保存,非关键信息由读写速度和可靠性较低的低性能闪存保存,从而能够降低全部采用高性能闪存保存视频数据导致的高存储成本,同时在低性能闪存失效时,又可以利用保存在高性能闪存中的视频帧的关键信息保证视频的播放体验,从而实现了一种具有高性价比和高可靠性保存的视频数据存储方案。
-
-
-
-
-
-
-
-
-