-
公开(公告)号:CN116579308B
公开(公告)日:2023-10-10
申请号:CN202310819781.6
申请日:2023-07-06
Applicant: 之江实验室
IPC: G06F40/166 , G06F40/14 , G06F40/109 , G06F40/258 , G06F40/237 , G06F40/284 , G06F40/216
Abstract: 本发明公开了一种演示文稿生成方法及装置,该方法包括:获取生成演示文稿的主题,基于预先构建并训练完成的文本生成模块,得到演示文稿的二级标题和每个二级标题下的文字内容;将所述演示文稿的主题、二级标题和每个二级标题下的文字内容结构化得到若干部分,将每个部分作为一页演示文稿,对除了首页和目录页以外的其他页进行关键词提取;基于提取出的关键词,通过文本生成图像模块生成各页演示文稿对应的配图图像;把划分后的文字内容和对应页的配图图像进行自动排版,得到完整的演示文稿。
-
公开(公告)号:CN116542324B
公开(公告)日:2023-10-10
申请号:CN202310821100.X
申请日:2023-07-06
Applicant: 之江实验室
Abstract: 本发明提供了一种面向智能计算的分布式异步规约方法和装置,充分利用计计算集群内部的CPU和GPU异构计算资源,GPU只负责梯度计算,将参数更新和梯度规约卸载到CPU上执行。通过全局参数的训练迭代次序更新、全局参数的训练迭代次序同步、全局梯度同步这三个部分完成所有GPU之间的梯度更新和参数计算。有效提升了分布式训练中的通信和计算的并行性,提升了分布式训练的系统效率和性能。
-
公开(公告)号:CN116743660A
公开(公告)日:2023-09-12
申请号:CN202310903988.1
申请日:2023-07-21
Applicant: 之江实验室
IPC: H04L47/12 , H04L69/163 , H04L43/0882
Abstract: 本发明公开了一种面向广域网的拥塞控制方法:当交换机判定拥塞发生时,交换机获取接收缓冲区的网络包并构造拥塞通知报文;交换机直接将拥塞通知报文传递给发送方;其中,所述拥塞通知报文的目的IP地址为网络包的源IP地址,拥塞通知报文的源IP地址为网络包的目的IP地址;拥塞通知报文的目标TCP端口号为流量包的源TCP端口号,拥塞通知报文的源TCP端口号为网络包的目标TCP端口号;TCP头中拥塞窗口减小CWR和显示拥塞通知ECE同时被设置,表示该报文为拥塞通知报文;拥塞通知报文中TCP数据为拥塞状态相关信息。本发明还公开了一种面向广域网的拥塞控制装置。该方法及装置可以在广域网上传输拥塞通知报文,也可以缩短拥塞产生后的传输路径,提升拥塞控制的效果。
-
公开(公告)号:CN116382599B
公开(公告)日:2023-08-29
申请号:CN202310669715.5
申请日:2023-06-07
Applicant: 之江实验室
Abstract: 本说明书公开了一种面向分布式集群的任务执行方法、装置、介质及设备。所述面向分布式集群的任务执行方法包括:获取样本数据,根据磁盘带宽和本地延迟,以及网络带宽和网络延迟,对样本数据的数量进行划分,将第一样本数量的样本数据存储在各计算节点的本地磁盘,将第二样本数量的样本数据存储在存储节点,针对每个计算节点,将该计算节点的本地磁盘中指定数量的样本数据与其他计算节点的本地磁盘中的样本数据进行交换,得到更新后样本数据,以及,从所述存储节点中读取远端样本数据,根据更新后本地样本数据和远端样本数据,在该计算节点上执行当前训练周期针对目标模型的训练任务。
-
公开(公告)号:CN116542324A
公开(公告)日:2023-08-04
申请号:CN202310821100.X
申请日:2023-07-06
Applicant: 之江实验室
Abstract: 本发明提供了一种面向智能计算的分布式异步规约方法和装置,充分利用计计算集群内部的CPU和GPU异构计算资源,GPU只负责梯度计算,将参数更新和梯度规约卸载到CPU上执行。通过全局参数的训练迭代次序更新、全局参数的训练迭代次序同步、全局梯度同步这三个部分完成所有GPU之间的梯度更新和参数计算。有效提升了分布式训练中的通信和计算的并行性,提升了分布式训练的系统效率和性能。
-
公开(公告)号:CN116436962A
公开(公告)日:2023-07-14
申请号:CN202310376290.9
申请日:2023-03-31
Applicant: 之江实验室
IPC: H04L67/2885 , H04L67/10
Abstract: 面向DFS的全局聚合命名空间下跨计算节点的持久性缓存方法,包括:所有计算节点能按需访问存储在宿主计算节点、远端计算节点或数据存储服务器的任意文件;计算节点根据任务需求和元数据服务器给出的文件布局信息,通过策略引擎预设的缓存预取策略,反向使用条带化技术,根据缓存类型需求,将相关文件从数据存储服务器端复制或迁移到相应的多个计算节点本地持久性缓存设备;当缓存在多个计算节点的数据满足预设条件时,通过策略引擎预设的缓存替换或驱逐策略,将对相关计算节点端数据进行替换或驱逐到数据存储服务器端;根据待操作的相关文件是否已经缓存到对应计算节点本地持久性存储器中的情形,协同完成相关操作。
-
公开(公告)号:CN116306856A
公开(公告)日:2023-06-23
申请号:CN202310557259.5
申请日:2023-05-17
Applicant: 之江实验室
Abstract: 本说明书公开了一种基于搜索的深度学习模型部署方法及装置,可以获取深度学习模型所对应的计算图,确定计算图中包括的算子,并确定每个算子匹配的硬件资源,而后,根据各算子匹配的硬件资源,构建搜索空间,从搜索空间中选取出目标样本,并确定目标样本对应的运行时长,以及确定目标样本对应的邻域样本,并确定邻域样本对应的运行时长,若邻域样本对应的运行时长短于目标样本的运行时长,将邻域样本作为重新确定出的目标样本,并继续确定目标样本对应的邻域样本以及对应的运行时长,直到满足预设迭代终止条件为止,按照目标样本所对应的分配方案,对深度学习模型的算子进行硬件资源的分配,以进行部署,本方法可以提高深度学习模型的计算效率。
-
公开(公告)号:CN116258197A
公开(公告)日:2023-06-13
申请号:CN202310545694.6
申请日:2023-05-16
Applicant: 之江实验室
Abstract: 基于参数计算和通信调度的分布式训练加速方法,包括:根据反向传播算法各层梯度之间不存在依赖关系的特点,通过调整梯度计算顺序,优先计算模型靠前层的梯度,从而提早梯度的传输时间,使得下轮该层的前向传播过程能够更早开始;对于梯度传输过程,通过动态枚举梯度拆分或融合阈值,并结合实时运行情况来选择性能最优的方案。还包括一种基于参数计算和通信调度的分布式训练加速系统。本发明增加了计算和通信之间的覆盖度,提升了训练性能,且实现上简单灵活,能够快速适配不同的模型及训练环境。
-
公开(公告)号:CN116167463A
公开(公告)日:2023-05-26
申请号:CN202310461389.9
申请日:2023-04-26
Applicant: 之江实验室
Abstract: 本说明书公开了一种模型训练的方法、装置、存储介质及电子设备,将目标模型进行拆分,以得到各子模型,根据各个子模型,确定用于部署各个子模型的各计算节点,并在各计算节点上创建各容器,以将各子模型分别部署到所述各容器内。采用样本数据执行模型训练任务,以训练各容器内的部署的子模型。根据各计算节点的负载数据以及各容器对应的运算时长,确定出需要调整容器分布的计算节点,作为目标节点。以部署有子模型的各计算节点中的容器所对应的运算时长之间的偏差位于预设偏差范围内为调整目标,对目标节点中各容器的分布进行调整;基于调整容器分布后的各计算节点,执行目标模型的训练任务。
-
公开(公告)号:CN115774736B
公开(公告)日:2023-05-09
申请号:CN202310095934.7
申请日:2023-02-10
Applicant: 之江实验室
IPC: G06F16/2455 , G06F16/245 , G06F16/2453 , G06F16/22 , G06F16/901 , G06F16/903 , G06F9/50
Abstract: 本发明公开了一种数据延迟发送的NUMA架构时变图处理方法与装置,首选基于基线快照建立初始的时变图数据表示;根据更新快照以更新时变图数据表示,并构建快照并集;基于快照并集,在NUMA节点内部进行迭代计算,更新并累积顶点数据;将累积的顶点数据传播到其他NUMA节点以更新其他顶点数据;循环上述步骤,直至每个NUMA节点内没有可计算的活动顶点,对每个NUMA节点输出的结果进行聚合,完成NUMA架构时变图的处理。本发明关注了服务器的NUMA结构特征,实现了数据的合理分配以及数据包的灵活传输,降低了NUMA节点间的通信频率,提高计算资源的利用率,使时变图的计算效率得到显著提高。
-
-
-
-
-
-
-
-
-