一种并行训练中的节点通信方法、存储介质、设备

    公开(公告)号:CN117035123B

    公开(公告)日:2024-01-09

    申请号:CN202311298503.7

    申请日:2023-10-09

    Abstract: 本说明书公开了一种并行训练中的节点通信方法、存储介质、设备,所述方法应用于模型并行训练,所述模型被切分为不同的运算模块,各运算模块分别部署于不同的计算节点中,针对任一计算节点,该方法包括:根据训练样本及部署于该计算节点上的运算模块,得到待同步激活值;根据该待同步激活值与预存的输出激活值,得到输出激活值增量;对该输出激活值增量进行量化,得到量化激活值增量;将该量化激活值增量同步给其他计算节点。所述方法能够加速通信、减小对网络通信的要求,提升模型的训练性能。(56)对比文件王国生.基于忆阻器的脉冲神经网络关键技术研究《.中国优秀硕士学位论文全文数据库 信息科技辑》.2022,第2022年卷(第4期),I135-377.Richard Liaw等.Tune: A ResearchPlatform for Distributed Model Selectionand Training《.Arxiv》.2018,1-8.Dominic Masters等.Revisiting SmallBatch Training for Deep Neural Networks.《Arxiv》.2018,1-18.

    一种串口文件传输系统、方法、存储介质及设备

    公开(公告)号:CN118869684A

    公开(公告)日:2024-10-29

    申请号:CN202411363286.X

    申请日:2024-09-27

    Abstract: 在本说明书提供的一种串口文件传输系统、方法、存储介质及设备中,源端通过向目的端发送提示数据包,告知目的端子数据包已发送完毕,目的端在接收到提示数据包时,将记录下的错误或缺失的子数据包的标记序号,作为缺失序号,并确定反馈数据包,向源端发送反馈数据包来请求重传,即避免了每一子数据包确认应答信号的传输,从而降低了带宽占用,提高了传输速度,源端初始发送的元数据包用于使目的端了解待传输文件的基本信息,确保目的端处理数据的正确性,源端结束时发送的结束校验数据包用于对子数据包进行文件校验,元数据包和结束校验数据包可确保串口文件传输的可靠性。

    一种数据调度方法、装置和计算机设备

    公开(公告)号:CN117032936A

    公开(公告)日:2023-11-10

    申请号:CN202311267177.3

    申请日:2023-09-28

    Abstract: 本申请涉及一种数据调度方法、装置和计算机设备。所述方法包括:对TPU上的数据进行分块,将加载时间和卸载时间均相同的数据划分为同一数据块;基于数据块所对应的加载时间和卸载时间,得到数据调度模型的初始参数;基于每块TPU存储量的大小,得到数据块占用TPU数量的时间分布;根据数据块占用TPU数量的时间分布,计算资源消耗量;利用粒子群优化算法,对初始数据调度模型的参数进行优化训练,直至按照训练后的数据调度模型进行数据调度的资源消耗量,达到按照预设的最少的TPU数量计算得到的资源消耗量时,停止训练,得到完备数据调度模型;基于完备数据调度模型,对TPU上的数据块进行数据调度。采用本方法能够解决计算机的计算资源消耗高的问题。

    一种并行训练中的节点通信方法、存储介质、设备

    公开(公告)号:CN117035123A

    公开(公告)日:2023-11-10

    申请号:CN202311298503.7

    申请日:2023-10-09

    Abstract: 本说明书公开了一种并行训练中的节点通信方法、存储介质、设备,所述方法应用于模型并行训练,所述模型被切分为不同的运算模块,各运算模块分别部署于不同的计算节点中,针对任一计算节点,该方法包括:根据训练样本及部署于该计算节点上的运算模块,得到待同步激活值;根据该待同步激活值与预存的输出激活值,得到输出激活值增量;对该输出激活值增量进行量化,得到量化激活值增量;将该量化激活值增量同步给其他计算节点。所述方法能够加速通信、减小对网络通信的要求,提升模型的训练性能。

    基于模型自动量化的文本分类方法、系统和存储介质

    公开(公告)号:CN116992032A

    公开(公告)日:2023-11-03

    申请号:CN202311235665.6

    申请日:2023-09-25

    Abstract: 本申请涉及一种基于模型自动量化的文本分类方法、系统和存储介质,其中,上述方法包括:基于文本特征数据,得到初始神经网络;获取初始神经网络在目标卷积层的输入值和输出值;根据输入值,获取第一激活值;根据转移因子、第一激活值和第一权重值得到平滑系数;根据平滑系数,得到目标卷积层输出和初始神经网络在目标卷积层的输出值的均方误差集合,进而得到目标平滑系数;根据目标平滑系数对应得到目标神经网络模型,用于对待分类文本数据进行分类。通过本申请,解决了相关技术中存在的通过传统模型量化方法生成的文本分类神经网络模型的学习效果较差,导致文本分类的准确度较低问题,提高了文本分类的准确度。

    基于神经网络结构微调的图像分类方法、装置和存储介质

    公开(公告)号:CN116188878A

    公开(公告)日:2023-05-30

    申请号:CN202310450659.6

    申请日:2023-04-25

    Abstract: 本申请涉及一种基于神经网络结构微调的图像分类方法、装置和存储介质,用于对特征图进行处理,所述特征图由图像数据集输入神经网络所获得,所述方法包括:基于图像数据集的训练集和验证集,获取待剪枝神经网络各特征图的最小绝对偏差,从而确定各特征图的剪枝阈值对特征图进行剪枝,得到剪枝结构;量化剪枝结构,获取量化后剪枝结构的图像分类精度的损失值;基于损失值和剪枝结构的最大迭代周期,对剪枝结构进行微调,得到图像分类特征模型;最后将待测图像输入图像分类特征模型得到分类结果,实现图像分类神经网络模型剪枝范围的自适应调整和对剪枝模型的结构微调量化,提高利用显著压缩的图像分类特征模型进行图像分类处理的分类精度和速度。

    一种卫星遥感图像在轨实时处理系统、方法及装置

    公开(公告)号:CN118823553A

    公开(公告)日:2024-10-22

    申请号:CN202411279996.4

    申请日:2024-09-12

    Abstract: 本说明书公开了一种卫星遥感图像在轨实时处理系统、方法及装置,该系统包括地面中心和若干卫星。地面中心响应于用户的指令文本,确定任务地点信息,根据各卫星的运行轨迹和任务地点信息,确定目标卫星,将指令文本和任务地点信息发送给目标卫星。目标卫星根据任务地点信息,采集遥感图像,通过遥感大模型,确定指令文本对应的数据处理任务,对遥感图像进行数据处理,得到结果数据,将结果数据发送给地面中心。通过本系统,地面中心能够将用户的自然语言形式的指令文本直接发送到目标卫星,使目标卫星通过该指令文本采集的遥感图像进行数据处理,不需要用户输入专业的任务指令,降低了在轨数据处理任务的操作门槛。

Patent Agency Ranking