一种并行训练中的节点通信方法、存储介质、设备

    公开(公告)号:CN117035123A

    公开(公告)日:2023-11-10

    申请号:CN202311298503.7

    申请日:2023-10-09

    Abstract: 本说明书公开了一种并行训练中的节点通信方法、存储介质、设备,所述方法应用于模型并行训练,所述模型被切分为不同的运算模块,各运算模块分别部署于不同的计算节点中,针对任一计算节点,该方法包括:根据训练样本及部署于该计算节点上的运算模块,得到待同步激活值;根据该待同步激活值与预存的输出激活值,得到输出激活值增量;对该输出激活值增量进行量化,得到量化激活值增量;将该量化激活值增量同步给其他计算节点。所述方法能够加速通信、减小对网络通信的要求,提升模型的训练性能。

    基于GPU的任务调度方法、电子装置和存储介质

    公开(公告)号:CN117032937A

    公开(公告)日:2023-11-10

    申请号:CN202311271781.3

    申请日:2023-09-28

    Abstract: 本申请涉及一种基于GPU的任务调度方法、电子装置和存储介质,其中,该任务调度方法包括:统计预设运行时间内调度器的GPU执行新任务时计算资源使用率超过计算资源平均使用率的时间占比和显存占用率超过显存平均占用率的时间占比;获取性能拐点显存占用率;据此划分新任务的类型并根据该类型和各执行器的GPU的运行任务数据,将新任务调度至匹配的执行器;执行前基于GPU运行状态、显存占用情况、新任务及正运行的任务的性能拐点显存占用率,分配GPU资源。通过本申请,解决了不具备优先级信息时GPU资源利用率低的问题,实现了在不具备任务优先级信息的情况下提高GPU资源利用率。

    基于聚类描述的小样本实体识别方法、装置和计算机设备

    公开(公告)号:CN116757216B

    公开(公告)日:2023-11-07

    申请号:CN202311024641.6

    申请日:2023-08-15

    Abstract: 本申请涉及一种基于聚类描述的小样本实体识别方法、装置和计算机设备,通过获取待识别文本数据;将所述待识别文本数据输入实体边界定位模型,得到所述待识别文本数据中所有实体的实体边界;将所述待识别文本数据以及所述实体边界输入实体聚类模型,得到多个类别的实体;基于多个类别的所述实体,确定每个类别的类别标识以及对应实体。上述基于聚类描述的小样本实体识别方法,基于实体边界定位模型和实体聚类模型,能够精准识别实体边界,并对实体进行精准分类,明显提高了实体识别和分类效率,并且由于人工介入的减少,也会一定程度提高实体标记的准确性。

    基于模型自动量化的文本分类方法、系统和存储介质

    公开(公告)号:CN116992032A

    公开(公告)日:2023-11-03

    申请号:CN202311235665.6

    申请日:2023-09-25

    Abstract: 本申请涉及一种基于模型自动量化的文本分类方法、系统和存储介质,其中,上述方法包括:基于文本特征数据,得到初始神经网络;获取初始神经网络在目标卷积层的输入值和输出值;根据输入值,获取第一激活值;根据转移因子、第一激活值和第一权重值得到平滑系数;根据平滑系数,得到目标卷积层输出和初始神经网络在目标卷积层的输出值的均方误差集合,进而得到目标平滑系数;根据目标平滑系数对应得到目标神经网络模型,用于对待分类文本数据进行分类。通过本申请,解决了相关技术中存在的通过传统模型量化方法生成的文本分类神经网络模型的学习效果较差,导致文本分类的准确度较低问题,提高了文本分类的准确度。

    一种基于搜索的深度学习模型部署方法及装置

    公开(公告)号:CN116306856B

    公开(公告)日:2023-09-05

    申请号:CN202310557259.5

    申请日:2023-05-17

    Abstract: 本说明书公开了一种基于搜索的深度学习模型部署方法及装置,可以获取深度学习模型所对应的计算图,确定计算图中包括的算子,并确定每个算子匹配的硬件资源,而后,根据各算子匹配的硬件资源,构建搜索空间,从搜索空间中选取出目标样本,并确定目标样本对应的运行时长,以及确定目标样本对应的邻域样本,并确定邻域样本对应的运行时长,若邻域样本对应的运行时长短于目标样本的运行时长,将邻域样本作为重新确定出的目标样本,并继续确定目标样本对应的邻域样本以及对应的运行时长,直到满足预设迭代终止条件为止,按照目标样本所对应的分配方案,对深度学习模型的算子进行硬件资源的分配,以进行部署,本方法可以提高深度学习模型的计算效率。

    一种基于存算一体系统的数据处理方法及装置

    公开(公告)号:CN116306855B

    公开(公告)日:2023-09-01

    申请号:CN202310555078.9

    申请日:2023-05-17

    Abstract: 本说明书公开了一种基于存算一体系统的数据处理方法及装置,根据目标模型确定目标单元的目标数量以及各目标单元对应的控制向量,从存算一体系统的各数据处理单元中选择目标数量的目标单元,进而根据各目标单元对应的控制向量,从各类型的候选操作中,分明别确定各目标单元对应的目标操作,以便将各目标单元的输入分别输入到各目标单元中,对各目标单元的输入采用目标操作执行数据处理,得到目标模型的输出数据。可见,基于目标单元对应的控制向量确定目标单元执行的目标操作的方式,仅通过改变控制向量就能够兼容不同架构的模型,无需进行电路结构的重新设计,扩展了基于存算一体电路的模型推理的场景,并提高了效率。

    一种算子优化方法、装置、存储介质及电子设备

    公开(公告)号:CN116663618A

    公开(公告)日:2023-08-29

    申请号:CN202310941263.1

    申请日:2023-07-28

    Abstract: 本说明书公开了一种算子优化方法、装置、存储介质及电子设备。在本说明书提供的算子优化方法中,获取目标神经网络模型,并确定目标神经网络模型的计算图;针对计算图中每个算子,确定包含该算子所有可行解的搜索空间;在搜索空间中选择若干可行解作为候选解,确定各候选解的评估值,并将评估值最高的作为待定解;确定目标硬件运行待定解的运行时间,并增加迭代次数;当运行时间小于当前最优时间或不存在当前最优时间时,将运行时间确定为当前最优时间,并将待定解确定为当前最优解;当迭代次数小于指定次数时,重新在该算子的搜索空间中选择指定数量个未被选择过的候选解;当迭代次数不小于指定次数时,将当前最优解确定为该算子的最优解。

    一种文本生成模型的训练方法、装置、介质及电子设备

    公开(公告)号:CN116628198A

    公开(公告)日:2023-08-22

    申请号:CN202310515566.7

    申请日:2023-05-08

    Abstract: 本说明书公开了一种文本生成模型的训练方法、装置、介质及电子设备,包括:先将从通用文本数据集中确定出的原始文本输入预先训练的类型识别模型,确定原始文本的模板标注。再根据模板标注,确定模板标注对应的目标模板。然后,根据原始文本、模板标注以及目标模板,生成训练文本生成模型的训练样本,将输入部分输入待训练的文本生成模型,得到输出文本,以样本标注与输出文本之间的差异最小为训练目标,对待训练的文本生成模型进行训练,增加了训练文本生成模型的训练样本,使得可以在训练样本较少的情况下,训练文本生成模型,使得文本生成模型训练效果好,提高文本生成模型的输出文本的准确性。

    一种演示文稿生成方法及装置

    公开(公告)号:CN116579308A

    公开(公告)日:2023-08-11

    申请号:CN202310819781.6

    申请日:2023-07-06

    Abstract: 本发明公开了一种演示文稿生成方法及装置,该方法包括:获取生成演示文稿的主题,基于预先构建并训练完成的文本生成模块,得到演示文稿的二级标题和每个二级标题下的文字内容;将所述演示文稿的主题、二级标题和每个二级标题下的文字内容结构化得到若干部分,将每个部分作为一页演示文稿,对除了首页和目录页以外的其他页进行关键词提取;基于提取出的关键词,通过文本生成图像模块生成各页演示文稿对应的配图图像;把划分后的文字内容和对应页的配图图像进行自动排版,得到完整的演示文稿。

Patent Agency Ranking