分布式训练系统、神经网络模型训练方法、设备和介质

    公开(公告)号:CN116644804A

    公开(公告)日:2023-08-25

    申请号:CN202310928151.2

    申请日:2023-07-27

    Abstract: 本发明公开了一种分布式训练系统、神经网络模型训练方法、设备和介质,涉及计算机技术领域,该系统包括控制器和多个计算节点;控制器用于获取目标神经网络模型和训练数据集,并向多个计算节点发送对应的节点训练模型和节点训练数据集;目标神经网络模型为初始的神经网络模型去除第i个神经网络层与第i+1个神经网络层之间链接重要程度最低的第一数量个链接、去除神经元重要程度最低的第二数量个神经元以及对应的链接得到神经网络模型;计算节点用于基于接收到的节点训练数据集和接收到的节点训练模型的当前模型参数计算局部信息,并基于全局信息更新节点训练模型的模型参数,实现节点训练模型的迭代训练,得到训练完成的节点训练模型。

    一种混合异构模型训练方法、装置、设备及可读存储介质

    公开(公告)号:CN116226319A

    公开(公告)日:2023-06-06

    申请号:CN202310520116.7

    申请日:2023-05-10

    Abstract: 本申请在信息处理技术领域,公开了一种混合异构模型训练方法、装置、设备及可读存储介质,在本申请中,在提取程序性多结构样本的程序性文本数据时,首先提取出各个时序步骤和辅助信息的特征,然后会计算出步骤文本特征间的连接概率关系,并基于连接概率关系,以步骤文本特征和辅助文本特征为节点,建立并基于生成树进行特征聚合,得到含有时序步骤与时序步骤之间的层级关系,和时序步骤与辅助信息之间的隶属关系的多叉树形特征。进一步基于多叉树形特征和图像序列特征计算训练损失,并基于训练损失对初始模型进行参数调节,可以使得混合异构模型具备挖掘程序性文本数据中层次级工作流关系,从而提升训练后的混合异构模型的检索性能。

    一种数据识别方法、系统、设备及计算机可读存储介质

    公开(公告)号:CN115905456B

    公开(公告)日:2023-06-02

    申请号:CN202310016221.7

    申请日:2023-01-06

    Abstract: 本申请公开了一种数据识别方法、系统、设备及计算机可读存储介质,应用于信息处理技术领域,获取目标数量个文本数据;对于每个文本数据,均对文本数据进行实体识别,得到实体识别结果;提取文本数据的第一全局向量化特征;提取各个实体识别结果各自的实体向量化特征;基于实体向量化特征,确定所有的实体识别结果的第二全局向量化特征;将第一全局向量化特征与第二全局向量化特征进行连接,得到文本数据的目标向量化特征;基于目标向量化特征对文本数据进行聚类,得到聚类结果;基于聚类结果,生成对应的事件模式信息;基于事件模式信息对目标数据进行事件抽取,得到事件信息;基于事件信息对目标数据进行识别,可以高效率的得到识别结果。

    一种梯度数据的同步方法、系统、设备及存储介质

    公开(公告)号:CN115665174A

    公开(公告)日:2023-01-31

    申请号:CN202211592818.8

    申请日:2022-12-13

    Abstract: 本申请公开了一种梯度数据的同步方法、系统、设备及存储介质,应用于机器学习技术领域,包括:获取1个批次的训练样本并进行本地深度学习模型的训练,得到本地参数梯度;当自身在未组队状态下接收组队请求时将自身设置为组队状态;按照预设规则从邻居节点集合中选取出1个邻居节点,判断选取出的邻居节点当前是否处于组队状态;如果否,则与其组队;如果是,则重新选取;在将自身设置为组队状态之后,与组队节点进行梯度数据的同步,同步之后将自身恢复为未组队状态,并返回执行训练操作,直至模型训练结束。应用本申请的方案,可以有效地实现去中心化的梯度数据同步,同时降低了通信开销,提高了方案的应用范围。

    一种分布式计算方法、系统、存储介质和电子设备

    公开(公告)号:CN115660078A

    公开(公告)日:2023-01-31

    申请号:CN202211701753.6

    申请日:2022-12-29

    Abstract: 本申请提供一种分布式计算方法、系统、存储介质和电子设备,涉及分布式计算领域,包括:获取分布式计算任务;将分布式计算任务进行任务分解,得到子任务,并分配至各个计算节点;在每个计算节点中,利用训练线程训练子任务得到训练结果并存至第一缓存,利用通信线程获取当前全局数据存储至第二缓存;完成一次迭代后,交换第一缓存和第二缓存中的数据;在下一次迭代时,将当前全局数据作为下一次训练的初始值;迭代预设次数后得到计算节点对应的局部解;聚合各局部解,得到分布式计算任务的训练结果。本申请可以使得各计算节点训练得到的局部解更精确,还可以减少计算节点处理子任务的时间开销,提高分布式计算效率。

    一种图像生成方法、装置、设备及介质

    公开(公告)号:CN114648681B

    公开(公告)日:2022-10-28

    申请号:CN202210546381.8

    申请日:2022-05-20

    Abstract: 本申请公开了一种图像生成方法、装置、设备及介质,涉及人工智能领域,该方法包括:获取弱相关图文数据对,并根据弱相关图文数据对创建图文数据集,弱相关图文数据对为图文之间呈弱相关关系的图文数据对,利用图文数据集对预先基于对抗网络构建的图像生成模型进行训练,以得到训练后图像生成模型,图像生成模型中包含用于生成图片的生成器以及用于鉴别图片真假并计算相应损失值的判别器,当获取到待处理文本数据,则利用训练后图像生成模型生成与待处理文本数据对应的图片。本方法采用呈弱相关关系的图文数据,并使用单阶段端到端的训练方法,使生成的图像更加贴近实际的生活场景,容易落地实施,可用于指导艺术化、抽象化等图像的生成。

    一种商品价格识别方法、装置、设备及存储介质

    公开(公告)号:CN115019314A

    公开(公告)日:2022-09-06

    申请号:CN202210942294.4

    申请日:2022-08-08

    Abstract: 本申请公开了一种商品价格识别方法、装置、设备及存储介质,涉及图像识别领域。该方法包括:按照卷积神经网络、编码器、解码器、匹配模型、字符识别模块的顺序构建商品价格识别模型;将商品图像输入至商品价格识别模型,利用卷积神经网络提取得到商品图像对应的图像特征;将图像特征作为编码器的输入得到对应的编码特征,并将编码特征作为解码器的输入,得到多个商品检测框及多个价格检测框;利用匹配模型筛选出目标商品检测框及目标价格检测框,并确定出目标商品检测框与目标价格检测框的对应关系;利用字符识别模块识别目标价格检测框内的价格内容,并结合对应关系确定出每个目标商品框内商品的价格。能够提高商品价格识别的准确性。

    一种实体链接方法、装置、设备及存储介质

    公开(公告)号:CN114841164A

    公开(公告)日:2022-08-02

    申请号:CN202210466937.2

    申请日:2022-04-29

    Abstract: 本申请涉及自然语言处理技术领域,公开了一种实体链接方法、装置、设备及存储介质,包括:获取与输入文本对应的实体提及、候选实体以及实体描述;构建包含实体提及与实体描述的第一融合序列和包含候选实体与输入文本的第二融合序列;利用第一模型计算实体提及的第一融合序列与第二融合序列的相似度,并根据相似度从候选实体中确定出实体提及的链接实体;第三模型为利用训练文本的实体提及训练样本的正样本和负样本通过对比学习的方式对采用对比损失函数的预训练模型进行训练得到。本申请在实体链接中融入实体描述信息,同时通过正负样本对比学习的方式训练模型来实现实体消歧,提高实体链接准确度以及在开放知识图谱上进行实体链接的性能。

    物体识别方法、装置、电子设备及计算机可读存储介质

    公开(公告)号:CN114663737A

    公开(公告)日:2022-06-24

    申请号:CN202210546400.7

    申请日:2022-05-20

    Abstract: 本发明公开了一种物体识别方法、装置、电子设备及计算机可读存储介质,涉及模式识别领域,其中本方法在获取到包含物体且模态不确定的目标图像和候选图像时,可利用自注意力特征提取方式及跨注意力特征提取方式对各图像进行交互特征提取,以得到各图像对应的交互特征矩阵,可有效提升注意力机制在应对非确定跨模态物体重识别问题时的针对性;此外,本方法还可将上述两个交互特征矩阵融入概率空间,并在该空间中生成可表征目标图像和候选图像属于同一物体的概率的预测值,即能够采用概率预测方法,在概率空间中处理非确定跨模态物体的重识别问题,进而能够有效提升非确定跨模态物体重识别的准确度。

    卷积神经网络模型同步训练方法、集群及可读存储介质

    公开(公告)号:CN110705705B

    公开(公告)日:2022-04-22

    申请号:CN201910912956.1

    申请日:2019-09-25

    Abstract: 本申请公开了一种卷积神经网络模型同步训练方法、集群及可读存储介质,在本方法中,在训练卷积神经网络时,则按照训练数据量向各个GPU分配训练样本。各个GPU按照被分配的训练数据量对同一个卷积神经网络的训练耗时之间的差异得到缩小,各个GPU之间训练等待时间可缩短,训练效率得到提升。与此同时,在本方法中,用于训练卷积神经网络的GPU的型号可不同,因而可减少闲置GPU,可降低硬件成本。

Patent Agency Ranking