-
公开(公告)号:CN118349367B
公开(公告)日:2024-11-15
申请号:CN202410781699.3
申请日:2024-06-18
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本发明在计算机应用技术领域公开了一种任务分配方法、装置、设备、存储介质及程序产品,该方法包括:获取服务器集群中处理器的状态信息,并将利用状态信息确定的空闲处理器标识写入目标记录中;从目标记录中依次读取空闲处理器标识并从输入文件中依次读取数据集路径;将读取得到的一个空闲处理器标识和一个数据集路径确定为一对分配信息,并根据每一对分配信息分别拼接一条任务命令并写入输出文件,并删除输入文件中已读取使用的数据集路径;基于输出文件,向服务器集群中的空闲处理器分配推理任务。技术效果:本发明可以自动实现向服务器集群分布式分配模型的推理任务,减少开发人员对分布式框架的学习成本以及任务分配部署的时间成本。
-
公开(公告)号:CN118349367A
公开(公告)日:2024-07-16
申请号:CN202410781699.3
申请日:2024-06-18
Applicant: 浪潮电子信息产业股份有限公司
Abstract: 本发明在计算机应用技术领域公开了一种任务分配方法、装置、设备、存储介质及程序产品,该方法包括:获取服务器集群中处理器的状态信息,并将利用状态信息确定的空闲处理器标识写入目标记录中;从目标记录中依次读取空闲处理器标识并从输入文件中依次读取数据集路径;将读取得到的一个空闲处理器标识和一个数据集路径确定为一对分配信息,并根据每一对分配信息分别拼接一条任务命令并写入输出文件,并删除输入文件中已读取使用的数据集路径;基于输出文件,向服务器集群中的空闲处理器分配推理任务。技术效果:本发明可以自动实现向服务器集群分布式分配模型的推理任务,减少开发人员对分布式框架的学习成本以及任务分配部署的时间成本。
-
公开(公告)号:CN118503715B
公开(公告)日:2024-10-15
申请号:CN202410962576.X
申请日:2024-07-18
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F18/214 , G06F18/22 , G06N3/045 , G06N3/092
Abstract: 本申请公开了一种文本扩充方法、设备、存储介质及计算机程序产品,应用于数据扩充技术领域,包括:从初始试题数据集合中选取一个试题数据,作为待扩充试题数据;向语言模型输入待扩充试题数据和第一提示词,得到第一回复并提取出N个试题数据;针对N个试题数据中的任意一个试题数据,向语言模型输入该试题数据之后,得到语言模型给出的标准答案和解析答案,并在标准答案和解析答案不一致时,舍弃该试题数据;当初始试题数据集合中的试题数据均被选取过作为待扩充试题数据时,完成对于初始试题数据集合的扩充。应用本申请的方案,提高了试题数据数量,实现了扩充,并且通过舍弃低质量的扩充内容,有利于降低后期对于数据筛选过滤的处理难度。
-
公开(公告)号:CN118397643B
公开(公告)日:2024-09-24
申请号:CN202410853502.2
申请日:2024-06-28
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06V30/412 , G06V10/774 , G06F40/289
Abstract: 本发明在计算机视觉技术领域,公开了一种图像处理方法、装置、设备及可读存储介质,该方法包括:获取图像数据集;对原始图像中的结构化信息进行识别,得到结构化数据;利用结构化数据进行自然语言描述生成处理,得到描述文本;将原始图像与对应的描述文本进行关联,得到与原始图像对应的图文样本;利用若干个原始图像对应的图文样本,构建图文数据集。在本发明中,并不需要设计提示语,而是直接从原始图像提取出结构化数据,然后基于结构化数据进行描述文本生成,如此,便可不再受限于提示语设计以及相关模型的限制,可以有效提升图文数据集可靠性。技术效果:能够构建可靠的图文数据集,为基于图文数据集的后续应用打下坚实的基础。
-
公开(公告)号:CN118503715A
公开(公告)日:2024-08-16
申请号:CN202410962576.X
申请日:2024-07-18
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06F18/214 , G06F18/22 , G06N3/045 , G06N3/092
Abstract: 本申请公开了一种文本扩充方法、设备、存储介质及计算机程序产品,应用于数据扩充技术领域,包括:从初始试题数据集合中选取一个试题数据,作为待扩充试题数据;向语言模型输入待扩充试题数据和第一提示词,得到第一回复并提取出N个试题数据;针对N个试题数据中的任意一个试题数据,向语言模型输入该试题数据之后,得到语言模型给出的标准答案和解析答案,并在标准答案和解析答案不一致时,舍弃该试题数据;当初始试题数据集合中的试题数据均被选取过作为待扩充试题数据时,完成对于初始试题数据集合的扩充。应用本申请的方案,提高了试题数据数量,实现了扩充,并且通过舍弃低质量的扩充内容,有利于降低后期对于数据筛选过滤的处理难度。
-
公开(公告)号:CN115686153A
公开(公告)日:2023-02-03
申请号:CN202211701751.7
申请日:2022-12-29
Applicant: 浪潮电子信息产业股份有限公司
Inventor: 陈曦
Abstract: 本申请公开了一种内存模组及一种电子设备,所属的技术领域为存储芯片设计技术。内存模组包括:至少2个MXC芯片、PCIe金手指、MCIO连接器以及DIMM;所述MXC芯片通过DDR5控制器端口连接所述DIMM,至少1个所述MXC芯片的CXL端口通过所述PCIe金手指对外交互,至少1个所述MXC芯片的CXL端口通过所述MCIO连接器对外交互。本申请能够提高内存模组的内存容量。
-
公开(公告)号:CN118657192A
公开(公告)日:2024-09-17
申请号:CN202410705644.4
申请日:2024-05-31
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06N3/096 , G06N3/042 , G06N3/0442 , G06N3/0455 , G06F18/213
Abstract: 本发明提供一种文本筛选方法、装置、电子设备及存储介质,涉及机器学习领域,可设置多个指导模型和一个门控单元,其中各指导模型均嵌入有对应预设评价维度的先验知识;而门控单元学习有先前已筛选的训练文本在下游模型训练任务中的历史表现,并可基于这一历史表现为输入文本生成各指导模型对应的权重值;进而可将待筛选的原始文本输入指导模型得到该原始文本生成对应的评价值,以及可将该原始文本输入门控单元得到各指导模型生成的权重值,进而可利用所有权重值对所有评价值进行加权求和处理得到各原始文本的筛选值,并根据筛选值对原始文本进行筛选,可避免人工筛选将导致的数据分布不均衡和覆盖面不够广的问题。
-
公开(公告)号:CN118397643A
公开(公告)日:2024-07-26
申请号:CN202410853502.2
申请日:2024-06-28
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06V30/412 , G06V10/774 , G06F40/289
Abstract: 本发明在计算机视觉技术领域,公开了一种图像处理方法、装置、设备及可读存储介质,该方法包括:获取图像数据集;对原始图像中的结构化信息进行识别,得到结构化数据;利用结构化数据进行自然语言描述生成处理,得到描述文本;将原始图像与对应的描述文本进行关联,得到与原始图像对应的图文样本;利用若干个原始图像对应的图文样本,构建图文数据集。在本发明中,并不需要设计提示语,而是直接从原始图像提取出结构化数据,然后基于结构化数据进行描述文本生成,如此,便可不再受限于提示语设计以及相关模型的限制,可以有效提升图文数据集可靠性。技术效果:能够构建可靠的图文数据集,为基于图文数据集的后续应用打下坚实的基础。
-
公开(公告)号:CN118278527A
公开(公告)日:2024-07-02
申请号:CN202410704394.2
申请日:2024-06-03
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06N5/04 , G06N3/045 , G06N3/0985 , G06F40/284 , G06F40/30 , G06F40/247 , G06F16/35
Abstract: 本发明公开了一种自然语言处理任务执行及模型训练方法、装置、设备,应用于人工智能技术领域。其中,方法包括,通过对包含至少一种数值运算符的数学关系式进行数值运算,得到对应的数值计算结果的方式,生成数值运算数据集;从数理逻辑角度对原始语言样本数据集进行数据增强处理,得到语言样本逻辑增强数据集;利用数值运算数据集、语言样本逻辑增强数据集和原始语言样本数据集,对待处理自然语言模型进行分阶段训练直至满足预设模型训练停止条件。利用训练好的自然语言模型执行自然语言处理任务。本发明可以解决相关技术用户对自然语言处理任务的执行效率及精度需求的问题,有效提高自然语言处理任务执行效率和精度。
-
公开(公告)号:CN118278527B
公开(公告)日:2024-08-16
申请号:CN202410704394.2
申请日:2024-06-03
Applicant: 浪潮电子信息产业股份有限公司
IPC: G06N5/04 , G06N3/045 , G06N3/0985 , G06F40/284 , G06F40/30 , G06F40/247 , G06F16/35
Abstract: 本发明公开了一种自然语言处理任务执行及模型训练方法、装置、设备,应用于人工智能技术领域。其中,方法包括,通过对包含至少一种数值运算符的数学关系式进行数值运算,得到对应的数值计算结果的方式,生成数值运算数据集;从数理逻辑角度对原始语言样本数据集进行数据增强处理,得到语言样本逻辑增强数据集;利用数值运算数据集、语言样本逻辑增强数据集和原始语言样本数据集,对待处理自然语言模型进行分阶段训练直至满足预设模型训练停止条件。利用训练好的自然语言模型执行自然语言处理任务。本发明可以解决相关技术用户对自然语言处理任务的执行效率及精度需求的问题,有效提高自然语言处理任务执行效率和精度。
-
-
-
-
-
-
-
-
-