-
公开(公告)号:CN118396140B
公开(公告)日:2024-09-13
申请号:CN202410849948.8
申请日:2024-06-27
Applicant: 之江实验室
IPC: G06N20/20
Abstract: 本说明书公开了一种分布式模型训练系统及方法,第二计算节点基于适应度函数确定各树型结构模型的当前适应度,选择目标树型结构模型,第一计算节点选择参考树型结构模型,根据参考树型结构模型和目标树型结构模型,生成进化操作执行任务,将其分配给各第二计算节点,使其执行各进化操作执行任务,得到更新后的树型结构模型,第一计算节点从各更新后的树型结构模型中确定各选中的树型结构模型,并以此构建当前待训练模型,迭代多次直到满足第一预设条件,得到训练完成的目标模型。可见,上述方案实现了基于大型计算集群的分布式训练的适配,解决了大型树型模型占用计算资源高的问题,提升了大型树型模型的训练效率。
-
公开(公告)号:CN118567791A
公开(公告)日:2024-08-30
申请号:CN202411044021.3
申请日:2024-07-31
Applicant: 之江实验室
Abstract: 本说明书提供的一种缓存方法、装置、存储介质以及电子设备,首先确定执行分布式模型训练任务所需的目标容器,以及,确定目标容器中训练程序执行分布式模型训练任务所需的目标训练数据集的路径信息,将路径信息与预设的缓存表中包含的各路径信息进行匹配,以判断目标训练数据集是否被缓存,若是,则从缓存表中确定出缓存目标训练数据集的计算节点的节点信息,以从缓存目标训练数据集的计算节点中获取目标训练数据集,并通过目标容器执行分布式模型训练任务,若否,则根据路径信息,从云端获取目标训练数据集,以通过获取的目标训练数据集,执行分布式模型训练任务。
-
公开(公告)号:CN118502681A
公开(公告)日:2024-08-16
申请号:CN202410975313.2
申请日:2024-07-19
Applicant: 之江实验室
Abstract: 本申请涉及用于存储数据集的方法、系统及用于训练模型的方法。该存储方法包括:获得低速存储设备的平均传输速率;根据训练程序中一次迭代的时间、训练程序的总迭代次数及平均传输速率,获得数据集中用于存储至低速存储设备的低速子集,其中,数据集用于训练模型;以及确定数据集中需要存储在高速存储设备的高速子集,高速子集用于支持训练程序的启动训练。采用本方法能够使高速存储设备和低速存储设备构成的系统的总体成本较低;并能保证有效地支持模型的训练。
-
公开(公告)号:CN118394282A
公开(公告)日:2024-07-26
申请号:CN202410849941.6
申请日:2024-06-27
Applicant: 之江实验室
IPC: G06F3/06
Abstract: 本说明书公开了一种数据存储方法、装置、存储介质及电子设备。所述数据存储方法包括:获取各待存储的数据;根据每个数据所占用的存储空间,对各数据进行排序,并基于排序结果确定每个数据对应的数据编号,将存储设备的存储空间划分为若干个簇;针对每个数据,将该数据存储在与该数据所占用存储空间相匹配的块中;针对每个簇,根据该簇中第一个块所存储的数据对应的数据编号、该簇中最后一个块所存储的数据对应的数据编号、第一个块对应的存储地址以及该簇中块的大小,生成该簇的索引信息并存储。通过本方案所提供的数据存储方法可以在数据读取时极大的提高访问效率,进一步提升业务效率。
-
公开(公告)号:CN118379605A
公开(公告)日:2024-07-23
申请号:CN202410821436.0
申请日:2024-06-24
Applicant: 之江实验室
IPC: G06V10/96 , G06V10/94 , G06V10/82 , G06V10/44 , G06V10/764 , G06N3/0455 , G06N3/0464 , G06N3/0495 , G06N3/096
Abstract: 本说明书公开了一种图像识别大模型的部署方法、装置及存储介质,本方法应用于边端实时决策场景的所述图像识别大模型包括自编码器及分类器,先将能耗消耗较高的自编码器部署在异构存算一体芯片的模拟架构核中,将所述分类器部署在异构存算一体芯片的数字架构核中,以降低能耗。通过获取样本图像,将所述样本图像输入所述自编码器中,得到所述自编码器输出的样本图像特征。根据所述样本图像特征,对部署在所述数字架构核中的分类器进行训练,提高图像识别大模型的精度。也就是说,通过将能耗较高的自编码器部署在能耗消耗较低的模拟架构核中,降低能耗,对部署在数字架构核的分类器进行训练,提高图像识别大模型的精度。
-
公开(公告)号:CN117909371B
公开(公告)日:2024-06-28
申请号:CN202410308246.9
申请日:2024-03-18
Applicant: 之江实验室
IPC: G06F16/2455 , G06F16/23 , G06F18/214 , G06N20/00
Abstract: 本说明书公开了一种模型训练方法、装置、存储介质及电子设备。在此方法中,每轮训练时,确定对目标模型执行该轮训练任务时所要使用的训练样本的数据标识,并判断要使用的训练样本的数据标识是否存储在预设的数据列表中,若是,则从预设的缓存中查询该数据标识对应的训练样本,通过获取到的训练样本对目标模型进行训练,否则,根据该数据标识向预设的数据库发送数据获取请求,并通过获取到的训练样本对目标模型进行训练,根据该轮训练时使用的训练样本的使用次数,对预设的数据列表中存储的数据标识进行更新,以根据更新后的数据列表,对预设的缓存中的训练样本进行更新,并通过预设的缓存中更新后的训练样本,对目标模型进行下一轮训练。
-
公开(公告)号:CN117666971B
公开(公告)日:2024-04-30
申请号:CN202410136688.X
申请日:2024-01-31
Applicant: 之江实验室
IPC: G06F3/06 , G06F18/214
Abstract: 在本说明书提供的一种工业领域的数据存储方法、装置及设备中,通过响应于训练目标模型的原始数据的存储请求,确定目标模型的模型类型、训练完成的回归模型以及若干待选存储地址。针对每个待选存储地址,将原始数据、第一公式以及该待选存储地址输入回归模型,得到该待选存储地址的训练效果;根据各待选存储地址的训练效果,从各待选存储地址中,确定目标存储地址,并将原始数据存储至目标存储地址。通过计算存储请求中原始数据的不同待存储地址的训练效果,确定原始数据的目标存储地址,并将原始存储至目标存储地址,达到了根据数据训练的效果的对数据进行存储的目标。
-
公开(公告)号:CN117370679B
公开(公告)日:2024-03-26
申请号:CN202311656866.3
申请日:2023-12-06
Applicant: 之江实验室
IPC: G06F16/9536 , G06F16/583 , G06F16/55 , G06F16/33 , G06F16/35 , G06F18/213 , G06F18/25 , G06F18/24 , G06F18/27 , G06N3/0455 , G06N3/048 , G06N3/08 , G06Q50/00
Abstract: 本发明公开了一种多模态双向蕴含社交网络虚假消息验证的方法及装置,通过图片和文本编码器对原始图片‑文本对进行特征提取,根据其蕴含关系构建对比学习;通过图片和文本编码器提取图片‑文本对所对应的特征;使用回归编码器对特征进行回归转换,对转换后得到的特征构建对比学习过程,使转换后的图片特征、文本特征分别回归到原始图片特征空间、原始文本特征空间内;通过训练好的编码器提取社交网络虚假消息中的图片‑文本对特征;将提取到的特征进行拼接和融合,随后经过分类函数得到虚假消息分类检测结果。通过本发明能充分挖掘两个模态数据之间的互补和蕴含信息,弥补单个模态信息表征不强的缺点,进而提高对社交网络信息的验证检测能力。
-
公开(公告)号:CN117370536B
公开(公告)日:2024-03-12
申请号:CN202311673949.3
申请日:2023-12-07
Applicant: 之江实验室
IPC: G06F16/332 , G06F16/33 , G06N3/0464 , G06N3/08
Abstract: 本说明书公开了一种任务执行方法、装置、存储介质及电子设备。可以将用户输入的指定文本输入到预先训练的语言模型中,以通过语言模型确定指定文本对应的文本特征表示,并可以确定每个候选问题文本特征表示与文本特征表示之间的相关度,以根据相关度,从各候选问题文本特征表示中确定出与文本特征表示相匹配的候选问题文本特征表示,作为目标问题文本特征表示,并根据目标问题文本特征表示与所述文本特征表示之间的相关度是否低于预设的相关度阈值,确定是否向用户请求补充文本信息,以及是否将预先确定的目标问题文本特征表示对应的回复文本,作为指定文本对应的目标回复文本回复给用户。
-
公开(公告)号:CN117558693A
公开(公告)日:2024-02-13
申请号:CN202311478802.9
申请日:2023-11-07
Applicant: 之江实验室
IPC: H01L23/482 , H01L23/48 , H01L23/488 , H01L21/60 , H01L25/065 , H01L25/18 , H10B80/00
Abstract: 本申请提供一种晶圆、半导体组件及其制备方法、堆叠芯片及半导体产品。晶圆包括多个阵列排布的芯片单元,芯片单元包括至少两个相同的功能区域;功能区域具有电路结构;至少两个功能区域中部分功能区域或全部功能区域的电路结构电性连接;芯片单元具有多个焊垫,焊垫与至少两个功能区域的电路结构连接,用以对至少两个功能区域进行电气引出;其中,至少两个相同的功能区域中的至少两个功能区域互为冗余。上述晶圆,通过将所述芯片单元设置为包括两个相同的功能区域,至少两个所述功能区域中部分功能区域或全部功能区域的电路结构电性连接,并且至少两个相同的功能区域中的至少两个功能区域互为冗余,有利于提高晶圆中各芯片单元的良率。
-
-
-
-
-
-
-
-
-