-
-
公开(公告)号:CN119336520A
公开(公告)日:2025-01-21
申请号:CN202411906036.6
申请日:2024-12-23
Applicant: 之江实验室
IPC: G06F9/50 , G06F15/177 , G06F15/173 , G06N3/006 , G06N3/08
Abstract: 本说明书公开了一种计算芯片和计算任务的执行方法。所述计算芯片包括:传输模块、计算芯粒以及存储芯粒,所述传输模块中设置有数据缓存子模块,计算芯片的基板上设置有若干个传输模块,针对每个传输模块,该传输模块与至少一个计算芯粒和/或至少一个存储芯粒相连接;传输模块用于,根据访存任务管理数据,从存储芯粒中读取任务数据并存储在数据缓存子模块中,以及,从本地的数据缓存子模块中读取任务数据并发送给目标计算芯粒;存储芯粒用于,存储任务数据,以及,向目标传输模块发送任务数据;计算芯粒用于,根据接收到的任务数据执行计算任务。本方案极大的提高了计算芯片内部的数据访存效率,进一步提高了计算任务的执行效率。
-
公开(公告)号:CN119179935A
公开(公告)日:2024-12-24
申请号:CN202411684885.1
申请日:2024-11-22
Applicant: 之江实验室
IPC: G06F18/24 , G06F18/214 , G06F18/40
Abstract: 本说明书公开了一种基于数据质量的数据存储方法、介质及设备。获取初始数据集。针对初始数据集中的每个数据,将该数据分别输入预设的各标注模型,得到每个标注模型针对该数据的标注结果,作为该数据对应的标注集。根据初始数据集中每个数据对应的标注集,在初始数据集中进行数据筛选,以构建出目标数据集。确定预设的计算节点在执行目标模型的模型训练任务时的数据访问信息,以及确定目标数据集中各数据对应的数据特性信息,根据数据访问信息以及目标数据集中包含的各数据对应的数据特性信息,确定计算节点在执行目标模型的模型训练任务时目标数据集中各数据的存储位置,并按照存储位置,将目标数据集作为训练样本进行存储。
-
公开(公告)号:CN118627020B
公开(公告)日:2024-10-29
申请号:CN202411110491.5
申请日:2024-08-14
Applicant: 之江实验室
IPC: G06F18/25 , G06N3/0895 , G06N3/09 , G06N3/0455
Abstract: 本发明公开了一种基于对比学习和结构化信息增强多模态特征融合的方法,基于对比学习的多模态网络,通过利用结构化信息构造的正负样本数据,充分挖掘模态特征之间的对应关系,基于对应关系,注入结构化信息增强模态特征的融合;本发明通过对原始数据集中成对的图片、文本对中的文本数据进行结构化处理,获取文本数据中的对象、对象关系、对象属性等信息构造文本语义负样本和结构知识特征,结构知识特征注入到文本特征中后,在对比学习模块中与文本正样本和图片数据一起进行特征对齐,基于对齐特征送入特征融合模块进行特征融合。本发明充分利用文本模态的结构信息进行特征对齐以及利用融合特征进行联合优化,极大地提升了模型的多模态理解能力。
-
公开(公告)号:CN118502681B
公开(公告)日:2024-10-18
申请号:CN202410975313.2
申请日:2024-07-19
Applicant: 之江实验室
Abstract: 本申请涉及用于存储数据集的方法、系统及用于训练模型的方法。该存储方法包括:获得低速存储设备的平均传输速率;根据训练程序中一次迭代的时间、训练程序的总迭代次数及平均传输速率,获得数据集中用于存储至低速存储设备的低速子集,其中,数据集用于训练模型;以及确定数据集中需要存储在高速存储设备的高速子集,高速子集用于支持训练程序的启动训练。采用本方法能够使高速存储设备和低速存储设备构成的系统的总体成本较低;并能保证有效地支持模型的训练。
-
公开(公告)号:CN118642661A
公开(公告)日:2024-09-13
申请号:CN202411092481.3
申请日:2024-08-09
Applicant: 之江实验室
Abstract: 本发明公开了一种分布式深度学习缓存数据存储的方法和装置,其方法包括:使用细粒度的缓存数据布局方法,充分利用下一周期的随机访问序列指导数据在缓存节点的布局,然后以异步方式动态地将每个样本数据精确迁移到目标缓存节点,并将每个训练进程的数据摄取请求动态调度到目标缓存节点,使得任一时间段内各缓存节点收到的数据摄取请求数目都是相当的,从而保证每个缓存节点上的存储、网络等资源都能充分利用,当模型训练任务提升数据载入的并发度时,缓存数据摄取的并发度也相应提升,显著加快模型训练任务摄取数据的速度。
-
公开(公告)号:CN118394282B
公开(公告)日:2024-08-30
申请号:CN202410849941.6
申请日:2024-06-27
Applicant: 之江实验室
IPC: G06F3/06
Abstract: 本说明书公开了一种数据存储方法、装置、存储介质及电子设备。所述数据存储方法包括:获取各待存储的数据;根据每个数据所占用的存储空间,对各数据进行排序,并基于排序结果确定每个数据对应的数据编号,将存储设备的存储空间划分为若干个簇;针对每个数据,将该数据存储在与该数据所占用存储空间相匹配的块中;针对每个簇,根据该簇中第一个块所存储的数据对应的数据编号、该簇中最后一个块所存储的数据对应的数据编号、第一个块对应的存储地址以及该簇中块的大小,生成该簇的索引信息并存储。通过本方案所提供的数据存储方法可以在数据读取时极大的提高访问效率,进一步提升业务效率。
-
公开(公告)号:CN118035427A
公开(公告)日:2024-05-14
申请号:CN202410448201.1
申请日:2024-04-15
Applicant: 之江实验室
IPC: G06F16/332 , G06F16/38 , G06F16/532 , G06F16/583 , G06F40/126 , G06F40/289 , G06V10/44 , G06V10/74 , G06N3/045
Abstract: 本发明公开了一种通过3D对比学习增强多模态图文检索的方法及装置,基于3D对比学习的多模态网络,通过属性信息监督模态特征之间的交互,充分挖掘模态之间的对应关系,从而能利用模态之间互补的、对齐的信息;在本发明方法中通过对原始数据集中成对的图片、文本对以及对应的属性信息进行特征抽取获得这三个维度的特征,然后送入到3D对比学习模块中,经过充分对比融合、特征对齐,获得视觉模态和文本模态之间的互补信息以及潜在对应关系。本发明通过3D对比学习增强多模态图片文本的检索,能充分利用图片的视觉模态信息、文本模态信息以及它们共享的属性信息这些特征进行联合优化,从而极大地提升了图片文本的检索准确率。
-
公开(公告)号:CN117952182A
公开(公告)日:2024-04-30
申请号:CN202410345301.1
申请日:2024-03-25
Applicant: 之江实验室
Abstract: 本说明书公开了一种基于数据质量的混合精度模型训练方法及装置。所述任务执行方法包括:服务器首先接收训练指令,并执行训练指令,以获取目标模型,将预设的样本数据输入到预设的精度调整模型中,得到针对目标模型中包含的每个网络层对应关联数据的调整后精度。并根据调整后精度,对目标模型进行精度调整,得到调整后目标模型,并将样本数据输入调整后目标模型中,得到针对样本数据的预测结果,以最小化预测结果与样本数据对应的实际结果之间的偏差,以及最小化调整后目标模型处理样本数据所消耗的时间为优化目标,对目标模型以及精度调整模型进行训练。
-
公开(公告)号:CN117666971A
公开(公告)日:2024-03-08
申请号:CN202410136688.X
申请日:2024-01-31
Applicant: 之江实验室
IPC: G06F3/06 , G06F18/214
Abstract: 在本说明书提供的一种工业领域的数据存储方法、装置及设备中,通过响应于训练目标模型的原始数据的存储请求,确定目标模型的模型类型、训练完成的回归模型以及若干待选存储地址。针对每个待选存储地址,将原始数据、第一公式以及该待选存储地址输入回归模型,得到该待选存储地址的训练效果;根据各待选存储地址的训练效果,从各待选存储地址中,确定目标存储地址,并将原始数据存储至目标存储地址。通过计算存储请求中原始数据的不同待存储地址的训练效果,确定原始数据的目标存储地址,并将原始存储至目标存储地址,达到了根据数据训练的效果的对数据进行存储的目标。
-
-
-
-
-
-
-
-
-