-
公开(公告)号：CN118627020B
公开(公告)日：2024-10-29
申请号：CN202411110491.5
申请日：2024-08-14
Applicant: 之江实验室
IPC: G06F18/25 , G06N3/0895 , G06N3/09 , G06N3/0455
Abstract: 本发明公开了一种基于对比学习和结构化信息增强多模态特征融合的方法，基于对比学习的多模态网络，通过利用结构化信息构造的正负样本数据，充分挖掘模态特征之间的对应关系，基于对应关系，注入结构化信息增强模态特征的融合；本发明通过对原始数据集中成对的图片、文本对中的文本数据进行结构化处理，获取文本数据中的对象、对象关系、对象属性等信息构造文本语义负样本和结构知识特征，结构知识特征注入到文本特征中后，在对比学习模块中与文本正样本和图片数据一起进行特征对齐，基于对齐特征送入特征融合模块进行特征融合。本发明充分利用文本模态的结构信息进行特征对齐以及利用融合特征进行联合优化，极大地提升了模型的多模态理解能力。
-
公开(公告)号：CN118502681B
公开(公告)日：2024-10-18
申请号：CN202410975313.2
申请日：2024-07-19
Applicant: 之江实验室
Abstract: 本申请涉及用于存储数据集的方法、系统及用于训练模型的方法。该存储方法包括：获得低速存储设备的平均传输速率；根据训练程序中一次迭代的时间、训练程序的总迭代次数及平均传输速率，获得数据集中用于存储至低速存储设备的低速子集，其中，数据集用于训练模型；以及确定数据集中需要存储在高速存储设备的高速子集，高速子集用于支持训练程序的启动训练。采用本方法能够使高速存储设备和低速存储设备构成的系统的总体成本较低；并能保证有效地支持模型的训练。
-
公开(公告)号：CN118570560B
公开(公告)日：2024-09-27
申请号：CN202411044024.7
申请日：2024-07-31
Applicant: 之江实验室
IPC: G06V10/764 , G06V10/774 , G06V10/778
Abstract: 本说明书公开了一种训练图像分类模型的系统、方法、装置、介质及设备，代理节点通过数据分发模型确定训练数据的分发策略，根据分发策略为各训练节点分发训练数据。各训练节点缓存训练数据，在接收到训练任务时，先从本地缓存中获取执行训练任务所需要的训练数据，当本地缓存中的训练数据不能与执行训练任务所需要的训练数据匹配时，再获取执行训练任务所需要的且未在本地缓存的其他训练数据，从而完成训练任务。各训练节点在执行训练任务时，可确定本地缓存命中率并返回给代理节点。代理节点基于各训练节点的本地缓存命中率调整数据分发模型的参数，从而优化分发策略，以提高训练节点中训练数据的本地缓存命中率，提高图像分类模型的训练效率。
-
公开(公告)号：CN118642661A
公开(公告)日：2024-09-13
申请号：CN202411092481.3
申请日：2024-08-09
Applicant: 之江实验室
Abstract: 本发明公开了一种分布式深度学习缓存数据存储的方法和装置，其方法包括：使用细粒度的缓存数据布局方法，充分利用下一周期的随机访问序列指导数据在缓存节点的布局，然后以异步方式动态地将每个样本数据精确迁移到目标缓存节点，并将每个训练进程的数据摄取请求动态调度到目标缓存节点，使得任一时间段内各缓存节点收到的数据摄取请求数目都是相当的，从而保证每个缓存节点上的存储、网络等资源都能充分利用，当模型训练任务提升数据载入的并发度时，缓存数据摄取的并发度也相应提升，显著加快模型训练任务摄取数据的速度。
-
公开(公告)号：CN118394282B
公开(公告)日：2024-08-30
申请号：CN202410849941.6
申请日：2024-06-27
Applicant: 之江实验室
IPC: G06F3/06
Abstract: 本说明书公开了一种数据存储方法、装置、存储介质及电子设备。所述数据存储方法包括：获取各待存储的数据；根据每个数据所占用的存储空间，对各数据进行排序，并基于排序结果确定每个数据对应的数据编号，将存储设备的存储空间划分为若干个簇；针对每个数据，将该数据存储在与该数据所占用存储空间相匹配的块中；针对每个簇，根据该簇中第一个块所存储的数据对应的数据编号、该簇中最后一个块所存储的数据对应的数据编号、第一个块对应的存储地址以及该簇中块的大小，生成该簇的索引信息并存储。通过本方案所提供的数据存储方法可以在数据读取时极大的提高访问效率，进一步提升业务效率。
-
Patent Agency Ranking
公开(公告)号：CN118468045A
公开(公告)日：2024-08-09
申请号：CN202410937902.1
申请日：2024-07-12
Applicant: 之江实验室
IPC: G06F18/214 , G06N3/0442 , G06N3/0455 , G06N3/048 , G06N3/08
Abstract: 本说明书公开了一种模型训练加速方法、装置及存储介质，本方法用于在存算分离模式下使用重要性采样方法进行训练的目标模型的训练样本。通过在存储层级预测模型中设置特征重构模块及长短期记忆网络模块，利用特征重构模块，对训练样本被访问信息的特征参数进行特征重构，使得存储层级预测模型充分学习被访问信息的特征。之后，利用长短期记忆网络克服了梯度消失和梯度爆炸的问题。那么，将重构特征输入长短期记忆网络模块，得到预测结果。根据预测结果及标签，对存储层级预测模型进行训练，提高了存储层级预测模型的预测目标模型所需的训练样本的存储层级的准确率，进而提高了上级缓存命中率，加速目标模型训练。
-
公开(公告)号：CN117952182A
公开(公告)日：2024-04-30
申请号：CN202410345301.1
申请日：2024-03-25
Applicant: 之江实验室
Abstract: 本说明书公开了一种基于数据质量的混合精度模型训练方法及装置。所述任务执行方法包括：服务器首先接收训练指令，并执行训练指令，以获取目标模型，将预设的样本数据输入到预设的精度调整模型中，得到针对目标模型中包含的每个网络层对应关联数据的调整后精度。并根据调整后精度，对目标模型进行精度调整，得到调整后目标模型，并将样本数据输入调整后目标模型中，得到针对样本数据的预测结果，以最小化预测结果与样本数据对应的实际结果之间的偏差，以及最小化调整后目标模型处理样本数据所消耗的时间为优化目标，对目标模型以及精度调整模型进行训练。
-
公开(公告)号：CN117666971A
公开(公告)日：2024-03-08
申请号：CN202410136688.X
申请日：2024-01-31
Applicant: 之江实验室
IPC: G06F3/06 , G06F18/214
Abstract: 在本说明书提供的一种工业领域的数据存储方法、装置及设备中，通过响应于训练目标模型的原始数据的存储请求，确定目标模型的模型类型、训练完成的回归模型以及若干待选存储地址。针对每个待选存储地址，将原始数据、第一公式以及该待选存储地址输入回归模型，得到该待选存储地址的训练效果；根据各待选存储地址的训练效果，从各待选存储地址中，确定目标存储地址，并将原始数据存储至目标存储地址。通过计算存储请求中原始数据的不同待存储地址的训练效果，确定原始数据的目标存储地址，并将原始存储至目标存储地址，达到了根据数据训练的效果的对数据进行存储的目标。
-
公开(公告)号：CN117195997B
公开(公告)日：2024-03-01
申请号：CN202311464150.3
申请日：2023-11-06
Applicant: 之江实验室
IPC: G06N3/08 , G06F18/214 , G06F3/06
Abstract: 本说明书公开了一种模型训练方法、装置、存储介质及电子设备，在此方法中，待训练模型部署在本地节点的计算区中，并在本地节点中部署高速缓存区以及在计算区中部署数据生成模型。在实际模型训练过程中，将训练所需要的目标数据缓存在高速缓存区中，以便计算区从高速缓存区直接进行数据读取，来进行模型训练，若没有读取到数据，则通过数据生成模型根据索引值生成的目标数据，进一步进行模型训练，并在模型训练过程中，保证模型准确度的情况下，对模型进行模型压缩，来减少模型参量。通过减少对存储区的数据访问次数以及对模型进行模型压缩，从而在一定程度上提高模型训练效率和减少存储资源浪费。(56)对比文件Cedric Spire et al..Learning in theAbsence of Training Data—A GalacticApplication《.International Conference onBayesian Statistics in Action》.2019,第43-51页.王丽等.面向模型并行训练的模型拆分策略自动生成方法《.计算机工程与科学》.2020,第42卷(第09期),第1529-1537页.
-
公开(公告)号：CN117130693B
公开(公告)日：2024-02-13
申请号：CN202311397785.6
申请日：2023-10-26
Applicant: 之江实验室
Abstract: 本申请涉及一种张量卸载方法、装置、计算机设备及存储介质。所述方法包括：获取张量特征信息，所述张量特征信息包括待训练模型每层的显存容量需求、计算间隔以及计算延迟信息；基于预设卸载策略和所述显存容量需求确定显存约束条件，基于所述预设卸载策略和计算间隔确定卸载时间约束条件，所述预设卸载策略包括主存卸载和重计算卸载；基于所述显存约束条件和卸载时间约束条件筛选所述预设卸载策略，确定多个候选卸载策略；基于所述计算延迟信息确定每个候选卸载策略的额外计算延迟，基于所述额外计算延迟确定目标卸载策略，并基于所述目(56)对比文件卢海峰;顾春华;罗飞;丁炜超;杨婷;郑帅.基于深度强化学习的移动边缘计算任务卸载研究.计算机研究与发展.2020,(第07期),全文.马玮良;彭轩;熊倩;石宣化;金海.深度学习中的内存管理问题研究综述.大数据.2020,(第04期),全文.
-
-
-
-
-
-
-
-
-
Search Results
66
records
(took 0.032 seconds)
