-
公开(公告)号：CN113656333A
公开(公告)日：2021-11-16
申请号：CN202111221953.7
申请日：2021-10-20
Applicant: 之江实验室
IPC: G06F12/0893 , G06N3/08
Abstract: 本发明公开了一种加速深度学习训练任务数据载入的方法，该方法使用双随机序列方式，在每个训练周期开始时提前计算下一个周期的随机序列，并申请一块独立的内存提前缓存下一个周期初始阶段所需数据。根据当前周期的随机序列依次为神经网络准备数据的同时，可参照下一个周期的随机序列及时将下一个周期初始阶段所需数据依次从内存拷贝到缓存，使得下一个周期初始阶段所需的数据可全部从缓存获得。本发明不需修改现有深度学习的架构，实现简单，引入的计算开销小，缓存数据能全部命中且可被使用多次，从而减少从后端存储系统读取数据，并且训练周期数越多，此方法的加速效果越明显。
-
公开(公告)号：CN112379849B
公开(公告)日：2021-04-09
申请号：CN202110062697.5
申请日：2021-01-18
Abstract: 本发明提出了一种基于序列可预测的并行深度学习训练数据输入方法，该方法在数据预取和缓存的时候，充分利用数据的访问序列可以预先确定这一特点，结合缓存命中率以及磁盘访问性能确定从底层并行文件系统中预取数据时的预取数据块大小再进行数据分配和缓存，从而使得大规模训练中第一轮训练的本地命中率得到很大提升。之后轮的训练中采用数据请求合并、根据下一轮将要使用的数据提前进行缓存替换，使整体分布式训练过程的通信开销减小，从而加快各节点的数据输入速度。本发明还基于上述方法提出了一种数据输入系统，该系统包括随机序列产生模块、数据预取模块和缓存替换模块，可以在保证全局数据随机读取的要求下，加快数据从存储中读取的速度。
-
公开(公告)号：CN112379849A
公开(公告)日：2021-02-19
申请号：CN202110062697.5
申请日：2021-01-18
Abstract: 本发明提出了一种基于序列可预测的并行深度学习训练数据输入方法，该方法在数据预取和缓存的时候，充分利用数据的访问序列可以预先确定这一特点，结合缓存命中率以及磁盘访问性能确定从底层并行文件系统中预取数据时的预取数据块大小再进行数据分配和缓存，从而使得大规模训练中第一轮训练的本地命中率得到很大提升。之后轮的训练中采用数据请求合并、根据下一轮将要使用的数据提前进行缓存替换，使整体分布式训练过程的通信开销减小，从而加快各节点的数据输入速度。本发明还基于上述方法提出了一种数据输入系统，该系统包括随机序列产生模块、数据预取模块和缓存替换模块，可以在保证全局数据随机读取的要求下，加快数据从存储中读取的速度。
-
公开(公告)号：CN119918624A
公开(公告)日：2025-05-02
申请号：CN202510404732.5
申请日：2025-04-02
Applicant: 之江实验室
Abstract: 本申请公开了一种模型训练系统、模型训练任务执行方法、装置及介质，模型训练系统中的管理集群可以获取训练集群执行模型训练任务时的实时状态数据，通过该实时状态数据，预测未来设定时间段内训练集群在执行模型训练任务时的状态，管理集群确定与训练集群中包含的各设备对应的各模拟器，并通过这些模拟器，初始化与训练集群对应的虚拟训练集群。管理集群根据预测状态，生成针对虚拟训练集群的若干执行策略，并按照这些执行策略中的至少部分执行策略，通过虚拟训练集群仿真执行该模型训练任务，得到至少部分执行策略对应的性能指标，根据得到的性能指标，确定目标策略，以按照目标策略，执行该模型训练任务，从而有效地提高整个训练集群的效率。
-
公开(公告)号：CN119179581B
公开(公告)日：2025-04-15
申请号：CN202411684883.2
申请日：2024-11-22
Applicant: 之江实验室
IPC: G06F9/50 , G06F16/182 , G06F3/06 , G06N3/0499 , G06N3/084
Abstract: 本说明书公开了一种存储资源调度方法、装置、存储介质及电子设备，可以通过预先构建的包含有多级分层的数据存储系统，执行针对目标模型的训练任务，并在执行针对目标模型的训练任务的过程中，可以基于预先确定的不同训练样本的数据质量参数，以及目标模型在不同的训练周期的不同的状态参数下对数据质量不同的训练样本数据的需求，对设置于不同分层中的不同异构存储资源进行调度管理，以提升水平方向的数据存取效率，从而可以从横纵两方面全面提升数据的存取效率，进而可以提升模型的训练效率。
-
Patent Agency Ranking
公开(公告)号：CN119293219B
公开(公告)日：2025-03-18
申请号：CN202411805809.1
申请日：2024-12-10
Applicant: 之江实验室
IPC: G06F16/334 , G06N3/0464 , G06N3/042 , G06F18/241 , G06F18/214
Abstract: 本申请涉及一种网络社交动态的情感分类方法、系统、设备和存储介质，通过对社交动态的文本进行预处理，得到预处理后的数据集；根据数据集构建包含词节点和社交动态节点的语义图；根据社交动态的话题属性，以及发布社交动态的用户的用户间关系，提取社交动态之间的关联信息，并根据社交动态之间的关联信息建立社交动态节点之间的连接关系，得到包含语义关系和社交关系的社交动态多层图；将社交动态多层图输入至集成模型进行处理，得到社交动态的情感分类结果；其中，集成模型由基于双曲学习的图卷积神经网络和大规模预训练语言模型构成；提升了社交动态的情感分类的准确度。
-
公开(公告)号：CN118691933B
公开(公告)日：2024-11-15
申请号：CN202411168955.8
申请日：2024-08-23
Applicant: 之江实验室
IPC: G06V10/80 , G06V10/764 , G06V10/82 , G06V10/40 , G06N3/098
Abstract: 本说明书公开了一种基于特征分布的模型训练方法和任务执行方法。所述模型训练方法包括：客户端获取本地的各样本图像，并确定每个样本图像对应的标签信息；针对每个样本图像，将该样本图像输入待训练的本地分类模型，确定该样本图像对应的数据特征并确定分类结果；根据每个样本图像的标签信息，确定每个样本图像对应数据特征的数据分布，并根据数据分布确定个体数据特征，将个体数据特征发送给服务器，服务器根据接收到的各客户端发送的个体数据特征，确定全局数据特征，并将全局数据特征返回给各客户端；根据分类结果和标签信息的之间偏差，以及个体数据特征和全局数据特征之间的偏差，确定损失值；根据损失值对本地分类模型的模型参数进行更新。
-
公开(公告)号：CN118691933A
公开(公告)日：2024-09-24
申请号：CN202411168955.8
申请日：2024-08-23
Applicant: 之江实验室
IPC: G06V10/80 , G06V10/764 , G06V10/82 , G06V10/40 , G06N3/098
Abstract: 本说明书公开了一种基于特征分布的模型训练方法和任务执行方法。所述模型训练方法包括：客户端获取本地的各样本图像，并确定每个样本图像对应的标签信息；针对每个样本图像，将该样本图像输入待训练的本地分类模型，确定该样本图像对应的数据特征并确定分类结果；根据每个样本图像的标签信息，确定每个样本图像对应数据特征的数据分布，并根据数据分布确定个体数据特征，将个体数据特征发送给服务器，服务器根据接收到的各客户端发送的个体数据特征，确定全局数据特征，并将全局数据特征返回给各客户端；根据分类结果和标签信息的之间偏差，以及个体数据特征和全局数据特征之间的偏差，确定损失值；根据损失值对本地分类模型的模型参数进行更新。
-
公开(公告)号：CN118377436B
公开(公告)日：2024-09-13
申请号：CN202410821445.X
申请日：2024-06-24
Applicant: 之江实验室
Abstract: 本说明书公开了一种模型数据的管理方法、装置、存储介质及电子设备。所述模型数据的管理方法包括：获取待存储的模型数据，并按照预设的数据页存储空间，将模型数据划分为若干个第一数据页；基于当前时刻生成的密钥，对每个第一数据页进行加密，得到各加密数据页，并根据各加密数据页生成的散列值对密钥进行加密，得到密钥数据页；构建包含各加密数据页和密钥数据页的数据条，并进行冗余编码，得到至少两个冗余数据页；将数据条中的各数据页和各冗余数据页写入存储设备，并对存储设备中存储的数据进行读取、恢复、更新、删除等数据管理。本方案有效避免了数据泄露以及损坏的风险，提高了数据的安全性。
-
公开(公告)号：CN118627020A
公开(公告)日：2024-09-10
申请号：CN202411110491.5
申请日：2024-08-14
Applicant: 之江实验室
IPC: G06F18/25 , G06N3/0895 , G06N3/09 , G06N3/0455
Abstract: 本发明公开了一种基于对比学习和结构化信息增强多模态特征融合的方法，基于对比学习的多模态网络，通过利用结构化信息构造的正负样本数据，充分挖掘模态特征之间的对应关系，基于对应关系，注入结构化信息增强模态特征的融合；本发明通过对原始数据集中成对的图片、文本对中的文本数据进行结构化处理，获取文本数据中的对象、对象关系、对象属性等信息构造文本语义负样本和结构知识特征，结构知识特征注入到文本特征中后，在对比学习模块中与文本正样本和图片数据一起进行特征对齐，基于对齐特征送入特征融合模块进行特征融合。本发明充分利用文本模态的结构信息进行特征对齐以及利用融合特征进行联合优化，极大地提升了模型的多模态理解能力。
-
-
-
-
-
-
-
-
-
Search Results
273
records
(took 0.036 seconds)
