-
公开(公告)号：CN117909746A
公开(公告)日：2024-04-19
申请号：CN202410322521.2
申请日：2024-03-20
Applicant: 之江实验室
IPC: G06F18/214 , G06F18/20
Abstract: 本说明书公开了一种用于空间探索的代理模型的在线数据选择方法，可以获取训练样本集，首先确定出训练样本集中样本的实际排序结果，在每一轮迭代训练前，通过上一轮得到的代理模型对训练样本集中的各样本进行排序，得到一个排序结果，通过实际排序结果确定出子数据集A和子数据集C，以及通过另一种排序结果，确定出子数据集B。根据子数据集A、B、C，对代理模型进行每一轮训练，训练完成后的代理模型可以对给出的若干待排序数据进行排序，本方法重点考虑排序高的空间点的数据拟合能力，并提供了一种高排序点和全空间点之间权衡的可控调节机制，从而提高了空间探索准确性，且由于提高了对高排序点的预测准确性，提高了探索的空间采样效率。
-
公开(公告)号：CN117149778B
公开(公告)日：2024-01-16
申请号：CN202311414028.5
申请日：2023-10-30
Applicant: 之江实验室
IPC: G06F16/22 , G06F16/2455
Abstract: 本申请涉及稀疏张量运算加速领域，特别是涉及一种稀疏张量运算加速方法、系统、计算机设备和存储介质，所述方法包括：读取两稀疏张量的压缩表示元数据信息，确定各稀疏张量中非零元素被标记为无效计算元素时所对应的另一个稀疏张量的起始非缩并维度索引和终止非缩并维度索引，并以键值对的形式存储在无效计算元素标记范围映射表中；对所述两稀疏张量进行自适应协同分块，得到所述两稀疏张量的预分块信息；基于所述无效计算元素标记范围映射表以及所述两稀疏张量的预分块信息，得到最终分块；将所述最终分块依次搬运至更内层缓存，直至完成计算。本发明减少运行时稀疏张量数据分块划分的重复性操作，进一步节省稀疏张量运算时间。
-
公开(公告)号：CN117077726B
公开(公告)日：2024-01-09
申请号：CN202311344094.X
申请日：2023-10-17
Applicant: 之江实验室
Abstract: 本申请公开了一种生成存内计算神经网络模型的方法，首先根据待构建的神经网络模型的目标任务，根据历史执行所述目标任务的任务数据作为训练样本，以及将目标任务的执行结果作为标注，之后通过对量化可微超网络的模型结构进行初始化，确定模型各节点之间数据传递顺序的有向无环图，确定架构参数以及权重参数，依该有向无环图的顺序，通过训练样本对权重参数进行调整，然后通过调整后的权重参数配置的模型，调整架构参数，得到存内运行的神经网络模型。通过权值继承，实现了可交替优化的两种参数，分别通过有监督训练和启发式学习进行调整，使得可以更为高效的学习深度神经网络架构。
-
公开(公告)号：CN117075918B
公开(公告)日：2024-01-09
申请号：CN202311328294.6
申请日：2023-10-13
Applicant: 之江实验室
Abstract: 在一种模型部署方法、装置、存储介质及电子设备中，响应于待优化模型，生成计算逻辑单元以及对应的张量程序，并确定各所述计算逻辑单元对应的类型。然后，依次确定各计算逻辑单元之后计算逻辑单元为约束单元，根据该计算逻辑单元的张量程序以及约束单元的张量程序，确定数据排布优化转换方案。最后，将该计算逻辑单元的张量程序、约束单元的张量程序以及转换方案组合，得到候选策略，根据耗时从各候选策略中选择目标策略并根据目标策略并进行模型部署。通过获取全局最优部署策略，解决了优化后各层中间表示最优结果存在冲突的情况，提高了模型部署效率。
-
公开(公告)号：CN117035123B
公开(公告)日：2024-01-09
申请号：CN202311298503.7
申请日：2023-10-09
Applicant: 之江实验室
Abstract: 本说明书公开了一种并行训练中的节点通信方法、存储介质、设备，所述方法应用于模型并行训练，所述模型被切分为不同的运算模块，各运算模块分别部署于不同的计算节点中，针对任一计算节点，该方法包括：根据训练样本及部署于该计算节点上的运算模块，得到待同步激活值；根据该待同步激活值与预存的输出激活值，得到输出激活值增量；对该输出激活值增量进行量化，得到量化激活值增量；将该量化激活值增量同步给其他计算节点。所述方法能够加速通信、减小对网络通信的要求，提升模型的训练性能。(56)对比文件王国生.基于忆阻器的脉冲神经网络关键技术研究《.中国优秀硕士学位论文全文数据库 信息科技辑》.2022,第2022年卷(第4期),I135-377.Richard Liaw等.Tune: A ResearchPlatform for Distributed Model Selectionand Training《.Arxiv》.2018,1-8.Dominic Masters等.Revisiting SmallBatch Training for Deep Neural Networks.《Arxiv》.2018,1-18.
-
Patent Agency Ranking
公开(公告)号：CN116992875B
公开(公告)日：2024-01-09
申请号：CN202311263225.1
申请日：2023-09-27
Applicant: 之江实验室
IPC: G06F40/289 , G06F40/30 , G06N20/00
Abstract: 本申请涉及一种文本生成方法、装置、计算机设备和存储介质。所述方法包括：基于关键词数据集训练初始文本生成模型，所述关键词数据集包括参考关键词以及参考文本，将所述参考关键词输入所述初始文本生成模型，得到初始模型生成文本，将所述初始模型生成文本以及初始拼接文本作为关键词中文对比数据集，基于所述关键词中文对比数据集和标准中文对比数据集训练文本生成奖励模型，基于所述初始文本生成模型和文本生成奖励模型确定目标文本生成模型，将候选关键词输入所述目标文本生成模型，得到目标生成文本。不仅保证了关键词一定出现在生成文本中，还提高了生成文本的语义准确性。
-
公开(公告)号：CN116991986B
公开(公告)日：2024-01-09
申请号：CN202311269260.4
申请日：2023-09-28
Applicant: 之江实验室
IPC: G06F16/33 , G06F16/35 , G06F18/214 , G06F18/23213
Abstract: 本申请涉及一种语言模型轻量化方法、装置、计算机设备和存储介质。所述方法包括：对初始语言模型的注意力层的可学习参数进行聚类，得到可学习参数的分区；对各个分区进行组合，得到初始语言模型的所有裁剪方式；基于初始语言模型的注意力层的各个功能在各个裁剪方式下的波动率，得到各个功能的对应分区；剔除或量化与待处理的任务所对应的功能相关性低的可学习参数，得到待训练的语言模型的可学习参数；基于待训练的语言模型的可学习参数，利用梯度下降法对可学习参数进行训练，直到收敛，得到完备的轻量化语言模型。采用本方法能够解决了现有的语言模型无法利用较少的计算资源来实现高精度的任务处理的问题。
-
公开(公告)号：CN116860259B
公开(公告)日：2023-12-19
申请号：CN202311138278.0
申请日：2023-09-05
Applicant: 之江实验室
Abstract: 本说明书公开了一种模型训练和编译器自动调优的方法、装置及设备。所述模型训练的方法包括：获取目标程序，并确定编译器对该目标程序进行编译时的各优化序列；确定出初始优化序列并生成当前样本点，以及，确定初始优化序列对所述目标程序进行编译的第一运行时间；生成邻域样本点，并确定邻域样本点对目标程序进行编译的第二运行时间；判断第一运行时间是否大于第二运行时间，若是，将邻域样本点作为当前样本点；在达到指定迭代次数后，确定运行时间小于预设时间的若干个各候选优化序列，并根据各候选优化序列构建训练样本；通过构建的训练样本对预测模型进行训练。
-
公开(公告)号：CN116880994B
公开(公告)日：2023-12-12
申请号：CN202311151854.5
申请日：2023-09-07
Applicant: 之江实验室
Abstract: 本发明公开了一种基于动态DAG的多处理器任务调度方法、装置及设备，该方法包括：根据任务之间的调度依赖关系构建DAG图；统计每一个任务在处理器上运行时间内的能量消耗；统计每一个处理器以最大频率运行时每一个任务节点的可靠性；根据DAG图计算每一个任务节点的出度并根据出度的大小降序排序构建出度队列；根据DAG图计算每一个任务节点的向上排序值并根据排序值降序构建向上排序队列；设定平衡比重参数，遍历并判断向上排序队列中的任务节点在出度队列中的相对位置，使用相关的公式进行任
-
公开(公告)号：CN117195997A
公开(公告)日：2023-12-08
申请号：CN202311464150.3
申请日：2023-11-06
Applicant: 之江实验室
IPC: G06N3/08 , G06F18/214 , G06F3/06
Abstract: 本说明书公开了一种模型训练方法、装置、存储介质及电子设备，在此方法中，待训练模型部署在本地节点的计算区中，并在本地节点中部署高速缓存区以及在计算区中部署数据生成模型。在实际模型训练过程中，将训练所需要的目标数据缓存在高速缓存区中，以便计算区从高速缓存区直接进行数据读取，来进行模型训练，若没有读取到数据，则通过数据生成模型根据索引值生成的目标数据，进一步进行模型训练，并在模型训练过程中，保证模型准确度的情况下，对模型进行模型压缩，来减少模型参量。通过减少对存储区的数据访问次数以及对模型进行模型压缩，从而在一定程度上提高模型训练效率和减少存储资源浪费。
-
-
-
-
-
-
-
-
-
Search Results
165
records
(took 0.032 seconds)
