-
公开(公告)号:CN118379605B
公开(公告)日:2024-08-30
申请号:CN202410821436.0
申请日:2024-06-24
Applicant: 之江实验室
IPC: G06V10/96 , G06V10/94 , G06V10/82 , G06V10/44 , G06V10/764 , G06N3/0455 , G06N3/0464 , G06N3/0495 , G06N3/096
Abstract: 本说明书公开了一种图像识别大模型的部署方法、装置及存储介质,本方法应用于边端实时决策场景的所述图像识别大模型包括自编码器及分类器,先将能耗消耗较高的自编码器部署在异构存算一体芯片的模拟架构核中,将所述分类器部署在异构存算一体芯片的数字架构核中,以降低能耗。通过获取样本图像,将所述样本图像输入所述自编码器中,得到所述自编码器输出的样本图像特征。根据所述样本图像特征,对部署在所述数字架构核中的分类器进行训练,提高图像识别大模型的精度。也就是说,通过将能耗较高的自编码器部署在能耗消耗较低的模拟架构核中,降低能耗,对部署在数字架构核的分类器进行训练,提高图像识别大模型的精度。
-
公开(公告)号:CN118334278B
公开(公告)日:2024-08-27
申请号:CN202410779806.9
申请日:2024-06-17
Applicant: 之江实验室
IPC: G06T17/20
Abstract: 在本说明书提供的一种点云数据处理方法、装置、存储介质及设备中,针对三维空间的每个维度,按照该维度的坐标大小,依次针对该维度的每个网格截面,确定该网格截面中标记网格的数量,与前一网格截面中标记网格的数量之间的差值,并通过预设范围,确定该维度的划分面,进而基于确定出的各划分面,得到该三维空间的划分结果,即基于点云数据所在标记网格的分布,实现了三维空间的划分,避免了相邻点云数据所在的标记网格被划分到不同三维子空间中,从而提高了基于该划分结果下的点云数据,通过预测模型,确定目标预测结果的预测效率。
-
公开(公告)号:CN118394607A
公开(公告)日:2024-07-26
申请号:CN202410849946.9
申请日:2024-06-27
Applicant: 之江实验室
Abstract: 本说明书公开了一种计算集群温度告警方法、装置、存储介质及电子设备,包括:获取各服务器的核心芯片的硬件温度,将各硬件温度输入各服务器对应的预先训练的服务器告警模型,确定各服务器分别对应的第一状态。确定通过各传感器采集到的环境温度,并将各第一状态和各环境温度输入预先训练的集群告警模型,确定计算集群对应的告警状态,并根据告警状态,对计算集群进行温度告警。通过具有可解释性的多规则的服务器告警模型,自动化判断服务器的状态,以及通过具有可解释性的多规则的集群告警模型,自动化判断计算集群的告警状态,从而自动化对计算集群的温度进行监测,以避免计算集群的温度出现异常,以防硬件受损或系统崩溃。
-
公开(公告)号:CN118035427B
公开(公告)日:2024-07-23
申请号:CN202410448201.1
申请日:2024-04-15
Applicant: 之江实验室
IPC: G06F16/332 , G06F16/38 , G06F16/532 , G06F16/583 , G06F40/126 , G06F40/289 , G06V10/44 , G06V10/74 , G06N3/045
Abstract: 本发明公开了一种通过3D对比学习增强多模态图文检索的方法及装置,基于3D对比学习的多模态网络,通过属性信息监督模态特征之间的交互,充分挖掘模态之间的对应关系,从而能利用模态之间互补的、对齐的信息;在本发明方法中通过对原始数据集中成对的图片、文本对以及对应的属性信息进行特征抽取获得这三个维度的特征,然后送入到3D对比学习模块中,经过充分对比融合、特征对齐,获得视觉模态和文本模态之间的互补信息以及潜在对应关系。本发明通过3D对比学习增强多模态图片文本的检索,能充分利用图片的视觉模态信息、文本模态信息以及它们共享的属性信息这些特征进行联合优化,从而极大地提升了图片文本的检索准确率。
-
公开(公告)号:CN117952182B
公开(公告)日:2024-06-14
申请号:CN202410345301.1
申请日:2024-03-25
Applicant: 之江实验室
Abstract: 本说明书公开了一种基于数据质量的混合精度模型训练方法及装置。所述任务执行方法包括:服务器首先接收训练指令,并执行训练指令,以获取目标模型,将预设的样本数据输入到预设的精度调整模型中,得到针对目标模型中包含的每个网络层对应关联数据的调整后精度。并根据调整后精度,对目标模型进行精度调整,得到调整后目标模型,并将样本数据输入调整后目标模型中,得到针对样本数据的预测结果,以最小化预测结果与样本数据对应的实际结果之间的偏差,以及最小化调整后目标模型处理样本数据所消耗的时间为优化目标,对目标模型以及精度调整模型进行训练。
-
公开(公告)号:CN116881618B
公开(公告)日:2024-06-04
申请号:CN202311078065.3
申请日:2023-08-25
Applicant: 之江实验室
Abstract: 本申请涉及一种通用矩阵乘计算优化方法、装置及处理器,该方法应用于处理器,处理器包括至少一个计算核心,计算核心包括算术逻辑单元、数据缓存和寄存器,包括:基于算术逻辑单元的宽度、寄存器的数量、数据缓存的容量,以及预先确定的用于构成通用矩阵乘算子内核的计算核心数量,确定通用矩阵乘算子内核的尺寸;基于算子内核的尺寸、预先确定的基本块矩阵的尺寸,以及左矩阵、右矩阵的尺寸,优化并行计算的计算核心数量;基于并行计算的计算核心数量、基本块矩阵的尺寸,以及左矩阵、右矩阵的尺寸,对数据缓存中通用矩阵乘计算区域的分块计算进行优化,解决了通用矩阵乘计算硬件资源利用率较低,数据访存开销较大的问题。
-
公开(公告)号:CN117873789B
公开(公告)日:2024-05-10
申请号:CN202410287649.X
申请日:2024-03-13
Applicant: 之江实验室
Abstract: 在本说明书提供的一种基于分段量化的检查点写入方法及装置中,获取待写入的模型状态,并针对该模型状态中每个向量值,确定该向量值中数值的取值范围以及初始量化位宽,通过分段数量对该向量值进行分段,并针对该向量值中每个数值,确定该数值的所属分段以及该所属分段的分段取值范围,进而对该数值进行量化,根据量化后的各数值,确定量化后的该向量值,并写入检查点文件,该检查点文件用于模型的模型状态恢复。通过分段数量对该向量值进行分段,以及通过精准划分各所属分段的分段取值范围,再对各数值进行量化,在减少存储需求的同时,降低了数值量化的精度损失,并将各量化后的向量值全量写入检查点文件,减少恢复模型状态的复杂性。
-
公开(公告)号:CN117909746A
公开(公告)日:2024-04-19
申请号:CN202410322521.2
申请日:2024-03-20
Applicant: 之江实验室
IPC: G06F18/214 , G06F18/20
Abstract: 本说明书公开了一种用于空间探索的代理模型的在线数据选择方法,可以获取训练样本集,首先确定出训练样本集中样本的实际排序结果,在每一轮迭代训练前,通过上一轮得到的代理模型对训练样本集中的各样本进行排序,得到一个排序结果,通过实际排序结果确定出子数据集A和子数据集C,以及通过另一种排序结果,确定出子数据集B。根据子数据集A、B、C,对代理模型进行每一轮训练,训练完成后的代理模型可以对给出的若干待排序数据进行排序,本方法重点考虑排序高的空间点的数据拟合能力,并提供了一种高排序点和全空间点之间权衡的可控调节机制,从而提高了空间探索准确性,且由于提高了对高排序点的预测准确性,提高了探索的空间采样效率。
-
公开(公告)号:CN117909371A
公开(公告)日:2024-04-19
申请号:CN202410308246.9
申请日:2024-03-18
Applicant: 之江实验室
IPC: G06F16/2455 , G06F16/23 , G06F18/214 , G06N20/00
Abstract: 本说明书公开了一种模型训练方法、装置、存储介质及电子设备。在此方法中,每轮训练时,确定对目标模型执行该轮训练任务时所要使用的训练样本的数据标识,并判断要使用的训练样本的数据标识是否存储在预设的数据列表中,若是,则从预设的缓存中查询该数据标识对应的训练样本,通过获取到的训练样本对目标模型进行训练,否则,根据该数据标识向预设的数据库发送数据获取请求,并通过获取到的训练样本对目标模型进行训练,根据该轮训练时使用的训练样本的使用次数,对预设的数据列表中存储的数据标识进行更新,以根据更新后的数据列表,对预设的缓存中的训练样本进行更新,并通过预设的缓存中更新后的训练样本,对目标模型进行下一轮训练。
-
公开(公告)号:CN117892769A
公开(公告)日:2024-04-16
申请号:CN202410296736.1
申请日:2024-03-15
Applicant: 之江实验室
Abstract: 本申请涉及一种神经网络训练方法、显存调度方法、系统、设备和产品,通过对第一神经网络在训练过程中的多个张量执行显存调度,记录各张量在显存调度期间对应的显存信息和重用距离,显存信息包括对应于各张量的显存占用量、显存利用率以及适用于各张量的显存释放模式;以各张量的显存占用量、显存利用率和重用距离作为样本数据的输入,以适用于各张量的显存释放模式作为样本数据的输出,构建训练数据集;根据训练数据集训练初始的第二神经网络,得到经训练的第二神经网络,经训练的第二神经网络可作为线上显存优化的决策引擎,使得决策引擎能够适用于多GPU训练场景的显存调度。
-
-
-
-
-
-
-
-
-