-
公开(公告)号:CN116341642A
公开(公告)日:2023-06-27
申请号:CN202310216915.5
申请日:2023-03-01
Applicant: 之江实验室
IPC: G06N3/082 , G06F16/901
Abstract: 本说明书公开了一种数据处理的方法、装置、存储介质及电子设备。首先,获取数据处理模型对应的算子运算关系图,算子运算关系图用于表示所述数据处理模型所包含的各算子之间的运算关系。其次,根据算子运算关系图,确定各算子。而后,从各算子中确定存在运算关系的算子,作为目标算子,并根据各目标算子按照不同的数据处理方式对输入张量进行数据处理时所消耗的运算资源,从各目标算子在对输入张量进行数据处理时所采用的各数据处理方式中筛选出目标方式。最后,当接收到待处理数据时,将待处理数据输入到数据处理模型中,以按照目标方式,通过数据处理模型对待处理数据进行数据处理。本方法可以提高对神经网络模型的训练效率。
-
公开(公告)号:CN116107636B
公开(公告)日:2023-06-27
申请号:CN202310363658.8
申请日:2023-04-06
Applicant: 之江实验室
Abstract: 本说明书公开了一种硬件加速方法、装置、存储介质及电子设备。在采用本说明书提供的硬件加速方法对目标硬件的矩阵乘法运算进行优化时,可根据样本矩阵的原始布局,也就是原始维度和原始大小确定出样本矩阵的各候选布局,并确定出目标硬件在采用各候选布局的样本矩阵进行矩阵运算时的运算时间,根据运算时间确定出满足指定条件的候选布局,作为目标硬件在采用布局为原始维度与原始大小的矩阵执行矩阵乘法时的目标布局。通过本方法能够找到每种不同原始布局的矩阵与目标硬件之间的亲和程度最高的目标布局,使目标硬件在采用目标布局的矩阵执行矩阵乘法运算时消耗的时间减少,效率提升。
-
公开(公告)号:CN116166275A
公开(公告)日:2023-05-26
申请号:CN202310442740.X
申请日:2023-04-24
Applicant: 之江实验室
Abstract: 本发明涉及一种深度学习任务构图方法、装置、介质,包括如下步骤:构建前向算子并进行前向计算,获取包括前向算子输入张量、输出张量和输出梯度的备选张量集,实现前向构图,其中,所述前向算子与深度学习任务和运行设备无关;构建后向算子,基于所述备选张量集进行后向计算,实现后向构图;在计算过程中,针对所述前向算子和所述后向算子,以及所述前向算子的输出张量和所述后向算子的输出张量的生命周期进行控制。与现有技术相比,本发明具有构图效率高、易于实现、资源开销小等优点。
-
公开(公告)号:CN116126365A
公开(公告)日:2023-05-16
申请号:CN202310413623.0
申请日:2023-04-18
Applicant: 之江实验室
Abstract: 本说明书公开了一种模型部署的方法、系统、存储介质及电子设备,包括:响应于用户的输入操作,确定待部署模型的部署信息。先根据待部署模型的模型信息,将待部署模型转换为中间表示模型。再根据用户选择的目标部署引擎的引擎信息,对中间表示模型进行转换,生成目标部署引擎支持的目标模型。使得待部署模型可以由不同的目标部署引擎进行模型部署,从而在后续过程中,只需对目标模型进行编译,得到可执行文件。再在目标硬件上运行可执行文件,以对待部署模型进行部署。
-
公开(公告)号:CN115268877B
公开(公告)日:2022-12-13
申请号:CN202211177798.8
申请日:2022-09-27
Applicant: 之江实验室
Abstract: 本发明公开了一种用于图计算并行执行的中间表示方法及装置,包括以下步骤:步骤S1:将神经网络编译为计算图;步骤S2:定义计算图中张量变量的分支状态;步骤S3:定义计算图中张量变量的数据依赖关系;步骤S4:定义计算图中张量变量的控制依赖关系;步骤S5:构建计算图中张量变量的数据依赖关系图;步骤S6:构建计算图中张量变量的控制依赖关系图;步骤S7:将控制依赖转换为数据依赖。本发明从全局角度分析计算图执行过程中计算图中不同分支线程的张量变量之间的依赖关系以及基于依赖关系推导全局计算图中可并行执行分支线程的并行计算方法,通过分析计算图执行过程中不同分支线程的张量变量之间的依赖关系,优化计算图的编译效率。
-
公开(公告)号:CN115357369A
公开(公告)日:2022-11-18
申请号:CN202211290188.9
申请日:2022-10-21
Applicant: 之江实验室
Abstract: 本发明公开了一种k8s容器云平台中CRD应用集成调用方法与装置,基于k8s的CRD模块,定义容器应用资源对象,包括控制信息和资源信息;构建其他CRD资源注册机制,注册其他CRD资源信息,并保存对其控制器信息,刷新并读取控制器信息,通过反射的方式运行其他CRD资源的控制器,使得用于运行控制器的最小单元上,能够运行多个其他CRD资源的控制器;将控制器部署到K8s中,用户提交控制信息和已注册的其他CRD资源的资源信息,系统根据控制信息执行控制逻辑,根据资源信息提交相应计算任务到k8s容器云平台中,已注册的其他CRD资源的控制器对计算任务进行处理;从而达到减少了资源的占用的目的。
-
公开(公告)号:CN115033391A
公开(公告)日:2022-09-09
申请号:CN202210952808.4
申请日:2022-08-10
Applicant: 之江实验室
Abstract: 本发明公开了一种用于神经网络计算的数据流动方法和装置,包括以下步骤:步骤1、初始化计算图中变量的生命周期,初始化从变量的定义开始到使用结束之间的时间段为所述变量在计算图中的生命周期;步骤2、定义使用中变量流过节点的传播规则,定义计算图某节点处的变量被使用,在该节点的前驱节点产生该变量的定义,使得流过该节点的有效变量的输入集合包含该变量;本发明公开了深度学习训练系统中一种用于神经网络计算的数据流动的建模方法和装置,可以从全局作用域的视角分析出局部循环里的每个计算子图的节点所需分配的内存单元块。所述的用于神经网络计算的数据流动方法提高整个计算图的计算效率,节约时间成本。
-
公开(公告)号:CN114580424B
公开(公告)日:2022-08-05
申请号:CN202210434737.9
申请日:2022-04-24
Applicant: 之江实验室
IPC: G06F40/295 , G06F40/186 , G06N3/04 , G06N3/08
Abstract: 本发明公开了一种用于法律文书的命名实体识别的标注方法和装置,包括以下步骤:步骤S1:获取法律文本,转换成索引表;步骤S2:输出句子特征编码结果;步骤S3:训练及预测;步骤S4:得到集合;步骤S5:得到多头分数转移矩阵;步骤S6:得出所述法律文本对应的分数转移矩阵;步骤S7:确定识别嵌套实体;步骤S8:利用所述识别嵌套实体构建实体标注模板。本发明通过改变对BERT模型的输入,尝试完成对嵌套实体标注的识别,利用本发明所述的多头选择矩阵标注思路,较大程度的缓解了NER任务中长文本以及嵌套实体的识别难度。
-
公开(公告)号:CN114461351B
公开(公告)日:2022-06-17
申请号:CN202210381726.9
申请日:2022-04-13
Applicant: 之江实验室
Abstract: 本发明公开了一种用于神经网络计算的动态图执行方法及装置,包括如下步骤:S1:构造和分发算子及张量;S2:算子解释器推导算子执行过程;S3:算子解释器构建运行时虚拟机的指令;S4:算子解释器将指令发送到运行时虚拟机;S5:虚拟机调度指令;S6:虚拟机释放已经执行完的指令。本发明提供了一种用于神经网络计算的动态图执行方法及装置,通过将运行时抽象为虚拟机,虚拟机实时地通过解释器获取用户搭建的每一步骤的子图调度和下发执行每个子图,既满足了用户即时调试的需求又可以局部调优,获取最优的局部模型。满足了算法研究人员开发模型过程中即时验证算法正确性和模型局部性能的需求。
-
公开(公告)号:CN113835695B
公开(公告)日:2022-02-18
申请号:CN202111408005.4
申请日:2021-11-25
Applicant: 之江实验室
Abstract: 本发明公开了一种基于统一后端引擎的深度学习框架与硬件设备适配方法,包括如下步骤:S1:深度学习框架添加统一后端引擎;S2:硬件设备添加统一后端引擎;S3:转换计算图,将深度学习框架编译生成的计算图转换为统一后端引擎的中间表示;S4:编译中间表示,统一后端引擎在硬件设备上编译中间表示生成可执行对象;S5:运行可执行对象,深度学习框架在硬件设备上运行可执行对象;S6:统一后端引擎的内存管理。本发明打通了深度学习框架与硬件设备,将深度学习框架源码与芯片底层软件全面对接,尽可能最大限度地释放芯片的硬件能力,为端侧AI提供强劲算力。
-
-
-
-
-
-
-
-
-