-
公开(公告)号：CN116506523B
公开(公告)日：2023-09-19
申请号：CN202310742070.3
申请日：2023-06-21
Applicant: 之江实验室
IPC: H04L69/08 , H04L67/1097 , H04L67/133 , G06F9/54 , G06F9/50
Abstract: 本申请涉及一种适用于多协议的统一通信方法，包括定义包含通信接口类型的基础模块：构建包含应用程序接口层、通信接口层和传输层的基础架构；基于插件机制实现适用于多协议；基于标签匹配进行统一通信；基于多轨机制优化通信性能；设计统一内存管理接口。通过在消息中包含标签，发送端和接收端可以更加灵活和高效地进行消息匹配，满足各种不同的通信模式。相比现有方法，所述一种适用于多协议的统一通信方法可以大大减少应用开发难度，提高代码复用率和通信性能。
-
公开(公告)号：CN116362336B
公开(公告)日：2023-08-22
申请号：CN202310645642.6
申请日：2023-06-02
Applicant: 之江实验室
Abstract: 本发明涉及一种模型推理交互方法、电子设备、可读存储介质，所述方法应用于服务端，包括如下步骤：接收推理请求信息，从包括多个中间表示形式的深度学习模型的模型仓库中加载所述推理请求信息中指定的深度学习模型；根据所述推理请求信息从包括多个推理引擎的推理引擎库中加载指定的推理引擎，将中间表示形式的深度学习模型转换为与所述推理引擎匹配的形式；采用所述推理引擎对所述深度学习模型进行推理，发送与所述推理请求信息要求的形式相匹配的输出张量信息。与现有技术相比，本发明能够实现基于服务端的，针对深度学习模型的高效和灵活推理，同时具有安全性高、吞吐量大、调用方便、响应速度快等优点。
-
公开(公告)号：CN116541018A
公开(公告)日：2023-08-04
申请号：CN202310727219.0
申请日：2023-06-19
Applicant: 之江实验室
Abstract: 本说明书公开了一种分布式模型编译系统，该系统的主节点根据模型信息确定模型的逻辑计算图，将逻辑计算图划分为多个逻辑子计算图，针对每一个逻辑子计算图生成调度消息，然后将该调度消息发送到各从节点。各从节点根据收到的调度消息，分配本地计算资源对逻辑子计算图进行编译，并向主节点发送编译完成信息。主节点根据各从节点返回的编译完成信息，确定模型编译完成，并根据编译完毕的模型执行目标业务。子图的编译过程不再由主节点执行，而是分配至各从节点进行，提高从节点计算资源利用率，减少主节点的负载。主节点不再执行全局计算图的编译，还可以减少从节点等待时间，更加充分的利用了主节点和从节点的计算资源和存储资源。
-
公开(公告)号：CN116506523A
公开(公告)日：2023-07-28
申请号：CN202310742070.3
申请日：2023-06-21
Applicant: 之江实验室
IPC: H04L69/08 , H04L67/1097 , H04L67/133 , G06F9/54 , G06F9/50
Abstract: 本申请涉及一种适用于多协议的统一通信方法，包括定义包含通信接口类型的基础模块：构建包含应用程序接口层、通信接口层和传输层的基础架构；基于插件机制实现适用于多协议；基于标签匹配进行统一通信；基于多轨机制优化通信性能；设计统一内存管理接口。通过在消息中包含标签，发送端和接收端可以更加灵活和高效地进行消息匹配，满足各种不同的通信模式。相比现有方法，所述一种适用于多协议的统一通信方法可以大大减少应用开发难度，提高代码复用率和通信性能。
-
公开(公告)号：CN116361037A
公开(公告)日：2023-06-30
申请号：CN202310561547.8
申请日：2023-05-18
Applicant: 之江实验室
IPC: G06F9/54 , G06F9/50 , G06F15/173 , G06N3/098 , H04L67/133 , H04L67/60
Abstract: 本说明书公开了一种分布式通信系统及方法，通过第二动态通信网络对象基于第一工作节点发送的通知消息，在第二设备的内存中分配用于存储所述目标数据的目标内存，并基于目标数据和目标内存生成读取请求，并将读取请求发送给第一动态通信网络对象，从而，第一动态通信网络对象根据从读取请求中得到的目标数据的属性，从第一设备的内存中查找目标数据，并将目标数据通过写操作写入第二设备的目标内存，第二工作节点基于目标内存中的目标数据执行数据处理任务。可见，通过第一动态网络对象以及第二动态网络对象之间的交互，实现了跨设备的直接通信，无需大量不必要的数据拷贝，也不会占用中央处理器资源，从而提高了通信效率和数据并行的规模。
-
Patent Agency Ranking
公开(公告)号：CN116227585A
公开(公告)日：2023-06-06
申请号：CN202310519360.1
申请日：2023-05-10
Applicant: 之江实验室
Abstract: 本申请涉及一种集群任务的并行执行方法、装置、计算机设备和存储介质。所述方法包括：确定逻辑张量的配置信息；对逻辑张量进行跨层级分布，在逻辑张量从当前层级设备分布到目标层级设备的情况下，确定当前层级设备对应的源逻辑张量和目标层级设备对应的目标逻辑张量；针对于配置信息中的至少一种目标属性，若源逻辑张量和目标逻辑张量所针对的至少一种目标属性不同，则对至少一种目标属性进行转换，得到张量跨层级分布的转换子图。采用本方法能够在满足多层级关系的计算节点下分布式训练场景的需求的同时，提高分布式训练的效率。
-
公开(公告)号：CN116167461A
公开(公告)日：2023-05-26
申请号：CN202310435496.4
申请日：2023-04-21
Applicant: 之江实验室
Abstract: 本说明书公开了一种模型训练的方法、装置、存储介质及电子设备，本方法在前向计算过程中，将后向函数按照前向计算的顺序入栈存储，并通过存储后向函数在栈中的位置与前向输出张量的方式，将前向输出张量与后向函数绑定，既能够在前向计算的过程中构建后向计算图的逻辑，又隐式地维护了前向计算与后向计算之间的依赖联系，使得后向计算确定梯度时的速度和效率得以提高，能够更好的进行模型训练。
-
公开(公告)号：CN115240121B
公开(公告)日：2023-01-03
申请号：CN202211155651.9
申请日：2022-09-22
Applicant: 之江实验室
Abstract: 本发明公开了一种用于增强行人局部特征的联合建模方法和装置，包括以下步骤：S1：获取原始监控视频图像数据集，将原始监控视频图像数据集按比例划分训练集与测试集；S2：将监控视频图像训练集进行切割得到图像块向量序列；本发明采用多头注意力神经网络提取视频图像行人局部特征，使用通道卷积核学习图像通道权重参数，利用空间卷积在图像上扫描空间特征，增强行人局部特征提高行人识别率，采用前馈神经网络与激活函数，输入前馈神经网络经过线性层变换，并采用激活函数将行人概率分布映射成分类，识别出行人，输出行人在图像中位置坐标并框选出行人，实现行人重识别，使得能够获取可用的人脸图像。
-
公开(公告)号：CN115269205B
公开(公告)日：2022-12-27
申请号：CN202211177786.5
申请日：2022-09-27
Applicant: 之江实验室
Abstract: 本发明公开了一种面向神经网络计算的内存优化方法和装置，包括以下步骤：步骤S1：将计算图重构为拓扑结构计算图；步骤S2：构建关于张量变量的生命周期区间；步骤S3：构建关于生命周期区间的扫描线；步骤S4：将张量变量分配到空闲寄存器；步骤S5：分配给超出寄存器需求数量的张量变量；步骤S6：将已过期的所述生命周期区间所分配的寄存器分配给超出寄存器需求数量的张量变量；步骤S7：将转移到内存中的张量变量添加回处于激活状态的所述生命周期区间并为其分配空闲寄存器。本发明优化用于神经网络计算的计算图的数据流的内存，减少数据流中张量变量所需的内存开销，降低大模型对于硬件内存资源的要求。
-
公开(公告)号：CN114598631B
公开(公告)日：2022-08-09
申请号：CN202210455426.0
申请日：2022-04-28
Applicant: 之江实验室
Abstract: 本发明提供了一种面向神经网络计算的分布式数据路由的建模方法和装置，包括如下步骤：S1：设计物理张量的分布式属性：将逻辑张量与物理张量的映射关系抽象为广播属性、散播属性和局部规约属性三种分布式属性；S2：推演输出张量的分布式属性：指定输入张量的分布式属性，然后根据已知的输入张量的分布式属性推演输出张量的合法分布式属性；S3：根据分布式属性情形判断是否需要插入中间通信原语得到局部物理张量的分布式属性；利用所述的面向神经网络计算的分布式数据路由的建模方法和装置搭建模型，分布式设计和开发的难度低，推动了深度神经网络大模型落地应用的发展。
-
-
-
-
-
-
-
-
-
Search Results
133
records
(took 0.035 seconds)
