公开(公告)号：CN115248728B

公开(公告)日：2023-02-03

申请号：CN202211148202.1

申请日：2022-09-21

Applicant: 之江实验室

Inventor： 朱世强 ,  李勇 ,  程稳 ,  陈光 ,  曾令仿

IPC: G06F9/48 ,  G06F9/50

Abstract: 本发明提供一种面向智能计算的分布式训练任务调度方法、系统和装置，系统包括模型性能预测和分解模块、全局GPU资源调度器和各计算节点均配置的本地GPU资源调度器，全局GPU资源调度器在接收到模型性能预测和分解模块发送的子任务请求后，根据各子任务的资源消耗信息及多个计算节点的GPU运行情况，将各子任务分配到匹配的计算节点的GPU进行训练，并构建各子任务之间的通信拓扑，并在各计算节点的GPU训练对应子任务的过程中，监控各计算节点的GPU的计算资源运行情况，及根据所有计算节点的GPU的计算资源运行情况，控制子任务的调度。本发明能够提高计算集群的GPU和网络等资源的利用率，减少子任务训练的等待时间。

公开(公告)号：CN115268877B

公开(公告)日：2022-12-13

申请号：CN202211177798.8

申请日：2022-09-27

Applicant: 之江实验室

Inventor： 王宏升 ,  陈光 ,  曾令仿 ,  潘爱民

IPC: G06F8/30 ,  G06F8/41 ,  G06N3/04 ,  G06T1/40

Abstract: 本发明公开了一种用于图计算并行执行的中间表示方法及装置，包括以下步骤：步骤S1：将神经网络编译为计算图；步骤S2：定义计算图中张量变量的分支状态；步骤S3：定义计算图中张量变量的数据依赖关系；步骤S4：定义计算图中张量变量的控制依赖关系；步骤S5：构建计算图中张量变量的数据依赖关系图；步骤S6：构建计算图中张量变量的控制依赖关系图；步骤S7：将控制依赖转换为数据依赖。本发明从全局角度分析计算图执行过程中计算图中不同分支线程的张量变量之间的依赖关系以及基于依赖关系推导全局计算图中可并行执行分支线程的并行计算方法，通过分析计算图执行过程中不同分支线程的张量变量之间的依赖关系，优化计算图的编译效率。

公开(公告)号：CN115357369A

公开(公告)日：2022-11-18

申请号：CN202211290188.9

申请日：2022-10-21

Applicant: 之江实验室

Inventor： 郑焕波 ,  陈光 ,  李勇 ,  程宏才 ,  曾令仿 ,  王宏升 ,  赵瑞芳

IPC: G06F9/48 ,  G06F9/445

Abstract: 本发明公开了一种k8s容器云平台中CRD应用集成调用方法与装置，基于k8s的CRD模块，定义容器应用资源对象，包括控制信息和资源信息；构建其他CRD资源注册机制，注册其他CRD资源信息，并保存对其控制器信息，刷新并读取控制器信息，通过反射的方式运行其他CRD资源的控制器，使得用于运行控制器的最小单元上，能够运行多个其他CRD资源的控制器；将控制器部署到K8s中，用户提交控制信息和已注册的其他CRD资源的资源信息，系统根据控制信息执行控制逻辑，根据资源信息提交相应计算任务到k8s容器云平台中，已注册的其他CRD资源的控制器对计算任务进行处理；从而达到减少了资源的占用的目的。

公开(公告)号：CN115237580A

公开(公告)日：2022-10-25

申请号：CN202211147981.3

申请日：2022-09-21

Applicant: 之江实验室

Inventor： 朱世强 ,  李勇 ,  程稳 ,  陈光 ,  曾令仿

IPC: G06F9/48 ,  G06F9/50 ,  G06T1/40 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明提供一种面向智能计算的流水并行训练自适应调整系统、方法，系统包括监控模块和调整模块，调整模块在计算节点的计算任务划分不均衡时，根据计算节点的不均衡类型，确定调整策略，并根据调整策略，调整子模型在计算集群中的分配；调整包括以下至少一种：将计算任务划分不均衡的计算节点的至少部分子模型的层由该计算节点迁移至其他计算节点；控制计算任务划分不均衡的计算节点执行CPU‑GPU内存交换或重计算，或者控制计算任务划分不均衡的计算节点取消当前执行的CPU‑GPU内存交换或重计算；对计算集群的网络拓扑结构进行调整。本发明能动态调整子模型在计算集群中的分配。

公开(公告)号：CN114758035A

公开(公告)日：2022-07-15

申请号：CN202210661703.3

申请日：2022-06-13

Applicant: 之江实验室

Inventor： 张丽颖 ,  陈光 ,  朱世强 ,  曾令仿 ,  程永利 ,  陈兰香 ,  李勇 ,  张云云 ,  朱健

IPC: G06T11/20 ,  G06N3/04 ,  G06N3/08 ,  G06V10/82 ,  G06V10/774 ,  G06K9/62

Abstract: 本发明公开了一种针对未配对数据集的图像生成方法及装置，该方法包括：对第一模型和第二模型进行改进，其中所述第二模型包括第一子模型和第二子模型；将两组内部具有相同数据分布的未配对数据集作为改进后的第一模型的输入，训练改进后的第一模型，并通过改进后的第一模型训练完成后输出的两组配对数据集分别训练改进后的第一子模型和第二子模型；获取未配对数据集；将所述未配对数据集输入训练后的第一模型后，得到所述第一模型生成的第一生成数据集和第二生成数据集；将所述第一生成数据集和第二生成数据集分别输入训练后的第一子模型和第二子模型，并将所述第一子模型和第二子模型生成的第三生成数据集和第四生成数据集作为最终生成结果。

公开(公告)号：CN114281554B

公开(公告)日：2022-06-17

申请号：CN202210218607.1

申请日：2022-03-08

Applicant: 之江实验室

Inventor： 曾令仿 ,  陈志广

IPC: G06F9/50 ,  G06F9/54 ,  G06F7/544 ,  G06T1/20 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种用于3D图像处理的3D‑CNN加速方法及装置、电子设备，包括：将3D图像进行预处理，得到3D特征图数据，将所述3D特征图数据存放到全局内存；将所述全局内存中的3D特征图数据进行隐式数据转化，得到第一中间数据；将所述第一中间数据写入到共享内存中；在所述共享内存中分配出读取缓冲区与写入缓冲区，通过第一中间数据在读取缓冲区与写入缓冲区交替传输，实现所有第一中间数据都写入寄存器；对所述寄存器中的第一中间数据进行分块；将分块后的第一中间数据进行计算，得到第二中间数据；对所述第二中间数据进行所述隐式数据转化的逆过程，重新转化成新的3D特征图数据；将所述新的3D特征图数据存放到所述全局内存中。

公开(公告)号：CN113835758B

公开(公告)日：2022-04-15

申请号：CN202111412784.5

申请日：2021-11-25

Applicant: 之江实验室

Inventor： 曾令仿 ,  陈晓锋 ,  陈志广

IPC: G06F9/30 ,  G06F9/50 ,  G06N3/04 ,  G06N3/063

Abstract: 本发明公开了基于向量指令加速计算的Winograd卷积实现方法，包括如下步骤：S1，构建寄存器分块策略，在CPU上的Winograd卷积实现过程中，原始数据转换到Winograd数据域时，对中间缓冲的数据进行向量分块和寄存器分块；S2，构建内存数据布局策略，将Winograd卷积的原始数据和中间缓冲的数据在内存上进行排列，相对于矩阵乘法的最优性，对中间缓冲的数据布局，将Winograd分块维度安排到更内层的位置；S3，构建cache分块搜索，根据CPU硬件参数和卷积参数确定的小范围内，搜索cache分块的性能最优解，并将其与对应的卷积参数一起保存，后续通过卷积参数直接采用该性能最优解。

公开(公告)号：CN113656333B

公开(公告)日：2022-03-18

申请号：CN202111221953.7

申请日：2021-10-20

Applicant: 之江实验室

Inventor： 朱春节 ,  银燕龙 ,  何水兵 ,  曾令仿 ,  秦亦 ,  周方

IPC: G06F12/0893 ,  G06N3/08

Abstract: 本发明公开了一种加速深度学习训练任务数据载入的方法，该方法使用双随机序列方式，在每个训练周期开始时提前计算下一个周期的随机序列，并申请一块独立的内存提前缓存下一个周期初始阶段所需数据。根据当前周期的随机序列依次为神经网络准备数据的同时，可参照下一个周期的随机序列及时将下一个周期初始阶段所需数据依次从内存拷贝到缓存，使得下一个周期初始阶段所需的数据可全部从缓存获得。本发明不需修改现有深度学习的架构，实现简单，引入的计算开销小，缓存数据能全部命中且可被使用多次，从而减少从后端存储系统读取数据，并且训练周期数越多，此方法的加速效果越明显。

公开(公告)号：CN113849592A

公开(公告)日：2021-12-28

申请号：CN202111441129.2

申请日：2021-11-30

Applicant: 之江实验室

Inventor： 曾令仿 ,  陈志广

IPC: G06F16/31 ,  G06F16/33 ,  G06F16/35 ,  G06F17/16 ,  G06F40/194 ,  G06F40/279 ,  G06T1/20

Abstract: 本发明涉及情感识别技术领域，公开了一种文本情感分类方法及装置、电子设备、存储介质，该方法包括：将待情感分类的文本输入到训练好的情感分类模型中，得到情感分类结果；其中所述训练好的情感分类模型，包括：词向量化处理模块，用于对文本进行词向量化处理，得到词KEY、QUERY和VALUE矩阵；辅助数组构建模块，用于根据文本的长度，构建辅助数组；第一计算模块，用于根据辅助数组，对所述KEY与QUERY矩阵中的有效块相乘，将有效块相乘的结果写入到QK中；第二计算模块，用于根据辅助数组，将QK与VALUE矩阵中的有效块相乘，将有效块相乘的结果写入到得到词与词的依赖关系矩阵；映射模块，用于根据依赖关系矩阵得到词与词的依赖关系矩阵与情感分析结果的映射。

公开(公告)号：CN113835868A

公开(公告)日：2021-12-24

申请号：CN202111412833.5

申请日：2021-11-25

Applicant: 之江实验室

Inventor： 李勇 ,  曾令仿 ,  陈光

IPC: G06F9/48 ,  G06F9/50

Abstract: 本发明提供一种基于反馈和公平队列的服务质量感知的缓存调度方法，采用服务质量衡量策略将不同类似的应用的服务质量指标化，使用开始时间公平列队设置不同的开始服务时间来控制不同应用请求的服务顺序，利用基于反馈的缓存分区管理模块将所有逻辑分区划分为两种类型：提供分区和接收分区，并且调整两种类型逻辑分区之间的缓存分配，通过缓存块分配管理模块平衡整体性能和保证服务质量，以及缓存淘汰策略监控模块监控每个逻辑分区的当前缓存淘汰策略效率，并根据应用的负载特征变化进行动态调整，使用缓存压缩监控模块捕获局部性较差的应用，即存在缓存命中率长尾现象的应用。本发明能够兼顾缓存整体效率和应用之间的服务质量保证。