公开(公告)号：CN112395213A

公开(公告)日：2021-02-23

申请号：CN202011296272.2

申请日：2020-11-18

Applicant: 之江实验室 ,  浙江大学

Inventor： 何水兵 ,  朱彤 ,  曾令仿 ,  段雪豪 ,  银燕龙

IPC: G06F12/02

Abstract: 本发明公开了一种基于内存面向热点数据的ACEH索引结构及方法，结构包括：目录项、段和数据桶；方法包括：目录项通过全局深度G进行段索引，一个段对应一组数据桶，段通过局部深度L进行数据桶索引，L＝G‑log2k，k表示指向该数据桶的指针数，所述数据桶索引采用Adjusted‑Cuckoo算法定位哈希键插入的数据桶，Adjusted‑Cuckoo算法包含两个哈希函数，产生两个可插入的数据桶，然后选择空余的数据桶进行插入，Adjusted‑Cuckoo算法确定一个数据桶，第二个数据桶则直接确定为当前数据桶的下一个数据桶，操作方法包括如下步骤：步骤一，插入操作；步骤二，刷新操作；步骤三，分裂操作；步骤四，删除操作。

公开(公告)号：CN111738236B

公开(公告)日：2020-11-20

申请号：CN202010817355.5

申请日：2020-08-14

Applicant: 之江实验室

Inventor： 毛旷 ,  王跃锋 ,  任祖杰 ,  杨弢 ,  银燕龙 ,  曾令仿 ,  何水兵 ,  陈刚

IPC: G06K9/00

Abstract: 本发明公开了一种自适应层级的图像切分识别方法、装置及系统，该方法包括：获取高清视频中某一帧的原始图像；对所述原始图像，进行图像切分，得到若干有像素重叠的图像切片；对子图像切片进行迭代切分并识别；最终对所有识别结果进行选择得到最终图像的识别结果。本发明解决了现有对高清图像物体识别存在的速度慢、小物体检出率低的问题，做到了高清图像中物体识别速度快、检出率高的效果。

公开(公告)号：CN119005345B

公开(公告)日：2025-03-21

申请号：CN202411486703.X

申请日：2024-10-23

Applicant: 之江实验室

Inventor： 刘晓宇 ,  梅飞 ,  程稳 ,  滕会刚 ,  余波 ,  孔丽娟 ,  朱春节 ,  何水兵 ,  曾令仿

IPC: G06N5/04

Abstract: 本说明书公开了一种大模型推理服务的动态批处理方法及装置，在服务器通过目标大模型执行批处理推理任务的过程中，通过预设的强化学习代理模型在满足预设延迟约束的前提下，以优化目标大模型执行推理任务的吞吐量为优化目标，来针对目标大模型所使用的批尺寸进行动态调整，从而可以在确保服务响应及时性的基础上最大化利用计算资源。

公开(公告)号：CN119336520A

公开(公告)日：2025-01-21

申请号：CN202411906036.6

申请日：2024-12-23

Applicant: 之江实验室

Inventor： 杨弢 ,  程稳 ,  何水兵 ,  朱晓明 ,  曾令仿

IPC: G06F9/50 ,  G06F15/177 ,  G06F15/173 ,  G06N3/006 ,  G06N3/08

Abstract: 本说明书公开了一种计算芯片和计算任务的执行方法。所述计算芯片包括：传输模块、计算芯粒以及存储芯粒，所述传输模块中设置有数据缓存子模块，计算芯片的基板上设置有若干个传输模块，针对每个传输模块，该传输模块与至少一个计算芯粒和/或至少一个存储芯粒相连接；传输模块用于，根据访存任务管理数据，从存储芯粒中读取任务数据并存储在数据缓存子模块中，以及，从本地的数据缓存子模块中读取任务数据并发送给目标计算芯粒；存储芯粒用于，存储任务数据，以及，向目标传输模块发送任务数据；计算芯粒用于，根据接收到的任务数据执行计算任务。本方案极大的提高了计算芯片内部的数据访存效率，进一步提高了计算任务的执行效率。

公开(公告)号：CN119179935A

公开(公告)日：2024-12-24

申请号：CN202411684885.1

申请日：2024-11-22

Applicant: 之江实验室

Inventor： 程稳 ,  杨弢 ,  梅飞 ,  何水兵 ,  朱晓明 ,  曾令仿

IPC: G06F18/24 ,  G06F18/214 ,  G06F18/40

Abstract: 本说明书公开了一种基于数据质量的数据存储方法、介质及设备。获取初始数据集。针对初始数据集中的每个数据，将该数据分别输入预设的各标注模型，得到每个标注模型针对该数据的标注结果，作为该数据对应的标注集。根据初始数据集中每个数据对应的标注集，在初始数据集中进行数据筛选，以构建出目标数据集。确定预设的计算节点在执行目标模型的模型训练任务时的数据访问信息，以及确定目标数据集中各数据对应的数据特性信息，根据数据访问信息以及目标数据集中包含的各数据对应的数据特性信息，确定计算节点在执行目标模型的模型训练任务时目标数据集中各数据的存储位置，并按照存储位置，将目标数据集作为训练样本进行存储。

公开(公告)号：CN113535387B

公开(公告)日：2024-10-18

申请号：CN202110699347.X

申请日：2021-06-23

Applicant: 之江实验室

Inventor： 汤昭荣 ,  毛旷 ,  何水兵

IPC: G06F9/50 ,  G06F9/48

Abstract: 本发明公开了一种异构感知的GPU资源分配与调度方法及系统，方法包括：S1：预分析出任务所需的性能指标；S2：任务提交后，将任务优先级设置为最高，并提交到高优先级的Q1等待队列中；S3：当可用的GPU资源发生变化后，触发调度，放置器根据GPU异构性和任务的性能指标，为任务分配GPU资源；S4：监控正在执行的任务，计算其优先级，根据优先级确定任务是否要让出GPU资源，将需要让出GPU资源的任务放入低优先级的Q2等待队列；S5：监控Q2等待队列中的任务等待时间是否超过饥饿阈值，如果超过，则该任务的优先级设为最高，并移入Q1等待队列；系统包括：调度器、放置器、探测器、高优先级和低优先级等待队列。

公开(公告)号：CN115268936A

公开(公告)日：2022-11-01

申请号：CN202211177796.9

申请日：2022-09-27

Applicant: 之江实验室

Inventor： 王宏升 ,  何水兵 ,  陈光

IPC: G06F8/41 ,  G06F5/08

Abstract: 本发明公开了一种用于计算图编译的优化方法及装置，包括以下步骤：步骤S1：将计算图转换为中间表示；步骤S2：分析依赖关系；步骤S3：构建工作栈；步骤S4：初始化为未激活状态；步骤S5：弹出栈顶节点元素，并更新当前轮迭代输入节点集合；步骤S6：将依赖所述步骤S5的栈顶节点的元素依次添加到栈顶位置，直到工作栈清空为止；步骤S7：采用位向量实现达到不动点状态的中间表示；步骤S8：为达到不动点状态的中间表示的节点包含的有效张量变量分配寄存器。本发明提供了一种解析所述中间表示节点动态地执行至不动点状态的方法，并且优化了为所述中间表示不动点状态下各节点所包含的张量变量分配空闲寄存器的实现方法，提升计算图在运行时的执行效率。

公开(公告)号：CN113656333A

公开(公告)日：2021-11-16

申请号：CN202111221953.7

申请日：2021-10-20

Applicant: 之江实验室

Inventor： 朱春节 ,  银燕龙 ,  何水兵 ,  曾令仿 ,  秦亦 ,  周方

IPC: G06F12/0893 ,  G06N3/08

Abstract: 本发明公开了一种加速深度学习训练任务数据载入的方法，该方法使用双随机序列方式，在每个训练周期开始时提前计算下一个周期的随机序列，并申请一块独立的内存提前缓存下一个周期初始阶段所需数据。根据当前周期的随机序列依次为神经网络准备数据的同时，可参照下一个周期的随机序列及时将下一个周期初始阶段所需数据依次从内存拷贝到缓存，使得下一个周期初始阶段所需的数据可全部从缓存获得。本发明不需修改现有深度学习的架构，实现简单，引入的计算开销小，缓存数据能全部命中且可被使用多次，从而减少从后端存储系统读取数据，并且训练周期数越多，此方法的加速效果越明显。

公开(公告)号：CN113031966B

公开(公告)日：2021-09-21

申请号：CN202110551554.0

申请日：2021-05-20

Applicant: 之江实验室

Inventor： 潘秋红 ,  何水兵 ,  陈刚 ,  银燕龙

IPC: G06F8/41 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种智能选择编译加速库的深度学习编译优化方法，目的是通过在深度学习编译器中加入编译加速库，结合深度学习编译器与编译加速库双方各自的优点，进一步提高深度神经网络的推理速度。该方法首先在深度学习编译器中加入各种算子针对编译加速库的翻译方法，将各种算子自动转换为编译加速库可以识别的形式。其次提出一种在深度学习编译器中调用编译加速库的方法，实现通过编译加速库执行各种算子。然后在深度学习编译器算子优化阶段将优化效果与编译加速库进行比较，进行最优方案选择。最后提出一种深度学习编译器中结合编译加速库的代码生成方法，产生优化后的可执行代码，实现对深度神经网络的进一步优化。

公开(公告)号：CN112579063B

公开(公告)日：2021-06-08

申请号：CN202110223874.3

申请日：2021-03-01

Applicant: 之江实验室

Inventor： 潘秋红 ,  何水兵 ,  陈刚 ,  杨弢

IPC: G06F8/30 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种用于深度学习编译器中探索优化空间的加速方法，目的是通过编译技术优化神经网络效果，并大幅减少编译器探索算子优化空间的耗时。该方法首先将神经网络抽象成计算图的形式。其次对计算图进行图优化，并为优化后计算图中的每个算子定义优化空间。然后基于包含优化空间信息的算子，提出一种优化空间相似度计算方法。最后提出一种基于相似度的算子状态空间探索方法，基于相似度对算子进行聚类，对每一个聚类中的核心算子进行全空间探索，同类的其余算子在核心算子最优方案中进行探索，确定整个神经网络每个算子的优化方案。