公开(公告)号：CN114417073B

公开(公告)日：2022-08-05

申请号：CN202210309856.1

申请日：2022-03-28

Applicant: 之江实验室

Inventor： 陈兰香 ,  曾令仿 ,  陈光 ,  程永利 ,  李勇

IPC: G06F16/901 ,  G06F16/903 ,  G06F16/953 ,  G06F21/60 ,  G06F21/62

Abstract: 本发明公开了一种加密图的邻居节点查询方法及装置、电子设备，该方法包括：提取每个节点的邻居节点，生成邻居节点表；根据邻居节点表和生成的密钥组，生成加密索引字典；对加密索引字典进行扩充，将扩充索引字典发送至云服务器以使得云服务器对扩充索引字典进行存储；接收用户端的关于目标节点的查询请求；根据查询请求和密钥组，生成目标节点的查询令牌；向用户端发送查询令牌和密钥组，以使得用户端向云服务器发送查询令牌，云服务器根据查询令牌和扩充索引字典，对目标节点的邻居节点进行查询，将查询结果发送至用户端，用户端根据密钥组对查询结果进行解密，从而得到目标节点的明文查询结果。该方法可实现top‑H跳邻居节点和top‑k邻居节点的查询。

公开(公告)号：CN114237918A

公开(公告)日：2022-03-25

申请号：CN202210183223.0

申请日：2022-02-28

Applicant: 之江实验室

Inventor： 王宏升 ,  鲍虎军 ,  陈光 ,  曾令仿 ,  程宏才 ,  李勇 ,  朱健 ,  郑焕波

IPC: G06F9/50 ,  G06F9/54 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种面向神经网络模型计算的图执行方法和装置，包括根据深度学习框架编译生成的物理计算图，创建本机上的任务执行体，通过设计为每个任务执行体分配多个空闲内存块的方案，实现整张计算图以流水并行的方式同时参与到不同批次数据的深度学习训练任务中，本发明公开的面向神经网络模型计算的图执行方法和装置，以算子核函数的执行体为基本单元，以生产和消费的张量作为整个计算图中流动的数据，执行体以流水并行的方式实现模型的训练过程。在大规模深度神经网络的分布式应用场景下，本发明对用户的使用门槛较低，并且能够使模型学习到大量分批次流入神经网络的数据的内在关联，从而获得对应场景中的“智能”感知与判断能力。

公开(公告)号：CN118642661A

公开(公告)日：2024-09-13

申请号：CN202411092481.3

申请日：2024-08-09

Applicant: 之江实验室

Inventor： 朱春节 ,  梅飞 ,  孔丽娟 ,  程稳 ,  李勇 ,  曾令仿 ,  刘懿 ,  盛明凯

IPC: G06F3/06 ,  G06F9/50 ,  G06F9/54

Abstract: 本发明公开了一种分布式深度学习缓存数据存储的方法和装置，其方法包括：使用细粒度的缓存数据布局方法，充分利用下一周期的随机访问序列指导数据在缓存节点的布局，然后以异步方式动态地将每个样本数据精确迁移到目标缓存节点，并将每个训练进程的数据摄取请求动态调度到目标缓存节点，使得任一时间段内各缓存节点收到的数据摄取请求数目都是相当的，从而保证每个缓存节点上的存储、网络等资源都能充分利用，当模型训练任务提升数据载入的并发度时，缓存数据摄取的并发度也相应提升，显著加快模型训练任务摄取数据的速度。

公开(公告)号：CN117950645B

公开(公告)日：2024-08-02

申请号：CN202410339678.6

申请日：2024-03-25

Applicant: 之江实验室

Inventor： 陈晨 ,  李勇 ,  孙红江 ,  杨贺淞 ,  范文杰 ,  胡陈枢 ,  陈光 ,  曾令仿

IPC: G06F8/30 ,  G06F9/50

Abstract: 本发明提供一种基于硬件特征的算子调度方案自动搜索方法与系统。该方法是通过获取算子输入数据的维度信息、目标硬件的硬件特征以及包含各存储层级的容量和硬件指令支持情况；再根据目标硬件的存储层级从高到低，递归地在每一个层级上，基于贪心策略搜索该层级可接受的最佳可行的数据搬运方案；其中各层级的数据搬运方案共同构成算子的调度方案；最后进行性能评估。基于搜索到的若干个算子调度方案，通过CodeGen技术生成目标硬件上的若干个算子实现，进而在硬件上测试选出性能最优的算子调度方案。因此，本发明的技术方案能够节省算力的情况下保证算子调度的优化。

公开(公告)号：CN117171577B

公开(公告)日：2024-03-22

申请号：CN202311450171.X

申请日：2023-11-02

Applicant: 之江实验室

Inventor： 孙红江 ,  陈晨 ,  杨贺淞 ,  范文杰 ,  王鹏程 ,  李勇 ,  曾令仿 ,  陈光

IPC: G06F18/214

Abstract: 本说明书公开了一种高性能算子选择的动态决策方法及装置，包括：在选择模型中特定算子应该由算子库中具体的哪一个算子实现时，需要定位到模型中特定算子的shape特征的特征区间下，并确定该特征区间下的性能排序子表是否被更新过，若是，则可以直接通过该特征区间下更新好的性能排序子表选取出目标算子，若还未更新，则在模型训练阶段可以在每一轮训练时选取不同的算子在模型中进行训练，从而得到算子的性能分数，对性能排序子表进行更新，那么在后续训练这个模型（或者其他模型中需要相同特征区间下的shape特征的算子）时，可以直接使用该性能排序子表选取出合适的算子，从而相比于现有技术能够更加准确的选择出性能良好的算子。

公开(公告)号：CN117649568A

公开(公告)日：2024-03-05

申请号：CN202410128337.4

申请日：2024-01-30

Applicant: 之江实验室

Inventor： 常璟飞 ,  吴运翔 ,  蒋科 ,  施林锋 ,  王博 ,  吴洵进 ,  程稳 ,  吕波 ,  曾令仿 ,  李勇

IPC: G06V10/764 ,  G06V10/762 ,  G06V10/74 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/082

Abstract: 在本说明书提供的一种用于图像分类卷积神经网络的网络压缩方法及装置中，通过获取训练完成的图像分类卷积神经网络以及输入图像，将输入图像输入该图像分类卷积神经网络中，确定各节点的参数以及各节点输出的该输入图像的激活特征，针对每一网络层，根据该网络层的各节点的参数和激活特征，确定核心参数和核心激活特征，并得到参数聚类结果和激活特征聚类结果，进而确定综合聚类结果，根据该综合聚类结果对该网络层进行剪枝。通过结合参数聚类结果和激活特征聚类结果，确定综合聚类结果，综合考虑了图像分类卷积神经网络的参数相似性和激活模式，考虑更全面，有效地减少了图像分类卷积神经网络的复杂性。

公开(公告)号：CN117195997B

公开(公告)日：2024-03-01

申请号：CN202311464150.3

申请日：2023-11-06

Applicant: 之江实验室

Inventor： 程稳 ,  曾令仿 ,  李勇 ,  侯瑞峥 ,  刘懿 ,  滕会刚

IPC: G06N3/08 ,  G06F18/214 ,  G06F3/06

Abstract: 本说明书公开了一种模型训练方法、装置、存储介质及电子设备，在此方法中，待训练模型部署在本地节点的计算区中，并在本地节点中部署高速缓存区以及在计算区中部署数据生成模型。在实际模型训练过程中，将训练所需要的目标数据缓存在高速缓存区中，以便计算区从高速缓存区直接进行数据读取，来进行模型训练，若没有读取到数据，则通过数据生成模型根据索引值生成的目标数据，进一步进行模型训练，并在模型训练过程中，保证模型准确度的情况下，对模型进行模型压缩，来减少模型参量。通过减少对存储区的数据访问次数以及对模型进行模型压缩，从而在一定程度上提高模型训练效率和减少存储资源浪费。(56)对比文件Cedric Spire et al..Learning in theAbsence of Training Data—A GalacticApplication《.International Conference onBayesian Statistics in Action》.2019,第43-51页.王丽等.面向模型并行训练的模型拆分策略自动生成方法《.计算机工程与科学》.2020,第42卷(第09期),第1529-1537页.

公开(公告)号：CN117130693B

公开(公告)日：2024-02-13

申请号：CN202311397785.6

申请日：2023-10-26

Applicant: 之江实验室

Inventor： 李勇 ,  程稳 ,  刘懿 ,  吴运翔 ,  朱健 ,  吕波 ,  常璟飞 ,  黄章敏 ,  陈光 ,  曾令仿

IPC: G06F9/445 ,  G06F9/50

Abstract: 本申请涉及一种张量卸载方法、装置、计算机设备及存储介质。所述方法包括：获取张量特征信息，所述张量特征信息包括待训练模型每层的显存容量需求、计算间隔以及计算延迟信息；基于预设卸载策略和所述显存容量需求确定显存约束条件，基于所述预设卸载策略和计算间隔确定卸载时间约束条件，所述预设卸载策略包括主存卸载和重计算卸载；基于所述显存约束条件和卸载时间约束条件筛选所述预设卸载策略，确定多个候选卸载策略；基于所述计算延迟信息确定每个候选卸载策略的额外计算延迟，基于所述额外计算延迟确定目标卸载策略，并基于所述目(56)对比文件卢海峰;顾春华;罗飞;丁炜超;杨婷;郑帅.基于深度强化学习的移动边缘计算任务卸载研究.计算机研究与发展.2020,(第07期),全文.马玮良;彭轩;熊倩;石宣化;金海.深度学习中的内存管理问题研究综述.大数据.2020,(第04期),全文.

公开(公告)号：CN117077817B

公开(公告)日：2024-01-30

申请号：CN202311328295.0

申请日：2023-10-13

Applicant: 之江实验室

Inventor： 黄章敏 ,  孙辰晨 ,  戴雨洋 ,  程稳 ,  李勇 ,  曾令仿

IPC: G06N20/00 ,  G06N3/098 ,  G06F18/214 ,  G06F18/23213 ,  G06F18/25 ,  G06F18/22

Abstract: 本说明书公开了一种基于标签分布的个性化联邦学习模型训练方法及装置。所述任务执行方法包括：根据获取到的目标模型的初始化模型参数，针对每个客户端，将初始化模型参数发送给该客户端，以使该客户端在本地部署待训练模型，并通过该客户端的本地数据，对待训练模型进行训练，并获取各客户端训练更新后的模型参数，以及每个客户端训练各自的待训练模型时所使用的本地数据的标签分布，以得到每个客户端对应的客户端簇。针对每个客户端，融合该客户端对应的客户端簇中包含的各客户端发送的更新后的模型参数，并将融合后参数下发给该客户端，以使该客户端根据所述融合后参数，对本地(56)对比文件CN 115577360 A,2023.01.06CN 116471286 A,2023.07.21CN 113033820 A,2021.06.25CN 114758784 A,2022.07.15WO 2022162677 A1,2022.08.04WO 2022111639 A1,2022.06.02Sarhad Arisdakessian 等.TowardsInstant Clustering Approach for FederatedLearning Client Selection《.2023International Conference on Computing,Networking and Communications (ICNC)》.2023,409-413.郑美光 等.基于互信息软聚类的个性化联邦学习算法《.计算机工程》.2023,第49卷(第8期),20-28.何杨.物联网中基于联邦学习的数据共享关键技术研究 《.中国优秀硕士学位论文全文数据库 信息科技辑》.2023,第2023年卷(第2期),I136-1293.Pu Tian 等.WSCC: A Weight-Similarity-Based Client Clustering Approach for Non-IID Federated Learning《.IEEE Internet ofThings Iournal》.2022,第9卷(第20期),20243-20256.

公开(公告)号：CN116931955B

公开(公告)日：2024-01-09

申请号：CN202311202659.0

申请日：2023-09-18

Applicant: 之江实验室

Inventor： 王鹏程 ,  吕波 ,  胡陈枢 ,  李勇 ,  程稳 ,  曾令仿 ,  陈光

IPC: G06F8/41 ,  G06F9/50

Abstract: 本说明书公开了基于人工智能的编译器自动调优方法及装置，在此方法中，将程序输入到模型中得到各优化序列，编译器针对每个优化序列对程序进行编译运行得到实际运行时间，据此来调整智能体模型输出各优化序列的概率，使得训练后的智能体模型能够输出最优的优化序列，而编译器使用最优优化序列对待运行程序进行编译优化，从而在一定程度上提高运行效率和减少资源浪费。