-
公开(公告)号：CN115421897B
公开(公告)日：2023-03-24
申请号：CN202211381782.9
申请日：2022-11-07
Applicant: 之江实验室
IPC: G06F9/48 , G06N3/0464 , G06N3/063
Abstract: 本发明公开了一种面向芯粒的深度神经网络流水线并行调度方法及装置，该方法包括：获取深度神经网络和芯粒拓扑结构；根据所述深度神经网络，构造深度神经网络计算图并对所述深度神经网络计算图进行缩减；根据缩减后的深度神经网络计算图划分流水线组，得到流水线组图；根据所述流水线组图和芯粒拓扑结构，划分流水线并行区域；根据划分后的流水线并行区域和所述芯粒拓扑结构确定深度神经网络流水线并行调度策略；按照所述深度神经网络流水线并行调度策略，将所述深度神经网络部署到芯粒上，执行深度神经网络流水线并行推理。
-
公开(公告)号：CN115658274A
公开(公告)日：2023-01-31
申请号：CN202211425389.5
申请日：2022-11-14
Applicant: 之江实验室
Abstract: 本发明公开了一种芯粒中神经网络推理的模块化调度方法、装置和计算设备，包括：获取在芯粒中进行神经网络推理的调度策略搜索空间；获取并依据神经网络的计算图生成算子深度，依据计算图将算子划分为串行组；依据算子间的数据依赖关系、算子深度和串行组，划分计算图得到数据依赖模块和并行数据依赖模块；计算数据依赖模块的数据依赖复杂度，依据数据依赖复杂度、并行数据依赖模块以及芯粒资源总数计算算子的最大可用资源分配数量，作为调度策略迭代搜索的初始约束；依据调度策略搜索空间和初始约束迭代搜索使得计算开销、算子内和算子间数据传输开销、芯粒多级路由产生的拥塞开销之和最小的数据依赖模块调度策略。
-
公开(公告)号：CN115828831B
公开(公告)日：2023-06-09
申请号：CN202310110451.X
申请日：2023-02-14
Applicant: 之江实验室
IPC: G06F30/392 , G06N3/08 , G06F115/12
Abstract: 本发明公开了一种基于深度强化学习的多芯粒芯片算子放置策略生成方法，包括：获取算子计算图和多芯粒芯片尺寸信息；根据多芯粒芯片尺寸信息生成可选的若干种目标放置芯粒网格尺寸；建立多芯粒芯片算子放置深度学习强化模型，其中多芯粒芯片算子放置深度学习强化模型包括算子运行环境模块和深度Q网络模块，算子运行模块用于根据当前环境网络和输入的动作，计算奖励值，并将环境变换到下一个状态，将奖励值和下一个状态传回深度Q网络模块，深度Q网络模块用于根据当前状态从可选的动作空间中选择价值最高的动作；基于算子运行环境模块对深度Q网络模块进行训练；利用训练好的深度强化学习模型对算子计算图在多芯粒芯片上的运行给出算子放置策略。
-
公开(公告)号：CN115658274B
公开(公告)日：2023-06-06
申请号：CN202211425389.5
申请日：2022-11-14
Applicant: 之江实验室
Abstract: 本发明公开了一种芯粒中神经网络推理的模块化调度方法、装置和计算设备，包括：获取在芯粒中进行神经网络推理的调度策略搜索空间；获取并依据神经网络的计算图生成算子深度，依据计算图将算子划分为串行组；依据算子间的数据依赖关系、算子深度和串行组，划分计算图得到数据依赖模块和并行数据依赖模块；计算数据依赖模块的数据依赖复杂度，依据数据依赖复杂度、并行数据依赖模块以及芯粒资源总数计算算子的最大可用资源分配数量，作为调度策略迭代搜索的初始约束；依据调度策略搜索空间和初始约束迭代搜索使得计算开销、算子内和算子间数据传输开销、芯粒多级路由产生的拥塞开销之和最小的数据依赖模块调度策略。
-
公开(公告)号：CN115860081B
公开(公告)日：2023-05-26
申请号：CN202310179898.2
申请日：2023-03-01
Applicant: 之江实验室
Abstract: 本发明涉及一种芯粒算法调度方法，包括：获取待调度的神经网络算法计算图；获取芯粒的拓扑结构，并基于拓扑结构生成芯粒资源列表；对神经网络算法计算图进行图优化；对计算图划分并行组；对计算图进行活跃性分析；生成计算图中的每个算子的策略和对应的开销；生成整数线性规划的优化变量；设定整数线性规划的求解目标；设定整数线性规划的约束条件；求解整数线性规划问题；将求解整数线性规划问题得到的解作为计算图在芯粒上的调度方法。与现有技术相比，本发明基于整数线性规划技术，将算法调度空间搜索问题转换成整数线性规划求解问题，通过设置多种求解约束缩小策略探索空间，能够在很短的时间内得到神经网络算法在芯粒上最优的调度方案。
-
Patent Agency Ranking
公开(公告)号：CN115409174B
公开(公告)日：2023-03-31
申请号：CN202211354686.5
申请日：2022-11-01
Applicant: 之江实验室
Abstract: 本发明公开一种基于DRAM存内计算的碱基序列过滤方法与装置，该方法为：步骤一，根据DRAM的存储阵列的列宽和所要筛选目标碱基序列的起点地址，筛选出目标碱基序列后进行重新整理组合；步骤二，对重新整理组合后的目标碱基序列分别进行碱基为A腺嘌呤、G鸟嘌呤、C胞嘧啶、T胸腺嘧啶的标记并获取到对应碱基的标记行；步骤三，对标记行数据进行移位后统计标记行中位置值为1的个数，获得对应碱基的统计结果；步骤四，利用参考碱基序列的统计结果与所述目标碱基序列的统计结果进行对比，过滤所筛选的目标碱基序列。本发明将位置匹配筛选放置在内存子阵列中进行，减少了大量数据在cpu与内存之间的搬移，成倍提升了计算效率，降低了功耗。
-
公开(公告)号：CN115828831A
公开(公告)日：2023-03-21
申请号：CN202310110451.X
申请日：2023-02-14
Applicant: 之江实验室
IPC: G06F30/392 , G06N3/08 , G06F115/12
Abstract: 本发明公开了一种基于深度强化学习的多芯粒芯片算子放置策略生成方法，包括：获取算子计算图和多芯粒芯片尺寸信息；根据多芯粒芯片尺寸信息生成可选的若干种目标放置芯粒网格尺寸；建立多芯粒芯片算子放置深度学习强化模型，其中多芯粒芯片算子放置深度学习强化模型包括算子运行环境模块和深度Q网络模块，算子运行模块用于根据当前环境网络和输入的动作，计算奖励值，并将环境变换到下一个状态，将奖励值和下一个状态传回深度Q网络模块，深度Q网络模块用于根据当前状态从可选的动作空间中选择价值最高的动作；基于算子运行环境模块对深度Q网络模块进行训练；利用训练好的深度强化学习模型对算子计算图在多芯粒芯片上的运行给出算子放置策略。
-
公开(公告)号：CN116523045A
公开(公告)日：2023-08-01
申请号：CN202310235465.4
申请日：2023-03-13
Applicant: 之江实验室
Abstract: 本发明公开了一种面向多芯粒芯片的深度学习推理模拟器，包括：配置输入层，用于获取模拟所需的深度学习模型、多芯粒芯片架构和映射策略；模型解析层，用于根据映射策略对所述深度学习模型进行解析，得到模型解析表；路由生成层，用于根据模型解析表中每个算子的运行策略分析算子内路由和算子间路由并生成路由文件；推理模拟层，用于进行深度学习模型在多芯粒芯片架构所描述的多芯粒芯片上的推理模拟，将路由文件分层次并通过片上网络模拟器进行多进程并行模拟，得到各算子路由所需的周期数；结果计算层，用于将推理模拟层中并行模拟得到的算子路由周期数进行整理计算，得到深度学习模型在多芯粒芯片上推理模拟的周期数和平均设备利用率。
-
公开(公告)号：CN115421897A
公开(公告)日：2022-12-02
申请号：CN202211381782.9
申请日：2022-11-07
Applicant: 之江实验室
Abstract: 本发明公开了一种面向芯粒的深度神经网络流水线并行调度方法及装置，该方法包括：获取深度神经网络和芯粒拓扑结构；根据所述深度神经网络，构造深度神经网络计算图并对所述深度神经网络计算图进行缩减；根据缩减后的深度神经网络计算图划分流水线组，得到流水线组图；根据所述流水线组图和芯粒拓扑结构，划分流水线并行区域；根据划分后的流水线并行区域和所述芯粒拓扑结构确定深度神经网络流水线并行调度策略；按照所述深度神经网络流水线并行调度策略，将所述深度神经网络部署到芯粒上，执行深度神经网络流水线并行推理。
-
公开(公告)号：CN116523045B
公开(公告)日：2023-11-07
申请号：CN202310235465.4
申请日：2023-03-13
Applicant: 之江实验室
Abstract: 本发明公开了一种面向多芯粒芯片的深度学习推理模拟器，包括：配置输入层，用于获取模拟所需的深度学习模型、多芯粒芯片架构和映射策略；模型解析层，用于根据映射策略对所述深度学习模型进行解析，得到模型解析表；路由生成层，用于根据模型解析表中每个算子的运行策略分析算子内路由和算子间路由并生成路由文件；推理模拟层，用于进行深度学习模型在多芯粒芯片架构所描述的多芯粒芯片上的推理模拟，将路由文件分层次并通过片上网络模拟器进行多进程并行模拟，得到各算子路由所需的周期数；结果计算层，用于将推理模拟层中并行模拟得到的算子路由周期数进行整理计算，得到深度学习模型在多芯粒芯片上推理模拟的周期数和平均设备利用率。
-
-
-
-
-
-
-
-
-
Search Results
14
records
(took 0.018 seconds)
