-
公开(公告)号：CN112541584B
公开(公告)日：2022-10-04
申请号：CN201910897718.8
申请日：2019-09-23
Applicant: 无锡江南计算技术研究所
IPC: G06N3/08
Abstract: 本发明公开一种深度神经网络模型并行模式选择方法，包括以下步骤：S1、测算整个神经网络模型的总数据量；S2、判断S1中获得的神经网络模型的总数据量是否超过进行训练的单个计算节点的可用内存总量，如果不超过，执行S3，如果超过，执行S4；S3、选择数据并行模式；S4、将神经网络模型的网络层进行切分，根据切分的结果，得到神经网络模型所需要分布的计算节点数量，如果输入参数中的计算节点数量不足模型切分所需节点数量两倍以上，执行S5，否则执行S6；S5、选择模型并行模式；S6、选择包括数据并行和模型并行的混合并行模式。本发明通过对模型参数、超参数和数据量的信息采集和分析，实现分布式扩展并行模式的自动选择，并且保证较高的并行性能。
-
公开(公告)号：CN114564973A
公开(公告)日：2022-05-31
申请号：CN202210197587.4
申请日：2022-03-02
Applicant: 无锡江南计算技术研究所
IPC: G06G7/26
Abstract: 本发明公开一种众核实现的超越函数处理方法，包括以下步骤：步骤1、通过一定的数学变换，将超越函数转换为常用的基本函数的复合运算实现；步骤2、利用数学函数的性质，将经过步骤1转换后的超越函数按照多项式的形式展开计算，获得相应的多项式函数实现；步骤3、结合函数特性，将超越函数的输入区间分解为若干个收敛区间，采用近似多项式逼近的方式，将步骤2中生成的无穷多项式系数降低到有限数量的多项式系数，在每个收敛区间中用近似多项式函数来拟合步骤2中得到的超越函数展开的多项式函数，通过误差逼近来获得收敛区间的范围以及对应的近似多项式函数的系数。本发明可以在处理器上实现不同精度的超越函数计算。
-
公开(公告)号：CN114218737A
公开(公告)日：2022-03-22
申请号：CN202110481531.7
申请日：2021-04-30
Applicant: 无锡江南计算技术研究所
IPC: G06F30/20 , G06F15/16 , G06F111/10
Abstract: 本发明公开一种基于国产众核架构的POM海洋模式众核优化方法，S1、分析源码，确定循环层数和每层循环量大小，并通过将小循环合并为大循环或者判断外移的方法将源代码修改成更适合众核化的代码；S2、更改众核代码；S3、用魔方旋转算法化多维stencil计算的跨步访存为连续访存；S4、对于不存在跨步访存且各维循环之间无相关性的代码，运用多维循环合并方法提高并行效率；S5、修改众核代码并验证正确性。本发明在众核架构计算机上充分利用众核的优势，提升不同大小规模数据的计算效率。
-
公开(公告)号：CN114218141A
公开(公告)日：2022-03-22
申请号：CN202110479722.X
申请日：2021-04-30
Applicant: 无锡江南计算技术研究所
IPC: G06F13/28
Abstract: 本发明公开一种针对深度学习半精度算子数据访存对界处理方法，针对深度学习中算子的计算特点和张量空间分布，对多维张量的特定维度做4B对界处理，将四维张量的输入数据按照实际参与计算的维度分为不同的类，分别使用不同的半精度数据对界处理方法；具体为，根据输入的算子类型和输入数据的计算维度，选择不同的对界方法。本发明解决了异构众核平台上半精度算子DMA访存的不对界问题，且不仅能降低内存空间的占用，还能有效减少对界处理的时间，提升对界处理的性能。
-
Patent Agency Ranking
公开(公告)号：CN114217944A
公开(公告)日：2022-03-22
申请号：CN202110453555.1
申请日：2021-04-26
Applicant: 无锡江南计算技术研究所
Abstract: 本发明公开一种神经网络的针对模型并行的动态负载均衡方法，根据不同的模型和系统的相应参数给出切分策略，并在训练过程中进一步迭代更新；根据不同的模型和系统的相应参数，给出对模型网络的切分策略，在训练过程中进一步迭代更新。本发明能够根据不同的模型和系统的相应参数自动给出较好的切分策略，无需手动调整模型，保证计算节点的负载均衡，大大提高了优化效率。
-
公开(公告)号：CN112541584A
公开(公告)日：2021-03-23
申请号：CN201910897718.8
申请日：2019-09-23
Applicant: 无锡江南计算技术研究所
IPC: G06N3/08
Abstract: 本发明公开一种深度神经网络模型并行模式选择方法，包括以下步骤：S1、测算整个神经网络模型的总数据量；S2、判断S1中获得的神经网络模型的总数据量是否超过进行训练的单个计算节点的可用内存总量，如果不超过，执行S3，如果超过，执行S4；S3、选择数据并行模式；S4、将神经网络模型的网络层进行切分，根据切分的结果，得到神经网络模型所需要分布的计算节点数量，如果输入参数中的计算节点数量不足模型切分所需节点数量两倍以上，执行S5，否则执行S6；S5、选择模型并行模式；S6、选择包括数据并行和模型并行的混合并行模式。本发明通过对模型参数、超参数和数据量的信息采集和分析，实现分布式扩展并行模式的自动选择，并且保证较高的并行性能。
-
公开(公告)号：CN112540718A
公开(公告)日：2021-03-23
申请号：CN201910898286.2
申请日：2019-09-23
Applicant: 无锡江南计算技术研究所
IPC: G06F3/06
Abstract: 本发明公开一种面向申威众核架构的稀疏矩阵存储方法，所述众核处理器由4个异构群构成，每个异构群包括一个主核、64个从核构成的从核簇、异构群接口和存储控制器，整芯片有260个计算核心；所述稀疏矩阵存储格式包括以下步骤：S1、将稀疏矩阵按行在申威众核处理器的核组阵列上分组，每个从核分到的若干行为一组，将64个从核分为64组；S2、对每组内的稀疏矩阵非零元素按列压缩存储，通过保存稀疏矩阵每列包含的非零元数量而对列坐标进行压缩，需要保存列索引、行坐标和非零元值，完成存储。本发明能够为应用软件基于众核处理器的全过程求解提供一种统一的数据组织形式，从而提高该类问题对申威众核架构适应性。
-
公开(公告)号：CN109656890A
公开(公告)日：2019-04-19
申请号：CN201811583516.8
申请日：2018-12-24
Applicant: 无锡江南计算技术研究所
IPC: G06F16/172 , G06F11/14
Abstract: 本发明公开一种安全快速的大规模并行计算输入输出实现方法，该方法建立双备份安全目录机制；采用断点文件的分层目录结构管理；根据底层网络带宽和计算节点主核数选择输出因子。本发明解决了超大规模断点文件的安全性问题，解决了超大规模断点文件的高效输出输入问题，是一种安全可靠、效率高的写断点文件方法，解决CFD领域大规模安全可靠的并行计算问题。
-
公开(公告)号：CN102929738B
公开(公告)日：2015-02-11
申请号：CN201210442295.9
申请日：2012-11-06
Applicant: 无锡江南计算技术研究所
IPC: G06F11/07
Abstract: 本发明提供了一种大规模异构并行计算的容错方法，包括：对每个时间步的每个核心计算模块，进行以下处理：将计算课题的计算数组的内容赋值给备份数组；完成核心计算模块的计算；其中，完成核心计算模块的计算包括：统计可用处理器核数，以获得第一处理器核数；可用处理器核并行运算核心计算模块；再次统计可用处理器核数，以获得第二处理器核数；比较第一处理器核数和第二处理器核数，若第二处理器核数小于第一处理器核数，则将备份数组的内容赋值给计算数组，并重新完成核心计算模块的计算，直至第一处理器核数与第二处理器核数一致。本发明的大规模异构并行计算容错方法能充分利用计算资源，减少故障恢复时间，提高并行计算的可靠性。
-
-
-
-
-
-
-
-
Search Results
59
records
(took 0.049 seconds)
