-
公开(公告)号：CN118446267A
公开(公告)日：2024-08-06
申请号：CN202410618369.2
申请日：2024-05-17
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种扩散模型加速器，包含：片外内存，存储有上一时间步的原值；片上缓存，包含：权重缓存模块，与外片内存耦接，用于提取权重值进行缓存；输入特征缓存模块，用于读取输入差分激活值进行缓存；输出特征缓存模块，用于读取输出差分激活值进行缓存；处理引擎，包含：运算器阵列，用于读取缓存的该权重值与该输入差分激活值进行卷积乘法运算，生成该输出差分激活值；特殊处理模块，与该片外内存及该输出特征缓存模块耦接，用于从该片外内存获取该原值的符号位值；且利用该符号位值在该输出差分激活值上进行函数激活运算，生成增量输出值。其具有良好的加速效果，同时具有较高的能量效率和面积效率。
-
公开(公告)号：CN117935868A
公开(公告)日：2024-04-26
申请号：CN202410111561.2
申请日：2024-01-26
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种随机递增存储器，其包含：多个偏斜单元，配置为将一元比特流存储为偏斜数格式；至少一计算单元，配置为对所述多个偏斜单元存储的偏斜数进行递增操作。本发明还提出一种脉动随机递增存储器体系结构，其包含多路存储器；每一路存储器包含：多个一元处理单元，呈多行排列分布；多个随机递增存储器，同一行的一元处理单元配置一随机递增存储器；多路存储器之间由边缘部件隔开。该随机递增存储器能够将一元比特流累加为偏斜数格式，并与脉动阵列结构集成为脉动随机递增存储器体系结构，以降低累加能耗，提升能效。
-
公开(公告)号：CN117195983A
公开(公告)日：2023-12-08
申请号：CN202310986571.6
申请日：2023-08-07
Applicant: 中国科学院计算技术研究所
Abstract: 一种基于数据并行可信分布式神经网络加速器架构构建方法、加速器架构、加速器和服务器，包括以下步骤：构建主机节点步骤，用于对多个神经网络加速器节点进行远程认证、控制和数据分发；构建动态随机存取内存步骤；构建所述多个神经网络加速器节点步骤，进一步包括：构建控制处理器步骤；构建计算单元步骤；构建内存控制器步骤，用于提供数据可信保护，其中，又包括：在片上构建分布式大模型的全局版本号结构；利用不使用数据地址的方式对数据进行加密、解密、完整性保护生成和完整性保护验证；所述加密、解密、完整性保护生成和完整性保护验证以神经网络层的张量为粒度进行通信。
-
公开(公告)号：CN117332831A
公开(公告)日：2024-01-02
申请号：CN202311271771.X
申请日：2023-09-28
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种分布式神经网络加速器系统，主机节点配置为：向每一加速器节点进行远程认证，利用神经网络编译器对模型进行编译，生成数据流图，并确定各个加速器节点间子图的依赖关系；对编译后的模型进行切分，将各个子图分配到各加速器节点。每一子图的计算层包含：一接口层，以可转移张量表示，包含转移张量数据、第一辅助数据；转移张量数据保存在片外存储器，第一辅助数据保存在片上存储器；一内部层，以普通张量表示，包含普通张量数据、第二辅助数据；普通张量数据保存在片外存储器，第二辅助数据包含第二张量版本号、第二张量MAC，第二张量版本号保存在片上存储器，第二张量MAC保存在片外存储器。其减少了VN的内存访问开销和存储开销。
-
-
-
Search Results
4
records
(took 0.029 seconds)
