-
公开(公告)号：CN115019085B
公开(公告)日：2025-04-08
申请号：CN202210544252.5
申请日：2022-05-18
Applicant: 中国科学院计算技术研究所
IPC: G06V10/764 , G06V10/774 , G06V10/82 , G06N3/042 , G06N3/045 , G06N3/084
Abstract: 本发明提出一种基于自动梯度混合的神经网络模型知识蒸馏方法和系统，包括通过损失函数，将教师网络的知识蒸馏至学生网络，得到任务损失和蒸馏损失；对该任务损失和该蒸馏损失进行反向传播，得到任务梯度向量和蒸馏梯度向量，以及任务梯度向量和蒸馏梯度向量间的夹角；以任务梯度向量约束总梯度向量，选择效果最优的候选偏转系数作为最终偏转系数以计算权重系数，将该权重系数加到损失函数，得到最终损失函数，并以该最终损失函数将该教师网络的知识蒸馏至该学生网络。由此本发明可自动调节权重系数超参。
-
公开(公告)号：CN119476487A
公开(公告)日：2025-02-18
申请号：CN202411551388.4
申请日：2024-11-01
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种基于芯粒和近存计算的边缘端大语言模型推理加速方法和装置，包括模型权重储存在Flash，整个推理过程包含的全部矩阵向量乘法的运算由Flash和NPU协同完成。在Flash中计算的部分：需要NPU把输入向量发送到Flash中，使用Flash内部存储的权重矩阵和该输入向量做矩阵向量乘法，得到结果后发送回NPU。在NPU中计算的部分：NPU中存储着输入向量，需要从Flash中逐块读取权重矩阵，并在NPU中完成运算。运算结果保存在NPU中。注意力运算由NPU独立完成。特殊函数计算由NPU独立完成。NPU与Flash各自承担的任务比例，使得二者能更好地协同完成大语言模型的推理任务。
-
公开(公告)号：CN107203807B
公开(公告)日：2020-10-02
申请号：CN201610149920.9
申请日：2016-03-16
Applicant: 中国科学院计算技术研究所
Abstract: 本发明适用于计算机技术领域，提供了一种神经网络加速器的片上缓存带宽均衡方法、系统及其装置，包括如下步骤：A、将神经网络划分为多个内部数据特征一致的子网；B、对每个所述子网进行计算，获得每个所述子网的第一计算结果；C、根据每个所述子网的第一计算结果计算所述神经网络的总计算结果，借此，本发明提升了神经网络的计算效率。
-
公开(公告)号：CN105468335B
公开(公告)日：2017-04-12
申请号：CN201510825061.6
申请日：2015-11-24
Applicant: 中国科学院计算技术研究所
IPC: G06F9/38
CPC classification number: G06F9/38
Abstract: 本发明公开一种流水级运算装置、数据处理方法及片上网络芯片，所述流水级运算装置包括三个流水级模块，其中，第一流水级模块对来自所述第一输入缓存寄存器模块的数据及其最大值索引进行向量加法或减法运算，第二流水级模块对输入数据进行导数值的求解以及激活函数的求解，第三流水级模块对输入数据进行乘法与加法的操作；所述装置根据程序指令所指定的运算操作选择性地执行第一、第二、和第三流水级模块中的运算处理中的任一运算处理或它们之中任意两者或三者的组合的运算处理，并由所述第三缓存寄存器输出最终运算结果。由此，提高芯片的工作效率以及高数据吞吐量以使芯片达到最佳的运算性能。
-
公开(公告)号：CN105468335A
公开(公告)日：2016-04-06
申请号：CN201510825061.6
申请日：2015-11-24
Applicant: 中国科学院计算技术研究所
IPC: G06F9/38
CPC classification number: G06F9/38
Abstract: 本发明公开一种流水级运算装置、数据处理方法及片上网络芯片，所述流水级运算装置包括三个流水级模块，其中，第一流水级模块对来自所述第一输入缓存寄存器模块的数据及其最大值索引进行向量加法或减法运算，第二流水级模块对输入数据进行导数值的求解以及激活函数的求解，第三流水级模块对输入数据进行乘法与加法的操作；所述装置根据程序指令所指定的运算操作选择性地执行第一、第二、和第三流水级模块中的运算处理中的任一运算处理或它们之中任意两者或三者的组合的运算处理，并由所述第三缓存寄存器输出最终运算结果。由此，提高芯片的工作效率以及高数据吞吐量以使芯片达到最佳的运算性能。
-
Patent Agency Ranking
公开(公告)号：CN117935868A
公开(公告)日：2024-04-26
申请号：CN202410111561.2
申请日：2024-01-26
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种随机递增存储器，其包含：多个偏斜单元，配置为将一元比特流存储为偏斜数格式；至少一计算单元，配置为对所述多个偏斜单元存储的偏斜数进行递增操作。本发明还提出一种脉动随机递增存储器体系结构，其包含多路存储器；每一路存储器包含：多个一元处理单元，呈多行排列分布；多个随机递增存储器，同一行的一元处理单元配置一随机递增存储器；多路存储器之间由边缘部件隔开。该随机递增存储器能够将一元比特流累加为偏斜数格式，并与脉动阵列结构集成为脉动随机递增存储器体系结构，以降低累加能耗，提升能效。
-
公开(公告)号：CN115019085A
公开(公告)日：2022-09-06
申请号：CN202210544252.5
申请日：2022-05-18
Applicant: 中国科学院计算技术研究所
IPC: G06V10/764 , G06V10/774 , G06V10/82 , G06N3/04 , G06N3/08
Abstract: 本发明提出一种基于自动梯度混合的神经网络模型知识蒸馏方法和系统，包括通过损失函数，将教师网络的知识蒸馏至学生网络，得到任务损失和蒸馏损失；对该任务损失和该蒸馏损失进行反向传播，得到任务梯度向量和蒸馏梯度向量，以及任务梯度向量和蒸馏梯度向量间的夹角；以任务梯度向量约束总梯度向量，选择效果最优的候选偏转系数作为最终偏转系数以计算权重系数，将该权重系数加到损失函数，得到最终损失函数，并以该最终损失函数将该教师网络的知识蒸馏至该学生网络。由此本发明可自动调节权重系数超参。
-
公开(公告)号：CN108510064B
公开(公告)日：2021-12-10
申请号：CN201810249506.4
申请日：2016-04-18
Applicant: 中国科学院计算技术研究所
Abstract: 本公开提供了一种包括多个核心处理模块的人工神经网络的处理系统及方法，其中，所述人工神经网络的处理系统，包括：多核心处理模块，其包括多个核心处理模块；其中，该多个核心处理模块共同复用输入神经元和/或权值。本公开包括多个核心处理模块的人工神经网络的处理系统及方法，其在神经网络处理系统中引入多核设计，从而提升神经网络处理系统的运算速度，使得神经网络处理系统性能更高，更加高效。
-
公开(公告)号：CN108170640A
公开(公告)日：2018-06-15
申请号：CN201711452014.7
申请日：2017-10-17
Applicant: 中国科学院计算技术研究所
Abstract: 本公开提供一种神经网络运算装置和方法，其中装置包括：运算部分，用于完成所述卷积运算，包含多个运算单元组，多个所述运算单元组呈X行Y列的阵列式分布，运算单元组间以S形方向和/或逆S形方向传递数据，其中X和Y分别为正整数；缓存，用于向所述运算单元组传送数据以及接收运算单元组运算后的数据。通过采用S形和逆S形在运算单元中完成数据的传递，从而能够有效加速神经网络运算的同时，降低了权值的反复读取和部分和反复存取所带来的访存功耗。
-
公开(公告)号：CN108052984A
公开(公告)日：2018-05-18
申请号：CN201711467274.1
申请日：2017-10-30
Applicant: 中国科学院计算技术研究所
Abstract: 本公开提供了一种计数方法，包括：对一FAST R‑CNN或YOLO深度神经网络进行训练；以及利用训练后的FAST R‑CNN或YOLO深度神经网络对待计数的图像中包含的计数目标物体进行计数。本公开还提供了一种计数装置。本公开计数方法及装置应用范围广，可针对任意计数对象进行计数，节省人力并且提供了更高的通用性。
-
-
-
-
-
-
-
-
-
Search Results
43
records
(took 0.029 seconds)
