-
公开(公告)号:CN117746844A
公开(公告)日:2024-03-22
申请号:CN202311649867.5
申请日:2023-12-04
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种基于涌现交流规则的多智能体通信方法,包括:说话者模型根据第一上下文面板推理得到第一规则,并结合第一上下文面板的规则标签构建损失函数,以训练更新说话者模型,得到中间说话模型;中间说话模型将第二上下文面板的第二规则发送至听者模型,听者模型根据第二规则从备选答案面板选择正确答案以回答问题面板;根据第二规则和第二上下文面板的规则标签、正确答案和答案标签构建损失函数联合训练中间说话模型和听者模型,得到最终说话模型和最终听者模型;通过最终说话模型提取目标上下文面板的目标规则,最终听者模型根据目标规则从其候选答案中选择答案以完成指定任务。本发明提高了智能体的认知推理能力和表达抽象概念的能力。
-
公开(公告)号:CN119623377A
公开(公告)日:2025-03-14
申请号:CN202411790989.0
申请日:2024-12-06
Applicant: 中国科学院计算技术研究所
IPC: G06F30/3308
Abstract: 本发明提出一种大模型推理芯片的验证方法、装置、存储介质,该方法包含:根据大模型推理芯片的设计文档搭建模拟器核心状态机,并基于状态机搭建大模型推理芯片的模拟器;抓取大模型推理芯片的模型推理算法各步骤的数据流踪迹,获取踪迹文件;利用模拟器模拟推理过程,利用权重类型文件提供模型参数,利用激活类型文件比对模型推理算法执行过程中在相同输入下运算得到的激活数据,验证数据流踪迹的正确性;若数据流踪迹比对成功,抓取符合硬件行为仿真验证格式要求的踪迹文件,得到筛选后的跟踪文件;利用筛选后的跟踪文件作为金标准,对大模型推理芯片进行验证。该方法提高了对大模型推理芯片行为的模拟效果,提高了验证效率。
-
公开(公告)号:CN118259889A
公开(公告)日:2024-06-28
申请号:CN202410479500.1
申请日:2024-04-19
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种算子库生成方法、装置,该方法包含:获取给定加速器目标平台体系结构的约束条件;基于所述约束条件,利用预设规则构造约束满足问题;给定一待优化的程序,利用所述约束满足问题生成程序优化的一搜索空间;依据所述约束满足问题,生成一程序表示,利用所述程序表示训练程序代价模型,所述程序代价模型用于预测程序性能。该方法能够在给定的搜索时间内生成高性能的库程序,适用于多种不同加速器目标平台上,提升了编译速度。
-
公开(公告)号:CN119416845A
公开(公告)日:2025-02-11
申请号:CN202411551391.6
申请日:2024-11-01
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种基于斐波那契编码的存算一体神经网络加速方法和加速器,包括:存算一体神经网络加速器的斐波那契编码器将参与神经网络运算任务的激活值和权重值从二进制编码为斐波那契编码,得到斐波那契激活和斐波那契权重,存算一体神经网络加速器中存算一体单元的DAC将斐波那契激活转化为多个模拟电压,并分别施加到存算一体单元中SRAM阵列每一行的字线上;SRAM阵列的每个单元将输入的模拟电压乘以相应的斐波那契权重,得到中间运算结果,SRAM阵列每一列的加法器对中间运算结果进行重新分配电荷以完成内积的累加操作,并将累加操作结果通过存算一体单元的ADC转换为斐波那契编码的数字格式,作为神经网络运算任务的运算结果。
-
公开(公告)号:CN118313322A
公开(公告)日:2024-07-09
申请号:CN202310019857.7
申请日:2023-01-06
Applicant: 中国科学院计算技术研究所
Inventor: 陈云霁 , 承书尧 , 靳鹏威 , 郭崎 , 杜子东 , 张蕊 , 田韵豪 , 胡杏 , 赵永威 , 郝一帆 , 关翔涛 , 韩虎生 , 赵政越 , 刘晰鸣 , 张曦珊 , 褚越杰 , 毛卫龙 , 陈天石
IPC: G06F30/327 , G06F30/3323 , G06F30/337 , G06F18/231
Abstract: 本发明提出一种基于近似电路生成的逻辑电路自动生成方法和系统,包括:获取待实现的黑盒函数,且该黑盒函数包括多组输入信号和输出结果的对应关系;对该黑盒函数进行采样得到函数样本,为该函数样本中每对输入信号和输出结果的对应关系对应关系构建用于表达逻辑电路结构的有向无环图,聚类所有该有向无环图的同层节点,得到多个簇;展开每个簇中的每个节点,合并展开后功能相同的子节点得到样本电路结构图。本发明的逻辑电路生成方法,可用于芯片设计流程中,降低人工参与成本,提高芯片设计效率。
-
公开(公告)号:CN119623543A
公开(公告)日:2025-03-14
申请号:CN202411778782.1
申请日:2024-12-05
Applicant: 中国科学院计算技术研究所
Abstract: 本申请公开了一种基于权值拓扑连接的大模型计算装置,计算装置包括:多个基于权值拓扑连接的硬件神经元HN模块,针对用户输入语句生成的多维向量,HN模块采用基于权值拓扑连接方式完成权重值矩阵乘法运算;其中,基于权值拓扑连接为将矩阵的权重值通过HN模块电路的连线方式表示。本发明提出了一种基于权值拓扑连接的高效大模型计算装置HN(Hard Neural),无需存储单元,以组合逻辑的拓扑连接完成权值数值运算。
-
公开(公告)号:CN119622156A
公开(公告)日:2025-03-14
申请号:CN202411792329.6
申请日:2024-12-06
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供了一种基于大语言模型的旋转位置编码的编码方法,包括:通过预定的迭代计算公式对三角函数进行迭代计算,通过上一轮三角函数值得到本轮三角函数值;获取至少一个输入向量,将所述输入向量和所述本轮三角函数值进行逐元素乘加运算,得到旋转位置编码的向量编码。本发明还提供一种基于大语言模型的旋转位置编码的编码装置、存储介质及电子设备。借此,本发明实现顾计算精度、计算效率与硬件开销的平衡,并显著降低片上存储需求,从而为大语言模型的加速提供有力支持。
-
公开(公告)号:CN118446267A
公开(公告)日:2024-08-06
申请号:CN202410618369.2
申请日:2024-05-17
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种扩散模型加速器,包含:片外内存,存储有上一时间步的原值;片上缓存,包含:权重缓存模块,与外片内存耦接,用于提取权重值进行缓存;输入特征缓存模块,用于读取输入差分激活值进行缓存;输出特征缓存模块,用于读取输出差分激活值进行缓存;处理引擎,包含:运算器阵列,用于读取缓存的该权重值与该输入差分激活值进行卷积乘法运算,生成该输出差分激活值;特殊处理模块,与该片外内存及该输出特征缓存模块耦接,用于从该片外内存获取该原值的符号位值;且利用该符号位值在该输出差分激活值上进行函数激活运算,生成增量输出值。其具有良好的加速效果,同时具有较高的能量效率和面积效率。
-
公开(公告)号:CN119740663A
公开(公告)日:2025-04-01
申请号:CN202411809841.7
申请日:2024-12-10
Applicant: 中国科学院计算技术研究所
IPC: G06N5/04
Abstract: 本发明提出一种基于拓扑计算的大模型推理计算架构,包括:CPU、SDRAM、代码存储器、提示词存储器,以及大模型推理加速器,并通过总线将该CPU、该SDRAM、该代码存储器、该提示词存储器及该大模型推理加速器进行路由连接;进行大模型推理计算时,首先将该代码存储器中的代码及该提示词存储器中的提示词和词表,读取至该SDRAM,再根据该提示词的标记ID查询该SDRAM中的词表以获取嵌入向量,然后将该嵌入向量发送给该大模型推理加速器进行大模型推理计算,将该大模型推理加速器获得的输出结果发送上位机。本发明还提出一种基于拓扑计算的大模型推理计算方法及装置。本发明解决了大模型推理过程中权值加载的开销过大及KV cache的SRAM实现面积开销过大的问题。
-
公开(公告)号:CN119026543A
公开(公告)日:2024-11-26
申请号:CN202411121715.2
申请日:2024-08-15
Applicant: 中国科学院计算技术研究所
IPC: G06F30/3315 , G06F30/3312 , G06F30/3953 , G06N20/00
Abstract: 本申请公开了一种布线前静态时序分析方法及其装置,方法包括:将布线前的集成电路进行基于图的建模,将电路进行网络划分,输出电路的网络级建模结果;从布线前电路数据中提取网络延迟预测特征集;根据网络延迟预测特征集,采用分布式梯度增强库,构建网络延迟预测模型,输出不同工作条件下的网络延迟预测结果;基于网络级建模结果及各工作条件下的网络延迟预测结果,采用线性复杂度算法计算到达时间及松弛,输出最终的布线前静态时序分析结果。本发明在多设计模式下以高精度一致地获得静态时序分析结果,本发明方法具有鲁棒的可泛化性。
-
-
-
-
-
-
-
-
-