一种深度学习模型的增量部署方法及装置

    公开(公告)号:CN119377645A

    公开(公告)日:2025-01-28

    申请号:CN202411911222.9

    申请日:2024-12-24

    Applicant: 浙江大学

    Abstract: 本发明公开了一种深度学习模型的增量部署方法及装置,包括:定义基于文件夹的分布式存储结构用于模型存储,将模型的网络结构与权重参数解耦;读取配置文件,建立算子与权重映射关系,根据映射关系加载各层权重并执行前向推理;当部署端接收到更新请求时,首先下载新的配置文件,解析其中的变更信息;若为增量部署配置文件,则与原配置文件形成新配置文件;若为原配置文件修改映射关系的配置文件,则使用新配置文件;否则拒绝更新请求;通过新配置文件确定需要更新的算子集合,并为每个待更新算子创建副本;将新权重加载到算子副本中,并通过状态标记机制确保更新过程的原子性。本发明解决了现有技术中深度学习模型无法增量部署和热更新的问题。

    一种基于多模态特征融合的语音脑机接口解码方法

    公开(公告)号:CN119002706A

    公开(公告)日:2024-11-22

    申请号:CN202411474522.5

    申请日:2024-10-22

    Applicant: 浙江大学

    Inventor: 祁玉 余嘉瑜 潘纲

    Abstract: 本发明公开了一种基于多模态特征融合的语音脑机接口解码方法,包括:(1)获取原始神经信号和面部肌电信号,同步获取对应的文本序列;(2)分别提取神经信号特征和肌电信号特征;对于文本序列,提取音素序列后提取文本特征和音素特征;(3)构建基于多模态特征融合的解码模型,包含编码器和解码器;(4)对于神经信号特征、肌电信号特征和音素特征,经过编码器中的嵌入层后两两组合计算特征相似度,基于对比损失函数训练编码器;(5)基于CTC损失函数对解码器进行训练;(5)应用过程中,将待解码的神经信号和肌电信号输入解码模型,最终得到预测文本。本发明可以解决神经信号不稳定与噪声干扰对解码性能的影响,增强解码模型的鲁棒性。

    一种脑机融合的大脑适应性评估方法

    公开(公告)号:CN118797568A

    公开(公告)日:2024-10-18

    申请号:CN202410790803.5

    申请日:2024-06-19

    Abstract: 本发明公开了一种脑机融合的大脑适应性评估方法,包括:设计一个光标曲线追踪实验,显示屏上显示一条曲线,被试者需操作鼠标使得光标从曲线起点沿曲线轨迹移动至曲线终点;被试者左手和右手分别进行光标曲线追踪实验;获取被试者光标曲线追踪实验数据;被试者佩戴脑电设备,进行运动想象实验;获取被试者运动想象实验数据;将光标曲线追踪实验数据和运动想象实验数据进行线性回归,构建一个面向脑机接口的大脑适应性评估模型;将测试者光标曲线追踪实验数据输入大脑适应性评估模型,以判断测试者的脑电任务学习能力和最终表现。利用本发明,可以在运动想象实验开始之前,有效预测被试的学习能力和最终系统表现。

    一种元宇宙场景下基于多模态反馈的盲人驾驶系统

    公开(公告)号:CN118298694A

    公开(公告)日:2024-07-05

    申请号:CN202410399909.2

    申请日:2024-04-03

    Applicant: 浙江大学

    Abstract: 本发明公开了一种元宇宙场景下基于多模态反馈的盲人驾驶系统,将车辆的方向和位置信息分别以声音和震动两种方式直观地反馈给盲人,帮助盲人在元宇宙的驾驶场景中实现完全自主的驾驶行为,完成保持路线、变道、障碍物躲避等驾驶任务。本发明的主要核心是使用听觉和触觉多模态信息弥补或替代盲人驾驶时所需要的视觉信息,筛选出通过视觉获取的多种基本信息流,并对这些信息进行降维、组合处理;场景的设置要求更接近城市驾驶的真实情况,保证一定的真实性和复杂性,并针对盲人进行了特定的优化。在经过一定的训练后,本发明系统可以帮助盲人在元宇宙的虚拟场景中拥有更好的场景理解能力,并实现完全自主的驾驶。

    一种面向多类脑芯片级联系统的硬件容错方法与装置

    公开(公告)号:CN118245291A

    公开(公告)日:2024-06-25

    申请号:CN202410660241.2

    申请日:2024-05-27

    Abstract: 本发明公开了一种面向多类脑芯片级联系统的硬件容错方法与装置,包括类脑芯片内神经拟态核级联和类脑芯片级联的硬件容错;单个神经拟态核支持的脉冲神经网络规模十分有限,对于更大规模的脉冲神经网络系统,需要芯片级采用多神经拟态核级联、系统级采用多类脑芯片级联,组成一个多类脑芯片的硬件系统。在级联系统中,单或多个拟态核失效、单或多个类脑芯片失效,都可能会引起脉冲神经网络瘫痪;本发明通过设置芯片内神经拟态核级联路由策略和芯片级联的路由策略,实现级联系统的硬件容错。

    一种面向硬件约束的脉冲神经网络训练方法、装置及芯片

    公开(公告)号:CN118095397A

    公开(公告)日:2024-05-28

    申请号:CN202410283883.5

    申请日:2024-03-13

    Applicant: 浙江大学

    Inventor: 郑乾 陈俊舟 潘纲

    Abstract: 本发明公开了一种面向硬件约束的脉冲神经网络训练方法、装置及芯片,训练方法包括:(1)对于转化前的ANN网络进行修改,根据硬件约束条件缩减ANN网络规模、量化权重并调整类脑计算芯片不支持的层结构,使ANN网络适配硬件约束条件,得到量化ANN;(2)根据硬件约束条件对SNN的神经元形式进行调整,将量化ANN训练并转化为IF神经元量化SNN;(3)对量化ANN进行转化得到采用有符号IF神经元的量化SNN,并对该量化SNN进行微调;(4)以量化ANN以及步骤(3)中采用有符号IF神经元的量化SNN为标准,对步骤(2)中取得的采用IF神经元的量化SNN进行逐层微调。本发明可以解决现有技术中由ANN转化满足硬件约束条件的SNN性能下降过多的问题。

    一种面向类脑芯片和系统的时间步推进方法和装置

    公开(公告)号:CN117829220A

    公开(公告)日:2024-04-05

    申请号:CN202311597246.7

    申请日:2023-11-27

    Applicant: 浙江大学

    Abstract: 本发明公开了一种面向类脑芯片和系统的时间步推进方法和装置,其用于应用在包括多个独立的类脑计算区域的类脑计算系统中,包括:每个类脑计算区域配有一个域内时间步控制模块,用于根据对应区域内神经元的运算状态与全局时间步控制模块进行交互从而共同推进区域内的时间步;全局时间步控制模块,用于通过与多个域内时间步控制模块交互,负责所在整体区域的时间步控制;通信架构,用于支持全局时间步控制模块与每个域内时间步控制模块的通信;每个类脑计算区域配有一个神经元功能模块,用于负责对应区域内神经元的脉冲计算和状态更新。这样可以提升神经元之间任务负载差异较大的时同步效率,进而提升类脑芯片的计算性能。

    一种晶圆级芯片类脑计算系统
    8.
    发明公开

    公开(公告)号:CN117810189A

    公开(公告)日:2024-04-02

    申请号:CN202311582461.X

    申请日:2023-11-24

    Abstract: 本发明公开了一种晶圆级芯片类脑计算系统,包括功能芯片裸片的管脚以微型金属凸块形式引出,晶圆级硅基电路底板以纯净的无功能晶圆裸片为基础,利用重定向层技术构建互相嵌合的多层金属铜,将部分末端微型金属凸块互连在一起,并在空置间隔区域内的设置用于连接无源器件的微型金属凸块,多颗功能芯片裸片和晶圆级硅基电路底板的对应金属凸块键合在一起组成晶圆级芯片,配套的PCB模组的正面中间区域仅为表面开窗铜皮且直接与晶圆级硅基电路底板的背面接触形成有效散热面积,正面边缘区域为金属焊盘且与晶圆级芯片的边缘引脚连接,背面集成有各类系统工作所必须的组件,能够有效增加系统集成度、提供通信效率、减低系统功耗。

    一种基于孪生网络核回归的侵入式脑机接口解码方法

    公开(公告)号:CN113589937B

    公开(公告)日:2024-04-02

    申请号:CN202110890264.9

    申请日:2021-08-04

    Applicant: 浙江大学

    Abstract: 本发明公开了一种基于孪生网络核回归的侵入式脑机接口解码方法,包括以下步骤:(1)构建孪生神经网络h,选取训练集中的典型样本组成记忆库;(2)将训练阶段待解码的原始神经信号xi输入孪生神经网络h得到神经表示h(xi),使用核回归算法将神经表示h(xi)与记忆库中样本{(h(xj),yj)}的神经表示h(xj)进行比较,得到神经表示间的相似度权重k(h(xi),h(xj)),利用这些相似度权重加权对应的速度得到预测速度#imgabs0#(3)计算损失函数,采用端到端的方式反向传播训练模型;(4)训练完毕后,将测试阶段待解码的神经信号输入孪生网络得到神经表示,然后经过核回归算法后得到预测的动作速度。利用本发明,可以一定程度上解决神经信号多变性问题,实时预测手臂速度,提升效率和准确率。

    一种基于内容寻址存储器的类脑芯片及其连接表示方法

    公开(公告)号:CN117764125A

    公开(公告)日:2024-03-26

    申请号:CN202311587595.0

    申请日:2023-11-24

    Abstract: 本发明公开了一种基于内容寻址存储器的类脑芯片交及其连接表示方法,包括多个神经元节及其对应的多个片上路由单元;所述片上路由单元用于选择和确定神经元节点之间传递的脉冲数据的传输路径并进行脉冲数据转发;每个神经元节点包括多个神经元、基于内容寻址存储器的轴突结构以及基于内容寻址存储器的树突结构,且在源神经元的轴突结构中构建有每个神经元与目标神经元所在节点的连接关系,在目标神经元的树突结构中构建有源神经元与节点内神经元间的连接关系,这样可以实现神经元之间的灵活连接关系及其连接特性,提升了神经元之间的高效路由。

Patent Agency Ranking