-
公开(公告)号:CN114638365B
公开(公告)日:2022-09-06
申请号:CN202210533446.5
申请日:2022-05-17
Applicant: 之江实验室
IPC: G06N5/04 , G06N3/08 , G06N3/04 , G06F40/279
Abstract: 本发明公开了一种机器阅读理解推理方法及装置、电子设备、存储介质,包括:S1:获取输入文本的张量A;S2:将A输入多头注意力层,得到张量B,A与B根据量化参数差距进行选择性求和,得到张量C,对C中的所有向量求第一均值和第一方差并进行归一化,得到张量D,将D输入至第一全连接神经网络,得到张量E,E经过激活函数层得到张量F,F与D根据量化参数差距进行选择性求和,得到张量G,对G中的所有向量求第二均值和第二方差并进行归一化,得到张量H;S3:重复若干次S2,得到张量K;S3:将K输入至第二全连接神经网络,得到输入文本中的每个文字作为答案的开始文字与结束文字的概率,从而得到问题答案。
-
公开(公告)号:CN114638365A
公开(公告)日:2022-06-17
申请号:CN202210533446.5
申请日:2022-05-17
Applicant: 之江实验室
IPC: G06N5/04 , G06N3/08 , G06N3/04 , G06F40/279
Abstract: 本发明公开了一种机器阅读理解推理方法及装置、电子设备、存储介质,包括:S1:获取输入文本的张量A;S2:将A输入多头注意力层,得到张量B,A与B根据量化参数差距进行选择性求和,得到张量C,对C中的所有向量求第一均值和第一方差并进行归一化,得到张量D,将D输入至第一全连接神经网络,得到张量E,E经过激活函数层得到张量F,F与D根据量化参数差距进行选择性求和,得到张量G,对G中的所有向量求第二均值和第二方差并进行归一化,得到张量H;S3:重复若干次S2,得到张量K;S3:将K输入至第二全连接神经网络,得到输入文本中的每个文字作为答案的开始文字与结束文字的概率,从而得到问题答案。
-
公开(公告)号:CN112015673A
公开(公告)日:2020-12-01
申请号:CN202011137494.X
申请日:2020-10-22
IPC: G06F12/02
Abstract: 本发明涉及计算机内存计算领域,具体涉及一种基于混合存储的存内计算方法与装置,该方法包括:首先通过混合存储区将数据进行混合存储,然后利用数据转存区通过字线驱动器和控制器对某一指定行的数据进行移位操作,最后基于混合存储和移位操作进行数据的乘法计算。本发明结合非易失存储与内存计算,一方面计算数据以纳秒级的速度从非易失器件中获得,特别是对于深度神经网络推理这种场景,可将模型参数事先存放于非易失存储区,计算时能减少了数据访问的时间,提高了系统性能;另一方面通过改进电路操作流程,减少了不必要的数据搬移时间,使得移位时间也能缩短至纳秒级别,提升了对于乘法计算这种有大量移位操作的计算效率,提高了系统性能。
-
公开(公告)号:CN119127514B
公开(公告)日:2025-04-22
申请号:CN202411614716.0
申请日:2024-11-13
Applicant: 之江实验室
Abstract: 本发明公开了一种脉冲星傅立叶域加速搜索流水线并行方法和装置,包括:将接收的天文数据分配到多个并行进程;每个进程中包括三个串行子线程,利用第一CPU子线程对分配到的天文数据进行预处理,利用GPU子线程读取预处理后的数据并在GPU上执行加速计算得到候选信号数据,利用第二CPU子线程读取候选信号数据并进行后处理和结果汇总,同时利用多个并行进程架构的队列和队列阻塞锁来同步各子线程之间的任务状态;通过监控反馈动态调整处理流程中的进程数量;实时记录任务状态和各进程计算结果并处理异常情况。本发明能够有效提升脉冲双星搜索进程,并支持利用多GPU并行加速,大幅提升从FAST天文数据中搜索该类型天体的速度。
-
公开(公告)号:CN116977525B
公开(公告)日:2024-03-01
申请号:CN202310956092.X
申请日:2023-07-31
Applicant: 之江实验室
Abstract: 本说明书公开了一种图像渲染方法、装置、存储介质及电子设备。所述图像渲染方法包括:将预设的三维渲染计算框架展示给用户,以使用户从预设的三维渲染计算框架所提供的各组件中,选取出用于构建用户所需的三维场景模型的神经辐射场的各组件,作为各目标组件,其中,各组件包括:编码函数组件、多层感知器组件、损失函数组件。根据各目标组件,构建三维场景模型对应的目标神经辐射场,响应用户发送的渲染请求,通过构建出的目标神经辐射场进行渲染得到三维场景模型的渲染图像。
-
公开(公告)号:CN116225669B
公开(公告)日:2024-01-09
申请号:CN202310509060.5
申请日:2023-05-08
Applicant: 之江实验室
Abstract: 本说明书公开了一种任务执行方法、装置、存储介质及电子设备,可以预先确定出所有可以并行执行的算子组合,进而可以在响应于用户发起的任务请求进行任务执行时,确定需要执行该任务对应的各可执行算子与正在执行其他任务的芯片正在执行的其他任务的算子是否有匹配的可以并行执行的算子组合,若有,则可以通过正在执行其他任务的芯片并行执行该任务请求对应的任务,从而可以提升芯片的计算资源的利用率。
-
公开(公告)号:CN117056279A
公开(公告)日:2023-11-14
申请号:CN202311320181.1
申请日:2023-10-12
Applicant: 之江实验室
IPC: G06F15/78 , H01L23/538 , H01L23/528 , H01L21/60
Abstract: 本申请提供一种可重构电路、可重构芯粒间互联的装置及其方法。该可重构电路包括可重构互联模块及控制模块,可重构互联模块用于与一个微凸点组对应连接,微凸点组包括多个微凸点。可重构互联模块包括多个可重构的开关单元。每一个开关单元具有控制端、输入端及输出端,开关单元的控制端连接到控制模块,开关单元的输入端用于接收来自功能模块或测试模块的接口信号,开关单元的输出端用于连接微凸点组中的一个微凸点。控制模块用于接收外部的控制数据,并根据控制数据来控制可重构互联模块中多个开关单元的通断以选择合适的微凸点连通。在开关单元闭合时,与开关单元连接的对应微凸点连通,接口信号可通过开关单元的输入端传递到微凸点。
-
公开(公告)号:CN116523045A
公开(公告)日:2023-08-01
申请号:CN202310235465.4
申请日:2023-03-13
Applicant: 之江实验室
Abstract: 本发明公开了一种面向多芯粒芯片的深度学习推理模拟器,包括:配置输入层,用于获取模拟所需的深度学习模型、多芯粒芯片架构和映射策略;模型解析层,用于根据映射策略对所述深度学习模型进行解析,得到模型解析表;路由生成层,用于根据模型解析表中每个算子的运行策略分析算子内路由和算子间路由并生成路由文件;推理模拟层,用于进行深度学习模型在多芯粒芯片架构所描述的多芯粒芯片上的推理模拟,将路由文件分层次并通过片上网络模拟器进行多进程并行模拟,得到各算子路由所需的周期数;结果计算层,用于将推理模拟层中并行模拟得到的算子路由周期数进行整理计算,得到深度学习模型在多芯粒芯片上推理模拟的周期数和平均设备利用率。
-
公开(公告)号:CN115421897A
公开(公告)日:2022-12-02
申请号:CN202211381782.9
申请日:2022-11-07
Applicant: 之江实验室
Abstract: 本发明公开了一种面向芯粒的深度神经网络流水线并行调度方法及装置,该方法包括:获取深度神经网络和芯粒拓扑结构;根据所述深度神经网络,构造深度神经网络计算图并对所述深度神经网络计算图进行缩减;根据缩减后的深度神经网络计算图划分流水线组,得到流水线组图;根据所述流水线组图和芯粒拓扑结构,划分流水线并行区域;根据划分后的流水线并行区域和所述芯粒拓扑结构确定深度神经网络流水线并行调度策略;按照所述深度神经网络流水线并行调度策略,将所述深度神经网络部署到芯粒上,执行深度神经网络流水线并行推理。
-
公开(公告)号:CN115062771B
公开(公告)日:2022-11-25
申请号:CN202210981014.0
申请日:2022-08-16
Applicant: 之江实验室
Abstract: 本发明公开了一种分布式机器学习梯度汇聚方法、装置及模型训练方法,利用智能交换机进行计算节点梯度汇聚任务调度和模型训练。智能交换机不仅包含正常的网络交换功能,还能对梯度数据包进行解析,抽取包内数据并进行计算,并将结果重新组包发送给相关计算服务器,提供更为高效的数据交换服务。智能交换机将多台计算服务器连接起来组成训练网络,共同完成神经网络模型训练任务。本发明实现分布式机器学习训练,可优化梯度汇聚时间,减少梯度交换流量,加速大模型训练。
-
-
-
-
-
-
-
-
-