-
公开(公告)号:CN112597113B
公开(公告)日:2021-06-01
申请号:CN202110246172.7
申请日:2021-03-05
Abstract: 本发明公开了一种数据快速读取方法、装置、电子设备及存储介质,该方法包括:将数据集划分成若干份图片子集,对每个图片子集进行归一化处理,并分别聚合为一个文件;给数据集中的每个图片分配一个请求编号;通过继承深度学习平台的数据集抽象类,根据所述请求编号分别哈希计算出每个图片所在的文件地址和文件内所述的偏移信息,从而获得每张图片到该图片所属文件的映射;根据所述映射,快速读取数据集中的所有图片。将每个所述图片子集聚合为一个文件,减少了海量小样本元数据管理的开销,优化了数据集的组织形式,极大地提升了图片的读取速度;图片读取时通过多级地址映射,取代了原本低效的海量图片中随机查找的过程,极大地提升了读取速率。
-
公开(公告)号:CN112804297A
公开(公告)日:2021-05-14
申请号:CN202011599244.8
申请日:2020-12-30
Applicant: 之江实验室
IPC: H04L29/08
Abstract: 本发明公开了一种可组装的分布式计算和存储系统及其构造方法,包括:一个以上域服务器,用于计算服务或存储服务;网络交换单元,负责将域服务器连接形成分布式计算和存储系统;域服务器包括:对象处理单元,采用多核构造处理器线程组,负责域服务器内网络连接,并通过高级语言编程提供管理控制和数据处理;计算单元,提供计算能力;内存单元,用于动态随机存储器;持久化内存单元,用于非易失内存;存储单元,提供持久化存储;多个计算单元、多个内存单元、多个非易失内存单元、多个存储单元,分别通过网络交换单元连接形成计算池、内存池、非易失内存池、存储池;一个或多个域服务器通过网络交换单元连接形成分布式计算和存储系统。
-
公开(公告)号:CN112597113A
公开(公告)日:2021-04-02
申请号:CN202110246172.7
申请日:2021-03-05
Abstract: 本发明公开了一种数据快速读取方法、装置、电子设备及存储介质,该方法包括:将数据集划分成若干份图片子集,对每个图片子集进行归一化处理,并分别聚合为一个文件;给数据集中的每个图片分配一个请求编号;通过继承深度学习平台的数据集抽象类,根据所述请求编号分别哈希计算出每个图片所在的文件地址和文件内所述的偏移信息,从而获得每张图片到该图片所属文件的映射;根据所述映射,快速读取数据集中的所有图片。将每个所述图片子集聚合为一个文件,减少了海量小样本元数据管理的开销,优化了数据集的组织形式,极大地提升了图片的读取速度;图片读取时通过多级地址映射,取代了原本低效的海量图片中随机查找的过程,极大地提升了读取速率。
-
公开(公告)号:CN112149816A
公开(公告)日:2020-12-29
申请号:CN202011340107.2
申请日:2020-11-25
Applicant: 之江实验室
Abstract: 本发明公开了一种支持深度神经网络推理加速的异构存算融合系统及方法,包括:主机处理器,用于控制和管理整个异构存算融合系统;非易失内存模块,与所述主机处理器相连,用于神经网络处理;3D堆叠内存模块,与所述主机处理器相连,用于神经网络处理;网络模块,与所述主机处理器相连,用于与外部主机连接;配置电路,与所述主机处理器相连,用于接收所述主机处理器的配置命令并控制电压发生器,也用于接收所述主机处理器的配置命令并配置3D堆叠内存模块;电压发生器,分别与所述非易失内存模块和配置电路相连,用于接收所述配置电路的控制命令,对所述非易失内存模块施加外部激励,调节其电导状态。
-
公开(公告)号:CN112015673A
公开(公告)日:2020-12-01
申请号:CN202011137494.X
申请日:2020-10-22
IPC: G06F12/02
Abstract: 本发明涉及计算机内存计算领域,具体涉及一种基于混合存储的存内计算方法与装置,该方法包括:首先通过混合存储区将数据进行混合存储,然后利用数据转存区通过字线驱动器和控制器对某一指定行的数据进行移位操作,最后基于混合存储和移位操作进行数据的乘法计算。本发明结合非易失存储与内存计算,一方面计算数据以纳秒级的速度从非易失器件中获得,特别是对于深度神经网络推理这种场景,可将模型参数事先存放于非易失存储区,计算时能减少了数据访问的时间,提高了系统性能;另一方面通过改进电路操作流程,减少了不必要的数据搬移时间,使得移位时间也能缩短至纳秒级别,提升了对于乘法计算这种有大量移位操作的计算效率,提高了系统性能。
-
-
公开(公告)号:CN119336520A
公开(公告)日:2025-01-21
申请号:CN202411906036.6
申请日:2024-12-23
Applicant: 之江实验室
IPC: G06F9/50 , G06F15/177 , G06F15/173 , G06N3/006 , G06N3/08
Abstract: 本说明书公开了一种计算芯片和计算任务的执行方法。所述计算芯片包括:传输模块、计算芯粒以及存储芯粒,所述传输模块中设置有数据缓存子模块,计算芯片的基板上设置有若干个传输模块,针对每个传输模块,该传输模块与至少一个计算芯粒和/或至少一个存储芯粒相连接;传输模块用于,根据访存任务管理数据,从存储芯粒中读取任务数据并存储在数据缓存子模块中,以及,从本地的数据缓存子模块中读取任务数据并发送给目标计算芯粒;存储芯粒用于,存储任务数据,以及,向目标传输模块发送任务数据;计算芯粒用于,根据接收到的任务数据执行计算任务。本方案极大的提高了计算芯片内部的数据访存效率,进一步提高了计算任务的执行效率。
-
公开(公告)号:CN114499818B
公开(公告)日:2024-12-31
申请号:CN202210088338.1
申请日:2022-01-25
Applicant: 之江实验室
IPC: H04L9/00 , H04L9/08 , H04L9/32 , H04L9/40 , H04L67/10 , H04L67/12 , G06F16/27 , G06F21/64 , G06Q40/04
Abstract: 本发明公开了一种云数据审计方法及装置、电子设备、计算机可读存储介质,包括:拥有数据的终端对其数据构建用于完整性审计的可验证标签,然后将数据及标签存储到云服务器。为了保证存储数据的完整性,授权第三方审计者对存储在云服务器的数据进行完整性验证。由于第三方审计者并不完全可信,因此,提出一种云数据审计方法,针对每次审计操作,成立一个随机选择成员的审计者委员会,来完成审计操作。因为审计者委员会成员是随机选取,从而可以抵抗拒绝服务攻击与合谋攻击。
-
公开(公告)号:CN119179935A
公开(公告)日:2024-12-24
申请号:CN202411684885.1
申请日:2024-11-22
Applicant: 之江实验室
IPC: G06F18/24 , G06F18/214 , G06F18/40
Abstract: 本说明书公开了一种基于数据质量的数据存储方法、介质及设备。获取初始数据集。针对初始数据集中的每个数据,将该数据分别输入预设的各标注模型,得到每个标注模型针对该数据的标注结果,作为该数据对应的标注集。根据初始数据集中每个数据对应的标注集,在初始数据集中进行数据筛选,以构建出目标数据集。确定预设的计算节点在执行目标模型的模型训练任务时的数据访问信息,以及确定目标数据集中各数据对应的数据特性信息,根据数据访问信息以及目标数据集中包含的各数据对应的数据特性信息,确定计算节点在执行目标模型的模型训练任务时目标数据集中各数据的存储位置,并按照存储位置,将目标数据集作为训练样本进行存储。
-
公开(公告)号:CN118627020B
公开(公告)日:2024-10-29
申请号:CN202411110491.5
申请日:2024-08-14
Applicant: 之江实验室
IPC: G06F18/25 , G06N3/0895 , G06N3/09 , G06N3/0455
Abstract: 本发明公开了一种基于对比学习和结构化信息增强多模态特征融合的方法,基于对比学习的多模态网络,通过利用结构化信息构造的正负样本数据,充分挖掘模态特征之间的对应关系,基于对应关系,注入结构化信息增强模态特征的融合;本发明通过对原始数据集中成对的图片、文本对中的文本数据进行结构化处理,获取文本数据中的对象、对象关系、对象属性等信息构造文本语义负样本和结构知识特征,结构知识特征注入到文本特征中后,在对比学习模块中与文本正样本和图片数据一起进行特征对齐,基于对齐特征送入特征融合模块进行特征融合。本发明充分利用文本模态的结构信息进行特征对齐以及利用融合特征进行联合优化,极大地提升了模型的多模态理解能力。
-
-
-
-
-
-
-
-
-