-
公开(公告)号:CN110533162B
公开(公告)日:2022-01-07
申请号:CN201910677639.6
申请日:2019-07-25
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种自动生成深度学习框架间操作映射的方法及系统,包括:根据原深度学习框架和目标深度学习框架间的操作转换规则,抽取框架间操作转换的基本共性,根据基本共性构建转换关系,将转换关系作为基类存储于操作转换的初始描述文件中;获得原深度学习框架下支持的操作集合,遍历操作集合,为每个操作构建继承基类的子类,判断操作集合中操作除了基类中的基本转换规则外是否具有特殊属性,若是则补充特殊属性至子类,构成完备描述文件,否则直接保存子类,构成完备描述文件;将完备描述文件输入至编译器,得到操作转换规则,根据操作转换规则将原深度学习框架下待转换的操作转换为目标深度学习框架下的操作。
-
公开(公告)号:CN110532291A
公开(公告)日:2019-12-03
申请号:CN201910676904.9
申请日:2019-07-25
Applicant: 中国科学院计算技术研究所
IPC: G06F16/2455 , G06N20/00
Abstract: 本发明提出一种基于最小执行代价的深度学习框架间模型转换方法及系统,包括:在原有技术的基础上,添加操作转换代价值,同时考虑多个独立操作可以融合的情况,补充融合映射;模型的具体实现体现在构成模型的操作转换上,本阶段依据模型转换映射表,通过动态规划算法得到执行代价最低的转换后模型结构。本发明通过操作融合可以减少多个操作间中间结果的读写过程,从而优化计算性能和存储空间,进而降低转换后模型的执行代价。同时,在有多种融合可选时通过动态规划的算法得到执行代价最小的模型转换方法。
-
公开(公告)号:CN105095353B
公开(公告)日:2018-12-04
申请号:CN201510345279.1
申请日:2015-06-19
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种并行网络文件系统中预读小文件后忙等的系统及方法,该系统包括:客户端,用于根据当前访问文件的文件布局确定当前访问文件的数据页面数量,并访问磁盘中当前访问文件的数据页面;服务器端,用于获取当前访问文件的文件布局并发送给客户端;客户端当上层应用在缓存中查找到被加锁的当前数据页面时,将该当前数据页面标记为“未访问”,跳过该当前数据页面,访问下一个数据页面,待全部数据页面访问完成后,对该当前数据页面进行再次访问。
-
公开(公告)号:CN106354870A
公开(公告)日:2017-01-25
申请号:CN201610828103.6
申请日:2016-09-18
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
CPC classification number: G06F16/254
Abstract: 本发明提供一种数据加载系统和方法。所述方法包括:多个数据加载节点中的一个接收加载请求;响应于该加载请求,在多个数据加载节点中启动与该加载请求相对应的加载服务进程,以及生成加载标识,该加载标识与该加载服务进程相关联;数据源节点基于所述加载标识获得所述加载服务进程的监听地址;数据源节点向该监听地址发送待加载数据;数据加载节点从该监听地址接收来自该数据源节点的待加载数据,以及按照设置的路由规则将数据转发至其他数据加载节点,或者将数据加载到相关联的存储设备。根据本发明的方法,可以提高数据加载的安全性和可靠性,避免采用硬件或者频繁启动加载而带来的损耗成本,并且利用并发的系统资源来执行数据加载的过程。
-
公开(公告)号:CN118819829A
公开(公告)日:2024-10-22
申请号:CN202410805665.3
申请日:2024-06-21
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供了一种增量图数据计算方法,包括:图层构建步骤:基于原始图数据构建从上之下包括原始图层、中间子图层、顶层图层。计算步骤:响应图数据的变化,通过调整三层结构图的内部结构以实现不断变化的图数据的增量计算,每次计算进行多轮迭代直至图结构收敛,其中,在计算过程中,用外存储器存储图计算的所有中间结果,用内存储器动态存储图计算的部分中间结果,并且在外存储器和内存储器中均以中间子图结构为存储单位进行中间结果的读取或存储,顶层图层的所有中间结果作为一个整体进行存储,其中,为响应增量计算数据访问,采用启发式缓存替换策略更新内存储器中的中间结果。本发明相对现有图计算方法的内存占用平均降幅可达40%‑60%。
-
公开(公告)号:CN104503706B
公开(公告)日:2017-10-10
申请号:CN201410810681.8
申请日:2014-12-23
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
Abstract: 本发明提供一种基于磁盘阵列的数据存储方法,其中每个条带包括空子条带和纠删码子条带;存储方法包括下列步骤:1)确定需要写入数据的条带并将其作为当前条带;2)当需要写入的数据是全条带数据时,将所述全条带数据写入当前条带的空子条带,写入完毕后将该空子条带转换为纠删码子条带;3)在新的纠删码子条带生效后,将当前条带的原有纠删码子条带转换为空子条带。所述条带还可以进一步包括镜像子条带。另外,本发明还提供了相应的基于磁盘阵列的数据读取方法。本发明能够解决纠删码技术中的WriteHole问题;能够提高基于纠删码的存储系统的I/O性能;无论在写入数据块较多还是较少时均能达到较高的性能。
-
公开(公告)号:CN110532291B
公开(公告)日:2022-07-12
申请号:CN201910676904.9
申请日:2019-07-25
Applicant: 中国科学院计算技术研究所
IPC: G06F16/2455 , G06N20/00
Abstract: 本发明提出一种基于最小执行代价的深度学习框架间模型转换方法及系统,包括:在原有技术的基础上,添加操作转换代价值,同时考虑多个独立操作可以融合的情况,补充融合映射;模型的具体实现体现在构成模型的操作转换上,本阶段依据模型转换映射表,通过动态规划算法得到执行代价最低的转换后模型结构。本发明通过操作融合可以减少多个操作间中间结果的读写过程,从而优化计算性能和存储空间,进而降低转换后模型的执行代价。同时,在有多种融合可选时通过动态规划的算法得到执行代价最小的模型转换方法。
-
公开(公告)号:CN110533162A
公开(公告)日:2019-12-03
申请号:CN201910677639.6
申请日:2019-07-25
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种自动生成深度学习框架间操作映射的方法及系统,包括:根据原深度学习框架和目标深度学习框架间的操作转换规则,抽取框架间操作转换的基本共性,根据基本共性构建转换关系,将转换关系作为基类存储于操作转换的初始描述文件中;获得原深度学习框架下支持的操作集合,遍历操作集合,为每个操作构建继承基类的子类,判断操作集合中操作除了基类中的基本转换规则外是否具有特殊属性,若是则补充特殊属性至子类,构成完备描述文件,否则直接保存子类,构成完备描述文件;将完备描述文件输入至编译器,得到操作转换规则,根据操作转换规则将原深度学习框架下待转换的操作转换为目标深度学习框架下的操作。
-
公开(公告)号:CN109889452A
公开(公告)日:2019-06-14
申请号:CN201910012933.5
申请日:2019-01-07
Applicant: 中国科学院计算技术研究所
IPC: H04L12/851 , H04L12/24 , H04L12/26 , H04L1/00
Abstract: 本发明涉及一种基于条件生成式对抗网络的网络背景流量生成方法,包括:数据获取步骤,获取的网络流量数据及条件信息,并向量化为真实流量;模型生成步骤,以该真实流量得到初始生成模型和判别模型,并通过条件生成式对抗网络以该判别模型对该初始生成模型进行训练,以得到生成模型;流量生成步骤,通过该生成模型以随机向量生成模拟背景流量。
-
公开(公告)号:CN104281506B
公开(公告)日:2017-02-15
申请号:CN201410328048.5
申请日:2014-07-10
Applicant: 中国科学院计算技术研究所 , 天津中科蓝鲸信息技术有限公司
Abstract: 本发明公开了一种文件系统的数据维护方法及系统,本发明涉及分布式文件系统技术领域,该方法包括将源数据中心的源数据备份到副本数据中心,作为该源数据的副本数据;根据该源数据中心的状态,选择由该源数据中心提供读写服务或由该副本数据中心提供该读写服务,若该源数据或该副本数据被修改,则获取对该源数据或该副本数据的修改记录,并生成日志文件;根据该日志文件对该源数据或该副本数据进行更新,以保证该源数据中心与该副本数据中心的数据的一致性。本发明能够有效提高数据中心数据可靠性,存储服务可用性的,为数据提供最终一致性语义。
-
-
-
-
-
-
-
-
-