-
公开(公告)号:CN102521405B
公开(公告)日:2014-06-25
申请号:CN201110441775.9
申请日:2011-12-26
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明提供一种支持高速加载的海量结构化数据存储、查询方法和系统。其中海量结构化数据的分布式存储方法包括:从用户端接收高速加载的数据;以及利用双滑动窗口结构,将加载的数据进行分布式缓存,并在固定周期之后将缓存的数据进行分布式存储。通过本发明的海量结构化数据分布式存储方法,能够实现对新加载数据的缓存,从而在后期查询数据时能够提高流数据这种对近期加载数据使用频率高的应用下的查询效率。
-
公开(公告)号:CN102332004B
公开(公告)日:2013-04-24
申请号:CN201110217035.7
申请日:2011-07-29
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明涉及一种用于海量数据管理的数据处理方法和系统。该方法包括:设置多个数据加载装置的步骤、设置元数据管理装置的步骤、在所述数据存储服务器上设置数据管理服务装置的步骤。该系统包括:多个数据加载装置、元数据管理装置、数据存储服务器。该方法和系统提高了海量数据的处理效率,降低了针对海量数据处理的复杂性,从而实现提高海量数据检索与挖掘的效率。
-
公开(公告)号:CN102332030A
公开(公告)日:2012-01-25
申请号:CN201110314927.9
申请日:2011-10-17
Applicant: 中国科学院计算技术研究所
IPC: G06F17/30
Abstract: 本发明提供用于分布式KEY-VALUE数据存储系统的数据存储、管理方法及系统。在存储数据之前,先根据不同的数据类型分别数据转换为有序的字符串,然后将其保存到分布式KEY-VALUE数据存储系统中,经转换后的得到的字符串以字典序排序后的存储顺序与转换前的数值顺序相一致。在数据检索时,对检索条件中的数值进行相同的转化。支持复杂数据类型的存储与检索,包括多字段属性查询、多数据类型查询以及数值统计分析等复杂的数据查询方法。
-
公开(公告)号:CN101599079B
公开(公告)日:2011-08-31
申请号:CN200910089057.2
申请日:2009-07-22
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供一种多用户备份数据组织表及基于其的备份数据集中存储的管理方法,包括:接收备份数据的数据对象描述信息,将和多用户备份数据组织表中数据指纹不同的所述数据对象描述信息中的数字指纹对应的数据块进行备份,并将所述数据块对应的索引信息以及所述数据对象描述信息对应存放到所述多用户备份数据组织表中,增加所述数据块的引用次数。多用户备份数据组织表包括用户表、任务表、备份点索引表、数据块索引表和数据仓库。本发明能够在备份阶段消除各个用户备份数据中的重复内容,节约传输带宽和存储空间开销,有效降低重复数据占用的存储空间。
-
公开(公告)号:CN101431449B
公开(公告)日:2011-05-04
申请号:CN200810226026.2
申请日:2008-11-04
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供一种流量清洗系统,用于对网络应用环境中的网络流量进行监控管理,包括异常检测模块、攻击检测与识别模块,以及流量清洗设备;其中,异常检测模块对网络应用环境中的网络流量做监测,一旦发现可疑网络流量,则生成策略路由并发送到网络应用环境中的指定路由器上,由指定路由器将可疑网络流量牵引到流量清洗设备;流量清洗设备将所接收到的可疑网络流量镜像到攻击检测与识别模块,由该模块识别出攻击流量,并根据攻击流量的相关信息生成ACL规则,然后发送到流量清洗设备;流量清洗设备根据所得到的ACL规则实现可疑网络流量中正常流量与攻击流量的分离。本发明采用决策与控制相分离的机制,使得作为决策的攻击检测与识别过程具有极大的灵活性。
-
公开(公告)号:CN101645778A
公开(公告)日:2010-02-10
申请号:CN200910091792.7
申请日:2009-08-25
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供了一种网络业务流识别系统,包括:识别插件库,所述识别插件库包括多个识别插件;数据接收单元,用于接收待识别连接的数据包;注册管理单元,用于维护识别插件列表,增加或删除所述识别插件列表中的识别插件项目;以及插件调度及综合识别单元,用于调用各识别插件对所述数据接收单元所提供的数据包进行识别并根据各识别插件的识别结果综合得出当前待识别连接的业务类型。本发明能够识别多种业务类型且易于扩展。
-
公开(公告)号:CN101464820A
公开(公告)日:2009-06-24
申请号:CN200910077029.9
申请日:2009-01-16
Applicant: 中国科学院计算技术研究所
Abstract: 本发明涉及磁盘设备的持续数据保护方法和系统。该系统包括控制装置,用于向数据获取装置和/或存储管理装置下发指令,以实现对该持续数据保护系统进行管理和控制;数据获取装置,用于获取数据并生成历史操作信息存放到存储装置;磁盘监控装置,用于监控和截获磁盘I/O操作,并生成历史操作信息存放到存储装置;存储装置,该存储装置包含分层次的多个磁盘设备;存储装置,用于存储数据以及磁盘历史操作信息;存储管理装置,用于管理存储装置上存储的数据。本发明有效解决了历史操作信息数据量巨大所导致的持续数据保护系统实用性较差的问题,能够增加持续数据保护技术的通用性和实用性,降低系统的应用难度,增加系统的应用范围。
-
公开(公告)号:CN101431449A
公开(公告)日:2009-05-13
申请号:CN200810226026.2
申请日:2008-11-04
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提供一种流量清洗系统,用于对网络应用环境中的网络流量进行监控管理,包括异常检测模块、攻击检测与识别模块,以及流量清洗设备;其中,异常检测模块对网络应用环境中的网络流量做监测,一旦发现可疑网络流量,则生成策略路由并发送到网络应用环境中的指定路由器上,由指定路由器将可疑网络流量牵引到流量清洗设备;流量清洗设备将所接收到的可疑网络流量镜像到攻击检测与识别模块,由该模块识别出攻击流量,并根据攻击流量的相关信息生成ACL规则,然后发送到流量清洗设备;流量清洗设备根据所得到的ACL规则实现可疑网络流量中正常流量与攻击流量的分离。本发明采用决策与控制相分离的机制,使得作为决策的攻击检测与识别过程具有极大的灵活性。
-
公开(公告)号:CN101403988A
公开(公告)日:2009-04-08
申请号:CN200810225561.6
申请日:2008-11-05
Applicant: 中国科学院计算技术研究所
Abstract: 本发明涉及计算机系统中文件备份的方法和系统,方法包括:步骤1,监控装置截获计算机系统中文件操作事件,对在监控范围内同过滤规则匹配并执行成功的文件操作事件生成文件操作日志,将所述文件操作日志存储到存储装置;步骤2,备份控制装置调度备份任务的执行,在备份任务需要执行时,将所述备份任务发送给备份装置;步骤3,所述备份装置判断所述备份任务是全量备份还是增量备份,如果是全量备份,则进行所述全量备份,否则,执行下一步骤;步骤4,所述备份装置从所述存储装置中获取文件操作日志,根据所述文件操作日志进行所述增量备份。本发明能够进行在线数据热备份,并提供文件逻辑块的增量备份方法,降低备份数据量,提高备份效率。
-
公开(公告)号:CN101394424A
公开(公告)日:2009-03-25
申请号:CN200810224941.8
申请日:2008-10-27
Applicant: 中国科学院计算技术研究所
IPC: H04L29/08
Abstract: 本发明涉及磁盘级网络数据备份的方法和系统,方法包括:步骤1,集中控制装置向备份任务对应的终端的备份恢复代理装置发送备份任务,备份恢复代理装置接收备份任务;步骤2,备份恢复代理装置确定备份的数据量,向存储管理装置申请用于备份的存储资源;步骤3,存储管理装置分配存储资源,并将存储资源的信息回复给备份恢复代理装置;步骤4,备份恢复代理装置获得存储资源的信息后,读取备份数据,将备份数据发送给指定的存储装置的备份服务端装置;步骤5,备份服务端装置接收备份数据,将备份数据写到存储装置的存储介质。本发明能够对采用任何业务应用类型的终端进行数据备份和恢复,降低备份系统的建设成本,提高了传输的效率。
-
-
-
-
-
-
-
-
-