用于海量数据管理的数据处理方法和系统

    公开(公告)号:CN102332004A

    公开(公告)日:2012-01-25

    申请号:CN201110217035.7

    申请日:2011-07-29

    Abstract: 本发明涉及一种用于海量数据管理的数据处理方法和系统。该方法包括:设置多个数据加载装置的步骤、设置元数据管理装置的步骤、在所述数据存储服务器上设置数据管理服务装置的步骤。该系统包括:多个数据加载装置、元数据管理装置、数据存储服务器。该方法和系统提高了海量数据的处理效率,降低了针对海量数据处理的复杂性,从而实现提高海量数据检索与挖掘的效率。

    一种数据流中Top-k项的挖掘方法及系统

    公开(公告)号:CN101419630B

    公开(公告)日:2011-03-23

    申请号:CN200810239188.X

    申请日:2008-12-11

    Abstract: 本发明涉及一种数据流中Top-k项的挖掘方法和系统,方法包括:步骤1,初始化平衡二叉树,所述平衡二叉树的节点用于存储数据流中数据项的信息,所述信息包括所述数据项对应的时间戳和计数器的值;步骤2,将数据流中的数据项的信息存储到所述平衡二叉树节点中,所述节点在平衡二叉树中的位置依据排序规则,所述排序规则以所述数据项对应的时间戳和计数器的值为参数;步骤3,按用户需求遍历所述平衡二叉树,输出Top-k项的统计结果。本发明能够降低了最差处理时间,降低了存储空间,提高了挖掘的准确性。

    一种备份数据的管理系统和方法

    公开(公告)号:CN101604269B

    公开(公告)日:2011-02-16

    申请号:CN200910089060.4

    申请日:2009-07-22

    Abstract: 本发明提供一种备份数据的管理系统和方法,包括:备份业务处理装置接收来自备份客户端的备份命令、备份数据和备份数据索引;备份索引管理装置接收所述备份数据索引并将其转发给所述存储装置,并且用于定时或者实时地接收来自存储装置的备份索引集,建立并更新层次分段式的备份索引表;备份数据管理装置接收备份数据并将其转发给存储装置;存储装置用于所述备份数据索引和备份数据,根据该备份数据索引和备份数据本地存储的地址及备份数据大小建立备份索引集。本发明能够有效平衡存储开销和时间开销,利用有限的存储空间实现备份数据的高效组织,支持对备份数据的高效定位和访问,能够有效地提高备份数据的恢复效率,提高恢复速度。

    一种安全事件源集成系统及其实现方法

    公开(公告)号:CN101719914A

    公开(公告)日:2010-06-02

    申请号:CN200910237325.0

    申请日:2009-11-10

    Abstract: 本发明提供一种安全事件源集成系统及其实现方法,该系统包括:代理图表模型,其包括代理,所述代理至少包括源代理、转换代理和递交代理,其中所述源代理用于将来自安全事件源的数据存储在安全事件变量中,所述转换代理用于接收所述安全事件变量并进行转换处理,所述递交代理用于接收所述转换处理后的安全事件变量并传递到指定的集成库,所述代理通过接口相连;代理图表配置库,用于存储配置信息;代理图表管理器,用于根据所述配置信息生成并初始化所述代理图表模型的所述代理,并且启动源代理。该系统能够具有可配置、可扩展、可插拔及自适应等良好特性。

    网络可用性指数定量计算方法及系统

    公开(公告)号:CN101714929A

    公开(公告)日:2010-05-26

    申请号:CN200910238412.8

    申请日:2009-11-19

    Abstract: 本发明提供一种网络可用性指数定量计算方法,包括:在待监测网络中选择一定数量的路由器节点作为数据的采集点,并设置用于采集数据的基期和报告期;在基期内,在各个数据采集点上做基于流的数据采集,得到包含有包数、字节数在内的流记录;根据各个数据采集点上获取的流记录进行字节数、包数和流数的累加统计,在达到指定的统计持续时间后,根据统计结果计算带宽空闲率指标、服务空闲率指标和网络节点数指标,存储所得到的上述指标;在报告期内,重复上述步骤的操作,得到报告期内待监测网络的带宽空闲率指标、服务空闲率指标和网络节点数指标;由报告期内和基期内的前述指标,得到用于表示网络可用性的网络可用性指数。

    一种备份数据的管理系统和方法

    公开(公告)号:CN101604269A

    公开(公告)日:2009-12-16

    申请号:CN200910089060.4

    申请日:2009-07-22

    Abstract: 本发明提供一种备份数据的管理系统和方法,包括:备份业务处理装置接收来自备份客户端的备份命令、备份数据和备份数据索引;备份索引管理装置接收所述备份数据索引并将其转发给所述存储装置,并且用于定时或者实时地接收来自存储装置的备份索引集,建立并更新层次分段式的备份索引表;备份数据管理装置接收备份数据并将其转发给存储装置;存储装置用于所述备份数据索引和备份数据,根据该备份数据索引和备份数据本地存储的地址及备份数据大小建立备份索引集。本发明能够有效平衡存储开销和时间开销,利用有限的存储空间实现备份数据的高效组织,支持对备份数据的高效定位和访问,能够有效地提高备份数据的恢复效率,提高恢复速度。

    一种备份数据集中存储的管理方法

    公开(公告)号:CN101599079A

    公开(公告)日:2009-12-09

    申请号:CN200910089057.2

    申请日:2009-07-22

    Abstract: 本发明提供一种多用户备份数据组织表及基于其的备份数据集中存储的管理方法,包括:接收备份数据的数据对象描述信息,将和多用户备份数据组织表中数据指纹不同的所述数据对象描述信息中的数字指纹对应的数据块进行备份,并将所述数据块对应的索引信息以及所述数据对象描述信息对应存放到所述多用户备份数据组织表中,增加所述数据块的引用次数。多用户备份数据组织表包括用户表、任务表、备份点索引表、数据块索引表和数据仓库。本发明能够在备份阶段消除各个用户备份数据中的重复内容,节约传输带宽和存储空间开销,有效降低重复数据占用的存储空间。

    一种同步泛洪攻击的过滤方法及系统

    公开(公告)号:CN101465855A

    公开(公告)日:2009-06-24

    申请号:CN200810247440.1

    申请日:2008-12-31

    Abstract: 本发明涉及一种同步泛洪攻击的过滤方法及系统,方法包括:步骤1,配置高低权重队列转发数据包的比例;步骤2,接收数据包,确定当前状态,判断当前状态是否为正常状态,如果是,则数据包进入高权重队列,否则,执行步骤3;步骤3,根据数据包的类型,用于记录连接的连接状态表和用于记录合法IP地址的合法地址表,判断数据包是否合法,如果是,则数据包进入高权重队列,否则,数据包进入低权重队列;并更新连接状态表和合法地址表;步骤4,在当前状态为正常状态时,转发高权重队列中数据包,在当前状态为攻击状态时,按比列转发低权重队列和高权重队列中的数据包。本发明能够有效缓解、过滤和防御针对网络信息系统的大规模同步泛洪攻击。

Patent Agency Ranking