用于海量数据管理的数据处理方法和系统

    公开(公告)号:CN102332004B

    公开(公告)日:2013-04-24

    申请号:CN201110217035.7

    申请日:2011-07-29

    Abstract: 本发明涉及一种用于海量数据管理的数据处理方法和系统。该方法包括:设置多个数据加载装置的步骤、设置元数据管理装置的步骤、在所述数据存储服务器上设置数据管理服务装置的步骤。该系统包括:多个数据加载装置、元数据管理装置、数据存储服务器。该方法和系统提高了海量数据的处理效率,降低了针对海量数据处理的复杂性,从而实现提高海量数据检索与挖掘的效率。

    一种应用层分布式拒绝服务攻击过滤方法及系统

    公开(公告)号:CN102075535A

    公开(公告)日:2011-05-25

    申请号:CN201110005704.4

    申请日:2011-01-12

    Abstract: 本发明提供一种应用层分布式拒绝服务(DDoS)攻击过滤方法和系统,该方法包括下列步骤:100)接收服务请求;200)根据所请求对象所属页面的内嵌对象数和思考时间判断所述服务请求是否为DDoS攻击,其中,所请求对象所属页面的内嵌对象数<页面最大内嵌对象数且思考时间<最小思考时间的请求不是攻击,思考时间是(判断的当前时间-页面到达时间)。本发明在能够有效过滤DDoS攻击的同时,还兼具如下优点:(1)计算复杂性低,简便快捷;(2)能够独立于服务器运行;(3)不对用户造成任何干扰。

    分布式拒绝服务攻击的检测方法及系统

    公开(公告)号:CN101547129B

    公开(公告)日:2011-05-04

    申请号:CN200910083452.X

    申请日:2009-05-05

    Abstract: 本发明提供了一种分布式拒绝服务攻击的检测方法,包括:接收网络数据包,在网络数据包中提取与分布式拒绝服务攻击检测有关且用于证明分布式拒绝服务攻击存在的检测特征;将检测特征作为朴素可信度模型中的证据,计算证据可信度;根据检测特征创建所述朴素可信度模型中的知识,计算知识的可信度;其中,在朴素可信度模型的知识中,检测特征中的独立检测特征对应一个独立的知识,而检测特征中的相关检测特征在同一个知识内;将证据可信度以及知识的可信度代入朴素可信度模型的可信度计算公式,对与分布式拒绝服务攻击有关的结论事件进行可信度计算。本发明具有更强的检测能力,更高的检测准确率,同时也具有较好的处理性能。

    一种网络流量清洗系统

    公开(公告)号:CN101431449B

    公开(公告)日:2011-05-04

    申请号:CN200810226026.2

    申请日:2008-11-04

    Abstract: 本发明提供一种流量清洗系统,用于对网络应用环境中的网络流量进行监控管理,包括异常检测模块、攻击检测与识别模块,以及流量清洗设备;其中,异常检测模块对网络应用环境中的网络流量做监测,一旦发现可疑网络流量,则生成策略路由并发送到网络应用环境中的指定路由器上,由指定路由器将可疑网络流量牵引到流量清洗设备;流量清洗设备将所接收到的可疑网络流量镜像到攻击检测与识别模块,由该模块识别出攻击流量,并根据攻击流量的相关信息生成ACL规则,然后发送到流量清洗设备;流量清洗设备根据所得到的ACL规则实现可疑网络流量中正常流量与攻击流量的分离。本发明采用决策与控制相分离的机制,使得作为决策的攻击检测与识别过程具有极大的灵活性。

    分布式拒绝服务攻击的检测方法及系统

    公开(公告)号:CN101547129A

    公开(公告)日:2009-09-30

    申请号:CN200910083452.X

    申请日:2009-05-05

    Abstract: 本发明提供了一种分布式拒绝服务攻击的检测方法,包括:接收网络数据包,在网络数据包中提取与分布式拒绝服务攻击检测有关且用于证明分布式拒绝服务攻击存在的检测特征;将检测特征作为朴素可信度模型中的证据,计算证据可信度;根据检测特征创建所述朴素可信度模型中的知识,计算知识的可信度;其中,在朴素可信度模型的知识中,检测特征中的独立检测特征对应一个独立的知识,而检测特征中的相关检测特征在同一个知识内;将证据可信度以及知识的可信度代入朴素可信度模型的可信度计算公式,对与分布式拒绝服务攻击有关的结论事件进行可信度计算。本发明具有更强的检测能力,更高的检测准确率,同时也具有较好的处理性能。

    一种网络流量清洗系统

    公开(公告)号:CN101431449A

    公开(公告)日:2009-05-13

    申请号:CN200810226026.2

    申请日:2008-11-04

    Abstract: 本发明提供一种流量清洗系统,用于对网络应用环境中的网络流量进行监控管理,包括异常检测模块、攻击检测与识别模块,以及流量清洗设备;其中,异常检测模块对网络应用环境中的网络流量做监测,一旦发现可疑网络流量,则生成策略路由并发送到网络应用环境中的指定路由器上,由指定路由器将可疑网络流量牵引到流量清洗设备;流量清洗设备将所接收到的可疑网络流量镜像到攻击检测与识别模块,由该模块识别出攻击流量,并根据攻击流量的相关信息生成ACL规则,然后发送到流量清洗设备;流量清洗设备根据所得到的ACL规则实现可疑网络流量中正常流量与攻击流量的分离。本发明采用决策与控制相分离的机制,使得作为决策的攻击检测与识别过程具有极大的灵活性。

    一种数据流中Top-k项的挖掘方法及系统

    公开(公告)号:CN101419630A

    公开(公告)日:2009-04-29

    申请号:CN200810239188.X

    申请日:2008-12-11

    Abstract: 本发明涉及一种数据流中Top-k项的挖掘方法和系统,方法包括:步骤1,初始化平衡二叉树,所述平衡二叉树的节点用于存储数据流中数据项的信息,所述信息包括所述数据项对应的时间戳和计数器的值;步骤2,将数据流中的数据项的信息存储到所述平衡二叉树节点中,所述节点在平衡二叉树中的位置依据排序规则,所述排序规则以所述数据项对应的时间戳和计数器的值为参数;步骤3,按用户需求遍历所述平衡二叉树,输出Top-k项的统计结果。本发明能够降低了最差处理时间,降低了存储空间,提高了挖掘的准确性。

    一种服务器瞬间拥塞控制方法和系统

    公开(公告)号:CN102333040B

    公开(公告)日:2014-11-05

    申请号:CN201110333844.4

    申请日:2011-10-28

    Abstract: 本发明提供一种服务器瞬间拥塞控制方法和系统,对于该方法,其中的控制状态包括第一、第二和第三状态,在各个状态中,不同情况对数据包进行不同处理;该方法包括:1)接收数据包,根据控制状态对数据包进行丢弃或转发;2)比较数据包的平均请求返回时延与检测阈值,根据比较的结果进行控制状态转变或者保持原有状态,其中:当平均请求返回时延较大时,从第一状态转为第二状态或从第二状态转为第三状态,当拥塞情况缓解时,从第三状态转为第一状态。该方法和系统能够保护会话完整性,避免因服务器负载振荡而导致的大量数据包重传,同时无需学习或训练,且计算开销小。

    一种应用层分布式拒绝服务攻击过滤方法及系统

    公开(公告)号:CN102075535B

    公开(公告)日:2013-01-30

    申请号:CN201110005704.4

    申请日:2011-01-12

    Abstract: 本发明提供一种应用层分布式拒绝服务(DDoS)攻击过滤方法和系统,该方法包括下列步骤:100)接收服务请求;200)根据所请求对象所属页面的内嵌对象数和思考时间判断所述服务请求是否为DDoS攻击,其中,所请求对象所属页面的内嵌对象数<页面最大内嵌对象数且思考时间<最小思考时间的请求不是攻击,思考时间是(判断的当前时间-页面到达时间)。本发明在能够有效过滤DDoS攻击的同时,还兼具如下优点:(1)计算复杂性低,简便快捷;(2)能够独立于服务器运行;(3)不对用户造成任何干扰。

Patent Agency Ranking