基于大数据平台的数据处理方法和装置

    公开(公告)号:CN104504014A

    公开(公告)日:2015-04-08

    申请号:CN201410758944.5

    申请日:2014-12-10

    CPC classification number: G06F17/30289 G06F21/6218 G06F2221/2141

    Abstract: 本发明公开了一种基于大数据平台的数据处理方法和装置,该数据处理方法包括:根据用户发送的访问请求信息,记录用户的访问行为及访问数据;对记录的访问行为及访问数据进行分析,并根据分析结果对访问行为进行安全等级划分;根据预先设定的安全策略与当前访问行为的安全等级执行与当前访问行为的安全等级对应的安全策略。本发明通过记录用户的访问请求信息并分析用户的访问请求信息,对用户的访问请求情况进行安全等级划分,并根据预先设定的安全策略对不同的用户请求进行相应的处理,解决了大数据平台的数据结构复杂性导致系统安全性低的问题。

    大数据软件的管理方法和装置

    公开(公告)号:CN104504013A

    公开(公告)日:2015-04-08

    申请号:CN201410758278.5

    申请日:2014-12-10

    CPC classification number: G06F17/30707

    Abstract: 本发明公开了一种大数据软件的管理方法和装置,该管理方法包括:根据大数据软件的类型,对预定的管理模板进行配置,使配置后的管理模板实现对该类型的大数据软件的管理,其中,预定的管理模板中包括适用于多种类型的大数据软件的管理功能;将配置后的管理模板所对应的大数据软件的属性信息进行存储。本发明通过基于大数据软件的类型对统一的管理模板进行不同的配置,实现了对异构大数据软件的统一管理,提高了对软件的管理效率,降低了操作复杂度,并且在操作上既灵活又方便,还具有较高的可扩展性,不仅提高了管理效率和还降低了运维成本,使用户体验感得到大幅提高。

    一种数据抽取的方法及装置

    公开(公告)号:CN104462348A

    公开(公告)日:2015-03-25

    申请号:CN201410737681.X

    申请日:2014-12-05

    CPC classification number: G06F16/283 G06F16/182 G06F16/254

    Abstract: 本发明提供了一种数据抽取的方法及装置,包括接收数据抽取请求,该数据抽取请求是根据用户选择的数据抽取策略生成的,该数据抽取策略与大数据平台类型具有对应关系;根据所述数据抽取请求确定对应的大数据平台类型;根据确定的大数据平台类型将数据抽取请求封装为所述大数据平台可识别的数据抽取指令;发送数据抽取指令至对应的大数据平台,所述大数据平台进行数据抽取;最后确定数据抽取的数据结果集。采用本发明提供的技术方案,无需使用不同的大数据平台各自的数据抽取方式分别进行数据抽取,解决了现有技术中没有统一的数据抽取方法实现从不同的大数据平台上抽取数据的问题。

    一种控制、服务节点配置服务的方法及装置

    公开(公告)号:CN104601366B

    公开(公告)日:2018-11-27

    申请号:CN201410735999.4

    申请日:2014-12-05

    Abstract: 本发明提供了一种控制、服务节点配置服务的方法及装置,包括控制节点比较包含新配置内容的服务配置文件摘要与控制节点存储的当前服务节点使用的服务配置文件摘要,在不一致时,发送服务配置文件至服务节点进行配置;检查到有待配置的服务节点时,比较服务节点当前服务的服务配置文件摘要与控制节点存储的服务配置文件摘要,在不一致时,发送服务配置文件至服务节点进行配置;在服务节点服务启动时,比较从控制节点获取的服务配置文件摘要与服务节点当前服务的服务配置文件摘要,不一致时,远程拉取控制节点存储的服务配置文件进行配置。采用本发明提供的技术方案,能够保证服务节点与控制节点的配置一致,进而保证服务节点间配置的一致。

    一种控制、服务节点配置服务的方法及装置

    公开(公告)号:CN104601366A

    公开(公告)日:2015-05-06

    申请号:CN201410735999.4

    申请日:2014-12-05

    Abstract: 本发明提供了一种控制、服务节点配置服务的方法及装置,包括控制节点比较包含新配置内容的服务配置文件摘要与控制节点存储的当前服务节点使用的服务配置文件摘要,在不一致时,发送服务配置文件至服务节点进行配置;检查到有待配置的服务节点时,比较服务节点当前服务的服务配置文件摘要与控制节点存储的服务配置文件摘要,在不一致时,发送服务配置文件至服务节点进行配置;在服务节点服务启动时,比较从控制节点获取的服务配置文件摘要与服务节点当前服务的服务配置文件摘要,不一致时,远程拉取控制节点存储的服务配置文件进行配置。采用本发明提供的技术方案,能够保证服务节点与控制节点的配置一致,进而保证服务节点间配置的一致。

    MapReduce作业处理系统、服务器及处理方法

    公开(公告)号:CN104484226A

    公开(公告)日:2015-04-01

    申请号:CN201410742593.9

    申请日:2014-12-08

    Abstract: 本发明提供MapReduce作业处理系统包括:基于B/S架构的客户端、MapReduce作业管理模块、MapReduce作业调度模块和存储模块,由于通过该系统客户端的可以设置MapReduce作业信息、接收操作指令,由MapReduce作业管理模块执行MapReduce作业操作指令,MapReduce作业调度模块进行作业调度,免去了作业运行前设置客户端,且根据MapReduce作业信息可周期性调度作业,简化作业的处理流程,提高了作业的处理效率。本发明还提供了MapReduce作业处理服务器及基于上述系统的MapReduce作业提交、查询、激活、挂起、恢复、调度的方法。

    基于大数据平台的数据处理方法和装置

    公开(公告)号:CN104504014B

    公开(公告)日:2018-03-13

    申请号:CN201410758944.5

    申请日:2014-12-10

    Abstract: 本发明公开了一种基于大数据平台的数据处理方法和装置,该数据处理方法包括:根据用户发送的访问请求信息,记录用户的访问行为及访问数据;对记录的访问行为及访问数据进行分析,并根据分析结果对访问行为进行安全等级划分;根据预先设定的安全策略与当前访问行为的安全等级执行与当前访问行为的安全等级对应的安全策略。本发明通过记录用户的访问请求信息并分析用户的访问请求信息,对用户的访问请求情况进行安全等级划分,并根据预先设定的安全策略对不同的用户请求进行相应的处理,解决了大数据平台的数据结构复杂性导致系统安全性低的问题。

    MapReduce作业处理系统、服务器及处理方法

    公开(公告)号:CN104484226B

    公开(公告)日:2018-02-02

    申请号:CN201410742593.9

    申请日:2014-12-08

    Abstract: 本发明提供MapReduce作业处理系统包括:基于B/S架构的客户端、MapReduce作业管理模块、MapReduce作业调度模块和存储模块,由于通过该系统客户端的可以设置MapReduce作业信息、接收操作指令,由MapReduce作业管理模块执行MapReduce作业操作指令,MapReduce作业调度模块进行作业调度,免去了作业运行前设置客户端,且根据MapReduce作业信息可周期性调度作业,简化作业的处理流程,提高了作业的处理效率。本发明还提供了MapReduce作业处理服务器及基于上述系统的MapReduce作业提交、查询、激活、挂起、恢复、调度的方法。

Patent Agency Ranking