一种智能数据处理方法及装置

    公开(公告)号:CN105068875B

    公开(公告)日:2018-09-07

    申请号:CN201510493727.2

    申请日:2015-08-12

    Abstract: 本发明提供一种智能数据处理方法及装置,上述方法包括以下步骤:获取网络传输速率、磁盘读写速率、CPU利用率并分别与第一预设值、第二预设值、第三预设值进行比较,获取比较结果;根据比较结果,按照预设控制策略,控制所述硬件压缩卡对数据进行处理;采用独立的硬件压缩卡进行数据的解压缩处理,因此减轻了CPU的计算负担,使得CPU可以专注于处理运算相关的任务,提高大数据计算的执行效率。

    一种虚拟机迁移方法和装置

    公开(公告)号:CN105279023B

    公开(公告)日:2018-06-26

    申请号:CN201510849248.X

    申请日:2015-11-27

    Inventor: 苏志远 亓开元

    Abstract: 本发明提供一种虚拟机迁移方法和装置,其中方法包括:获取各物理机的历史资源利用数据,确定超过预设标准阈值大于预设次数的报警数据,将该告警数据输入时间序列趋势预测法中自回归模型,得到预测数值,若该预测数值大于预设阈值,则得到具有该告警数据的告警物理机内各虚拟机被迁移概率,基于该被迁移概率选取待迁移虚拟机,对该待迁移虚拟机进行迁移。可有效地减少外部其他复杂因素的干扰,保证SLA,避免虚拟机资源使用率爆发性升高而造成不必要的虚拟机迁移操作,并在告警物理机出现过载前对其内虚拟机进行迁移,保证告警物理机持续不间断正常运转,且可有效减少虚拟机迁移成本,保证虚拟机迁移后告警物理机资源利用率,避免造成资源浪费。

    一种账户余额数据的并行处理方法和系统

    公开(公告)号:CN104050291B

    公开(公告)日:2017-11-10

    申请号:CN201410306448.6

    申请日:2014-06-30

    Abstract: 本发明公开了一种账户余额数据的并行处理方法,该方法包括:一个或多个执行第一任务的Map节点读取账户余额明细数据的不同分片数据,生成所读取的分片数据中每一条余额记录的第一输出参数和第二输出参数;其中,所述第一输出参数至少包括账户ID,所述第二输出参数设定为账户状态信息,所述账户状态信息至少包括:余额值、交易日期和当天交易序号;一个或多个执行第一任务的Reduce节点读取所述执行第一任务的Map节点处理完毕的不同余额记录,根据所述余额记录的第一输出参数和第二输出参数分别生成各账户的日均余额值记录;其中,第一输出参数相同的余额记录由同一个Reduce节点读取。本发明能够快速获取大数据量下的帐户日均余额的统计结果。本发明还公开了一种账户余额数据的并行处理系统。

    一种基于SOA构建云数据中心管理平台方法及系统

    公开(公告)号:CN103685572B

    公开(公告)日:2017-05-03

    申请号:CN201310753326.7

    申请日:2013-12-31

    Abstract: 本发明提供一种基于SOA构建云数据中心管理平台方法及系统,应用于计算机应用技术领域:上述方法包括以下步骤:将一个或多个功能模块封装成对应的服务,存储至可扩展业务模块中;平台管理或者服务调用者通过服务总线访问可扩展业务模块中的所述服务。本发明基于面向服务的体系架构SOA的理念构建IaaS(Infrastructure as a Service,基础架构即服务)层的云管理平台,实现了灵活的云管理平台架构和系统,从而实现了云管理平台架构的高内聚和低耦合,应对不同时期的负载,或者进行故障恢复,实现了在云计算环境下的灵活可扩展性,满足企业私有云、公有云的构建。

    一种账户余额数据的并行处理方法和系统

    公开(公告)号:CN104050291A

    公开(公告)日:2014-09-17

    申请号:CN201410306448.6

    申请日:2014-06-30

    CPC classification number: G06F17/30445 G06F17/30318

    Abstract: 本发明公开了一种账户余额数据的并行处理方法,该方法包括:一个或多个执行第一任务的Map节点读取账户余额明细数据的不同分片数据,生成所读取的分片数据中每一条余额记录的第一输出参数和第二输出参数;其中,所述第一输出参数至少包括账户ID,所述第二输出参数设定为账户状态信息,所述账户状态信息至少包括:余额值、交易日期和当天交易序号;一个或多个执行第一任务的Reduce节点读取所述执行第一任务的Map节点处理完毕的不同余额记录,根据所述余额记录的第一输出参数和第二输出参数分别生成各账户的日均余额值记录;其中,第一输出参数相同的余额记录由同一个Reduce节点读取。本发明能够快速获取大数据量下的帐户日均余额的统计结果。本发明还公开了一种账户余额数据的并行处理系统。

    一种实现Hadoop文件处理的方法及装置

    公开(公告)号:CN103970874A

    公开(公告)日:2014-08-06

    申请号:CN201410203430.3

    申请日:2014-05-14

    CPC classification number: G06F17/30666 G06F17/30194

    Abstract: 本发明公开了一种实现Hadoop文件处理的方法及装置,包括:读取需要处理的分布式文件系统(Hadoop)的文本文件;逐行提取文本文件并转换为映射(Map)规约(Reduce)接受的数据类型的内容;逐行读取转换后的文本文件内容,以确定是否进行断行处理。本发明通过将读取的文本文件直接转换为MapReduce接受的数据类型的内容,逐行的对处理为断行的内容进行确定,节省了预处理过程中删除CR造成的耗时,且不需要额外占用磁盘空间。

    一种多租户共享数据库的方法和多租户数据库即服务系统

    公开(公告)号:CN103544319A

    公开(公告)日:2014-01-29

    申请号:CN201310544688.5

    申请日:2013-11-06

    CPC classification number: G06F9/5027 G06F2209/504 G06F2209/508

    Abstract: 本发明公开了一种多租户数据库即服务系统,该系统包括:应用层模块,用于接收客户端的指令,在应用层建立和维护租户的逻辑数据库信息,向数据管理层模块发送第一指令;数据管理层模块,用于根据所述第一指令建立和维护应用层的逻辑数据库信息到基础设施层的物理数据库实例信息的映射,向基础设施层模块发送第二指令;基础设施层模块,用于根据所述第二指令的指示基于虚拟机创建基础设施层的物理数据库实例,或者根据所述第二指令的指示对所述物理数据库实例进行数据操作。本发明能够实现租户之间的性能隔离,保障租户的性能需求。本发明还提供了一种多租户共享数据库的方法。

    一种基于XML的Petri网运行方法及系统

    公开(公告)号:CN105468845B

    公开(公告)日:2018-12-07

    申请号:CN201510824705.X

    申请日:2015-11-24

    Inventor: 亓开元 苏志远

    Abstract: 本发明公开了一种基于XML的Petri网运行方法及系统,该方法包括:获取Petri网的结构描述信息和基于XML描述的运行相关算法;利用结构描述信息和基于XML描述的运行相关算法,运行Petri网;其中,结构描述信息包括库所集信息、变迁集信息及流集信息。本发明中,Petri网的运行相关算法是预先使用XML进行描述的并且融入到Petri网的其它描述中,相较现有技术中引入用其它语言编写的算法,本发明有效提高了Petri网运行效率;同时,上述Petri网的结构描述信息中仅包含简单的基本结构信息,相较现有技术中PNML对Petri网的定义复杂且含有过多额外信息,本发明有利于提高Petri网的运行效率。

    一种数据抽取方法及装置
    10.
    发明授权

    公开(公告)号:CN104182502B

    公开(公告)日:2017-10-27

    申请号:CN201410406481.6

    申请日:2014-08-18

    Abstract: 本发明提供一种数据抽取方法,应用于关系型数据库,所述方法包括:根据选取的数据表中某字段的值域分布,将所述数据表分成M个数据分区,所述字段的类型为数值型或者所述字段的值能够转换成数值;根据所述各数据分区的数据行数计算所述各数据分区的权重;根据所述各数据分区的权重为所述各数据分区分配线程数;所述各数据分区分配的各线程数的总和等于预设的总线程数N,其中M≤N;开启N个线程,按照所分配的线程数,分别对所述各数据分区采用相应数量的线程进行数据抽取。本发明通过对将数据表分为若干数据分区,动态分配各数据分区的线程数,解决了各线程分配数据不均匀的问题,提高了关系型数据的数据抽取效率。

Patent Agency Ranking