一种将关系型数据迁移至HBase的方法及系统

    公开(公告)号:CN103631907B

    公开(公告)日:2016-09-07

    申请号:CN201310612192.7

    申请日:2013-11-26

    Abstract: 本发明涉及一种将关系型数据迁移至HBase的方法及系统,包括关系数据库、HBase数据库、SQL解析模块、查询转换模块和数据模式管理模块;通过在HBase数据库中设计映射关系表,存储原关系数据库中模式信息与HBase数据库中模式信息的映射关系,完整保留了原关系数据库中数据表格的模式信息,且可灵活配置映射方式,为用户提供了更多的选择,且HBase的高效数据组织方式,大大提高了访问性能,节省了存储空间,同时提供数据导出功能,实现与其他子系统的数据交互,另外,数据查询功能支持SQL查询,将SQL查询语句转换成HBase数据库的查询语句,使用户更平滑地过渡到HBase数据库。

    一种实时在线日志检测方法及系统

    公开(公告)号:CN103514398A

    公开(公告)日:2014-01-15

    申请号:CN201310492962.9

    申请日:2013-10-18

    Abstract: 本发明涉及一种实时在线日志检测方法,包括:步骤1:将整个的训练日志转换为一个离散事件序列;步骤2:建立一个检测模型;步骤3:将待测日志分段生成至少一个日志段,并为每个日志段分配日志段序列;步骤4:对一个日志段进行异常程度评分,得到相对熵;步骤5:判断相对熵是否为正值,如果是,当前日志段异常,跳至步骤7;否则,当前日志段为正常;步骤6:判断相对熵是否大于阈值,如果是,当前日志段为异常;否则,跳至步骤8;步骤7:发送异常警告给用户,待检测程序恢复到检测所述日志段之前的状态;步骤8:判断异常日志中是否存在未评分日志段,如果是,跳转至步骤4;否则,结束。本发明可实时检测异常,且不需要设置复杂的参数,简单有效。

    一种基于BSP模型的实时图数据处理系统及方法

    公开(公告)号:CN103336808A

    公开(公告)日:2013-10-02

    申请号:CN201310256296.9

    申请日:2013-06-25

    Abstract: 本发明涉及一种基于BSP模型的实时图数据处理系统和方法,所述系统包括:数据存储单元用于对图数据预处理,并按“内存存储—分布式内存存储—分布式文件系统”的三层存储结构存储,基于图数据生成作业;图数据查询统计单元用于对图数据进行查询和统计,将数据存储单元生成的作业分解为多个任务,以均衡的方式分发给相应计算节点,再统计每个任务的计算结果,并合并所有任务的计算结果作为最终结果返回给用户;图数据分析处理单元用于使各计算节点通过迭代计算执行分解出的任务,并通过消息传递实现每次迭代计算的同步,并输出任务的计算结果。所述方法基于该系统实现实时图数据处理,均具有访问高效、保持集群负载均衡、加速BSP模型执行效率等优点。

    一种基于BSP模型的实时图数据处理系统及方法

    公开(公告)号:CN103336808B

    公开(公告)日:2017-12-15

    申请号:CN201310256296.9

    申请日:2013-06-25

    Abstract: 本发明涉及一种基于BSP模型的实时图数据处理系统和方法,所述系统包括:数据存储单元用于对图数据预处理,并按“内存存储—分布式内存存储—分布式文件系统”的三层存储结构存储,基于图数据生成作业;图数据查询统计单元用于对图数据进行查询和统计,将数据存储单元生成的作业分解为多个任务,以均衡的方式分发给相应计算节点,再统计每个任务的计算结果,并合并所有任务的计算结果作为最终结果返回给用户;图数据分析处理单元用于使各计算节点通过迭代计算执行分解出的任务,并通过消息传递实现每次迭代计算的同步,并输出任务的计算结果。所述方法基于该系统实现实时图数据处理,均具有访问高效、保持集群负载均衡、加速BSP模型执行效率等优点。

    一种电网历史场景调阅方法及系统

    公开(公告)号:CN103617492A

    公开(公告)日:2014-03-05

    申请号:CN201310612869.7

    申请日:2013-11-26

    CPC classification number: Y04S10/54

    Abstract: 本发明涉及一种电网历史场景调阅方法及系统,包括:实时采集电网数据并存储在分布式数据库中;当有客户端想调阅一个历史场景时,客户端发送调阅请求;根据调阅请求建立并启动一个虚拟机;按照调阅请求为此虚拟机配置应用系统的基本运行环境;按照调阅请求将所需的电网数据从分布式数据库中装载入建立的虚拟机,生成相应的电网历史场景;向客户端反馈历史场景加载完成的信息及相应的客户端配置信息;客户端根据接收的客户端配置信息进行配置,进而通过超链接方式访问历史场景生成服务器中相应的历史场景;本发明通过虚拟化资源管理技术和分布式数据管理技术实现电网历史场景的调阅,其可实现动态在线的、任意时刻电网历史运行场景的调阅。

    面向分布式编程框架的资源管理系统

    公开(公告)号:CN102866918A

    公开(公告)日:2013-01-09

    申请号:CN201210262881.5

    申请日:2012-07-26

    Abstract: 本发明涉及一种面向分布式编程框架的资源管理系统。该面向分布式编程框架的资源管理系统包括主部分和从部分,从部分用于启动编程框架执行器,监控编程框架执行器的运行状态,向主部分报告该从部分的资源使用信息和该从部分上编程框架执行器的资源使用信息;主部分包括:收集器,用于接收并保存从部分的资源使用信息和从部分上编程框架执行器的资源使用信息,保存集群资源信息,收集器中包括监控器,用于监控从部分上编程框架执行器的资源使用信息,根据编程框架定制的资源调整决策触发器向调度器发送为编程框架增加或减少资源的任务;调度器,用于调度、下发和控制监控器发送的任务。本发明具有良好的兼容性与灵活性。

Patent Agency Ranking