-
公开(公告)号:CN103810238A
公开(公告)日:2014-05-21
申请号:CN201310584833.2
申请日:2013-11-20
申请人: 国家电网公司 , 国网浙江省电力公司信息通信分公司 , 浙江创维自动化工程有限公司
IPC分类号: G06F17/30
CPC分类号: G06F16/273 , G06F16/258
摘要: 一种基于异步处理的大数据量Excel文件导出方法,涉及一种数据导出方法。目前,处理大规模数据导出方法占用内存资源过大。本发明包括以下步骤:Excel辅助应用模块将Excel数据分成若干数据组;当应用系统向Excel辅助应用模块发送Excel数据导出请求时,Excel辅助应用模块向多个处理器提出Excel数据导出请求;每个处理器处理Excel数据导出请求时,都在指定存储路径新建一个Excel文件;多个Excel文件叠加构成的完整的Excel文件,用户在存储路径下查看并下载生成的Excel文件。本技术方案业务处理时间短,占用单个处理器的内存资源小,系统性能不受影响,提高用户使用友好度。
-
公开(公告)号:CN103618671A
公开(公告)日:2014-03-05
申请号:CN201310584347.0
申请日:2013-11-20
申请人: 国家电网公司 , 国网浙江省电力公司信息通信分公司 , 浙江创维自动化工程有限公司
摘要: 大规模数据采集业务多组分发系统及其分发方法,涉及报文的分发系统。目前,大型业务信息系统的数据访问技术架构无法向云数据服务平稳过渡。本发明包括包含多个网关的网关集群、包含多个通讯前置机的通讯前置机集群、包含多个业务处理器的业务处理器集群,通讯前置机与网关相连,业务处理器与通讯前置机相连,所述的通讯前置机用于调度和保存上下行报文;业务处理器集群分为多个业务处理器组,通讯前置机设有数量与业务处理器组相对应的管理单元,管理单元之间相互独立,每一管理单元均包括缓存模块、报文分发调度模块和链路管理模块。本技术方案实现数据多组分发和多目标入库,提高分发效率。
-
公开(公告)号:CN203574674U
公开(公告)日:2014-04-30
申请号:CN201320734313.0
申请日:2013-11-20
申请人: 国家电网公司 , 国网浙江省电力公司信息通信分公司 , 浙江创维自动化工程有限公司
摘要: 大规模数据采集业务多组分发系统,涉及报文的分发系统。目前,大型业务信息系统的数据访问技术架构无法向云数据服务平稳过渡。本实用新型包括包含多个网关的网关集群、包含多个通讯前置机的通讯前置机集群、包含多个业务处理器的业务处理器集群,通讯前置机与网关相连,业务处理器与通讯前置机相连,所述的通讯前置机用于调度和保存上下行报文;业务处理器集群分为多个业务处理器组,通讯前置机设有数量与业务处理器组相对应的管理单元,管理单元之间相互独立,每一管理单元均包括缓存模块、报文分发调度模块和链路管理模块。本技术方案实现数据多组分发和多目标入库,提高分发效率。
-
公开(公告)号:CN103618671B
公开(公告)日:2018-05-22
申请号:CN201310584347.0
申请日:2013-11-20
申请人: 国家电网公司 , 国网浙江省电力公司信息通信分公司 , 浙江华云信息科技有限公司
摘要: 大规模数据采集业务多组分发系统及其分发方法,涉及报文的分发系统。目前,大型业务信息系统的数据访问技术架构无法向云数据服务平稳过渡。本发明包括包含多个网关的网关集群、包含多个通讯前置机的通讯前置机集群、包含多个业务处理器的业务处理器集群,通讯前置机与网关相连,业务处理器与通讯前置机相连,所述的通讯前置机用于调度和保存上下行报文;业务处理器集群分为多个业务处理器组,通讯前置机设有数量与业务处理器组相对应的管理单元,管理单元之间相互独立,每一管理单元均包括缓存模块、报文分发调度模块和链路管理模块。本技术方案实现数据多组分发和多目标入库,提高分发效率。
-
公开(公告)号:CN103678520A
公开(公告)日:2014-03-26
申请号:CN201310618681.3
申请日:2013-11-29
申请人: 中国科学院计算技术研究所 , 国网浙江省电力公司信息通信分公司
CPC分类号: G06F17/30336
摘要: 本发明提供了一种基于云计算的多维区间查询方法,该方法包括:索引创建步骤和多维区间数据查询步骤;索引创建步骤为通过外部输入的索引创建命令,自动创建并保存分布式网格文件索引和元数据;多维区间数据查询步骤为通过外部输入的查询命令,基于分布式网格文件索引和元数据,定位需要读取的数据块,并将读取请求自动均匀分布到服务器集群的各个节点后,在系统中并行处理查询请求,并行获取所有查询结果,经汇总后返回给用户。本发明还提供了一种基于分布式网格文件索引的多维区间查询系统。
-
公开(公告)号:CN104408134A
公开(公告)日:2015-03-11
申请号:CN201410708225.2
申请日:2014-11-28
申请人: 中国科学院计算技术研究所 , 国网浙江省电力公司信息通信分公司
CPC分类号: G06F17/30448
摘要: 本发明提供了一种SQL到云环境的映射方法,包括下列步骤:1)重写待转换SQL语句,获得具有原待转换SQL语句相同功能的多个重写HiveQL语句;2)计算各个HiveQL语句的执行代价,选出最优语句进行输出。本发明还提供了相应的SQL到云环境的映射系统。本发明能够在SQL语句映射到云环境的同时,对云环境语句(例如HiveQL语句)进行快速地优化,进而降低Mapper和Reducer实际输入数据量,提升查询性能。
-
公开(公告)号:CN103678519A
公开(公告)日:2014-03-26
申请号:CN201310618652.7
申请日:2013-11-29
申请人: 中国科学院计算技术研究所 , 国网浙江省电力公司信息通信分公司
IPC分类号: G06F17/30
CPC分类号: G06F17/30339
摘要: 本发明公开了一种支持Hive DML(Data Manipulation Language)增强的混合存储系统及其方法,该存储系统基于DualTable表建立,包括:DualTable表创建模块和DualTable表执行模块;DualTable表创建模块用于建立包含主表和附表,为每行数据维护了唯一ID并基于代价模型对外提供特定操作集的DualTable表;DualTable表执行模块用于基于DualTable的主表和附表实现对DualTable表中的数据进行读取和查询,基于DualTable的附表实现对DualTable表中的数据进行更改,基于代价模型实现DualTable表提供的操作集,基于有序的每行数据唯一ID实现主表和附表数据读取时的合并。
-
公开(公告)号:CN104714956A
公开(公告)日:2015-06-17
申请号:CN201310683736.9
申请日:2013-12-13
IPC分类号: G06F17/30
摘要: 本发明公开了一种异构记录集对比方法及装置,其中,该方法包括:根据第一SQL语句获取第一记录集,根据第二SQL语句获取第二记录集;分别确定第一记录集的第一特征值组和第二记录集的第二特征值组,其中,第一特征值组包括第一记录集的行数、列数、数值列的最大/最小值,第二特征值组包括第二记录集的行数、列数、数值列的最大/最小值;当第一特征值组和第二特征值组相同时,确定第一记录集与第二记录集一致。本发明通过判断记录集的特征值组来确定记录集是否一致,可以提高对比效率和准确率。
-
公开(公告)号:CN102981893B
公开(公告)日:2015-11-25
申请号:CN201210569919.3
申请日:2012-12-25
申请人: 国网电力科学研究院 , 中国科学院计算技术研究所 , 国家电网公司
摘要: 本发明实施例提供一种虚拟机调度方法及系统,其中方法包括:在离线状态下,对虚拟机集群的运行日志进行分析,得到虚拟机集群中的各虚拟机作业的运行特点;根据所述各虚拟机作业的运行特点,拟合得到虚拟机各负载相关参数的特征曲线;根据所述特征曲线,将虚拟机运行周期分为多个初始阶段,在所述特征曲线中对所划分的多个初始阶段进行资源需求量计算,得到第一直方图;调用动态规划算法对所述第一直方图进行局部资源分配最优调整,得到第二直方图,根据所述第二直方图进行最终阶段划分;根据第二直方图,求解分阶段图模型,通过求解分阶段图模型确定虚拟机迁移路径。本发明具备节能针对性,能较大的提升节能效果。
-
公开(公告)号:CN103366312A
公开(公告)日:2013-10-23
申请号:CN201310294999.0
申请日:2013-07-15
申请人: 国家电网公司 , 国网北京经济技术研究院
IPC分类号: G06Q50/06
CPC分类号: Y04S10/60
摘要: 本发明涉及一种智能变电站云系统,其特征在于:它包括智能变电站信息汇聚层、数据库、云服务平台和智能变电站基础应用;所述智能变电站汇聚层收集各智能变电站在运行过程中收集和产生的大量实时数据以及各智能变电站在长期的业务发展过程中积累下来的海量历史数据,并将这些数据传输给所述数据库分别进行实时数据存储、处理和历史数据云存储、处理、故障诊断及展现;所述数据库存储的实时数据和历史数据被所述云服务平台调用,分别用于对各智能变电站进行调度管理、监控和计算;基于所述云服务平台在各智能变电站中有若干基础应用。本发明可以广泛应用于智能变电站中。
-
-
-
-
-
-
-
-
-