-
公开(公告)号:CN104331435B
公开(公告)日:2017-11-21
申请号:CN201410569282.7
申请日:2014-10-22
申请人: 国家电网公司 , 江苏省电力公司 , 江苏省电力公司信息通信分公司 , 江苏方天电力技术有限公司 , 江苏省电力公司南京供电公司
IPC分类号: G06F17/30
摘要: 本发明公开了一种基于Hadoop大数据平台的低影响高效率的海量数据抽取方法,用Golden Gate从关系型数据库的在线日志文件中抽取变化的数据;将变化数据分别放到各自类别的文件中;利用MapReduce对数据进行解析与处理;对数据进行清洗、转换和过滤异常数据,并转换成适合分布式数据库HBase存储的格式;采用批量导入数据的方式将数据装载到分布式数据库HBase中;使用Tomcat服务器作为Web Server提供Web层的访问服务。本发明可以快速地将海量数据从关系型数据库抽取到大数据平台中,由于通过对数据源日志文件的分析实现对增量数据的抽取,因此本发明在抽取数据时对数据源系统的影响非常小。
-
公开(公告)号:CN104331435A
公开(公告)日:2015-02-04
申请号:CN201410569282.7
申请日:2014-10-22
申请人: 国家电网公司 , 江苏省电力公司 , 江苏省电力公司信息通信分公司 , 江苏方天电力技术有限公司 , 江苏省电力公司南京供电公司
IPC分类号: G06F17/30
CPC分类号: G06F17/30368 , G06F17/30569 , G06F17/30575
摘要: 本发明公开了一种基于Hadoop大数据平台的低影响高效率的海量数据抽取方法,用Golden Gate从关系型数据库的在线日志文件中抽取变化的数据;将变化数据分别放到各自类别的文件中;利用MapReduce对数据进行解析与处理;对数据进行清洗、转换和过滤异常数据,并转换成适合分布式数据库HBase存储的格式;采用批量导入数据的方式将数据装载到分布式数据库HBase中;使用Tomcat服务器作为Web Server提供Web层的访问服务。本发明可以快速地将海量数据从关系型数据库抽取到大数据平台中,由于通过对数据源日志文件的分析实现对增量数据的抽取,因此本发明在抽取数据时对数据源系统的影响非常小。
-
公开(公告)号:CN104317966B
公开(公告)日:2017-08-08
申请号:CN201410654100.6
申请日:2014-11-18
申请人: 国家电网公司 , 江苏省电力公司 , 江苏方天电力技术有限公司 , 江苏省电力公司南京供电公司 , 上海晟淘大数据科技有限公司
IPC分类号: G06F17/30
摘要: 本发明公开了一种用于电力大数据快速组合查询的动态索引方法,其特征在于,所述方法具体包括如下步骤:SS1利用动态索引图技术,为电力大数据建立一套立体的索引系统;SS2利用多条件组合查询方法创建索引;SS3建立电力大数据快速组合查询方案。本发明所达到的有益效果:采用动态索引图技术,实现多条件列索引的建立和快速组合查询,通过建立索引图为每个查询专门创建复合索引,避免了进行全表逐行扫描,大大提升了电力大数据组合查询的速度。
-
公开(公告)号:CN104317966A
公开(公告)日:2015-01-28
申请号:CN201410654100.6
申请日:2014-11-18
申请人: 国家电网公司 , 江苏省电力公司 , 江苏方天电力技术有限公司 , 江苏省电力公司南京供电公司 , 上海晟淘大数据科技有限公司
IPC分类号: G06F17/30
CPC分类号: G06F17/3033 , G06F17/30333 , G06F17/30336 , G06F17/30631
摘要: 本发明公开了一种用于电力大数据快速组合查询的动态索引方法,其特征在于,所述方法具体包括如下步骤:SS1利用动态索引图技术,为电力大数据建立一套立体的索引系统;SS2利用多条件组合查询方法创建索引;SS3建立电力大数据快速组合查询方案。本发明所达到的有益效果:采用动态索引图技术,实现多条件列索引的建立和快速组合查询,通过建立索引图为每个查询专门创建复合索引,避免了进行全表逐行扫描,大大提升了电力大数据组合查询的速度。
-
公开(公告)号:CN104318329A
公开(公告)日:2015-01-28
申请号:CN201410557450.0
申请日:2014-10-20
申请人: 国家电网公司 , 江苏省电力公司 , 江苏方天电力技术有限公司 , 江苏省电力公司南京供电公司
摘要: 本发明公开了一种布谷鸟搜索算法改进支持向量机的电力负荷预测方法,包括以下步骤,步骤一,选取训练数据;步骤二,建立优化目标;步骤三,布谷鸟搜索算法初始化设置;步骤四,初始适应值计算;步骤五,新鸟窝位置计算;步骤六,鸟窝位置的选择;步骤七,判断宿主鸟是否发现外来鸟蛋;步骤八,判断是否达到最大迭代次数,若是,输出最优结果并退出,否则转至步骤五。本发明通过布谷鸟搜索算法优化了SVM的参数,提高了电力系统负荷预测的精度,相较与现有的网格搜索方法寻优能力更强,收敛速度更快,更适用于优化SVM的参数。
-
公开(公告)号:CN106026110B
公开(公告)日:2019-10-29
申请号:CN201610623384.1
申请日:2016-08-02
申请人: 江苏方天电力技术有限公司 , 国网江苏省电力公司电力科学研究院 , 国网江苏省电力公司 , 国家电网公司
发明人: 颜庆国 , 丁晓 , 黄奇峰 , 钱立军 , 范洁 , 郑爱霞 , 栾开宁 , 许道强 , 沈秋英 , 郑海雁 , 周玉 , 李新家 , 李澄 , 陆玉军 , 陈霄 , 易永仙 , 蒋一泉 , 熊政 , 葛永高 , 王伏亮 , 陈颢 , 宁艳 , 赵勇 , 严永辉 , 王云峰 , 王黎明 , 孟嘉 , 刘建
摘要: 本发明公开了一种可快速切除大用户负荷的网荷互动终端,包括实时采集控制电气板和电量透传电气板,通过实时采集控制电气板采集用户进线和出线的电压电流、及开关位置信号,并实时上传I区主站,实现用户线路负荷实时采集功能,通过电量透传电气板采集用户侧表计数据,然后将表计数据上传给IV区用电信息采集系统,远程获得用户用电量信息,实现用户负荷实时监测功能;并且在特高压电网发生故障时,实时采集控制电气板接收I区主站直接下达的批量快速控制指令,快速将控制指令转换为分合闸继电器信号,快速切除用户侧相应的次要负荷线路,实现快速响应大电网事故下的快速负荷切除功能。
-
公开(公告)号:CN106026110A
公开(公告)日:2016-10-12
申请号:CN201610623384.1
申请日:2016-08-02
申请人: 江苏方天电力技术有限公司 , 国网江苏省电力公司电力科学研究院 , 国网江苏省电力公司 , 国家电网公司
发明人: 颜庆国 , 丁晓 , 黄奇峰 , 钱立军 , 范洁 , 郑爱霞 , 栾开宁 , 许道强 , 沈秋英 , 郑海雁 , 周玉 , 李新家 , 李澄 , 陆玉军 , 陈霄 , 易永仙 , 蒋一泉 , 熊政 , 葛永高 , 王伏亮 , 陈颢 , 宁艳 , 赵勇 , 严永辉 , 王云峰 , 王黎明 , 孟嘉 , 刘建
摘要: 本发明公开了一种可快速切除大用户负荷的网荷互动终端,包括实时采集控制电气板和电量透传电气板,通过实时采集控制电气板采集用户进线和出线的电压电流、及开关位置信号,并实时上传I区主站,实现用户线路负荷实时采集功能,通过电量透传电气板采集用户侧表计数据,然后将表计数据上传给IV区用电信息采集系统,远程获得用户用电量信息,实现用户负荷实时监测功能;并且在特高压电网发生故障时,实时采集控制电气板接收I区主站直接下达的批量快速控制指令,快速将控制指令转换为分合闸继电器信号,快速切除用户侧相应的次要负荷线路,实现快速响应大电网事故下的快速负荷切除功能。
-
公开(公告)号:CN104063810B
公开(公告)日:2017-09-12
申请号:CN201410317302.1
申请日:2014-07-04
申请人: 国家电网公司 , 江苏省电力公司 , 江苏方天电力技术有限公司
IPC分类号: G06F17/00
摘要: 本发明公开了一种基于大数据思维的用电因素影响模型的构建方法,通过对温度、湿度、风力、节假日、周末等电量影响因素进行分析,根据单一用电影响因素以及多因素的重叠影响,搭建用电量影响因素模型。本发明实现了对用电因素影响率的量化标准,确切计算出不同环境下对用电量的影响率,为电量及负荷的预测提供了依据。
-
公开(公告)号:CN104063810A
公开(公告)日:2014-09-24
申请号:CN201410317302.1
申请日:2014-07-04
申请人: 国家电网公司 , 江苏省电力公司 , 江苏方天电力技术有限公司
IPC分类号: G06Q50/06
摘要: 本发明公开了一种基于大数据思维的用电因素影响模型,通过对温度、湿度、风力、节假日、周末等电量影响因素进行分析,根据单一用电影响因素以及多因素的重叠影响,搭建用电量影响因素模型。本发明实现了对用电因素影响率的量化标准,确切计算出不同环境下对用电量的影响率,为电量及负荷的预测提供了依据。
-
公开(公告)号:CN104063480B
公开(公告)日:2016-09-21
申请号:CN201410312530.X
申请日:2014-07-02
申请人: 国家电网公司 , 江苏省电力公司 , 江苏方天电力技术有限公司
IPC分类号: G06F17/30
摘要: 本发明公开了一种基于用电大数据的负荷曲线并行聚类方法,通过dbN小波系对所有负荷曲线进行小波去噪,以降低曲线中的小波动对聚类结果产生的影响,并采用了基于多核并行技术的K均值聚类算法进行负荷曲线聚类,筛选出特征明显的聚类结果,整合分析得到了最终的负荷曲线分类。本发明实现了海量负荷曲线的并行聚类算法,有效地提高了负荷曲线聚类的速度,为研究电力用户负荷特性,进行负荷、电量预测打下了基础。
-
-
-
-
-
-
-
-
-