-
公开(公告)号：CN104331435B
公开(公告)日：2017-11-21
申请号：CN201410569282.7
申请日：2014-10-22
申请人： 国家电网公司 , 江苏省电力公司 , 江苏省电力公司信息通信分公司 , 江苏方天电力技术有限公司 , 江苏省电力公司南京供电公司
IPC分类号： G06F17/30
摘要： 本发明公开了一种基于Hadoop大数据平台的低影响高效率的海量数据抽取方法，用Golden Gate从关系型数据库的在线日志文件中抽取变化的数据；将变化数据分别放到各自类别的文件中；利用MapReduce对数据进行解析与处理；对数据进行清洗、转换和过滤异常数据，并转换成适合分布式数据库HBase存储的格式；采用批量导入数据的方式将数据装载到分布式数据库HBase中；使用Tomcat服务器作为Web Server提供Web层的访问服务。本发明可以快速地将海量数据从关系型数据库抽取到大数据平台中，由于通过对数据源日志文件的分析实现对增量数据的抽取，因此本发明在抽取数据时对数据源系统的影响非常小。
-
公开(公告)号：CN104331435A
公开(公告)日：2015-02-04
申请号：CN201410569282.7
申请日：2014-10-22
申请人： 国家电网公司 , 江苏省电力公司 , 江苏省电力公司信息通信分公司 , 江苏方天电力技术有限公司 , 江苏省电力公司南京供电公司
IPC分类号： G06F17/30
CPC分类号： G06F17/30368 , G06F17/30569 , G06F17/30575
摘要： 本发明公开了一种基于Hadoop大数据平台的低影响高效率的海量数据抽取方法，用Golden Gate从关系型数据库的在线日志文件中抽取变化的数据；将变化数据分别放到各自类别的文件中；利用MapReduce对数据进行解析与处理；对数据进行清洗、转换和过滤异常数据，并转换成适合分布式数据库HBase存储的格式；采用批量导入数据的方式将数据装载到分布式数据库HBase中；使用Tomcat服务器作为Web Server提供Web层的访问服务。本发明可以快速地将海量数据从关系型数据库抽取到大数据平台中，由于通过对数据源日志文件的分析实现对增量数据的抽取，因此本发明在抽取数据时对数据源系统的影响非常小。
-
公开(公告)号：CN104318329A
公开(公告)日：2015-01-28
申请号：CN201410557450.0
申请日：2014-10-20
申请人： 国家电网公司 , 江苏省电力公司 , 江苏方天电力技术有限公司 , 江苏省电力公司南京供电公司
摘要： 本发明公开了一种布谷鸟搜索算法改进支持向量机的电力负荷预测方法，包括以下步骤，步骤一，选取训练数据；步骤二，建立优化目标；步骤三，布谷鸟搜索算法初始化设置；步骤四，初始适应值计算；步骤五，新鸟窝位置计算；步骤六，鸟窝位置的选择；步骤七，判断宿主鸟是否发现外来鸟蛋；步骤八，判断是否达到最大迭代次数，若是，输出最优结果并退出，否则转至步骤五。本发明通过布谷鸟搜索算法优化了SVM的参数，提高了电力系统负荷预测的精度，相较与现有的网格搜索方法寻优能力更强，收敛速度更快，更适用于优化SVM的参数。
-
公开(公告)号：CN104317966B
公开(公告)日：2017-08-08
申请号：CN201410654100.6
申请日：2014-11-18
申请人： 国家电网公司 , 江苏省电力公司 , 江苏方天电力技术有限公司 , 江苏省电力公司南京供电公司 , 上海晟淘大数据科技有限公司
IPC分类号： G06F17/30
摘要： 本发明公开了一种用于电力大数据快速组合查询的动态索引方法，其特征在于，所述方法具体包括如下步骤：SS1利用动态索引图技术，为电力大数据建立一套立体的索引系统；SS2利用多条件组合查询方法创建索引；SS3建立电力大数据快速组合查询方案。本发明所达到的有益效果：采用动态索引图技术，实现多条件列索引的建立和快速组合查询，通过建立索引图为每个查询专门创建复合索引，避免了进行全表逐行扫描，大大提升了电力大数据组合查询的速度。
-
公开(公告)号：CN104317966A
公开(公告)日：2015-01-28
申请号：CN201410654100.6
申请日：2014-11-18
申请人： 国家电网公司 , 江苏省电力公司 , 江苏方天电力技术有限公司 , 江苏省电力公司南京供电公司 , 上海晟淘大数据科技有限公司
IPC分类号： G06F17/30
CPC分类号： G06F17/3033 , G06F17/30333 , G06F17/30336 , G06F17/30631
摘要： 本发明公开了一种用于电力大数据快速组合查询的动态索引方法，其特征在于，所述方法具体包括如下步骤：SS1利用动态索引图技术，为电力大数据建立一套立体的索引系统；SS2利用多条件组合查询方法创建索引；SS3建立电力大数据快速组合查询方案。本发明所达到的有益效果：采用动态索引图技术，实现多条件列索引的建立和快速组合查询，通过建立索引图为每个查询专门创建复合索引，避免了进行全表逐行扫描，大大提升了电力大数据组合查询的速度。
-
公开(公告)号：CN104579823A
公开(公告)日：2015-04-29
申请号：CN201410769037.0
申请日：2014-12-12
申请人： 国家电网公司 , 江苏省电力公司 , 江苏省电力公司信息通信分公司 , 江苏方天电力技术有限公司
摘要： 本发明公开了一种基于大数据流的网络流量异常检测系统及方法，其特征在于：分布式实时采集网络设备中的网络数据包信息，并实时传输到分布式流处理平台进行网络数据解析、特征匹配和访问统计，解析及检测后的网络数据根据异常状况存储到大数据平台，以便于网络数据进行聚类分析、分类训练并动态更新所述网络数据协议特征库。本系统采用分布式流式处理机制达到实时检测，并且利用大数据平台分布式存储、数据计算分析的能力，实现网络数据分布式存储，更准确训练网络数据协议特征库。
-
公开(公告)号：CN103854068A
公开(公告)日：2014-06-11
申请号：CN201310646631.6
申请日：2013-12-06
申请人： 国家电网公司 , 江苏省电力公司 , 江苏省电力公司扬州供电公司 , 江苏方天电力技术有限公司
CPC分类号： G06Q50/06
摘要： 本发明公开了一种居民小区短期负荷预测方法，其特征在于，包括：步骤1：读取历史样本数据，对历史样本数据进行数据筛选；步骤2：得到一个负荷影响因素系数集；步骤3：构建神经网络负荷预测的训练样本集和预测样本集；步骤4：对训练样本集进行影响因素分离处理，得到训练后的神经网络；步骤5：对预测样本集也进行影响因素分离处理，将处理后得到的结果作为训练后的神经网络的输入，得到相应的输出结果；步骤6：对输出结果进行影响因素加入处理，得到未来一周的负荷预测数据。本发明克服了居民小区负荷数据小、波动大、影响因素繁多等难点，提高了居民小区负荷预测的精度和运算速度。
-
公开(公告)号：CN103532745A
公开(公告)日：2014-01-22
申请号：CN201310456967.6
申请日：2013-09-25
申请人： 国家电网公司 , 江苏省电力公司 , 江苏省电力公司电力科学研究院 , 江苏方天电力技术有限公司
摘要： 本发明公开了一种基于电力用户用电信息系统的计量在线监测系统，包括计量设备异常数据识别模块、数据预统计模块，基于用电信息采集系统采集的数据，建立计量设备异常识别模型，由计量设备异常数据识别模块根据计量设备异常识别模型，判断识别出计量设备异常；数据预统计模块对计量设备异常数据识别模块识别出来的各类计量设备异常进行预统计，并将统计结果存储到发布数据库中，以便进行快速分类查询与统计。本发明通过用户用电信息，对数据进行异常识别算法分析，再对各类异常进行预统计，以便及时发现并处理各类计量设备异常，从而确保现场计量设备运行正常、用电信息采集系统所采集到的用电信息数据的准确性和可靠性，支撑各部门的业务应用。
-
公开(公告)号：CN103854068B
公开(公告)日：2017-02-08
申请号：CN201310646631.6
申请日：2013-12-06
申请人： 国家电网公司 , 江苏省电力公司 , 江苏省电力公司扬州供电公司 , 江苏方天电力技术有限公司
CPC分类号： G06Q50/06
摘要： 本发明公开了一种居民小区短期负荷预测方法，其特征在于，包括：步骤1：读取历史样本数据，对历史样本数据进行数据筛选；步骤2：得到一个负荷影响因素系数集；步骤3：构建神经网络负荷预测的训练样本集和预测样本集；步骤4：对训练样本集进行影响因素分离处理，得到训练后的神经网络；步骤5：对预测样本集也进行影响因素分离处理，将处理后得到的结果作为训练后的神经网络的输入，得到相应的输出结果；步骤6：对输出结果进行影响因素加入处理，得到未来一周的负荷预测数据。本发明克服了居民小区负荷数据小、波动大、影响因素繁多等难点，提高了居民小区负荷预测的精度和运算速度。
-
公开(公告)号：CN104579823B
公开(公告)日：2016-08-24
申请号：CN201410769037.0
申请日：2014-12-12
申请人： 国家电网公司 , 江苏省电力公司 , 江苏省电力公司信息通信分公司 , 江苏方天电力技术有限公司
摘要： 本发明公开了一种基于大数据流的网络流量异常检测系统及方法，其特征在于：分布式实时采集网络设备中的网络数据包信息，并实时传输到分布式流处理平台进行网络数据解析、特征匹配和访问统计，解析及检测后的网络数据根据异常状况存储到大数据平台，以便于网络数据进行聚类分析、分类训练并动态更新所述网络数据协议特征库。本系统采用分布式流式处理机制达到实时检测，并且利用大数据平台分布式存储、数据计算分析的能力，实现网络数据分布式存储，更准确训练网络数据协议特征库。
-
-
-
-
-
-
-
-
-
搜索结果
60 条记录 (耗时 0.126 秒)
