-
公开(公告)号:CN104331435B
公开(公告)日:2017-11-21
申请号:CN201410569282.7
申请日:2014-10-22
Applicant: 国家电网公司 , 江苏省电力公司 , 江苏省电力公司信息通信分公司 , 江苏方天电力技术有限公司 , 江苏省电力公司南京供电公司
IPC: G06F17/30
Abstract: 本发明公开了一种基于Hadoop大数据平台的低影响高效率的海量数据抽取方法,用Golden Gate从关系型数据库的在线日志文件中抽取变化的数据;将变化数据分别放到各自类别的文件中;利用MapReduce对数据进行解析与处理;对数据进行清洗、转换和过滤异常数据,并转换成适合分布式数据库HBase存储的格式;采用批量导入数据的方式将数据装载到分布式数据库HBase中;使用Tomcat服务器作为Web Server提供Web层的访问服务。本发明可以快速地将海量数据从关系型数据库抽取到大数据平台中,由于通过对数据源日志文件的分析实现对增量数据的抽取,因此本发明在抽取数据时对数据源系统的影响非常小。
-
公开(公告)号:CN104331435A
公开(公告)日:2015-02-04
申请号:CN201410569282.7
申请日:2014-10-22
Applicant: 国家电网公司 , 江苏省电力公司 , 江苏省电力公司信息通信分公司 , 江苏方天电力技术有限公司 , 江苏省电力公司南京供电公司
IPC: G06F17/30
CPC classification number: G06F17/30368 , G06F17/30569 , G06F17/30575
Abstract: 本发明公开了一种基于Hadoop大数据平台的低影响高效率的海量数据抽取方法,用Golden Gate从关系型数据库的在线日志文件中抽取变化的数据;将变化数据分别放到各自类别的文件中;利用MapReduce对数据进行解析与处理;对数据进行清洗、转换和过滤异常数据,并转换成适合分布式数据库HBase存储的格式;采用批量导入数据的方式将数据装载到分布式数据库HBase中;使用Tomcat服务器作为Web Server提供Web层的访问服务。本发明可以快速地将海量数据从关系型数据库抽取到大数据平台中,由于通过对数据源日志文件的分析实现对增量数据的抽取,因此本发明在抽取数据时对数据源系统的影响非常小。
-
公开(公告)号:CN104579823B
公开(公告)日:2016-08-24
申请号:CN201410769037.0
申请日:2014-12-12
Applicant: 国家电网公司 , 江苏省电力公司 , 江苏省电力公司信息通信分公司 , 江苏方天电力技术有限公司
Abstract: 本发明公开了一种基于大数据流的网络流量异常检测系统及方法,其特征在于:分布式实时采集网络设备中的网络数据包信息,并实时传输到分布式流处理平台进行网络数据解析、特征匹配和访问统计,解析及检测后的网络数据根据异常状况存储到大数据平台,以便于网络数据进行聚类分析、分类训练并动态更新所述网络数据协议特征库。本系统采用分布式流式处理机制达到实时检测,并且利用大数据平台分布式存储、数据计算分析的能力,实现网络数据分布式存储,更准确训练网络数据协议特征库。
-
公开(公告)号:CN104579823A
公开(公告)日:2015-04-29
申请号:CN201410769037.0
申请日:2014-12-12
Applicant: 国家电网公司 , 江苏省电力公司 , 江苏省电力公司信息通信分公司 , 江苏方天电力技术有限公司
Abstract: 本发明公开了一种基于大数据流的网络流量异常检测系统及方法,其特征在于:分布式实时采集网络设备中的网络数据包信息,并实时传输到分布式流处理平台进行网络数据解析、特征匹配和访问统计,解析及检测后的网络数据根据异常状况存储到大数据平台,以便于网络数据进行聚类分析、分类训练并动态更新所述网络数据协议特征库。本系统采用分布式流式处理机制达到实时检测,并且利用大数据平台分布式存储、数据计算分析的能力,实现网络数据分布式存储,更准确训练网络数据协议特征库。
-
公开(公告)号:CN104318329A
公开(公告)日:2015-01-28
申请号:CN201410557450.0
申请日:2014-10-20
Applicant: 国家电网公司 , 江苏省电力公司 , 江苏方天电力技术有限公司 , 江苏省电力公司南京供电公司
Abstract: 本发明公开了一种布谷鸟搜索算法改进支持向量机的电力负荷预测方法,包括以下步骤,步骤一,选取训练数据;步骤二,建立优化目标;步骤三,布谷鸟搜索算法初始化设置;步骤四,初始适应值计算;步骤五,新鸟窝位置计算;步骤六,鸟窝位置的选择;步骤七,判断宿主鸟是否发现外来鸟蛋;步骤八,判断是否达到最大迭代次数,若是,输出最优结果并退出,否则转至步骤五。本发明通过布谷鸟搜索算法优化了SVM的参数,提高了电力系统负荷预测的精度,相较与现有的网格搜索方法寻优能力更强,收敛速度更快,更适用于优化SVM的参数。
-
公开(公告)号:CN104317966B
公开(公告)日:2017-08-08
申请号:CN201410654100.6
申请日:2014-11-18
Applicant: 国家电网公司 , 江苏省电力公司 , 江苏方天电力技术有限公司 , 江苏省电力公司南京供电公司 , 上海晟淘大数据科技有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种用于电力大数据快速组合查询的动态索引方法,其特征在于,所述方法具体包括如下步骤:SS1利用动态索引图技术,为电力大数据建立一套立体的索引系统;SS2利用多条件组合查询方法创建索引;SS3建立电力大数据快速组合查询方案。本发明所达到的有益效果:采用动态索引图技术,实现多条件列索引的建立和快速组合查询,通过建立索引图为每个查询专门创建复合索引,避免了进行全表逐行扫描,大大提升了电力大数据组合查询的速度。
-
公开(公告)号:CN104317966A
公开(公告)日:2015-01-28
申请号:CN201410654100.6
申请日:2014-11-18
Applicant: 国家电网公司 , 江苏省电力公司 , 江苏方天电力技术有限公司 , 江苏省电力公司南京供电公司 , 上海晟淘大数据科技有限公司
IPC: G06F17/30
CPC classification number: G06F17/3033 , G06F17/30333 , G06F17/30336 , G06F17/30631
Abstract: 本发明公开了一种用于电力大数据快速组合查询的动态索引方法,其特征在于,所述方法具体包括如下步骤:SS1利用动态索引图技术,为电力大数据建立一套立体的索引系统;SS2利用多条件组合查询方法创建索引;SS3建立电力大数据快速组合查询方案。本发明所达到的有益效果:采用动态索引图技术,实现多条件列索引的建立和快速组合查询,通过建立索引图为每个查询专门创建复合索引,避免了进行全表逐行扫描,大大提升了电力大数据组合查询的速度。
-
公开(公告)号:CN102810211B
公开(公告)日:2015-03-11
申请号:CN201210235832.2
申请日:2012-07-09
Applicant: 江苏省电力公司扬州供电公司 , 江苏方天电力技术有限公司 , 江苏省电力公司 , 国家电网公司
IPC: G06T13/20
Abstract: 本发明涉及一种基于Flex的居住区配电房可维护全景3D建模方法,居住区配电房可维护全景3D模型分为表示层、业务逻辑层、数据层、客户层;表示层用于和用户之间进行人机交互,展示居住区配电房全景;业务逻辑层用于内部逻辑处理以及二维至三维的转换算法;数据层为后台存储的各项居住区配电房数据,客户层是针对授权的用户的计算机通过支持Flash的浏览器访问居住区配电房可维护全景3D模型。本发明运用Flex技术进行居住区配电房电站建模,加入了更多的可视化方式,准确直观的显示分析数据,提高易用性,效率以及可维护性,不仅节约了人力成本,同时也保障了居住区供电的安全性、稳定性。
-
公开(公告)号:CN102810211A
公开(公告)日:2012-12-05
申请号:CN201210235832.2
申请日:2012-07-09
Applicant: 江苏省电力公司扬州供电公司 , 江苏方天电力技术有限公司 , 江苏省电力公司 , 国家电网公司
IPC: G06T13/20
Abstract: 本发明涉及一种基于Flex的居住区配电房可维护全景3D建模方法,居住区配电房可维护全景3D模型分为表示层、业务逻辑层、数据层、客户层;表示层用于和用户之间进行人机交互,展示居住区配电房全景;业务逻辑层用于内部逻辑处理以及二维至三维的转换算法;数据层为后台存储的各项居住区配电房数据,客户层是针对授权的用户的计算机通过支持Flash的浏览器访问居住区配电房可维护全景3D模型。本发明运用Flex技术进行居住区配电房电站建模,加入了更多的可视化方式,准确直观的显示分析数据,提高易用性,效率以及可维护性,不仅节约了人力成本,同时也保障了居住区供电的安全性、稳定性。
-
公开(公告)号:CN104301406B
公开(公告)日:2017-12-19
申请号:CN201410527900.1
申请日:2014-10-09
Applicant: 国家电网公司 , 江苏省电力公司 , 江苏方天电力技术有限公司 , 江苏省电力公司常州供电公司
Abstract: 本发明公开了一种基于营销系统和采集系统的移动作业终端平台及接入方法,其中终端平台设置于移动作业应用平台,并通过服务器端支撑平台与电力部门的营销系统和采集系统通信,终端平台包括业务模块、消息处理模块、功能处理模块和外部交互模块,该平台的扩展性和兼容性强,且支持多协议、多类型数据进行传输。
-
-
-
-
-
-
-
-
-