公开(公告)号：CN104391903A

公开(公告)日：2015-03-04

申请号：CN201410647792.1

申请日：2014-11-14

Applicant: 广州科腾信息技术有限公司 ,  南京大学

Inventor： 陈承志 ,  龙庆麟 ,  梁国辉 ,  黄宜华 ,  顾荣 ,  杨滨诚

IPC: G06F17/30

CPC classification number: G06F17/30321 ,  G06F17/30445 ,  G06F17/30595

Abstract: 本发明公开了一种基于分布存储和并行计算的电网数据质量检测方法，包括以下步骤：采用HBase存储原始数据记录；采用HBase对校验规则涉及到的字段建立查询索引；采用HBase对原始数据记录建立时间戳索引，以便支持增量数据质量校验和细时间粒度的数据质量校验；采用HDFS存储数据记录的辅助索引文件和操作日志文件，以便全量历史数据质量校验时能够快速加载校验数据，提升校验性能；采用基于MapReduce的校验规则并行化处理，通过规则并行化处理提升校验性能。本发明解决了现有的基于关系数据库系统的电网数据质量检测方法可扩展性差，校验延时大，系统性价比低的问题。