-
公开(公告)号:CN107358334A
公开(公告)日:2017-11-17
申请号:CN201710379309.X
申请日:2017-05-25
申请人: 全球能源互联网研究院 , 国家电网公司 , 国网上海市电力公司
摘要: 数据准确性判定方法、装置、终端及计算机可读存储介质,其中数据准确性判定方法,包括:获取数据集,其中数据集由至少一个表单组成;确定所述表单的类型;根据表单的类型,确定表单的质量判别参数,其中表单的类型对应的质量判别参数预存在质量判别参数库中;根据表单的质量判别参数,计算数据集的判别特征参数,判别特征参数用于判断数据集中数据的准确性;根据判别特征参数判别所述数据集的准确性,解决了现有数据集的数据处理加工过程造成数据被重复计算,降低了判断数据准确性的效率,且使用多种方式对数据的准确性进行评价过程中由于得到不同的判断结果,可能造成多个判断结果相互干扰,影响最终数据判断的准确性。
-
公开(公告)号:CN106250460A
公开(公告)日:2016-12-21
申请号:CN201610607561.7
申请日:2016-07-28
申请人: 全球能源互联网研究院 , 国网上海市电力公司 , 国家电网公司
IPC分类号: G06F17/30
CPC分类号: G06F17/30289
摘要: 本发明涉及一种考虑任务相关性的Hive优化方法及系统,所述方法包括:将HQL语句转化为MapReduce物理计划,并获取所述MapReduce物理计划中各MapReduce Job在shuffle阶段用于排序的键shuffle key;根据相关性规则,合并所述各MapReduce Job中相关MapReduce Job;本发明提供的方法及系统,考虑Hive执行过程中,任务之间的相关性,最小化MapReduce Job数量。
-
公开(公告)号:CN110276672A
公开(公告)日:2019-09-24
申请号:CN201910435483.0
申请日:2019-05-23
申请人: 全球能源互联网研究院有限公司 , 国网重庆市电力公司电力科学研究院 , 国家电网有限公司 , 国网重庆市电力公司 , 国网上海市电力公司
摘要: 本发明公开了一种对账方法、装置、设备及计算机可读存储介质,其中对账方法包括:获取第一账目记录表、第二账目记录表和第三账目记录表并进行预处理,将第一账目记录表与第二账目记录表中第一预设字段的字段取值进行匹配,并将匹配成功的字段取值对应的数据样本移出;在剩余的第一账目记录表中筛选出多条数据样本,将多条数据样本的金额相加,得到重组后的金额;将重组后的金额与在第三账目记录表中筛选出的数据样本对应的金额进行匹配。本发明的技术方案,在一次对账过程中可以完成第一账目记录表与第二账目记录表和第三账目记录表两个账目记录表的对账操作,操作简单且匹配成功率高。
-
公开(公告)号:CN110119758A
公开(公告)日:2019-08-13
申请号:CN201910258374.6
申请日:2019-04-01
申请人: 全球能源互联网研究院有限公司 , 国网重庆市电力公司电力科学研究院 , 国家电网有限公司 , 国网重庆市电力公司 , 国网上海市电力公司
摘要: 本发明公开一种用电数据异常检测及模型训练方法、装置,该训练模型的方法包括:获取用电设备的训练用电数据,得到训练用电数据集合;提取训练用电数据集合中每个训练用电数据所对应的第一训练特征信息及第二训练特征信息,其中,第一训练特征信息用于指示各用电设备的用电特征,第二训练特征信息用于指示用电数据的分析结果特征;利用第一训练特征信息及第二训练特征信息对神经网络模型进行训练,得到用电数据异常检测模型。通过实施本发明,利用模型预测用电数据预测值,并与观测值求差值,将差值与所选阈值进行比较以判断用电数据是否异常。利用长短期记忆神经网络对用电数据进行预测,增加了数据预测的准确性,处理大规模数据计算效率提高。
-
公开(公告)号:CN110647829A
公开(公告)日:2020-01-03
申请号:CN201910864930.4
申请日:2019-09-12
申请人: 全球能源互联网研究院有限公司 , 国网重庆市电力公司电力科学研究院 , 国家电网有限公司 , 国网重庆市电力公司 , 国网上海市电力公司
摘要: 本发明提供了一种票据的文本识别方法及系统,该方法包括:获取票据文本图像;采用目标文本检测模型对票据文本图像进行文本区域检测,生成目标文本图像;采用目标文本识别算法对目标文本图像进行文本识别,生成文本识别结果。通过深度学习神经网络模型对票据文本图像进行检测与识别,本识别方法简单,无需手工提取特征,能够更快速的得到有效的文本检测区域,最终提高整体检测识别效率与精准度,实现图像文本数据的结构化提取和存储,为后续的检测分类提供有效的支撑,进一步提升票据归档分类的电子化和智能化水平。
-
公开(公告)号:CN107358334B
公开(公告)日:2021-02-09
申请号:CN201710379309.X
申请日:2017-05-25
申请人: 全球能源互联网研究院有限公司 , 国家电网有限公司 , 国网上海市电力公司
摘要: 数据准确性判定方法、装置、终端及计算机可读存储介质,其中数据准确性判定方法,包括:获取数据集,其中数据集由至少一个表单组成;确定所述表单的类型;根据表单的类型,确定表单的质量判别参数,其中表单的类型对应的质量判别参数预存在质量判别参数库中;根据表单的质量判别参数,计算数据集的判别特征参数,判别特征参数用于判断数据集中数据的准确性;根据判别特征参数判别所述数据集的准确性,解决了现有数据集的数据处理加工过程造成数据被重复计算,降低了判断数据准确性的效率,且使用多种方式对数据的准确性进行评价过程中由于得到不同的判断结果,可能造成多个判断结果相互干扰,影响最终数据判断的准确性。
-
公开(公告)号:CN107679089A
公开(公告)日:2018-02-09
申请号:CN201710790445.8
申请日:2017-09-05
申请人: 全球能源互联网研究院 , 国网浙江省电力公司 , 国家电网公司
IPC分类号: G06F17/30
CPC分类号: G06F17/30303 , G06F17/30129 , G06F17/30194 , G06F17/30598
摘要: 本发明提供一种用于电力传感数据的清洗方法、装置和系统,采用K-Means聚类法将电力传感数据中的结构化数据聚类为多个分区,对每个分区中的结构化数据进行检测,对检测得到的异常数据进行修复,最终实现异常数据的清洗。本发明采用K-Means聚类法将电力传感数据中的结构化数据聚类为多个分区的过程中,在对最优簇数量对应的K-Means聚类的聚类结果再进行聚类时考虑了连续电力传感数据之间的关联等特性,能够发现更多的异常数据,能够有效改善大规模电力传感数据的数据质量;且将电力传感数据的时间特性引入异常数据检测过程,能够识别出在阈值范围内但与邻近点的值存在较大偏差的异常数据。
-
公开(公告)号:CN105976120A
公开(公告)日:2016-09-28
申请号:CN201610326404.9
申请日:2016-05-17
申请人: 全球能源互联网研究院 , 国家电网公司
CPC分类号: G06Q10/0637 , G06Q50/06
摘要: 本发明提供一种电力运营监控数据质量评估系统及方法,系统包括均独立执行脚本代码的数据集抽取模块、异常甄别模块和数据质量评估模块;方法包括从电力运营监控数据中心抽取所需的数据集;针对目标数据集,利用数据质量评估指标和约束规则甄别出异常电力数据,处理检查出的数据质量问题并确定评价方法,存储计算结果;获取数据质量评估指标的结果信息并选择可视化操作。本发明提出的系统及方法避免了现有数据质量评估过程中的问题,大大提高了整体数据质量评估效率;能够进行直观的量化评估和结果反馈,从而提供了系统全面的数据质量评估标准,保障数据的准确、及时、有效和可信,促进了电力运营监控数据质量的提升,进而提高了电力系统的运行稳定性。
-
公开(公告)号:CN107679089B
公开(公告)日:2021-10-15
申请号:CN201710790445.8
申请日:2017-09-05
申请人: 全球能源互联网研究院 , 国网浙江省电力公司 , 国家电网公司
IPC分类号: G06F16/215 , G06F16/28 , G06F16/17 , G06F16/182
摘要: 本发明提供一种用于电力传感数据的清洗方法、装置和系统,采用K‑Means聚类法将电力传感数据中的结构化数据聚类为多个分区,对每个分区中的结构化数据进行检测,对检测得到的异常数据进行修复,最终实现异常数据的清洗。本发明采用K‑Means聚类法将电力传感数据中的结构化数据聚类为多个分区的过程中,在对最优簇数量对应的K‑Means聚类的聚类结果再进行聚类时考虑了连续电力传感数据之间的关联等特性,能够发现更多的异常数据,能够有效改善大规模电力传感数据的数据质量;且将电力传感数据的时间特性引入异常数据检测过程,能够识别出在阈值范围内但与邻近点的值存在较大偏差的异常数据。
-
公开(公告)号:CN108171617A
公开(公告)日:2018-06-15
申请号:CN201711296663.2
申请日:2017-12-08
申请人: 全球能源互联网研究院有限公司 , 国家电网公司
摘要: 本发明提供了一种电网大数据分析方法及装置,该电网大数据分析方法包括:接收用户的分析指令,根据该分析指令从数据源获取待分析数据,并根据该分析指令确定用户选择的分析模式,使用用户选择的分析模式对待分析数据进行分析,生成分析结果,并对分析结果进行图形化展示。本发明提供的电网大数据分析方法及装置实现了图像化、过程友好的数据可视化分析和展现。
-
-
-
-
-
-
-
-
-