一种数据加载方法、装置、电子设备及存储介质
摘要:
本发明实施例公开了一种数据加载方法、装置、电子设备及存储介质。所述方法包括:获取电能质量终端中的电能质量基础数据,通过数据转换单元对数据进行转换,生成电能质量数据;若检测电能质量数据中存在的异常数据,则确定异常数据的数据类型;根据异常数据的数据类型获取对应的数据清洗规则,并根据所述数据清洗规则对异常数据进行清洗;将清洗后的结果数据保存到Hadoop结果数据库中。采用本申请方案,提升了电网数据加载的灵活性和高效性,可以根据需要对数据加载服务进行横向和/或纵向的扩展,以增大数据的加载能力,减少系统资源的使用。
0/0