一种数据异常动态识别与多模式自匹配的数据清洗技术

    公开(公告)号:CN112286924A

    公开(公告)日:2021-01-29

    申请号:CN202011341697.0

    申请日:2020-11-20

    IPC分类号: G06F16/215 G06K9/62

    摘要: 本发明专利公开了一种数据异常动态识别与多模式自匹配的数据清洗技术。包括以下步骤:S1、定时获取全国水文监测站前一天0时至24时的水位、流量全时段数据集;S2、识别并处理全时段的异常数据;S3、插补全时段空缺数据;S4、日数据整编;S5、根据缺失天数动态更新缺失时段日数据;S6、整体数据质量评估;S7、水位流量关系曲线拟合。本发明能够识别包括设备、环境及人为等原因造成的缺失及多种离群样点类型,并根据日数据缺失天数实时匹配不同的插补方法,自动完成短期、中期和长期时段的数据插补,提高了数据清洗整编的时效性。