发明公开
- 专利标题: 一种数据异常动态识别与多模式自匹配的数据清洗技术
-
申请号: CN202011341697.0申请日: 2020-11-20
-
公开(公告)号: CN112286924A公开(公告)日: 2021-01-29
- 发明人: 蔡思宇 , 刘庆涛 , 孙龙 , 雷晓辉 , 王超 , 廖卫红 , 于洋
- 申请人: 中国水利水电科学研究院
- 申请人地址: 北京市海淀区复兴路甲1号
- 专利权人: 中国水利水电科学研究院
- 当前专利权人: 中国水利水电科学研究院
- 当前专利权人地址: 北京市海淀区复兴路甲1号
- 主分类号: G06F16/215
- IPC分类号: G06F16/215 ; G06K9/62
摘要:
本发明专利公开了一种数据异常动态识别与多模式自匹配的数据清洗技术。包括以下步骤:S1、定时获取全国水文监测站前一天0时至24时的水位、流量全时段数据集;S2、识别并处理全时段的异常数据;S3、插补全时段空缺数据;S4、日数据整编;S5、根据缺失天数动态更新缺失时段日数据;S6、整体数据质量评估;S7、水位流量关系曲线拟合。本发明能够识别包括设备、环境及人为等原因造成的缺失及多种离群样点类型,并根据日数据缺失天数实时匹配不同的插补方法,自动完成短期、中期和长期时段的数据插补,提高了数据清洗整编的时效性。