公开(公告)号：CN115098491A

公开(公告)日：2022-09-23

申请号：CN202210215503.5

申请日：2022-03-07

Applicant: 中国电建集团西北勘测设计研究院有限公司

Inventor： 刘晓东 ,  田军谋 ,  武佩佩 ,  蒋雅丽 ,  陈明武 ,  袁鹏博 ,  李小林 ,  韩娅娜 ,  张磊

IPC: G06F16/22 ,  G06F16/28 ,  G06F16/215 ,  G06Q50/06

Abstract: 本申请涉及水文水资源技术领域，尤其涉及一种适用于水文水资源的数据智能采集方法及系统，该方法包括以下步骤：基于Scrapy框架获取原始水文水资源数据；对所述原始水文水资源数据按照预设方式进行存储；对存储的所述原始水文水资源数据进行数据清洗。该系统包括：数据采集装置、存储装置和数据清洗装置。本申请提供的方法利用大数据思维，对采集到的原始数据进行数据清洗处理，提高数据质量，强化数据在应用过程中的有效性和可靠性；通过整合多渠道权威网络数据及实体资料，可以将某一水域的水文水资源数据立体的呈现出来，从根源上解决了某一水域的水文水资源的数据分散，而不能综合利用的问题。