-
公开(公告)号:CN116126973B
公开(公告)日:2024-09-24
申请号:CN202211725278.6
申请日:2022-12-29
Applicant: 国家气象信息中心(中国气象局气象数据中心)
IPC: G06F16/27 , G06F16/22 , G06F16/2455 , G06F16/28
Abstract: 本发明公开了一种气象格点数据管理方法和装置,属于气象信息处理领域。本发明提供基于MPP分布式数据库的气象格点数据存储管理方案,同时针对常见分析算法实现了分布式并行优化,有效提升了格点数据的访问性能。通过PostGrid数据库插件的形式,在数据库内部原生支持格点数据的存储;通过SQL实现对格点数据的操作,包括数据写入、简单查询和复杂分析;充分利用并行处理的优势,针对部分聚合函数实现分布式执行优化;将格点数据以关系模型的方式管理,继承了关系型数据库相比于文件系统的诸多优点,如事务支持,SQL支持,多用户共享等。
-
公开(公告)号:CN116126973A
公开(公告)日:2023-05-16
申请号:CN202211725278.6
申请日:2022-12-29
Applicant: 国家气象信息中心(中国气象局气象数据中心)
IPC: G06F16/27 , G06F16/22 , G06F16/2455 , G06F16/28
Abstract: 本发明公开了一种气象格点数据管理方法和装置,属于气象信息处理领域。本发明提供基于MPP分布式数据库的气象格点数据存储管理方案,同时针对常见分析算法实现了分布式并行优化,有效提升了格点数据的访问性能。通过PostGrid数据库插件的形式,在数据库内部原生支持格点数据的存储;通过SQL实现对格点数据的操作,包括数据写入、简单查询和复杂分析;充分利用并行处理的优势,针对部分聚合函数实现分布式执行优化;将格点数据以关系模型的方式管理,继承了关系型数据库相比于文件系统的诸多优点,如事务支持,SQL支持,多用户共享等。
-
公开(公告)号:CN119377217A
公开(公告)日:2025-01-28
申请号:CN202411428902.5
申请日:2024-10-14
Applicant: 国家气象信息中心(中国气象局气象数据中心)
IPC: G06F16/22 , G06F16/215 , G06F21/60
Abstract: 本发明公开一种确保两地三中心自动气象站数据一致性的检查及处理方法,分别对存储在主中心和备中心的自动站数据构建主中心和备中心的HashMap集合;对比主中心和备中心的HashMap集合,获得记录差异集合和要素差异集合;优先对北京备中心记录差异集合和要素差异集合进行处理后,对西安备中心做相同处理。在主备中心对自动气象站数据表每行记录构建对比值字符串,进行MD5加密计算构建Hash码,建立行记录主备中心的HashMap集合对比文件,通过比对主备中心生成的记录差异集合和要素差异集合文件,以主中心为基准,快速定位备中心中不一致的数据记录,从主中心中将差异数据记录取出更新备中心,确保数据的一致性和可靠性。
-
公开(公告)号:CN116126942B
公开(公告)日:2023-11-24
申请号:CN202310087591.X
申请日:2023-02-09
Applicant: 国家气象信息中心(中国气象局气象数据中心)
IPC: G06F16/2458 , G06F16/22 , G06F16/27
Abstract: 本发明提出了一种多维空间气象网格数据分布式存储查询方法,其包括:步骤1:构建多维空间的网格化数据模型;步骤1:构建多维空间的网格化数据模型;步骤2:基于构建的网格化数据模型,建立索引与数据的对应关系,将整个气象网格数据分解为多个数据块,形成数据块池;步骤3:将模型、索引‑数据㬇射关系存储到索引表,每个索引对应的数据块存储到分布式NoSQL数据库系统的数据表;步骤4:通过计算和查询索引,获取到索引对应的数据块,合并数据块形成新的网格数据集。
-
公开(公告)号:CN116126942A
公开(公告)日:2023-05-16
申请号:CN202310087591.X
申请日:2023-02-09
Applicant: 国家气象信息中心(中国气象局气象数据中心)
IPC: G06F16/2458 , G06F16/22 , G06F16/27
Abstract: 本发明提出了一种多维空间气象网格数据分布式存储查询方法及系统,其包括:步骤1:构建多维空间的网格化数据模型;步骤1:构建多维空间的网格化数据模型;步骤2:基于构建的网格化数据模型,建立索引与数据的对应关系,将整个气象网格数据分解为多个数据块,形成数据块池;步骤3:将模型、索引‑数据射关系存储到索引表,每个索引对应的数据块存储到分布式NoSQL数据库系统的数据表;步骤4:通过计算和查询索引,获取到索引对应的数据块,合并数据块形成新的网格数据集;步骤5:通过上述步骤,实现多维空间气象网格数据分布式存储查询系统。
-
公开(公告)号:CN115630108A
公开(公告)日:2023-01-20
申请号:CN202211357172.5
申请日:2022-11-01
Applicant: 国家气象信息中心(中国气象局气象数据中心)
Abstract: 本发明提出了一种基于用户位置的天气实况数据服务接口系统,其基于网格数据分块处理和快速查询的数据存储模型,采用微服务应用模式设计并实现了基于用户位置的天气实况数据服务接口,提升了数据服务时效和用户并发数,为解决同一时刻同一位置不同应用发布的天气实况数据不一致的问题提供了技术支撑。并向全国气象部门54个应用提供天气实况数据,单月访问量超过1亿,系统的高并发、高时效、高可用得到验证。
-
-
-
-
-