一种基于Spark的空间矢量数据内存存储查询方法及系统

    公开(公告)号:CN112925789A

    公开(公告)日:2021-06-08

    申请号:CN202110208391.6

    申请日:2021-02-24

    Abstract: 本发明提出一种基于Spark的空间矢量数据内存存储查询方法及系统,所述方法及系统为海量空间矢量数据在Spark内存中的存储结构和空间查询操作提供了新的解决方案,针对数据空间分布不均衡以及跨分区存储的现象,提出了一种带有buffer分区的非均匀网格分区方法。在每个分区中引入四叉网格树的结构进行数据的局部索引,通过合理剪枝,其有效提高每个分区的本地查询效率。基于本发明提出的空间数据内存结构,可以将Spark扩展为支持KNN和范围查询的分布式系统。通过对存储和查询过程进行封装,该执行过程对用户透明,用户可以通过传递参数直接调用对应的算子。

    一种基于Spark的空间矢量数据内存存储查询方法及系统

    公开(公告)号:CN112925789B

    公开(公告)日:2022-12-20

    申请号:CN202110208391.6

    申请日:2021-02-24

    Abstract: 本发明提出一种基于Spark的空间矢量数据内存存储查询方法及系统,所述方法及系统为海量空间矢量数据在Spark内存中的存储结构和空间查询操作提供了新的解决方案,针对数据空间分布不均衡以及跨分区存储的现象,提出了一种带有buffer分区的非均匀网格分区方法。在每个分区中引入四叉网格树的结构进行数据的局部索引,通过合理剪枝,其有效提高每个分区的本地查询效率。基于本发明提出的空间数据内存结构,可以将Spark扩展为支持KNN和范围查询的分布式系统。通过对存储和查询过程进行封装,该执行过程对用户透明,用户可以通过传递参数直接调用对应的算子。

Patent Agency Ranking