基于Elastic Search的关系型数据库的数据管理方法和设备
摘要:
本发明属于大数据领域,具体涉及一种基于Elastic Search的关系型数据库的数据管理方法及其对应的数据管理设备。该管理方法可以提供的基础服务包括数据全量同步、增量同步,以及分布式的数据检索服务。该方案基Elastic Search组件、Redis组件、Kafka组件,将多个关系型数据库的基础档案同步到Elastic Search,并提供对应分布式快速检索和缓存功能。在全量同步时,本发明先创建索引数据集,再对其进行注解和补充,通过流式读取数据,最后利用生产者消费者模型读写数据。增量同步借助Kafka实现,检索服务提供了对查询结果按照策略进行缓存的功能。本发明提升了系统性能和稳定性,满足了用户对数据检索效率、速率以及分析功能方面的需求。
0/0