一种基于分布式储存系统的数据处理方法和系统
摘要:
本申请公开了一种基于分布式储存系统的数据处理方法,该方法包括:获取关键词和关键词对应的字段;根据所述字段在分布式存储系统中确定对应的索引;在索引中通过对应的关键词获取一组第一数据集,当所述关键词设置有多个时,根据每个所述关键词分别获取一组第一数据集;将多个第一数据集合并为第二数据集,并通过Scroll方式检索所述第二数据集以获取检索结果,并将结果返回给用户。本申请根据字段分类在不同的数据库中搜索数据获取第一数据集,能够减少对不必要的记录的访问,快速获取到第一数据集,如果关键词设置有多个,通过多个第一数据集获取的第二数据集数据量有限,容易通过检索获取最终返回给客户的数据,该方案检索效率高。
0/0