公开(公告)号：CN106649462B

公开(公告)日：2019-11-08

申请号：CN201610849788.2

申请日：2016-09-26

Applicant: 北京赛思信安技术股份有限公司 ,  国家计算机网络与信息安全管理中心

Inventor： 王宇 ,  徐晓燕 ,  周渊 ,  吴小伟 ,  刘庆良 ,  王振宇 ,  郑彩娟 ,  李斌斌 ,  黄成 ,  周游

IPC: G06F16/31 ,  G06F16/33

Abstract: 本发明提供了一种针对海量数据全文检索场景的实现方法，属于海量数据全文检索领域。本发明将Lucene引入检索引擎，对集群中已经存在的数据文件建立Lucene索引文件。在每个存储Lucene索引文件的节点上，设置有一个守护进程对该节点的Lucene索引文件进行维护。本发明优化协调器对fragment的调度机制，对每个执行节点进行计数判断，调整每个fragment的执行位置，以均衡节点资源。本发明还优化全文读取引擎机制，优先采用Lucene进行检索，当出现问题时调用RCFile检索，以保证检索的持续性和正确性。本发明提高了检索性能，可更加合理地利用集群的资源。

公开(公告)号：CN106649462A

公开(公告)日：2017-05-10

申请号：CN201610849788.2

申请日：2016-09-26

Applicant: 北京赛思信安技术股份有限公司 ,  国家计算机网络与信息安全管理中心

Inventor： 王宇 ,  徐晓燕 ,  周渊 ,  吴小伟 ,  刘庆良 ,  王振宇 ,  郑彩娟 ,  李斌斌 ,  黄成 ,  周游

IPC: G06F17/30

Abstract: 本发明提供了一种针对海量数据全文检索场景的实现方法，属于海量数据全文检索领域。本发明将Lucene引入检索引擎，对集群中已经存在的数据文件建立Lucene索引文件。在每个存储Lucene索引文件的节点上，设置有一个守护进程对该节点的Lucene索引文件进行维护。本发明优化协调器对fragment的调度机制，对每个执行节点进行计数判断，调整每个fragment的执行位置，以均衡节点资源。本发明还优化全文读取引擎机制，优先采用Lucene进行检索，当出现问题时调用RCFile检索，以保证检索的持续性和正确性。本发明提高了检索性能，可更加合理地利用集群的资源。