公开(公告)号：CN106649462B

公开(公告)日：2019-11-08

申请号：CN201610849788.2

申请日：2016-09-26

Applicant: 北京赛思信安技术股份有限公司 ,  国家计算机网络与信息安全管理中心

Inventor： 王宇 ,  徐晓燕 ,  周渊 ,  吴小伟 ,  刘庆良 ,  王振宇 ,  郑彩娟 ,  李斌斌 ,  黄成 ,  周游

IPC: G06F16/31 ,  G06F16/33

Abstract: 本发明提供了一种针对海量数据全文检索场景的实现方法，属于海量数据全文检索领域。本发明将Lucene引入检索引擎，对集群中已经存在的数据文件建立Lucene索引文件。在每个存储Lucene索引文件的节点上，设置有一个守护进程对该节点的Lucene索引文件进行维护。本发明优化协调器对fragment的调度机制，对每个执行节点进行计数判断，调整每个fragment的执行位置，以均衡节点资源。本发明还优化全文读取引擎机制，优先采用Lucene进行检索，当出现问题时调用RCFile检索，以保证检索的持续性和正确性。本发明提高了检索性能，可更加合理地利用集群的资源。

公开(公告)号：CN106101018A

公开(公告)日：2016-11-09

申请号：CN201610397801.5

申请日：2016-06-07

Applicant: 北京赛思信安技术股份有限公司

Inventor： 李斌斌 ,  王振宇 ,  郑彩娟 ,  刘利宏

IPC: H04L12/861 ,  H04L29/08

CPC classification number: H04L49/9047 ,  H04L67/1097 ,  H04L67/141 ,  H04L67/2842

Abstract: 本发明公开了一种面向分布式海量数据加载系统的可靠数据发送方法,消息结构包括消息头和消息体两部分构成；消息头包括：消息ID，消息类型和自定义消息。该消息可以通过http，https，TCP/IP或者其他类型的网络传输协议进行网络传输。接收终端可以根据消息头部的消息ID进行去重，验证等操作并且返回处理结果。按照本发明提供的方法，用户可以准确，有效的向分布式系统中发送数据。