公开(公告)号：CN105631003A

公开(公告)日：2016-06-01

申请号：CN201511001092.6

申请日：2015-12-28

Applicant: 北京赛思信安技术股份有限公司

Inventor： 李斌斌 ,  周游

IPC: G06F17/30

CPC classification number: G06F17/30321 ,  G06F17/30289 ,  G06F17/30424

Abstract: 本发明提供了一种支持海量数据分组统计的智能索引构建、查询及维护方法，属于大数据处理技术领域。本方法建立了智能索引的数据组织结构，以使智能索引支持海量数据分组统计；智能索引的数据组织结构包括索引元数据和索引数据，索引元数据是创建索引的依据，包括分组列簇和统计列簇，索引数据是对原始数据构建的索引。本方法在写入数据时在内存中实时创建智能索引，利用智能索引进行分组统计的操作，也可快捷对智能索引进行删除。本发明实现了对海量数据的实时自动创建索引，在对海量数据进行分组统计时极大降低了磁盘I/O和计算时间，从而大幅提高了分组统计效率，并实现了对索引数据全生命周期的自动管理。

公开(公告)号：CN109871502B

公开(公告)日：2020-10-30

申请号：CN201910047920.1

申请日：2019-01-18

Applicant: 北京赛思信安技术股份有限公司

Inventor： 王振宇 ,  孟宪文 ,  李斌斌

IPC: G06F16/958 ,  G06F16/957

Abstract: 本发明提供了一种基于Storm的流数据正则匹配方法，属于计算机技术领域。本方法包括：搭建实时处理集群，使用Kafka集群作为数据缓存模块，将原始数据进行序列化后打包到一个Message中，加载到Kafka消息队列；订阅Kafka中某个Topic的数据，获取的Message数据按序填入Storm的单元Tuple中，直接将Tuple发送给计算算子Bolt；Bolt对Tuple拆包，对得到的Message数据解包并进行反序列化，将反序列化后的有效数据分块进行模式匹配。本发明保证了数据在Storm集群中传输的批量处理，提高了数据在Storm实时计算集群中的传输效率，并提高了正则匹配的效率。

公开(公告)号：CN109710572A

公开(公告)日：2019-05-03

申请号：CN201811638552.X

申请日：2018-12-29

Applicant: 北京赛思信安技术股份有限公司

Inventor： 王振宇 ,  李斌斌 ,  苏连超

IPC: G06F16/13 ,  G06F16/16

Abstract: 本发明公开了一种基于HBase的文件分片方法，属于计算机领域。首先从系统中读取对大文件分片的配置文件和按分片粒度进行读取的配置文件，对某个大文件进行分片。文件内容的写入读取按分片的顺序进行，通过多个并列线程将每个分片的内容以独立的键值存入HBase数据表中。同时将每个分片的元数据信息以新增列的方式存储在HBase元数据信息表中。然后若文件内容的写入读取是指定片，按照指定的分片编号写入读取文件内容；若文件内容的写入读取是随机读取，设定随机读取的字节开始位置和读取内容大小；最后当服务端异常导致写入或读取中断，在服务恢复后重新上传或读取断点的分片即可。本发明使大文件存储更加高效可靠，具有较强的实用性和适配性。

公开(公告)号：CN105631003B

公开(公告)日：2019-02-22

申请号：CN201511001092.6

申请日：2015-12-28

Applicant: 北京赛思信安技术股份有限公司

Inventor： 李斌斌 ,  周游

IPC: G06F16/22 ,  G06F16/245

Abstract: 本发明提供了一种支持海量数据分组统计的智能索引构建、查询及维护方法，属于大数据处理技术领域。本方法建立了智能索引的数据组织结构，以使智能索引支持海量数据分组统计；智能索引的数据组织结构包括索引元数据和索引数据，索引元数据是创建索引的依据，包括分组列簇和统计列簇，索引数据是对原始数据构建的索引。本方法在写入数据时在内存中实时创建智能索引，利用智能索引进行分组统计的操作，也可快捷对智能索引进行删除。本发明实现了对海量数据的实时自动创建索引，在对海量数据进行分组统计时极大降低了磁盘I/O和计算时间，从而大幅提高了分组统计效率，并实现了对索引数据全生命周期的自动管理。

公开(公告)号：CN106101018A

公开(公告)日：2016-11-09

申请号：CN201610397801.5

申请日：2016-06-07

Applicant: 北京赛思信安技术股份有限公司

Inventor： 李斌斌 ,  王振宇 ,  郑彩娟 ,  刘利宏

IPC: H04L12/861 ,  H04L29/08

CPC classification number: H04L49/9047 ,  H04L67/1097 ,  H04L67/141 ,  H04L67/2842

Abstract: 本发明公开了一种面向分布式海量数据加载系统的可靠数据发送方法,消息结构包括消息头和消息体两部分构成；消息头包括：消息ID，消息类型和自定义消息。该消息可以通过http，https，TCP/IP或者其他类型的网络传输协议进行网络传输。接收终端可以根据消息头部的消息ID进行去重，验证等操作并且返回处理结果。按照本发明提供的方法，用户可以准确，有效的向分布式系统中发送数据。