-
公开(公告)号:CN109871502A
公开(公告)日:2019-06-11
申请号:CN201910047920.1
申请日:2019-01-18
Applicant: 北京赛思信安技术股份有限公司
IPC: G06F16/958 , G06F16/957
Abstract: 本发明提供了一种基于Storm的流数据正则匹配方法,属于计算机技术领域。本方法包括:搭建实时处理集群,使用Kafka集群作为数据缓存模块,将原始数据进行序列化后打包到一个Message中,加载到Kafka消息队列;订阅Kafka中某个Topic的数据,获取的Message数据按序填入Storm的单元Tuple中,直接将Tuple发送给计算算子Bolt;Bolt对Tuple拆包,对得到的Message数据解包并进行反序列化,将反序列化后的有效数据分块进行模式匹配。本发明保证了数据在Storm集群中传输的批量处理,提高了数据在Storm实时计算集群中的传输效率,并提高了正则匹配的效率。
-
公开(公告)号:CN109726177A
公开(公告)日:2019-05-07
申请号:CN201811635130.7
申请日:2018-12-29
Applicant: 北京赛思信安技术股份有限公司
Abstract: 本发明公开了一种基于HBase的海量文件分区索引方法,属于计算机领域。加载配置文件,对存储系统HBase按照配置规则进行配置;对写入的某个小文件提取元数据;根据各个元数据,分别计算该文件需要写入的桶的分区;拼接出唯一Hash码作为该小文件的Rowkey,若该Rowkey存在于分区索引表,将元数据中记录的版本编号加1,并删除老版本元数据;若不存在则当该小文件的内容需要实时合并时,将该文件的内容追加到实时文件合并窗口中,等待文件进行实时合并。将所有小文件进行存储,读取每个小文件的元数据表,并进行更新,利用文件分区索引进行读取和删除。本发明减小海量文件元数据压力,提高文件的读取删除速度,方便文件进行分区管理,具有很广泛的应用前景。
-
公开(公告)号:CN109726175A
公开(公告)日:2019-05-07
申请号:CN201811635129.4
申请日:2018-12-29
Applicant: 北京赛思信安技术股份有限公司
Abstract: 本发明公开了一种基于HBase的海量文件离线分区管理方法,属于计算机领域。首先用户创建自定义的存储桶,加载关于桶的分区规则配置;按照桶的分区规则,给用户即将写入的小文件设定存储分区表的名称;然后按照业务需求和HBase数据存储的规则,为用户即将写入的小文件设计指定在存储分区表中的Rowkey,以RowKey作为每个小文件的唯一标示,自动将小文件写入当前时间段下的该桶的存储分区表中。最后用户指定该存储逻辑单元-桶的数据存储空间配额和时间配额,系统根据空间配额和时间配额的限定定期对存储分区表的数据进行离线管理;同时系统离线预建下一时间段的存储分区表。本发明具有很强的实用性,具有很广泛的应用前景。
-
公开(公告)号:CN106528535B
公开(公告)日:2019-04-26
申请号:CN201611001398.6
申请日:2016-11-14
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
IPC: G06F17/27
Abstract: 本发明提供了一种基于编码和机器学习的多语种识别方法,是计算机对自然语言的处理技术。本方法分别通过机器学习单元和编码识别单元对文本进行语种识别,编码识别时还统计各语种的单词量,当机器学习单元的识别结果在编码识别单元的判定区间内,且二者识别的语言一致时,输出单一识别语言,当编码识别单元识别到多种语言时,进行混合语言规则判断,若第二语言在文本中的单词量比例达到设定比例,则判定文本为混合语言。本发明对长文本可先作随机采样再判定,以提高识别效率。本发明能够准确、高效地实现中文简繁体、日、法、英等97种语言的语种识别,同时支持混合语种文本识别,在海量数据分析以及舆情监控中具有广泛的应用前景。
-
公开(公告)号:CN108833525A
公开(公告)日:2018-11-16
申请号:CN201810582418.6
申请日:2018-06-07
Applicant: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术股份有限公司
Abstract: 本发明提供了一种基于Fiddler的HTTPS流量内容的审计方法,涉及计算机技术领域。该方法首先在局域网、企业的出口网关处安装Fiddler软件;启动Fiddler软件,生成根CA证书,并分发至局域网和企业内部的机器,使之信任;局域网和企业内部的机器的代理服务设置为部署Fiddler的服务器的IP,端口为8888;启动Fiddler并打开HTTPS协议数据的捕获开关,Fiddler底层启动捕包处理流程,捕获网卡上所有数据包。编写处理插件代码并编译为dll文件,对实时捕获的HTTPS协议数据包的请求包和返回包提取字段并保存;编写HTTPS正则匹配模块的代码并编译为exe文件,对data目录中保存的文本文件进行正则匹配,生成日志。本发明以一种最小代价、灵活部署,满足对局域网、企业内部中小客户的HTTPS流量内容的审计要求。
-
公开(公告)号:CN105207946B
公开(公告)日:2018-05-01
申请号:CN201510535316.5
申请日:2015-08-27
Applicant: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术股份有限公司
IPC: H04L12/801 , G06F9/50
Abstract: 本发明一种网络数据包负载均衡和预解析方法,属于众核服务器的网络结构领域。包括以下步骤:一、在众核服务器下配置交换芯片;二、数据包经过外接接口进入交换芯片后,平均分给2个MPIPE;三、每个MPIPE将数据包转发到对应的TILERA CPU上,并进行预解析;四、在每个TILERA CPU上调用库函数创建数据包处理线程;五、为每个数据包处理线程分别绑定一个TILERA CPU核;六、将预解析结果分发到对应的数据包处理线程;七、各个处理线程分别通过库函数接收数据包并且得到预解析结果,保存源IP和目的IP。优点在于:使用交换芯片和MPIPE进行各个TILERA CPU之间的负载均衡,对于处理线程不需要再解析数据包,只对关注的数据包域进行处理;操作更加简便,提高数据包的处理能力。
-
公开(公告)号:CN107920253A
公开(公告)日:2018-04-17
申请号:CN201711047172.4
申请日:2017-10-31
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
IPC: H04N19/42 , H04N19/436 , H04N19/44 , H04N19/40
Abstract: 本发明公开了一种基于GPU的视频处理方法,涉及音视频处理技术领域。首先从视频数据源端接收视频数据并存储在缓存队列中,依次读取视频数据进行解封装处理;然后对解封装处理后格式为H.264的视频数据,按顺序读取一帧,并解码为YUV格式数据;将解码出来的YUV数据进行内存映射,并转化为NV12格式后,利用视频转码模块再次转换为YUV420p格式;并分别计算YUV420p格式视频数据的Y分量和UV分量的特征值;最后将两个特征值拷贝到CPU侧的系统内存中,并筛选关键帧。筛选出的关键帧利用基于opencl的CPU和GPU之间的内存拷贝技术拷贝到CPU侧的系统内存中,由存储专用线程将关键帧的YUV数存储到文件。本发明实现了视频处理的加速,提升了视频处理的效率,并有效降低了CPU的资源消耗。
-
公开(公告)号:CN107220347A
公开(公告)日:2017-09-29
申请号:CN201710390490.4
申请日:2017-05-27
Applicant: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术股份有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种基于Lucene的支持表达式的自定义相关度排序算法,属于计算机技术领域。所述算法包括:用表达式解析模块对用户输入的表达式进行合法性检查,并转化为系统可以计算的形式;表达式计算模块根据表达式中的参数,在Lucene索引中提取出相应字段进行计算;相关度排序模块对表达式的计算结果进行排序;最后用结果整合模块对各数据节点返回的计算结果进行整合,将最终自定义表达式的排序结果返回给用户。本发明支持多字段间进行表达式计算,并按照其进行排序,优于单纯的文档打分排序机制,而且该发明支持更多的函数计算,且该算法适用于分布式的大数据平台上。
-
公开(公告)号:CN107194804A
公开(公告)日:2017-09-22
申请号:CN201710391332.0
申请日:2017-05-27
Applicant: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术股份有限公司
Abstract: 本发明公开了一种P2P网贷数据自动化核验方法,包括步骤一:数据接入,步骤二:数据接入自动化审核,步骤三:数据API自动化接入,步骤四:完成自动化数据核验,本发明中数据多重核验全自动化进行,安全、智能;本发明的方法,具有很强的实用性,具有很广泛的应用前景。
-
公开(公告)号:CN107067322A
公开(公告)日:2017-08-18
申请号:CN201710390471.1
申请日:2017-05-27
Applicant: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术股份有限公司
CPC classification number: G06Q40/025 , H04L67/104
Abstract: 本发明公开了一种应用于P2P网络借贷企业数据接入模型的系统及方法;系统分为三个模块:数据接入模块、数据预处理模块和数据加载存储模块;数据接入模块完成对网络借贷平台的身份认证和数据接入接口规范;数据预处理模块完成数据完整性和有效性校验,建立各类数据完整性和有效性校验规则,并对数据进行去重和修正操作;数据加载存储模块完成大规模数据安全存储技术,为数据分析建模提供安全而方便的数据支撑服务;本发明的优点在于:可以对大量网络借贷平台中的异构数据形成规范和统一的标准,并进行规范、安全、稳定的数据接入,为P2P网络借贷平台监管奠定数据基础。
-
-
-
-
-
-
-
-
-