-
公开(公告)号:CN106446168A
公开(公告)日:2017-02-22
申请号:CN201610849787.8
申请日:2016-09-26
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
IPC: G06F17/30
Abstract: 本发明公开了一种面向分布式数据仓库的高效加载客户端实现方法,属于信息处理领域;具体为:首先,初始化系统启动参数;加载器管理模块为每个线程各申请一个加载器;每个线程各创建一个数据解析模块,对客户端数据进行解析并传输给加载器;每个加载器分别调用数据校验模块进行检验;然后,将检验后的字段数据缓存到数据缓存模块,进行管理并传输给数据传输模块;通过分布式节点监听模块获取每个分布式数据仓库的监听状态,并发送给数据传输模块;最后,数据传输模块将收到的缓存数据发送给健康的分布式数据仓库。本发明提升了整个分布式数据仓库的使用效率和数据加载效率,符合目前的应用需求,具有广阔的应用前景。
-
公开(公告)号:CN106446013A
公开(公告)日:2017-02-22
申请号:CN201610730273.0
申请日:2016-08-25
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
IPC: G06F17/30
CPC classification number: G06F16/334
Abstract: 本发明一种应用于海量数据全文检索系统的测试工具及测试方法,属于海量数据全文检索系统测试方法领域,所述测试工具包括七个模块:顺序写入/读取模块、随机写入/读取模块、循环写入/读取模块、语种识别模块、关键字检索对比模块、删除模块和并发模块;每个模块单独连接海量数据全文检索系统。所述测试方法为:首先,将某个事件的海量数据,顺序写入全文检索系统,并读取文件数据;然后,制定用于进行检索测试的关键参数和测试命令;通过调整不同的参数,对海量数据进行不同的检索测试;最后,将每一条性能测试的结果输出到自定义文件中。优点在于:利用一个工具即可完成多种性能测试,使用简单,具有很强的实用性和广泛的应用前景。
-
公开(公告)号:CN105897405A
公开(公告)日:2016-08-24
申请号:CN201610384213.8
申请日:2016-06-02
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
CPC classification number: H04L9/0816 , H04L9/0631
Abstract: 本发明公开了一种128位对称密钥生成及保护装置,其特征在于,设存储于装置中的种子密钥为A段密钥,由主机下发的种子密钥为B段密钥,合成的结果为密钥,装置包括以下模块:至少一个A段密钥管理模块;至少一个B段密钥管理模块;至少一个MD5算法模块;至少一个SHA1算法模块;至少一个密钥合成管理模块;至少一个密钥存储模块。本发明避免了A段密钥的暴露,从而使本装置具有抵抗软件恶意攻击的能力,本发明中一旦设备脱离主机环境,那么B段密钥与生成后的密钥将自动销毁,从而使本装置具有抵抗硬件恶意攻击的能力,进一步提升了密钥的安全性。
-
公开(公告)号:CN115438239A
公开(公告)日:2022-12-06
申请号:CN202110623899.2
申请日:2021-06-04
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F16/9035 , G06F16/906
Abstract: 本发明公开一种自动化异常样本筛选的异常检测方法及装置,包括依据数据集中各数据的特征,进行数据筛选;对筛选得到的数据进行特征降维;针对特征降维后的数据进行异常检测,得到若干候选数据;对所有候选数据作聚类,得到带类别标签的异常数据。本发明利用特征筛选和特征降维方法,解决异常检测算法难以处理高维度特征的问题,并结合对异常检验算法和聚类算法,实现了对异常样本的自动化分析,在整个流程中不需要人工干预,大大减少了异常样本发现与分析过程中的人力投入。
-
公开(公告)号:CN107480685B
公开(公告)日:2021-02-23
申请号:CN201610402954.4
申请日:2016-06-08
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06K9/62
Abstract: 本发明公开了一种基于GraphX的分布式幂迭代聚类方法和装置。该方法包括:获取分布式存储的多个数据;对所述多个数据分别进行数据清洗,得到多个清洗数据;基于所述多个清洗数据中两两之间的相似度,构建亲和矩阵;基于GraphX,利用设置的随机初始向量对所述亲和矩阵进行迭代处理;利用KMeans++算法,对迭代向量进行聚类处理,并根据处理结果得到所述多个清洗数据的聚类结果。本发明有效地解决了基于图的聚类算法可扩展性不强、计算复杂度高的问题。
-
公开(公告)号:CN107943952B
公开(公告)日:2020-10-13
申请号:CN201711194929.2
申请日:2017-11-24
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
IPC: G06F16/2452 , G06F16/22 , G06F16/2453 , G06F16/2455
Abstract: 本发明公开了一种基于Spark框架进行全文检索的实现方法,属于大数据处理领域。该方法首先接收待执行SQL语句,生成语法树并转换成相应的逻辑计划;然后,从Hive中获取检索所有表的元数据,寻找支持全文检索的字段,并通过字段哈希索引对数据块进行初步裁剪;继而,根据查询条件从文件元数据中获取数据块所具体存放的磁盘位置;最后,将逻辑执行计划转换为可分布式执行的任务集合,通过各个数据块位置来确定任务具体执行的目标节点和任务所具体执行的目标进程;对任务进行分发执行,并汇总执行结果,迭代获取最终结果。该方法具有较高的效率,可以快速的完成海量数据的全文检索,在大数据处理领域具有很强的实用性和应用范围,具有很广泛的应用前景。
-
公开(公告)号:CN110912833A
公开(公告)日:2020-03-24
申请号:CN201911377730.2
申请日:2019-12-27
Applicant: 国家计算机网络与信息安全管理中心 , 南京中新赛克科技有限责任公司
IPC: H04L12/803 , H04L12/801
Abstract: 本发明公开了一种智能化的链路转发方法,网络流控设备实时计算流量大小,在流量低峰期,无论从哪个端口进入的流量都会负载均衡到链路出口端;在流量高峰期,如果网络流控设备中计算的流量大小pps超过了设定阈值,自动改变调度算法为选择调度,网络流控设备对进来的每个请求报文进行分析,获取报文的源和目的IP值进行哈希计算与已加密的规则进行匹配;如果该报文的源和目的IP的哈希值匹配,则将这部分流量转发到可信链路出口;如果该报文的源和目的IP不在字典中或不能正确匹配,则将其转发到其他链路出口端。本发明能将可信任的流量智能化切换到空闲可信链路转发,以保证可信流量的可靠和稳定转发。
-
公开(公告)号:CN106484815B
公开(公告)日:2019-04-12
申请号:CN201610849786.3
申请日:2016-09-26
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
IPC: G06F16/2453 , G06F16/22 , G06F16/2452
Abstract: 本发明提供了一种基于海量数据类SQL检索场景的自动识别优化方法,属于海量数据统计分析领域。本发明通过五方面来进行优化:引入lucene作为可选存储介质;对每个数据文件的检索字段增加bloomfilter索引(bf索引);对不同检索场景的划分及最优存储介质的选择;在进行lucene检索场景时,将类SQL语句转换为lucene语句;对lucene存储介质和bf索引添加有效性的会话级设置。在检索时,首先判定bf索引会话级的有效性,通过bf索引缩小待检索数据文件列表,再判定lucene存储介质的会话级有效性。本发明有效降低了海量数据检索时集群的资源消耗,大幅度提升了海量数据的检索性能。
-
公开(公告)号:CN105897405B
公开(公告)日:2019-04-05
申请号:CN201610384213.8
申请日:2016-06-02
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
Abstract: 本发明公开了一种128位对称密钥生成及保护装置,其特征在于,设存储于装置中的种子密钥为A段密钥,由主机下发的种子密钥为B段密钥,合成的结果为密钥,装置包括以下模块:至少一个A段密钥管理模块;至少一个B段密钥管理模块;至少一个MD5算法模块;至少一个SHA1算法模块;至少一个密钥合成管理模块;至少一个密钥存储模块。本发明避免了A段密钥的暴露,从而使本装置具有抵抗软件恶意攻击的能力,本发明中一旦设备脱离主机环境,那么B段密钥与生成后的密钥将自动销毁,从而使本装置具有抵抗硬件恶意攻击的能力,进一步提升了密钥的安全性。
-
公开(公告)号:CN107483364A
公开(公告)日:2017-12-15
申请号:CN201610404404.6
申请日:2016-06-08
Applicant: 国家计算机网络与信息安全管理中心
IPC: H04L12/917
CPC classification number: H04L47/76
Abstract: 本发明公开了一种Hadoop Yarn网络带宽资源调度、隔离方法和装置。该调度方法在RM侧执行,包括:接收AM发送的作业资源请求;所述工作资源请求包括:在作业中,每个任务的网络带宽资源需求量;根据每个所述任务的网络带宽需求量,采用预设的公平调度算法,为每个所述任务对应分配容器;其中,在每个所述容器中封装有对应任务的网络带宽资源分配量。该隔离方法在NM侧执行,包括:从AM获取多个容器;其中,每个所述容器中封装有对应的任务的网络带宽资源分配量;根据各个任务的网络带宽资源分配量,隔离各个任务占用的网络带宽资源。本发明在Yarn集群中增加了对网络带宽资源的调度,而且可以避免各个任务之间由于网络带宽资源的竞争而相互干扰。
-
-
-
-
-
-
-
-
-