-
公开(公告)号:CN106649462A
公开(公告)日:2017-05-10
申请号:CN201610849788.2
申请日:2016-09-26
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
IPC: G06F17/30
Abstract: 本发明提供了一种针对海量数据全文检索场景的实现方法,属于海量数据全文检索领域。本发明将Lucene引入检索引擎,对集群中已经存在的数据文件建立Lucene索引文件。在每个存储Lucene索引文件的节点上,设置有一个守护进程对该节点的Lucene索引文件进行维护。本发明优化协调器对fragment的调度机制,对每个执行节点进行计数判断,调整每个fragment的执行位置,以均衡节点资源。本发明还优化全文读取引擎机制,优先采用Lucene进行检索,当出现问题时调用RCFile检索,以保证检索的持续性和正确性。本发明提高了检索性能,可更加合理地利用集群的资源。
-
公开(公告)号:CN106446168A
公开(公告)日:2017-02-22
申请号:CN201610849787.8
申请日:2016-09-26
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
IPC: G06F17/30
Abstract: 本发明公开了一种面向分布式数据仓库的高效加载客户端实现方法,属于信息处理领域;具体为:首先,初始化系统启动参数;加载器管理模块为每个线程各申请一个加载器;每个线程各创建一个数据解析模块,对客户端数据进行解析并传输给加载器;每个加载器分别调用数据校验模块进行检验;然后,将检验后的字段数据缓存到数据缓存模块,进行管理并传输给数据传输模块;通过分布式节点监听模块获取每个分布式数据仓库的监听状态,并发送给数据传输模块;最后,数据传输模块将收到的缓存数据发送给健康的分布式数据仓库。本发明提升了整个分布式数据仓库的使用效率和数据加载效率,符合目前的应用需求,具有广阔的应用前景。
-
公开(公告)号:CN106446013A
公开(公告)日:2017-02-22
申请号:CN201610730273.0
申请日:2016-08-25
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
IPC: G06F17/30
CPC classification number: G06F16/334
Abstract: 本发明一种应用于海量数据全文检索系统的测试工具及测试方法,属于海量数据全文检索系统测试方法领域,所述测试工具包括七个模块:顺序写入/读取模块、随机写入/读取模块、循环写入/读取模块、语种识别模块、关键字检索对比模块、删除模块和并发模块;每个模块单独连接海量数据全文检索系统。所述测试方法为:首先,将某个事件的海量数据,顺序写入全文检索系统,并读取文件数据;然后,制定用于进行检索测试的关键参数和测试命令;通过调整不同的参数,对海量数据进行不同的检索测试;最后,将每一条性能测试的结果输出到自定义文件中。优点在于:利用一个工具即可完成多种性能测试,使用简单,具有很强的实用性和广泛的应用前景。
-
公开(公告)号:CN105897405A
公开(公告)日:2016-08-24
申请号:CN201610384213.8
申请日:2016-06-02
Applicant: 北京赛思信安技术股份有限公司 , 国家计算机网络与信息安全管理中心
CPC classification number: H04L9/0816 , H04L9/0631
Abstract: 本发明公开了一种128位对称密钥生成及保护装置,其特征在于,设存储于装置中的种子密钥为A段密钥,由主机下发的种子密钥为B段密钥,合成的结果为密钥,装置包括以下模块:至少一个A段密钥管理模块;至少一个B段密钥管理模块;至少一个MD5算法模块;至少一个SHA1算法模块;至少一个密钥合成管理模块;至少一个密钥存储模块。本发明避免了A段密钥的暴露,从而使本装置具有抵抗软件恶意攻击的能力,本发明中一旦设备脱离主机环境,那么B段密钥与生成后的密钥将自动销毁,从而使本装置具有抵抗硬件恶意攻击的能力,进一步提升了密钥的安全性。
-
公开(公告)号:CN105119909A
公开(公告)日:2015-12-02
申请号:CN201510434950.X
申请日:2015-07-22
Applicant: 国家计算机网络与信息安全管理中心
CPC classification number: H04L63/1483 , G06T7/001
Abstract: 本发明涉及一种基于页面视觉相似性的仿冒网站检测方法和系统,包括,获取待检测网站地址列表;逐一将该列表中的网站地址与预设白名单相匹配,若匹配则允许用户访问该网站地址并对其添加白名单标记;否则将当前网站地址与预设黑名单相匹配,若匹配禁止用户访问该网站地址并对其添加黑名单标记;若当前网站地址不在预设白名单和黑名单内,则根据待检测网站地址列表对应的网页内容与预设白名单进行相似度度量,获取最大相似度值,并与预设阈值T比较;判断待检测网站地址列表中是否存在未添加标记的网站地址,若存在则重新检测,否则结束。利用该方法完成仿冒网站检测一定程度上缩减了用户访问仿冒网站的概率,降低了误入虚假网站带来的损失。
-
公开(公告)号:CN105094987A
公开(公告)日:2015-11-25
申请号:CN201510435007.0
申请日:2015-07-22
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F9/50
Abstract: 本发明提供一种针对海量任务的资源调度方法和系统,所述方法包括:(1)分解海量任务并对子任务的资源占用情况进行监控;(2)计算已完成子任务资源占用值与预设值之间的资源距离参数;(3)根据所述资源距离参数分配将要执行任务队列中子任务的资源。所述系统包括:任务解析模块、计算模块和资源调度模块。本发明对云平台中海量任务下的资源进行合理的分配、调整和回收,动态调整各任务的分配情况,合理分配系统资源,降低系统的资源负担。
-
公开(公告)号:CN105005619A
公开(公告)日:2015-10-28
申请号:CN201510434969.4
申请日:2015-07-22
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F17/30
CPC classification number: G06F17/30864 , G06F17/30622 , G06F17/30675
Abstract: 本发明涉及一种海量网站基础信息的快速检索方法和系统,包括,收集网站基础信息,将其转化为固定字段的json格式文件作为检索对象;构建倒排索引系统;通过全文检索的方式进行快速检索;采用B树结构维护所述倒排索引系统;从而节约了工作时间,大大提高了检索效率。
-
公开(公告)号:CN104834891A
公开(公告)日:2015-08-12
申请号:CN201510083460.X
申请日:2015-02-16
Applicant: 北京建筑大学 , 北京邮电大学 , 国家计算机网络与信息安全管理中心
Abstract: 本发明公开了一种中文图像型垃圾邮件过滤方法,包括:在图像背景下提取得到图像中的汉字;使用汉字的关键点对汉字的字符特征进行表示;将字符特征与预先设置的样本库进行匹配,识别出垃圾邮件;对垃圾邮件进行过滤。本发明还公开了一种中文图像型垃圾邮件过滤系统。本发明在中文图像型垃圾邮件过滤中既能保留一定程度的语义信息,又能快速准确的进行识别,本发明可以在只使用很小的特征库下,得到极低的误识别率和很高的准确率。本发明具有更宽松的字符识别要求,能够适应更多变,背景更复杂的图像;对较广泛的图片都能到达较好的效果;在对中文的过滤应用中,本发明从实际垃圾邮件图像中提取少量关键字样本库,使得算法效率大大提高。
-
-
-
-
-
-
-