-
公开(公告)号:CN107038260B
公开(公告)日:2020-03-10
申请号:CN201710390469.4
申请日:2017-05-27
Applicant: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术股份有限公司
IPC: G06F16/215 , G06F16/23 , G06F16/2457 , G06F16/25
Abstract: 本发明公开了一种可保持titan实时数据一致性的高效并行加载方法,属于大数据处理领域;首先,将titan划分为7个并行工作的模块,清洗规则管理模块实时更新过滤规则;数据接收模块接收pieceOfData放入queue1中;数据清洗模块过滤合格数据放入queue2中;ID转换模块与高速索引模块交互,判断当前pieceOfData中的两个点与titan ID的对应关系是否存在与图数据库中;如果是,将titan内部ID属性与ID值替换点保存到pieceOfDataT中,放入到queue4中;否则,将未加载的点放入HashSet中,并将对应的pieceOfData放入queue3中;剩余数据加载模块多线程并行将pieceOfDataT加载到titan中;点加载模块负责将HashSet中点加入titan,将点与titan ID的对应关系加入高速索引模块。本发明每个模块独自或交互完成部分功能,从而实现整体上加载效率的提升。
-
公开(公告)号:CN104239249B
公开(公告)日:2017-08-04
申请号:CN201410472223.8
申请日:2014-09-16
Applicant: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术有限公司
IPC: G06F13/28
Abstract: 本发明提供了一种PCI‑E零拷贝DMA数据传输方法,属于PCI‑E数据传输技术领域。本方法首先在数据源和数据目的系统中各自分配适当大小的物理内存,并分别对两个系统中分配的物理内存使用双向链表建立空闲内存池和工作内存池;在数据源系统上,用户应用程序传输数据时,从空闲内存池取得空闲内存后直接进行数据填充,数据填充完后传输给数据目的系统;在数据目的系统,将接收的数据存入工作内存池,用户应用程序使用相应的API接口从工作内存池中取得数据进行使用;使用完毕后将相应的内存归还给空闲内存池。本发明极大地减轻了CPU的压力,减少了系统调用,对于大规模小数据量的传输减轻了用户内核空间的切换,提高了系统效率。
-
公开(公告)号:CN104468381A
公开(公告)日:2015-03-25
申请号:CN201410717284.6
申请日:2014-12-01
Applicant: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术有限公司
IPC: H04L12/801
Abstract: 本发明公开了一种多域流规则匹配的实现方法,涉及高速流分类技术领域。本发明首先根据IP报文数据流的五元组定义对每个元组都建立一个规则表,然后建立一个哈希快速流表,将匹配规则的所有信息添加到规则表中;再进行IP报文数据流匹配,如果找到,则执行相应的动作,否则查找规则表,进行掩码匹配查询。本发明通过改进查询速度快的前缀扩展Trie树,牺牲部分内存空间,采用数据压缩和哈希表相结合的方式,在保证查询速度的前提下,又不会因为大容量的规则库而发生内存爆炸。
-
公开(公告)号:CN103916316A
公开(公告)日:2014-07-09
申请号:CN201410145478.3
申请日:2014-04-11
Applicant: 国家计算机网络与信息安全管理中心
Abstract: 本发明公开了网络数据包线速捕获方法,具体包括以下步骤:步骤一、在Tilera众核平台下配置Mpipe规则;步骤二、创建n个收包线程,为各个线程绑定一个用于处理数据包的CPU核,n个收包线程并行运行;步骤三、在每个收包线程中,调用Mpipe接口接收网络数据包,当CPU核接收到数据包,把数据包转变为PCAP文件格式,根据数据包的序列号获取数据包保存在PCAP文件内存的首地址,根据首地址存取数据包;步骤四、在每个收包线程中,当CPU核接收到数据包,修改数据包的描述符,然后调用Mpipe接口转发数据包;步骤五、在每个收包线程中,判断是否完成处理(完成处理指不进行后续数据包的处理),均完成后,结束处理,否则,返回步骤三。本发明大大提高了数据包线速捕获的效率。
-
公开(公告)号:CN108833525A
公开(公告)日:2018-11-16
申请号:CN201810582418.6
申请日:2018-06-07
Applicant: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术股份有限公司
Abstract: 本发明提供了一种基于Fiddler的HTTPS流量内容的审计方法,涉及计算机技术领域。该方法首先在局域网、企业的出口网关处安装Fiddler软件;启动Fiddler软件,生成根CA证书,并分发至局域网和企业内部的机器,使之信任;局域网和企业内部的机器的代理服务设置为部署Fiddler的服务器的IP,端口为8888;启动Fiddler并打开HTTPS协议数据的捕获开关,Fiddler底层启动捕包处理流程,捕获网卡上所有数据包。编写处理插件代码并编译为dll文件,对实时捕获的HTTPS协议数据包的请求包和返回包提取字段并保存;编写HTTPS正则匹配模块的代码并编译为exe文件,对data目录中保存的文本文件进行正则匹配,生成日志。本发明以一种最小代价、灵活部署,满足对局域网、企业内部中小客户的HTTPS流量内容的审计要求。
-
公开(公告)号:CN105207946B
公开(公告)日:2018-05-01
申请号:CN201510535316.5
申请日:2015-08-27
Applicant: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术股份有限公司
IPC: H04L12/801 , G06F9/50
Abstract: 本发明一种网络数据包负载均衡和预解析方法,属于众核服务器的网络结构领域。包括以下步骤:一、在众核服务器下配置交换芯片;二、数据包经过外接接口进入交换芯片后,平均分给2个MPIPE;三、每个MPIPE将数据包转发到对应的TILERA CPU上,并进行预解析;四、在每个TILERA CPU上调用库函数创建数据包处理线程;五、为每个数据包处理线程分别绑定一个TILERA CPU核;六、将预解析结果分发到对应的数据包处理线程;七、各个处理线程分别通过库函数接收数据包并且得到预解析结果,保存源IP和目的IP。优点在于:使用交换芯片和MPIPE进行各个TILERA CPU之间的负载均衡,对于处理线程不需要再解析数据包,只对关注的数据包域进行处理;操作更加简便,提高数据包的处理能力。
-
公开(公告)号:CN104202659B
公开(公告)日:2017-10-17
申请号:CN201410471628.X
申请日:2014-09-16
Applicant: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术有限公司
IPC: H04N21/44 , H04N21/443 , H04N19/436
Abstract: 本发明提供了一种网络视频流乱序分段解码方法,涉及视频流处理技术领域。本方法首先从网络中捕获传输来的视频数据包,并为每个视频流建立一个缓存,将数据包按序存在对应的位置,当连续数据包达到指定大小时,进行视频解码。采用FFmpeg技术进行数据块解码,解码时修改相应的上下文,通过伪装的方式让FFmpeg继续解码工作。此外本发明采用具有多个加速单元的独立板卡进行解码,加速单元采用FFmpeg技术实现,从而可实现并行解码。无论网络视频流以何种顺序接收,本发明方法均能以数据块为单位将视频流拼接并进行最大程度解码,并可支持多数据流并发解码;本发明方法提高了视频流有效帧数的接收率和解码率。
-
公开(公告)号:CN107220347A
公开(公告)日:2017-09-29
申请号:CN201710390490.4
申请日:2017-05-27
Applicant: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术股份有限公司
IPC: G06F17/30
Abstract: 本发明公开了一种基于Lucene的支持表达式的自定义相关度排序算法,属于计算机技术领域。所述算法包括:用表达式解析模块对用户输入的表达式进行合法性检查,并转化为系统可以计算的形式;表达式计算模块根据表达式中的参数,在Lucene索引中提取出相应字段进行计算;相关度排序模块对表达式的计算结果进行排序;最后用结果整合模块对各数据节点返回的计算结果进行整合,将最终自定义表达式的排序结果返回给用户。本发明支持多字段间进行表达式计算,并按照其进行排序,优于单纯的文档打分排序机制,而且该发明支持更多的函数计算,且该算法适用于分布式的大数据平台上。
-
公开(公告)号:CN107194804A
公开(公告)日:2017-09-22
申请号:CN201710391332.0
申请日:2017-05-27
Applicant: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术股份有限公司
Abstract: 本发明公开了一种P2P网贷数据自动化核验方法,包括步骤一:数据接入,步骤二:数据接入自动化审核,步骤三:数据API自动化接入,步骤四:完成自动化数据核验,本发明中数据多重核验全自动化进行,安全、智能;本发明的方法,具有很强的实用性,具有很广泛的应用前景。
-
公开(公告)号:CN107067322A
公开(公告)日:2017-08-18
申请号:CN201710390471.1
申请日:2017-05-27
Applicant: 国家计算机网络与信息安全管理中心 , 北京赛思信安技术股份有限公司
CPC classification number: G06Q40/025 , H04L67/104
Abstract: 本发明公开了一种应用于P2P网络借贷企业数据接入模型的系统及方法;系统分为三个模块:数据接入模块、数据预处理模块和数据加载存储模块;数据接入模块完成对网络借贷平台的身份认证和数据接入接口规范;数据预处理模块完成数据完整性和有效性校验,建立各类数据完整性和有效性校验规则,并对数据进行去重和修正操作;数据加载存储模块完成大规模数据安全存储技术,为数据分析建模提供安全而方便的数据支撑服务;本发明的优点在于:可以对大量网络借贷平台中的异构数据形成规范和统一的标准,并进行规范、安全、稳定的数据接入,为P2P网络借贷平台监管奠定数据基础。
-
-
-
-
-
-
-
-
-