一种海量数据实时排序优化方法

    公开(公告)号:CN106909624B

    公开(公告)日:2020-05-22

    申请号:CN201710043943.6

    申请日:2017-01-19

    Abstract: 本发明公开了一种海量数据实时排序优化方法。本方法为:1)设置一集群级节点、若干节点级节点和若干文件级节点;2)集群级节点将收到的检索排序请求发送给各节点级节点,各节点级节点将该检索排序请求发送给本节点的文件级节点;3)各文件级节点根据该检索排序请求,将与本节点相关的日志文件排序后输出有序数据给节点级节点;4)各节点级节点根据该检索排序请求将本节点上符合时间范围和分区条件的日志数据排序后输出给该集群级节点;5)该集群级节点将各节点级节点发送过来的有序数据流进行排序汇总。在任意的排序场景中,本方法都能有效降低内存使用量。

    一种基于被动测量的设备识别方法

    公开(公告)号:CN110912933A

    公开(公告)日:2020-03-24

    申请号:CN201911299344.6

    申请日:2019-12-17

    Abstract: 本发明提出一种基于被动测量的设备识别方法,包括如下步骤:步骤1:不同设备之间通信产生的流量数据转化成图结构,将设备作为节点,刻画每个节点在图中的重要程度,以此进行聚类分析,找出服务器设备;步骤2:针对上述服务器设备,分别得到与其通联的终端列表,并使用明确数字刻画终端与服务器通联的流量级别,以此进行聚类分析,分离同属于终端的主机和网络地址转换设备,即NAT设备;步骤3:对已经确定的NAT设备运行验证分析方法,判断其后面是否存在服务器。本发明构建了被动测量引导下的网络测绘模型,以提高测量实效、降低测量复杂度和被测网络负载。

    一种基于深度判别特征的网络流量分类系统及方法

    公开(公告)号:CN110796196A

    公开(公告)日:2020-02-14

    申请号:CN201911040768.0

    申请日:2019-10-30

    Abstract: 本发明涉及一种基于深度判别特征的网络流量分类系统及方法,包括:预处理模块和模型学习模块,预处理模块:将不同应用产生的长度不一的网络流作为输入,将每条网络流表示为固定大小的流矩阵,以满足卷积神经网络(CNN)的输入格式要求;模型学习模块:以预处理模块得到的流矩阵作为输入,在度量学习正则化项和交叉熵损失项共同构成的目标函数的监督下,对深度卷积神经网络进行训练,使得神经网络可以对输入的流矩阵学习得到更具判别性的特征表示,从而使得分类结果更加准确。

    处理器指令集测试方法及装置

    公开(公告)号:CN110716855A

    公开(公告)日:2020-01-21

    申请号:CN201910784021.X

    申请日:2019-08-23

    Abstract: 本发明实施例提供一种处理器指令集测试方法及装置,属于处理器技术领域。包括:对于预处理文件中任一指令,获取任一指令的指令编码及第一指令名称,将任一指令的指令编码输入至反编译器中,输出未经处理的第二指令名称;根据第一指令名称及第二指令名称,判断任一指令是否存在缺陷。本发明实施例的优点如下:由于可以对预处理文件中所有指令进行测试,其中也可以包含未定义指令,从而覆盖率高;由于测试过程不需要执行指令,从而测试过程可以在真机上执行且可以保持稳定性;由于测试过程可以设计成自动执行,从而整个测试过程简单且不容易出错。

    一种支持高效海量数据分析和检索的数据装置及数据存储方法

    公开(公告)号:CN106909623B

    公开(公告)日:2019-11-26

    申请号:CN201710043645.7

    申请日:2017-01-19

    Abstract: 本发明公开了一种支持高效海量数据分析和检索的数据装置及数据存储方法。本装置包括若干文件夹,在每一文件夹中包含多个索引分段;每一索引分段包括一全文索引组件、一数据定位模块和一数据存储模块;全文索引组件用于存储索引分段中的记录的倒排索引信息;数据存储模块,包含多个横向分块,每个横向分块包含多个列分片,每个列分片包含多个用于存储数据记录的数据页;数据定位模块,提供针对数据存储模块的嵌套索引结构,每个横向分块索引存储了横向分块记录起始Id、横向分块位置、各列分片的位置以及列分片索引集合;每个列分片索引记录了列分片中数据页起始位置和数据页索引集合;每个数据页索引记录了数据页所在文件位置和页记录起始Id。

    一种基于全息建模的应用软件流量异常检测系统及方法

    公开(公告)号:CN109951462A

    公开(公告)日:2019-06-28

    申请号:CN201910170833.5

    申请日:2019-03-07

    Abstract: 一种基于全息建模的应用软件流量异常检测系统及方法,包括:应用软件识别模块、特征空间设计模块、全息建模模块和异常检测模块;应用软件识别模块,实现流量识别功能;根据获取的原始流量数据包中的端口进行应用软件的识别,得到已知软件类别的流量数据集;特征空间设计模块,实现特征提取功能,根据不同的TCP流进行基于流的特征提取,得到流量特征数据集;全息建模模块,实现模型的建立与动态更新功能;根据聚类算法对应用软件的流特征进行多角度建模,再根据更新条件,基于新的流量数据更新已建立的多个模式,得到应用软件流量的正常模型;异常检测模块,实现应用软件的流量异常判断功能,根据模型容量和离散度综合得到的异常分数来识别异常,得到流量是否异常的判定结果。

Patent Agency Ranking