一种可保持janusGraph数据一致性的分布式高效并行加载方法

    公开(公告)号:CN112685419B

    公开(公告)日:2021-09-10

    申请号:CN202011622773.5

    申请日:2020-12-31

    Inventor: 谢铭 蒲路 孟宪文

    Abstract: 本发明公开了一种可保持janusGraph实时数据一致性的高效并行加载方法,属于分布式图数据库领域,首先构建分布式结构;创建两个空的分布式队列;然后,实时接收数据并解析后存入队列一中;数据处理模块逐条取出,调用分布式索引模块中存在对应ID的数据加载到图数据库中,并将无法调用ID的点的唯一标志存入队列二中,点处理模块判断能否获取各标志对应的ID,如果能,则继续获取下一个进行判断;否则,将各标志加载到图数据库中,并产生对应的ID;同时将S与ID的对应关系保存;集群管理模块找寻主节点,并对各子节点分发任务,各子节点并行处理各自的分布式队列分区中的数据。本发明保证数据一致性的同时提高实时数据的并行加载。

    一种基于非完整信令数据的用户身份信息关联实现方法

    公开(公告)号:CN112822649A

    公开(公告)日:2021-05-18

    申请号:CN202011643687.2

    申请日:2020-12-31

    Inventor: 谢铭 郑康田

    Abstract: 本发明提供了一种基于非完整信令数据的用户身份信息关联实现方法,属于通信数据处理技术领域。本发明的目的是解决在只有上行或下行通信信令消息的情况下,用户身份信息识别、提取和关联的问题。本发明方法包括:对捕获的上行或下行通信信令数据解码提取元数据,将元数据输入会话定时器和状态机,会话定时器对每个不同会话绑定一个定时器,根据通信流程设置会话超时时间,状态机检测通信流程阶段,提取关联用户身份信息的元数据;采用LRU缓存会话元数据,当会话超时时输出关键数据。通过本发明方法可以最大程度实现非完整上下行用户身份信息的关联,在通信领域具有广泛的应用前景。

    一种支持多任务的高并发离线数据包分析方法

    公开(公告)号:CN115225730A

    公开(公告)日:2022-10-21

    申请号:CN202210846646.6

    申请日:2022-07-05

    Abstract: 本发明公开了一种支持多任务的高并发离线数据包分析方法,属于数据分析领域,具体为首先、将输入的pcap大文件分割成小文件,利用五元组信息将数据包存入对应的小文件,并保存小文件路径到ES数据库中;然后,任务节点对用户输入要匹配的五元组以及内容关键词生成任务id,并下发至主控节点写入redis数据库中;主控节点查询ES数据库,将与任务五元组匹配的结果传输给内容检索节点;内容检索节点通过小文件路径,采用线程池快速读取小文件内容,还原成IP数据包与用户输入的关键词进行匹配;最后,将匹配成功的数据包五元组以及小文件路径,写入redis数据库对应任务id的键值中,读取对应的pcap文件内容,展现给用户;本发明支持多任务的快速分析。

    一种基于多个匹配引擎的结果加权的HTTPS流量应用分类方法

    公开(公告)号:CN112769713B

    公开(公告)日:2021-11-09

    申请号:CN202011628563.7

    申请日:2020-12-31

    Abstract: 本发明提供了一种基于多个匹配引擎的结果加权的HTTPS流量应用分类方法,属于网络数据识别处理技术领域。本发明方法构建规则文件层、识别引擎层和结果聚合和比对层,依据输入的五元组规则文件、正则规则文件、固定位置规则文件、负载长度规则文件、SNI规则文件、客户端证书规则文件和服务端证书规则文件构建相应的匹配引擎,对捕获的HTTPS流量调用各匹配引擎进行识别,根据识别结果数目计算各匹配引擎的命中概率和最终应用分类命中概率,从而获得相应的应用类别。本发明以多维度对HTTPS流量进行分类识别,对分类结果加权求和已获得最终应用分类结果,能实现对企业内网、互联网流量的HTTPS流量的精准分类的要求。

    一种基于安全标签的海量图数据细粒度访问控制方法

    公开(公告)号:CN112699410A

    公开(公告)日:2021-04-23

    申请号:CN202011643576.1

    申请日:2020-12-31

    Abstract: 本发明提供了一种基于安全标签的海量图数据细粒度访问控制方法,属于海量数据处理领域。本发明方法包括:在图数据的点/边/属性存储结构和用户信息中,增加安全标签,用于确定访问所需的安全要求,安全标签无需预先定义,在数据生成或者安全设计完成后设置;在进行图数据查询时,将用户安全标签和点/边/属性数据的安全标签进行比较,以判断用户是否有权限访问该数据。本发明的安全标签支持逻辑表达式表示,采用点、边、属性三级粒度安全标签,实现了不同粒度的安全访问控制;本发明还采用位运算加速安全标签逻辑计算和点/边/属性数据的过滤计算。本发明方法在不牺牲图数据访问性能的同时,大幅度提升了海量图数据访问的安全性。

Patent Agency Ranking