基于spark大数据平台的日志信息类型提取方法、挖掘方法

    公开(公告)号:CN112632020B

    公开(公告)日:2022-03-18

    申请号:CN202011560919.8

    申请日:2020-12-25

    Abstract: 本发明涉及计算机信息系统技术领域,公开了基于spark大数据平台的日志信息类型提取方法,包括:预处理离线日志数据,过滤掉不能识别的日志条目,存入HDFS中;将常规变量替换为通配符,同时对日志条目进行规整处理,完成简单的通配化处理,并将通配化处理后的数据临时存入HDFS中;将通配化处理后的数据进行时间根据时间窗进行过滤,将日志数据过滤拆分成有效日志集合和无效日志集合,去重后临时存入HDFS中;用迭代分组挖掘方法,分别计算出有效日志和无效日志的日志信息类型,将结果存入HDFS中。上述方案进行日志的自动化分析处理,有利于数据的恢复和使用,并能够高效准确地识别不同的日志信息类型。同时本发明也公开了时间窗过滤方法和迭代分组挖掘方法。

    一种密文搜索系统中安全的密文文件分享方法

    公开(公告)号:CN111460480B

    公开(公告)日:2022-03-18

    申请号:CN202010244397.4

    申请日:2020-03-31

    Abstract: 本发明涉及信息安全技术领域,本发明公开了一种密文搜索系统中安全的密文文件分享方法,数据拥有者将自己的文件数据加密并生成密文索引,并将密文文件和密文索引上传到大数据存储平台,同时将搜索密钥和文件密钥通过安全信道共享给被分享用户,分享用户使用接收到的搜索密钥和文件密钥搜索并解密密文文件。本发明基于密码管理,为用户提供安全的密文文件分享服务,用户只需登录自己的客户端,选择需要分享的用户、文件和文件关键字,即可实现文件分享,分享过程无需传递搜索密钥。被分享用户只需更新自己密文索引,从密管获得文件密钥即可获取分享文件,实现责权划分,提高文件分享过程的安全性。

    一种基于大数据的结构化敏感数据还原检测的方法

    公开(公告)号:CN112417456B

    公开(公告)日:2022-02-08

    申请号:CN202011276997.5

    申请日:2020-11-16

    Abstract: 本发明涉及信息安全技术领域,本发明公开了一种基于大数据的结构化敏感数据还原检测的方法,包括结构化数据抽取、知识表示及知识图谱构建和敏感数据还原,结构化数据抽取是针对数据库及文本文件中的结构化数据,依据数据标准进行汇聚与抽取,数据汇聚最后形式为关系型数据库,之后将数据转换为RDF格式;知识表示及知识图谱构建是将不同数据源获取的知识要素进行融合构建数据之间的关联关系形成知识图谱;敏感数据还原是依据标准配置从汇聚后的数据中抽取关联数据,按照知识图谱的关系,将数据汇入关联数据库,再进行敏感数据还原查询。本发明解决了大数据环境下海量结构化敏感数据脱敏后无法检测其是否被还原,评估敏感数据泄露无法评估的问题。

    基于spark大数据平台的日志信息类型提取方法、挖掘方法

    公开(公告)号:CN112632020A

    公开(公告)日:2021-04-09

    申请号:CN202011560919.8

    申请日:2020-12-25

    Abstract: 本发明涉及计算机信息系统技术领域,公开了基于spark大数据平台的日志信息类型提取方法,包括:预处理离线日志数据,过滤掉不能识别的日志条目,存入HDFS中;将常规变量替换为通配符,同时对日志条目进行规整处理,完成简单的通配化处理,并将通配化处理后的数据临时存入HDFS中;将通配化处理后的数据进行时间根据时间窗进行过滤,将日志数据过滤拆分成有效日志集合和无效日志集合,去重后临时存入HDFS中;用迭代分组挖掘方法,分别计算出有效日志和无效日志的日志信息类型,将结果存入HDFS中。上述方案进行日志的自动化分析处理,有利于数据的恢复和使用,并能够高效准确地识别不同的日志信息类型。同时本发明也公开了时间窗过滤方法和迭代分组挖掘方法。

    一种基于大数据的结构化敏感数据还原检测的方法

    公开(公告)号:CN112417456A

    公开(公告)日:2021-02-26

    申请号:CN202011276997.5

    申请日:2020-11-16

    Abstract: 本发明涉及信息安全技术领域,本发明公开了一种基于大数据的结构化敏感数据还原检测的方法,包括结构化数据抽取、知识表示及知识图谱构建和敏感数据还原,结构化数据抽取是针对数据库及文本文件中的结构化数据,依据数据标准进行汇聚与抽取,数据汇聚最后形式为关系型数据库,之后将数据转换为RDF格式;知识表示及知识图谱构建是将不同数据源获取的知识要素进行融合构建数据之间的关联关系形成知识图谱;敏感数据还原是依据标准配置从汇聚后的数据中抽取关联数据,按照知识图谱的关系,将数据汇入关联数据库,再进行敏感数据还原查询。本发明解决了大数据环境下海量结构化敏感数据脱敏后无法检测其是否被还原,评估敏感数据泄露无法评估的问题。

    一种密文搜索系统中安全的密文文件分享方法

    公开(公告)号:CN111460480A

    公开(公告)日:2020-07-28

    申请号:CN202010244397.4

    申请日:2020-03-31

    Abstract: 本发明涉及信息安全技术领域,本发明公开了一种密文搜索系统中安全的密文文件分享方法,数据拥有者将自己的文件数据加密并生成密文索引,并将密文文件和密文索引上传到大数据存储平台,同时将搜索密钥和文件密钥通过安全信道共享给被分享用户,分享用户使用接收到的搜索密钥和文件密钥搜索并解密密文文件。本发明基于密码管理,为用户提供安全的密文文件分享服务,用户只需登录自己的客户端,选择需要分享的用户、文件和文件关键字,即可实现文件分享,分享过程无需传递搜索密钥。被分享用户只需更新自己密文索引,从密管获得文件密钥即可获取分享文件,实现责权划分,提高文件分享过程的安全性。

Patent Agency Ranking