基于海量数据分析挖掘CDN域名的方法

    公开(公告)号:CN108090188A

    公开(公告)日:2018-05-29

    申请号:CN201711367377.0

    申请日:2017-12-18

    IPC分类号: G06F17/30

    摘要: 本发明公开了一种基于海量数据分析挖掘CDN域名的可靠有效的方法,属于网络信技术领域。该方法首先对初始的URL信息进行URL解码,然后对解码后的URL进行HOST域名提取和正确性验证;对获取的数据进行HOST域名提取,过滤掉脏数据和数值型HOST域名;设置CDN服务IP个数的阈值M和HOST域名对应不重复的服务IP个数的阈值N;对成功提取HOST域名的数据,基于服务IP个数、不同地理位置区域以及是否使用提供CDN服务IP三个维度进行CDN域名分析发现。本发明方法紧密结合了使用CDN服务域名的特性,在分析中利用了多种精准的、有依据的分析方法,保证了分析的可靠性和准确度,为后续的网络安全应用和分析提供坚实的基础数据支持,使得相关领域有更加广泛的应用前景。

    基于海量数据分析挖掘CDN域名的方法

    公开(公告)号:CN108090188B

    公开(公告)日:2021-05-07

    申请号:CN201711367377.0

    申请日:2017-12-18

    IPC分类号: G06F16/2458

    摘要: 本发明公开了一种基于海量数据分析挖掘CDN域名的可靠有效的方法,属于网络信技术领域。该方法首先对初始的URL信息进行URL解码,然后对解码后的URL进行HOST域名提取和正确性验证;对获取的数据进行HOST域名提取,过滤掉脏数据和数值型HOST域名;设置CDN服务IP个数的阈值M和HOST域名对应不重复的服务IP个数的阈值N;对成功提取HOST域名的数据,基于服务IP个数、不同地理位置区域以及是否使用提供CDN服务IP三个维度进行CDN域名分析发现。本发明方法紧密结合了使用CDN服务域名的特性,在分析中利用了多种精准的、有依据的分析方法,保证了分析的可靠性和准确度,为后续的网络安全应用和分析提供坚实的基础数据支持,使得相关领域有更加广泛的应用前景。

    用于URL分析系统的文件扩展名快速匹配方法和装置

    公开(公告)号:CN108549679A

    公开(公告)日:2018-09-18

    申请号:CN201810288551.0

    申请日:2018-04-03

    IPC分类号: G06F17/30

    摘要: 本发明公开了一种用于URL分析系统的文件扩展名快速匹配方法和装置。所述方法包括:根据用户的业务需求,接收所需过滤URL的文件扩展名信息;利用接收到的所需过滤URL的文件扩展名信息,构建快速匹配算法环境;利用构建的快速匹配算法环境,对待检测URL的文件扩展名进行匹配,过滤掉不符合用户业务需求的URL。本发明基于用户的业务需求构建的快速匹配算法环境,该快速匹配算法环境使用字节来标记字符,并利用父节点储存位置和父节点中字符的索引值来直接定位子节点中字符的储存位置,而不使用常规的指针索引子节点,节省存储空间并提升匹配效率,尤其适用于处理海量URL数据,数据处理效率高。