一种基于GBR图像的异常流量检测方法

    公开(公告)号:CN111340727B

    公开(公告)日:2022-05-17

    申请号:CN202010119768.6

    申请日:2020-02-26

    摘要: 本发明公开了一种基于GBR图像的异常流量检测方法,包括以下步骤:S1:将流量数据转换为可视化的GBR图像;S2:将GBR图像数据存储在分布式文件系统中;S3:基于分布式文件系统,利用Apache Spark框架对GBR图像数据的各个数据块分别训练子卷积神经网络模型,完成异常流量的检测。本发明的异常流量检测方法将原始网络流量转换成灰度图像,保留流量信息,再选取两个特征向量组成GBR图像,降低了检测误报率。使用分布式文件系统和子卷积神经网络模型,避免了检测方法计算庞大和收敛慢的问题,具有检测未知攻击的能力,检测精准率高。

    一种基于GBR图像的异常流量检测方法

    公开(公告)号:CN111340727A

    公开(公告)日:2020-06-26

    申请号:CN202010119768.6

    申请日:2020-02-26

    摘要: 本发明公开了一种基于GBR图像的异常流量检测方法,包括以下步骤:S1:将流量数据转换为可视化的GBR图像;S2:将GBR图像数据存储在分布式文件系统中;S3:基于分布式文件系统,利用Apache Spark框架对GBR图像数据的各个数据块分别训练子卷积神经网络模型,完成异常流量的检测。本发明的异常流量检测方法将原始网络流量转换成灰度图像,保留流量信息,再选取两个特征向量组成GBR图像,降低了检测误报率。使用分布式文件系统和子卷积神经网络模型,避免了检测方法计算庞大和收敛慢的问题,具有检测未知攻击的能力,检测精准率高。

    一种基于灰度图的异常流量检测方法

    公开(公告)号:CN111343182B

    公开(公告)日:2021-08-10

    申请号:CN202010120011.9

    申请日:2020-02-26

    IPC分类号: H04L29/06 G06K9/62 G06N3/08

    摘要: 本发明公开了一种基于灰度图的异常流量检测方法,包括以下步骤:S1:对网络的原始流量进行可视化处理,将原始流量转换为灰度图;S2:对灰度图进行特征提取;S3:基于Apache Spark框架,利用分布式极限学习机对灰度图的特征进行训练,输出权重矩阵β,得到训练参数,完成灰度图的异常流量检测。本发明有效解决了各种网络环境的异常流量检测问题,对网络流量的可视化处理解决了原始流量特征提取上的困难,将原始流量特征提取上的困难转化为图像特征提取,使得训练结果准确度更高。且本发明有效解决了大数据时代高速海量网络流量的异常检测问题,适应现代实际网络环境。

    一种优化定位精度及爬取效率的爬虫方法

    公开(公告)号:CN112115330A

    公开(公告)日:2020-12-22

    申请号:CN202010983424.X

    申请日:2020-09-18

    摘要: 本发明公开了一种优化定位精度及爬取效率的爬虫方法,包括以下步骤:S1:获取目标网站和爬取关键词;S2:根据目标网站的首页判断是否需要登录验证,若是则进入步骤S3,否则进入步骤S4;S3:通过提取Cookies和authenticity_token,构建Cookies池并识别验证码,进行模拟登录;S4:采用Splash对象,对模拟登录后目标网站中的多层动态渲染网页进行定向爬取。本发明有效提高了应对目前主流网站的反爬机制的效率,有效提高了爬取内容的定向性与精确度,反应时间更快,容错率更高,健壮性更强。

    一种解决JS加密问题的爬虫方法
    5.
    发明公开

    公开(公告)号:CN111949851A

    公开(公告)日:2020-11-17

    申请号:CN202010820940.0

    申请日:2020-08-14

    摘要: 本发明公开了一种解决JS加密问题的爬虫方法,包括以下步骤:S1:创建scrapy项目,并设定允许爬取的域名范围、请求头信息和初始URL;S2:通过调用selenium框架的webdriver工具获取cookie;S3:根据初始URL和cookie,调用内部start_requests()爬取列表页;S4:解析列表页并管理列表页的URL,完成页面爬取。本发明使用的是聚焦网络爬虫。本发明中先将要爬取的内容通过搜索引擎筛选出来,然后爬取筛选出来的页面内容,可爬取JS加密的页面,同时可获取网页重定向之后的链接。

    一种基于灰度图的异常流量检测方法

    公开(公告)号:CN111343182A

    公开(公告)日:2020-06-26

    申请号:CN202010120011.9

    申请日:2020-02-26

    IPC分类号: H04L29/06 G06K9/62 G06N3/08

    摘要: 本发明公开了一种基于灰度图的异常流量检测方法,包括以下步骤:S1:对网络的原始流量进行可视化处理,将原始流量转换为灰度图;S2:对灰度图进行特征提取;S3:基于Apache Spark框架,利用分布式极限学习机对灰度图的特征进行训练,输出权重矩阵β,得到训练参数,完成灰度图的异常流量检测。本发明有效解决了各种网络环境的异常流量检测问题,对网络流量的可视化处理解决了原始流量特征提取上的困难,将原始流量特征提取上的困难转化为图像特征提取,使得训练结果准确度更高。且本发明有效解决了大数据时代高速海量网络流量的异常检测问题,适应现代实际网络环境。