公开(公告)号：CN106649527A

公开(公告)日：2017-05-10

申请号：CN201610915505.X

申请日：2016-10-20

Applicant: 重庆邮电大学

Inventor： 刘群 ,  谭敢锋 ,  戴大祥

IPC: G06F17/30 ,  G06Q30/02

CPC classification number: G06F16/285 ,  G06Q30/0242

Abstract: 本发明请求保护一种基于Spark Streaming的广告点击异常检测系统及检测方法，涉及计算机技术应用领域，在用户点击网站广告时进行日志收集，对实时收集的数据进行清洗，标准化数据字段格式，然后将标准化数据由Flume传输给Kafka数据消息系统，Spark Streaming通过KNN邻近算法对数据进行分类，可以得到三大类数据异常数据、嫌疑数据、正常数据。对于异常数据和正常数据存储于数据库中，嫌疑数据发送给Kafka数据消息系统，然后通过异常数据训练朴素贝叶斯分类器，使用分类器可得到嫌疑数据的分类情况，数据保存于数据库中。最后，通过正常数据量合理收取广告商费用，同时可以分析得到各个广告的热门度，给广告商提供行业发展方向，提供用户全国分布情况等信息。

公开(公告)号：CN106649527B

公开(公告)日：2021-02-09

申请号：CN201610915505.X

申请日：2016-10-20

Applicant: 重庆邮电大学

Inventor： 刘群 ,  谭敢锋 ,  戴大祥

IPC: G06F16/28 ,  G06Q30/02

Abstract: 本发明请求保护一种基于Spark Streaming的广告点击异常检测系统及检测方法，涉及计算机技术应用领域，在用户点击网站广告时进行日志收集，对实时收集的数据进行清洗，标准化数据字段格式，然后将标准化数据由Flume传输给Kafka数据消息系统，Spark Streaming通过KNN邻近算法对数据进行分类，可以得到三大类数据异常数据、嫌疑数据、正常数据。对于异常数据和正常数据存储于数据库中，嫌疑数据发送给Kafka数据消息系统，然后通过异常数据训练朴素贝叶斯分类器，使用分类器可得到嫌疑数据的分类情况，数据保存于数据库中。最后，通过正常数据量合理收取广告商费用，同时可以分析得到各个广告的热门度，给广告商提供行业发展方向，提供用户全国分布情况等信息。