Hadoop分布式算法的WEB界面集成方法及装置

    公开(公告)号:CN106815019A

    公开(公告)日:2017-06-09

    申请号:CN201611253462.X

    申请日:2016-12-30

    Abstract: 本发明公开了一种Hadoop分布式算法的WEB界面集成方法及装置,该方法包括:当某数据获取组件被触发后,配置该数据获取组件的输入,并选择一个或多个数据处理组件作为该数据获取组件的输出;配置被选中的数据处理组件的输入,并选择其他的数据处理组件中的一个或多个作为本数据处理组件的输出,形成组件关系网;当接收到运行指令后,利用组件关系网的各组件对被触发的数据获取组件的输入数据进行处理,得到数据处理结果。借助于本发明的技术方案,在WEB界面中将选择的若干个数据获取组件和若干个数据处理组件形成组件关系网,利用组件关系网的各组件对被触发的数据获取组件的输入数据进行处理,无需编程,并且能够立即执行看到效果。

    一种基于APP流量数据的基准点采集与清洗方法

    公开(公告)号:CN113489758A

    公开(公告)日:2021-10-08

    申请号:CN202110614663.2

    申请日:2021-06-02

    Abstract: 本发明涉及一种基于APP流量数据的基准点采集与清洗方法,包括如下步骤:S1、从APP流量数据中提取IP与其对应的地理位置信息,形成IP历史位置数据;S2、基于S1得到的IP历史位置数据及与其对应地理位置信息,根据出现的时间和地理位置以及出现次数,清洗和过滤数据;S3、通过聚类定位算法,对清洗后的IP历史位置数据进行聚类,形成有效的基准点数据;本发明提供的基准点采集与清洗方法,先结合协议解析技术和文本分析技术从APP流量数据中提取源IP与其对应地理位置信息,再经过过滤和清洗,最后通过聚类形成可用的准点数据。

Patent Agency Ranking