一种任务驱动的海量网络日志高效筛选分发方法及装置

    公开(公告)号:CN119106014A

    公开(公告)日:2024-12-10

    申请号:CN202411006526.0

    申请日:2024-07-25

    Abstract: 本发明是有关于一种任务驱动的海量网络日志高效筛选分发方法及装置,针对超大规模网络日志数据筛选分发存在的性能瓶颈问题,提出了一种多任务高效并行筛选和分发的创新方案。该方案聚焦于网络日志数据的智能化筛选与灵活分发,旨在整合共性计算需求、消除重复运算、优化资源配置、提升任务并发处理能力。具体实施中,本发明通过分解与合并跨任务日志筛选逻辑,结合常驻实时数据筛选与周期性离线筛选任务,系统性地完成了数据的精细化按需筛选、字段富化、数据分级和历史数据预存储,从而能够根据上层业务的实际需求,为不同任务动态且精准地分发合适的数据,为网络威胁监测、流量行为分析等应用提供数据支撑。

    一种基于页面视觉相似性的仿冒网站检测方法和系统

    公开(公告)号:CN105119909B

    公开(公告)日:2019-02-19

    申请号:CN201510434950.X

    申请日:2015-07-22

    Abstract: 本发明涉及一种基于页面视觉相似性的仿冒网站检测方法和系统,包括,获取待检测网站地址列表;逐一将该列表中的网站地址与预设白名单相匹配,若匹配则允许用户访问该网站地址并对其添加白名单标记;否则将当前网站地址与预设黑名单相匹配,若匹配禁止用户访问该网站地址并对其添加黑名单标记;若当前网站地址不在预设白名单和黑名单内,则根据待检测网站地址列表对应的网页内容与预设白名单进行相似度度量,获取最大相似度值,并与预设阈值T比较;判断待检测网站地址列表中是否存在未添加标记的网站地址,若存在则重新检测,否则结束。利用该方法完成仿冒网站检测一定程度上缩减了用户访问仿冒网站的概率,降低了误入虚假网站带来的损失。

Patent Agency Ranking