一种可配置的网络爬虫方法
    3.
    发明公开

    公开(公告)号:CN117556114A

    公开(公告)日:2024-02-13

    申请号:CN202311535665.8

    申请日:2023-11-17

    Abstract: 本发明涉及一种可配置的网络爬虫方法,属于网络安全技术领域。根据目标网页生成模板,形成配置文件,利用配置文件来完成网页信息的爬取,具体地,首先通过文件解析引擎调用爬虫配置文件,解析得到爬虫模板信息,然后根据模板信息对目标网页进行内容爬取;该方法以灵活的配置文件代替硬编码的方式,实现对网页信息的爬取,使得开发人员只需对配置文件进行编写或修改即可,省去了硬编码所带来的复杂的开发量以及后期维护的高成本,能够更高效率地满足网页信息的爬取需求。

    支持目标集群动态探测的高性能网络日志消息分发方法

    公开(公告)号:CN109688006B

    公开(公告)日:2021-08-17

    申请号:CN201811583893.1

    申请日:2018-12-24

    Abstract: 本发明提供了支持目标集群动态探测的高性能网络日志消息分发方法,通过采取分布式探测、状态统一发布的保活动态探测策略,能够确保各分发节点上接收主机状态的一致性,同时,通过在日志消息分发过程采用加权负载均衡,避免了大量内存访问。通过采用分布式动态探测、状态统一分布等方法,确保接收主机的活跃性;采用加权负载均衡算法,将网络日志消息更加均衡地分布到集群环境下的接收主机上;同时,采用哈希函数计算会话数据包中所包含的五元组(源地址、目的地址、源端口、目的端口、协议)的哈希值,逐包确定接收主机端口的方法,有效的降低了接收主机失效带来的影响。

    一种基于动态路径的匿名接入方法

    公开(公告)号:CN109698791A

    公开(公告)日:2019-04-30

    申请号:CN201811441363.3

    申请日:2018-11-29

    Abstract: 本发明提供一种基于动态路径的匿名接入方法,终端传输的消息在网络中以路由服务器建立的转发路径进行转发,最后发送到目标;由于路径规划服务器在路径建立的过程中,会通过各代理节点反馈回的更新响应判断各代理节点的延迟时间和传输速度,所以路径规划服务器为终端建立的转发路径为通信质量最好,即延迟时间最短且传输速度最快的路径,因此本发明能够保证节点数据的传输速度;此外,路径规划服务器在路径建立的过程中,各代理节点将与自身连接的上一级代理节点的IP地址对应的随机数、下一级代理节点的IP地址对应的随机数返回路径规划服务器,因此,路径规划服务器能够得到路径的具体信息,实现对消息传输的控制。

    一种基于动态路径的匿名接入方法

    公开(公告)号:CN109698791B

    公开(公告)日:2021-05-11

    申请号:CN201811441363.3

    申请日:2018-11-29

    Abstract: 本发明提供一种基于动态路径的匿名接入方法,终端传输的消息在网络中以路由服务器建立的转发路径进行转发,最后发送到目标;由于路径规划服务器在路径建立的过程中,会通过各代理节点反馈回的更新响应判断各代理节点的延迟时间和传输速度,所以路径规划服务器为终端建立的转发路径为通信质量最好,即延迟时间最短且传输速度最快的路径,因此本发明能够保证节点数据的传输速度;此外,路径规划服务器在路径建立的过程中,各代理节点将与自身连接的上一级代理节点的IP地址对应的随机数、下一级代理节点的IP地址对应的随机数返回路径规划服务器,因此,路径规划服务器能够得到路径的具体信息,实现对消息传输的控制。

Patent Agency Ranking