公开(公告)号：CN110557462A

公开(公告)日：2019-12-10

申请号：CN201910683148.2

申请日：2019-07-26

Applicant: 北京天元特通科技有限公司 ,  国家计算机网络与信息安全管理中心

Inventor： 李少敏 ,  王凯峰 ,  匡凡 ,  明树新 ,  许云飞 ,  王志飞 ,  陈文贤 ,  周立 ,  曹首峰 ,  张晓航 ,  何成海 ,  张凯

IPC: H04L29/12 ,  H04L29/08 ,  H04L29/06 ,  H04L12/28

Abstract: 本发明提供一种基于公共代理的分布式接入系统，主要由接入管理部件、数据处理部件以及代理资源管理部件构成；接入管理部件，接收用户数据，并对用户数据进行解析，获取五元组信息后进行地址翻译并建立连接追踪表，然后将用户数据传送给数据处理部件；代理资源管理部件，依据用户指定的代理资源使用策略，选出符合需求的代理，传送给数据处理部件；数据处理部件，建立与对应代理服务器的连接，并建立连接映射表，然后将用户数据进行封装后发送出去。该系统能够实现将可用的公共代理资源接入，解决了代理资源本身带来的不稳定问题，并且极大地节约了成本费用。

公开(公告)号：CN117556114A

公开(公告)日：2024-02-13

申请号：CN202311535665.8

申请日：2023-11-17

Applicant: 国家计算机网络与信息安全管理中心

Inventor： 战裕隆 ,  贺龙涛 ,  于贺威 ,  韩卓兵 ,  许云飞

IPC: G06F16/951 ,  G06F16/16

Abstract: 本发明涉及一种可配置的网络爬虫方法，属于网络安全技术领域。根据目标网页生成模板，形成配置文件，利用配置文件来完成网页信息的爬取，具体地，首先通过文件解析引擎调用爬虫配置文件，解析得到爬虫模板信息，然后根据模板信息对目标网页进行内容爬取；该方法以灵活的配置文件代替硬编码的方式，实现对网页信息的爬取，使得开发人员只需对配置文件进行编写或修改即可，省去了硬编码所带来的复杂的开发量以及后期维护的高成本，能够更高效率地满足网页信息的爬取需求。

公开(公告)号：CN110557462B

公开(公告)日：2022-11-25

申请号：CN201910683148.2

申请日：2019-07-26

Applicant: 北京天元特通科技有限公司 ,  国家计算机网络与信息安全管理中心

Inventor： 李少敏 ,  王凯峰 ,  匡凡 ,  明树新 ,  许云飞 ,  王志飞 ,  陈文贤 ,  周立 ,  曹首峰 ,  张晓航 ,  何成海 ,  张凯

IPC: H04L61/2521 ,  H04L61/103 ,  H04L67/1061 ,  H04L67/14 ,  H04L67/56 ,  H04L67/566 ,  H04L9/40

Abstract: 本发明提供一种基于公共代理的分布式接入系统，主要由接入管理部件、数据处理部件以及代理资源管理部件构成；接入管理部件，接收用户数据，并对用户数据进行解析，获取五元组信息后进行地址翻译并建立连接追踪表，然后将用户数据传送给数据处理部件；代理资源管理部件，依据用户指定的代理资源使用策略，选出符合需求的代理，传送给数据处理部件；数据处理部件，建立与对应代理服务器的连接，并建立连接映射表，然后将用户数据进行封装后发送出去。该系统能够实现将可用的公共代理资源接入，解决了代理资源本身带来的不稳定问题，并且极大地节约了成本费用。