公开(公告)号：CN114143290B

公开(公告)日：2024-01-30

申请号：CN202111407941.3

申请日：2021-11-19

Applicant: 国家计算机网络与信息安全管理中心广东分中心 ,  天津市国瑞数码安全系统股份有限公司

Inventor： 周小敏 ,  应鸿晖 ,  林国池 ,  石易 ,  麦丽娟 ,  莫凡 ,  林佳涛 ,  黄福鸿 ,  李高翔 ,  卓采标 ,  杨慧强 ,  廖淑敏 ,  宋宜昌 ,  周毅 ,  黄正国 ,  吴冠标 ,  李新 ,  蒋维 ,  曹勇 ,  高欢

IPC: H04L61/5061 ,  H04L61/5007 ,  H04L61/5053 ,  H04L67/56 ,  G06F16/951

Abstract: 本发明属于IP代理技术领域，具体涉及一种多网站并行爬取的IP代理池的构建系统和方法，所述构建系统包括：IP验证模块，用于对初始IP集合内的代理IP进行代理可用性验证，并将可用的代理IP置入有效队列中，得到有效IP集合；IP标记模块，用于对有效IP集合内的代理IP进行逐一标记，得到具有标记信息的标记IP集合；IP组合模块，用于获取若干待爬取网站信息并为每个待爬取网站构建对应的网站代理IP队列，还用于基于待爬取网站信息在标记IP集合中挑取标记信息与其匹配的代理IP，并将挑取的代理IP置入与其匹配的网站代理IP队列中。上述构建系统构建了多网站并行爬取代理池，实现了多网站并行爬取，进而提高代理IP的利用率以及爬取成功率。

公开(公告)号：CN114143290A

公开(公告)日：2022-03-04

申请号：CN202111407941.3

申请日：2021-11-19

Applicant: 国家计算机网络与信息安全管理中心广东分中心 ,  天津市国瑞数码安全系统股份有限公司

Inventor： 周小敏 ,  应鸿晖 ,  林国池 ,  石易 ,  麦丽娟 ,  莫凡 ,  林佳涛 ,  黄福鸿 ,  李高翔 ,  卓采标 ,  杨慧强 ,  廖淑敏 ,  宋宜昌 ,  周毅 ,  黄正国 ,  吴冠标 ,  李新 ,  蒋维 ,  曹勇 ,  高欢

IPC: H04L61/5061 ,  H04L61/5007 ,  H04L61/5053 ,  H04L67/56 ,  G06F16/951

Abstract: 本发明属于IP代理技术领域，具体涉及一种多网站并行爬取的IP代理池的构建系统和方法，所述构建系统包括：IP验证模块，用于对初始IP集合内的代理IP进行代理可用性验证，并将可用的代理IP置入有效队列中，得到有效IP集合；IP标记模块，用于对有效IP集合内的代理IP进行逐一标记，得到具有标记信息的标记IP集合；IP组合模块，用于获取若干待爬取网站信息并为每个待爬取网站构建对应的网站代理IP队列，还用于基于待爬取网站信息在标记IP集合中挑取标记信息与其匹配的代理IP，并将挑取的代理IP置入与其匹配的网站代理IP队列中。上述构建系统构建了多网站并行爬取代理池，实现了多网站并行爬取，进而提高代理IP的利用率以及爬取成功率。

公开(公告)号：CN109274694A

公开(公告)日：2019-01-25

申请号：CN201811353891.3

申请日：2018-11-14

Applicant: 天津市国瑞数码安全系统股份有限公司

Inventor： 夏光升 ,  蒋维 ,  郝振江 ,  李新 ,  张钧勃

IPC: H04L29/06 ,  H04L9/32 ,  H04L9/30

CPC classification number: H04L63/0807 ,  H04L9/3066 ,  H04L9/3236 ,  H04L63/08

Abstract: 本发明涉及信息安全领域，尤其涉及一种基于标识的通用跨域认证方法。该方法包括以下步骤：接收本域中用户提交的带有用户身份信息的标识申请，并对用户身份信息进行验证；若验证通过，则根据用户身份信息生成用户标识信息分别发送至用户和被访问域；利用标识密钥管理装置根据用户标识信息生成用户标识密钥，并将用户标识密钥中的私钥发送给用户；被访问域接收用户提交的带有用户标识信息的跨域访问请求，并对用户标识信息进行验证，若验证通过，则向用户提供与跨域访问请求相对应的访问资源。本发明的方法中，用户通过标识信息能够方便的进行跨域访问，解决了多个域之间用户跨域认证的问题，具有安全方便的优点。