一种网页爬虫系统及方法

    公开(公告)号:CN102262635A

    公开(公告)日:2011-11-30

    申请号:CN201010189998.6

    申请日:2010-05-25

    Inventor: 肖小剑 李天武

    Abstract: 本发明公开了一种网页爬虫系统及方法,解决现有技术中不能有效提取动态URL的技术缺陷,其中该方法包括:设置一第一去重队列;接收一目标页面;采用静态爬虫对该目标页面进行爬行;将该目标页面中该静态爬虫分析不了的统一资源定位符(URL)作为动态URL;将该动态URL提交到该第一去重队列;采用动态爬虫继续对该第一去重队列中的动态URL进行爬行。本发明克服了现有技术中无法有效提取动态URL的技术缺陷,有效提高了网页搜索效率和性能,有利于维护网页的安全应用。

    一种安全网关及其转发网页的方法

    公开(公告)号:CN102469113B

    公开(公告)日:2014-08-20

    申请号:CN201010532887.0

    申请日:2010-11-01

    Inventor: 叶润国 肖小剑

    Abstract: 本发明公开了一种安全网关及其转发网页的方法;所述方法包括:当从服务器得到客户端请求的Web页面后,将预先生成的移动代码依附到待转发Web页面中;所述移动代码被设置成当执行时遍历所依附的Web页面对应的文档对象模型,抽取出指定HTML标签中的URL,并将抽取出的URL与预先设置的恶意URL集合进行匹配;在依附了所述移动代码的所述Web页面中添加命令语句;所述命令语句设置成当所述Web页面被加载时触发所述移动代码执行;将依附了所述移动代码并添加语句后的Web页面转发给所述客户端。本发明能够在不加重安全网关计算开销的情况下,对隐藏在Web页面中的恶意URL进行准确的检测。

    一种基于网络数据流的网络病毒检测方法及装置

    公开(公告)号:CN101547126B

    公开(公告)日:2011-10-12

    申请号:CN200810102849.4

    申请日:2008-03-27

    Abstract: 本发明公开了在TCP/IP网络中的一种基于网络数据流的网络病毒检测方法及装置,对网络病毒根据宿主文件类型进行分类,根据不同描述方式对网络病毒特征进行分片,对特定个数的网络数据包重组成网络数据流,使分类和分片后的网络病毒特征和网络数据流进行匹配,检测网络数据流中隐含的网络病毒,并在匹配过程中扫描网页文件格式特征,以检测嵌入网络病毒。利用本发明,可以对网络数据流和网络病毒特征进行两次匹配,并能检测嵌入网络病毒;这样可以高效和准确地检测在TCP/IP网络中传播的网络病毒,使网络用户免受通过网络传播的网络病毒攻击,为网络用户提供一个安全的网络环境。

    一种识别网页爬虫的方法和装置

    公开(公告)号:CN102790700A

    公开(公告)日:2012-11-21

    申请号:CN201110130432.0

    申请日:2011-05-19

    Inventor: 叶润国 肖小剑

    Abstract: 本发明公开了一种识别网页爬虫的方法和装置,涉及网络安全技术领域。本发明公开的方法包括:统计Web服务器对所有Web页面请求的平均响应时间,获取一段时间内Web客户端到Web服务器的Web网页请求,测量出各相邻Web网页请求时间间隔以及各Web页面请求响应时间,根据Web页面请求响应时间修正相邻Web网页请求时间间隔,判定修正后的相邻Web页面请求时间间隔是否大于或等于一预定的相邻网页请求时间间隔阈值δ,根据各判断结果是否满足预设条件,来判断所述web客户端的操作是否为网络爬虫。本发明的实施例可以简单、快速地检测出隐藏的网页爬虫,并且适用性强,能够为后续的安全响应提供宝贵的响应时间。

    入侵检测系统及其检测方法

    公开(公告)号:CN102571719A

    公开(公告)日:2012-07-11

    申请号:CN201010616341.3

    申请日:2010-12-31

    Inventor: 肖小剑

    Abstract: 本发明公开了一种入侵检测系统及其检测方法,克服现有技术中无线网络安全性较低的缺陷。其中该入侵检测系统包括:攻击事件库,用于存储预先设置的无线网络攻击事件模型;捕包模块,用于从无线网络上捕获无线数据包;解码解密模块,用于对所述无线数据包进行解码解密,获得明文数据包;协议解析模块,用于对所述明文数据包进行协议解析,获得明文数据与无线网络协议;检测模块,用于根据所述无线网络攻击事件模型及无线网络协议对所述明文数据进行匹配检测,获得检测结果。本发明的技术方案可以检测出攻击者对无线网络的攻击事件,提高了无线网络的安全性。

    一种安全网关及其转发网页的方法

    公开(公告)号:CN102469113A

    公开(公告)日:2012-05-23

    申请号:CN201010532887.0

    申请日:2010-11-01

    Inventor: 叶润国 肖小剑

    Abstract: 本发明公开了一种安全网关及其转发网页的方法;所述方法包括:当从服务器得到客户端请求的Web页面后,将预先生成的移动代码依附到待转发Web页面中;所述移动代码被设置成当执行时遍历所依附的Web页面对应的文档对象模型,抽取出指定HTML标签中的URL,并将抽取出的URL与预先设置的恶意URL集合进行匹配;在依附了所述移动代码的所述Web页面中添加命令语句;所述命令语句设置成当所述Web页面被加载时触发所述移动代码执行;将依附了所述移动代码并添加语句后的Web页面转发给所述客户端。本发明能够在不加重安全网关计算开销的情况下,对隐藏在Web页面中的恶意URL进行准确的检测。

    一种识别网页爬虫的方法和装置

    公开(公告)号:CN102790700B

    公开(公告)日:2015-06-10

    申请号:CN201110130432.0

    申请日:2011-05-19

    Inventor: 叶润国 肖小剑

    Abstract: 本发明公开了一种识别网页爬虫的方法和装置,涉及网络安全技术领域。本发明公开的方法包括:统计Web服务器对所有Web页面请求的平均响应时间,获取一段时间内Web客户端到Web服务器的Web网页请求,测量出各相邻Web网页请求时间间隔以及各Web页面请求响应时间,根据Web页面请求响应时间修正相邻Web网页请求时间间隔,判定修正后的相邻Web页面请求时间间隔是否大于或等于一预定的相邻网页请求时间间隔阈值δ,根据各判断结果是否满足预设条件,来判断所述web客户端的操作是否为网络爬虫。本发明的实施例可以简单、快速地检测出隐藏的网页爬虫,并且适用性强,能够为后续的安全响应提供宝贵的响应时间。

    一种基于网络数据流的网络病毒检测方法及装置

    公开(公告)号:CN101547126A

    公开(公告)日:2009-09-30

    申请号:CN200810102849.4

    申请日:2008-03-27

    Abstract: 本发明公开了在TCP/IP网络中的一种基于网络数据流的网络病毒检测方法及装置,对网络病毒根据宿主文件类型进行分类,根据不同描述方式对网络病毒特征进行分片,对特定个数的网络数据包重组成网络数据流,使分类和分片后的网络病毒特征和网络数据流进行匹配,检测网络数据流中隐含的网络病毒,并在匹配过程中扫描网页文件格式特征,以检测嵌入网络病毒。利用本发明,可以对网络数据流和网络病毒特征进行两次匹配,并能检测嵌入网络病毒;这样可以高效和准确地检测在TCP/IP网络中传播的网络病毒,使网络用户免受通过网络传播的网络病毒攻击,为网络用户提供一个安全的网络环境。

Patent Agency Ranking