面向电商平台的农药信息采集方法

    公开(公告)号:CN110175277A

    公开(公告)日:2019-08-27

    申请号:CN201910374714.1

    申请日:2019-05-07

    Abstract: 本发明揭示了一种面向电商平台的农药信息采集方法,包括如下步骤:S1、从电商平台的页面中获取农药商品页面的URL作为爬虫条目URL队列,启动爬虫程序;S2、对所爬取的数据进行解析,然后使用URL过滤算法对URL进行初步过滤,将过滤后的URL存储在URL队列中;S3、将经过解析后的数据临时存储在系统缓存中,随后对URL进行二次过滤;S4、将前序步骤中获取的全部农药商品信息进行整合、归纳到一个完整的农药对象中,并将其存储在系统数据库中;S5、对系统数据库中的数据进行展示。本发明使用爬虫技术对指定的电商平台内的农药信息进行采集,通过归一化处理为判断农药产品的性价比提供了依据,方便了农民朋友的线上农药交易操作。

    面向电商平台的农药信息采集方法

    公开(公告)号:CN110175277B

    公开(公告)日:2023-07-07

    申请号:CN201910374714.1

    申请日:2019-05-07

    Abstract: 本发明揭示了一种面向电商平台的农药信息采集方法,包括如下步骤:S1、从电商平台的页面中获取农药商品页面的URL作为爬虫条目URL队列,启动爬虫程序;S2、对所爬取的数据进行解析,然后使用URL过滤算法对URL进行初步过滤,将过滤后的URL存储在URL队列中;S3、将经过解析后的数据临时存储在系统缓存中,随后对URL进行二次过滤;S4、将前序步骤中获取的全部农药商品信息进行整合、归纳到一个完整的农药对象中,并将其存储在系统数据库中;S5、对系统数据库中的数据进行展示。本发明使用爬虫技术对指定的电商平台内的农药信息进行采集,通过归一化处理为判断农药产品的性价比提供了依据,方便了农民朋友的线上农药交易操作。

Patent Agency Ranking