代理云环境中的用户抓取外部网页的方法和装置

    公开(公告)号:CN103685327B

    公开(公告)日:2017-12-22

    申请号:CN201210316759.1

    申请日:2012-08-30

    Inventor: 高巍 何磊 李彬孟

    Abstract: 本发明提出一种代理云环境中的用户抓取外部网页的方法和装置,其中所述方法包括以下步骤:接收用户抓取网页的请求;验证用户的身份;统计用户的配额以确定用户是否在黑名单中;解析请求以确定是否要求使用http或https协议抓取网页;以及如果用户通过身份验证且不在黑名单中,则按照要求而代理用户使用http或https协议抓取网页。根据本发明实施例的方法,在代理云环境中通过用户身份验证和配额黑名单验证以使得符合身份验证和配额黑名单验证的用户使用http或https协议抓取网页,不仅满足用户获取外部资源的需求,同时可对用户的使用资源进行统计,方便管理,并对使用量较大的用户进行限制,提高使用效率。

    云环境中的分布式异步任务队列执行系统和方法

    公开(公告)号:CN103780635B

    公开(公告)日:2017-08-18

    申请号:CN201210395517.6

    申请日:2012-10-17

    Abstract: 本发明提出一种云环境中的分布式异步任务队列执行系统和方法,其中系统包括:接口设备,用于接收用户提交的执行任务的请求,验证用户的配额是否超限并且在用户的配额没有超限的情况下接收用户提交的任务并将任务基本信息写入数据库;任务队列设备,用于判断用户提交的任务是需要并行执行的任务还是需要串行执行的任务并将用户提交的任务相应地放入并行任务队列和串行任务队列;以及多个任务执行设备,用于执行任务队列设备推送的并行任务和串行任务,其中任务执行设备推送的是并行任务时,判断并发度是否超过用户的限制,在并发度没有超过用户的限制的情况下执行并行任务。本发明的任务执行效率高,性能好。

    面向第三方开发者的接入系统、方法及装置

    公开(公告)号:CN103581279B

    公开(公告)日:2017-05-10

    申请号:CN201210285433.7

    申请日:2012-08-10

    Abstract: 本发明提出一种面向第三方开发者的接入系统,包括:客户端,为应用程序或开发者向云端总线服务器发送服务请求,其中,服务请求包括用户或开发者的用户信息;云端总线服务器,接收服务请求并根据服务类型选择一个目标第三方服务提供方服务器,并根据用户或开发者的用户信息对服务请求进行权限校验和/或配额校验,将服务请求、校验结果发送至目标第三方服务提供方服务器;第三方服务提供方服务器,根据权限校验和/或配额校验结果以及服务请求为客户端提供服务。本发明还提出了一种面向第三方开发者的接入方法及装置。本发明通过云端总线服务器,节省了开发者的开发成本,为开发者提供了便利的、可靠的资源获取渠道。

    云环境中的分布式异步任务队列执行系统和方法

    公开(公告)号:CN103780635A

    公开(公告)日:2014-05-07

    申请号:CN201210395517.6

    申请日:2012-10-17

    Abstract: 本发明提出一种云环境中的分布式异步任务队列执行系统和方法,其中系统包括:接口设备,用于接收用户提交的执行任务的请求,验证用户的配额是否超限并且在用户的配额没有超限的情况下接收用户提交的任务并将任务基本信息写入数据库;任务队列设备,用于判断用户提交的任务是需要并行执行的任务还是需要串行执行的任务并将用户提交的任务相应地放入并行任务队列和串行任务队列;以及多个任务执行设备,用于执行任务队列设备推送的并行任务和串行任务,其中任务执行设备推送的是并行任务时,判断并发度是否超过用户的限制,在并发度没有超过用户的限制的情况下执行并行任务。本发明的任务执行效率高,性能好。

    一种在WAP环境下传输流式数据的方法、客户端和系统

    公开(公告)号:CN102291401A

    公开(公告)日:2011-12-21

    申请号:CN201110227163.X

    申请日:2011-08-09

    Abstract: 本发明提供了一种在无线应用协议(WAP)环境下传输流式数据的方法、客户端和系统,客户端启动流式数据制作后,在制作流式数据的过程中,每制作达到预设大小要求的流式数据片段就将所述流式数据片段传输给服务器端;其中所述流式数据片段中包含所述客户端和所述服务器端进行本次网络交互的唯一识别码的信息以及所述流式数据片段在本次网络交互中的片段序号。通过本发明能够缩短流式数据传输造成的时延,提高流式数据的实时性。

Patent Agency Ranking