代理云环境中的用户抓取外部网页的方法和装置

摘要

本发明提出一种代理云环境中的用户抓取外部网页的方法和装置，其中所述方法包括以下步骤：接收用户抓取网页的请求；验证用户的身份；统计用户的配额以确定用户是否在黑名单中；解析请求以确定是否要求使用http或https协议抓取网页；以及如果用户通过身份验证且不在黑名单中，则按照要求而代理用户使用http或https协议抓取网页。根据本发明实施例的方法，在代理云环境中通过用户身份验证和配额黑名单验证以使得符合身份验证和配额黑名单验证的用户使用http或https协议抓取网页，不仅满足用户获取外部资源的需求，同时可对用户的使用资源进行统计，方便管理，并对使用量较大的用户进行限制，提高使用效率。

主权项

一种代理云环境中的用户抓取外部网页的方法，其特征在于，包括以下步骤：接收所述用户抓取网页的请求；验证所述用户的身份；统计所述用户的配额以确定所述用户是否在黑名单中；解析所述请求以确定是否要求使用http或https协议抓取网页；以及如果所述用户通过身份验证且不在所述黑名单中，则按照所述要求而代理用户使用http或https协议抓取网页。