爬虫学习（第三练）

原创已于 2023-07-06 11:13:27 修改 · 626 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #学习

于 2023-07-06 11:06:40 首次发布

爬虫专栏收录该内容

4 篇文章

订阅专栏

当访问某个网站频繁时，可能会触发IP限制。为了解决这个问题，可以使用Python的urllib库结合代理服务器（如183.247.211.41:30001）创建opener，通过改变UserAgent信息，以不同的身份进行http请求，避免被禁止访问。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

opener+proxy的使用
假如一个网站它会检测某一段时间某个IP 的访问次数，如果访问次数过多，它会禁止你的访问。所以可以设置一些代理服务器来帮助我们做工作，每隔一段时间换一个代理.

from urllib.request import Request,build_opener,ProxyHandler
from fake_useragent import UserAgent


url = 'http://httpbin.org/get'
headers = {
    'User-Agent':UserAgent().chrome
}
request = Request(url,headers=headers)
# 自己在网上找一些免费的ip代理
handler = ProxyHandler({'http':'183.247.211.41:30001'})
opener = build_opener(handler)
response = opener.open(request)
print(response.read().decode())