爬虫学习（第二练）

A浅笑安然

已于 2023-07-06 11:11:53 修改

阅读量130

点赞数

CC 4.0 BY-SA版权

分类专栏：爬虫文章标签：爬虫学习 python

于 2023-07-06 09:34:21 首次发布

本文链接：https://blog.csdn.net/weixin_41866632/article/details/131568741

爬虫专栏收录该内容

4 篇文章

订阅专栏

该代码示例利用Python的urllib.request和fake_useragent库，模拟Ajax请求，逐页爬取豆瓣电影Top250榜单数据。通过循环访问并改变参数start来获取不同页面的内容，直到获取的数据为空或不存在。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

ajax请求

from urllib.request import Request, urlopen
from fake_useragent import UserAgent


base_url = 'https://movie.douban.com/j/chart/top_list?type=11&interval_id=100:90&action=&start={}&limit=20'
i = 0
while True:
    for i in range(100):
        headers = {
            'User-Agent':UserAgent().chrome
        }
        url = base_url.format(i*20)
        request = Request(url,headers=headers)
        response = urlopen(request)
        info = response.read().decode()
        if info == ""or info is None:
            break
        i += 1