python selenium爬虫豆瓣_Scrapy+Selenium爬取豆瓣电影评论

最新推荐文章于 2024-05-31 21:24:28 发布

原创

最新推荐文章于 2024-05-31 21:24:28 发布 · 1.3k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#python selenium爬虫豆瓣

本文介绍如何使用Scrapy和Selenium爬取豆瓣电影评论。通过分析目标网页，发现评论数据直接在源码中，通过改变start参数实现翻页。配置文件包括settings.py、items.py、pipelines.py、middlewares.py和spider.py，分别处理中间件、爬取字段、数据存储、数据处理和爬虫逻辑。此外，还需要在conf.ini配置文件中添加电影ID以爬取不同电影评论。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

首先需要对目标网站进行分析，具体的分析这里不详细介绍。目标网站；豆瓣某个电影评论页面 https://movie.douban.com/subject/1292052/reviews，这个电影是肖申克的救赎。网页没有使用什么特殊的加载方式，所有的评论数据都在当前的源码中。翻页：

https://movie.douban.com/subject/1292052/reviews?start=0

https://movie.douban.com/subject/1292052/reviews?start=20

https://movie.douban.com/subject/1292052/reviews?start=40

以此类推，修改start的值就可以实现翻页，数字为电影的ID，如果想要抓取不同的电影评论，只需要替换掉电影ID即可。

1.settings.py配置文件

import os

BOT_NAME = 'douban'

SPIDER_MODULES = ['douban.spiders']

NEWSPIDER_MODULE = 'douban.spiders'

ROBOTSTXT_OBEY = False

DEFAULT_REQUEST_HEADERS = {

'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',

'Accept-Language': 'en',

'User-Agent': 'User-AgentMozilla/5.0 (Windows NT 10.0; Win64; x64; rv:78.0) Gecko/20100101 Firefox/78.0'

}

# 注册自定义中间件SeleniumMiddleware

DOWNLOADER_MIDDLEWARES = { <

最低0.47元/天解锁文章

200万优质内容无限畅学