基于Python爬虫的豆瓣电影影评数据可视化分析

wp_tao

已于 2024-04-03 19:10:50 修改

阅读量3.9k

点赞数 17

CC 4.0 BY-SA版权

分类专栏： Python副业接单实战项目文章标签： python 爬虫信息可视化

于 2024-02-18 21:08:32 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/lyccomcn/article/details/136158530

Python副业接单实战项目专栏收录该内容

137 篇文章 ¥69.90 ¥99.00

订阅专栏

超级会员免费看

该博客利用Python爬虫技术抓取《你好，李焕英》的豆瓣影评，进行数据清洗、分词统计，并用wordcloud和matplotlib库绘制了词云图、城市占比饼状图和评论数量随时间变化的折线图，揭示了影评的关键信息和关注趋势。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

文章目录

前言
一、数据抓取
二、数据可视化
- 1.绘制词云图
- 2.读入数据
总结

前言

本文以电影《你好，李焕英》在豆瓣上的影评数据为爬取和分析的目标，利用python爬虫技术对影评数据进行了爬取，使用pandas库进行了数据清洗，使用jieba库进行分词，使用collections库进行词频统计，使用wordcloud库绘制词云图，使用matplotlib库绘制了评论人所在城市占比饼状图，并使用matplotlib库绘制了评论数量随时间变化折线图。

一、数据抓取

本文的目标网址为https://movie.douban.com/ subject/34841067/comments。通过观察其他电影影评的url并对比发现，每个subject/后面都有一个固定的数字

了解本专栏

超级会员免费看

博客等级

码龄5年

185
原创

966
点赞

633
收藏

1049
粉丝

关注

私信

热门文章

分类专栏

上一篇：: 基于Python使用爬虫从豆瓣网获取最新上映的电影信息

下一篇：: 基于数据可视化的豆瓣图书榜单数据分析

最新评论

python实战项目33：scrapy爬取城市天气数据
北风之神c: 总结的很全面的scrapy爬虫，写得赞，博主用心了。此国产分布式函数调度框架 funboost python万能通用函数加速器 https://funboost.readthedocs.io/zh-cn/latest/articles/c8.html ，只需要@boost一行代码，加到任意新/旧爬虫项目就又强又自由又简单。 funboost 分布式函数调度框架，定位于调度用户的任何函数，只要用户在函数里面写爬虫代码，就可以分布式调度爬虫，此框架如果用于爬虫，不管从任何方面比较可以领先scrapy 20年，也比任意写的爬虫框架领先10年。普通爬虫框架一般就设计为url请求调度框架，url怎么请求都是被框内置架束缚死了，所以有些奇葩独特的想法在那种框架里面难以实现，用户需要非常之精通框架本身然后改造框架才能达到随心所欲的驾驭的目的。普通的爬虫框架与用户手写requests 请求解析存储，在流程逻辑上是严重互斥的，要改造成使用那种框架改造需要大改特改。而此框架是函数调度框架，函数里面用户可以随意写一切任意自由想法，天生不会有任何束缚。依托于funboost的强大可视化管理，不登录机器可以轻松掌控分布式大规模爬虫运行状态，一目了然。可视化截图： https://funboost.readthedocs.io/zh-cn/latest/articles/c13.html 夫天下爬虫，当顺天命。Scrapy十败如山崩，Funboost十胜如日升。
python实战项目52：Selenium爬取steam黑神话悟空评论
Uncle_Matt: 报错了，麻烦处理一下： TypeError Traceback (most recent call last) <ipython-input-1-6bfd37a9b56f> in <module> 93 94 ---> 95 main() 96 f.close() <ipython-input-1-6bfd37a9b56f> in main() 88 89 def main(): ---> 90 init_driver() 91 url = 'https://steamcommunity.com/app/2358720/reviews/?browsefilter=toprated&snr=1_5_100010_&filterLanguage=english' 92 fetch_source(url) <ipython-input-1-6bfd37a9b56f> in init_driver() 27 opt.add_argument('--disable-blink-features=AutomationControlled') # 隐藏浏览器痕迹 28 service = Service(executable_path=r'D:\anaconda\Scripts\chromedriver.exe') ---> 29 driver = webdriver.Chrome(options=opt, service=service) 30 driver.implicitly_wait(10) # 隐式等待 31 TypeError: __init__() got an unexpected keyword argument 'service'
python实战项目30：基于Python爬虫的城市二手房数据分析可视化
北风之神c: 总结的很全面的爬虫，写得赞，博主用心了。此国产分布式函数调度框架 funboost python万能通用函数加速器 https://funboost.readthedocs.io/zh-cn/latest/articles/c8.html ，只需要@boost一行代码，加到任意新/旧爬虫项目就又强又自由又简单。 funboost 分布式函数调度框架，定位于调度用户的任何函数，只要用户在函数里面写爬虫代码，就可以分布式调度爬虫，此框架如果用于爬虫，不管从任何方面比较可以领先scrapy 20年，也比任意写的爬虫框架领先10年。普通爬虫框架一般就设计为url请求调度框架，url怎么请求都是被框内置架束缚死了，所以有些奇葩独特的想法在那种框架里面难以实现，用户需要非常之精通框架本身然后改造框架才能达到随心所欲的驾驭的目的。普通的爬虫框架与用户手写requests 请求解析存储，在流程逻辑上是严重互斥的，要改造成使用那种框架改造需要大改特改。而此框架是函数调度框架，函数里面用户可以随意写一切任意自由想法，天生不会有任何束缚。与用户使用别的爬虫框架或者无框架用户手写多线程爬虫相比， funboost都代码更少更强更简单更自由。 pip install boost_spider (powerd by funboost ，boost_spider比funboost增加了更加专门的针对爬虫请求和解析和存储） https://github.com/ydf0509/boost_spider 依托于funboost的强大可视化管理，不登录机器可以轻松掌控分布式大规模爬虫运行状态，一目了然。可视化截图： https://funboost.readthedocs.io/zh-cn/latest/articles/c13.html
python爬虫系列课程1：初识爬虫
北风之神c: 总结的很全面的爬虫，写得赞，博主用心了。此国产分布式函数调度框架 funboost python万能通用函数加速器 https://funboost.readthedocs.io/zh-cn/latest/articles/c8.html ，只需要@boost一行代码，加到任意新/旧爬虫项目就又强又自由又简单。 funboost 分布式函数调度框架，定位于调度用户的任何函数，只要用户在函数里面写爬虫代码，就可以分布式调度爬虫，此框架如果用于爬虫，不管从任何方面比较可以领先scrapy 20年，也比任意写的爬虫框架领先10年。普通爬虫框架一般就设计为url请求调度框架，url怎么请求都是被框内置架束缚死了，所以有些奇葩独特的想法在那种框架里面难以实现，用户需要非常之精通框架本身然后改造框架才能达到随心所欲的驾驭的目的。普通的爬虫框架与用户手写requests 请求解析存储，在流程逻辑上是严重互斥的，要改造成使用那种框架改造需要大改特改。而此框架是函数调度框架，函数里面用户可以随意写一切任意自由想法，天生不会有任何束缚。与用户使用别的爬虫框架或者无框架用户手写多线程爬虫相比， funboost都代码更少更强更简单更自由。 pip install boost_spider (powerd by funboost ，boost_spider比funboost增加了更加专门的针对爬虫请求和解析和存储） https://github.com/ydf0509/boost_spider 依托于funboost的强大可视化管理，不登录机器可以轻松掌控分布式大规模爬虫运行状态，一目了然。可视化截图： https://funboost.readthedocs.io/zh-cn/latest/articles/c13.html
python实战项目30：基于Python爬虫的城市二手房数据分析可视化
阿J~: 晚上睡不着，打开了佬的博客，瞬间就精神了

大家在看

最新文章

2025

目录

展开全部

收起

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。