活动介绍
album 精选学习资源，大学生必学！

一个简单的Python爬虫实例，使用requests和BeautifulSoup库爬取网页标题和链接 我们将以爬取豆瓣电影为例

preview
试读
2页
python
爬虫
需积分: 0 1 下载量 157 浏览量 更新于2024-06-11 收藏 120KB PDF 举报
下面是一个简单的Python爬虫实例，使用requests和BeautifulSoup库爬取网页标题和链接。我们将以爬取豆瓣电影Top250为例： 首先，确保已安装requests和beautifulsoup4库。如果尚未安装，请使用以下命令安装： pip install requests beautifulsoup4 接下来，创建一个名为douban_spider.py的Python文件，并添加以下代码： import requests from bs4 import BeautifulSoup def get_movie_list(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3' } response = requests.get(url, headers=headers) soup = ### 知识点详解 #### 一、Python网络爬虫基础 **定义：** 网络爬虫（Web Crawler）是一种自动抓取互联网信息的应用程序，主要用于数据采集与处理。通过模拟用户行为，爬虫可以自动地从指定网页上下载所需的数据。 **应用场景：** - 数据分析：收集大量数据进行市场调研、竞品分析等。 - 内容聚合：从多个网站自动收集内容并整合发布。 - 监控变化：监控特定网页上的内容更新或价格变动等。 #### 二、Python爬虫库介绍 **1. Requests库** Requests是Python中最常用的HTTP客户端库之一，它简化了HTTP请求的操作，使得发送GET、POST等类型的HTTP请求变得非常简单。 - **安装方法：** ```bash pip install requests ``` - **基本用法：** ```python import requests response = requests.get('http://www.example.com') print(response.text) ``` **2. Beautiful Soup库** Beautiful Soup是用于解析HTML和XML文档的强大库。它可以配合多种解析器，如lxml、html5lib等。 - **安装方法：** ```bash pip install beautifulsoup4 ``` - **基本用法：** ```python from bs4 import BeautifulSoup soup = BeautifulSoup('<html><body><h1>Hello World</h1></body></html>', 'html.parser') print(soup.h1.string) ``` #### 三、Python爬虫实战案例：爬取豆瓣电影Top250 本节将详细介绍如何使用Requests和Beautiful Soup库来爬取豆瓣电影Top250页面中的电影信息，包括电影名称、评分、导演和链接等。 **1. 环境准备** 确保已安装`requests`和`beautifulsoup4`库。可以通过pip安装这些库： ```bash pip install requests beautifulsoup4 ``` **2. 编写Python爬虫脚本** 创建一个名为`douban_spider.py`的Python文件，并添加以下代码： - **获取电影列表：** ```python def get_movie_list(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3' } response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') movie_list = soup.find_all('div', class_='item') return movie_list ``` - **提取电影信息：** ```python def extract_movie_info(movie_list): movie_info_list = [] for movie in movie_list: info = {} info['name'] = movie.find('div', class_='hd').getText().strip().split('\n')[1] info['rating'] = movie.find('span', class_='rating_num').getText() info['director'] = movie.find('div', class_='bd').getText().strip().split('\n')[-1] info['link'] = movie.find('a', class_='nbg').get('href') movie_info_list.append(info) return movie_info_list ``` - **主函数：** ```python def main(): url = 'https://movie.douban.com/top250?start=0&filter=' movie_list = get_movie_list(url) movie_info_list = extract_movie_info(movie_list) for movie_info in movie_info_list: print(f" 电影名称: {movie_info['name']} ， 评分: {movie_info['rating']} ， 导演: {movie_info['director']}，链接: {movie_info['link']}") if __name__ == '__main__': main() ``` **3. 运行爬虫脚本** 运行`douban_spider.py`文件，即可看到如下输出： ``` 电影名称: 肖申克的救赎，评分: 9.7，导演: 弗兰克·德拉邦特 (Frank Darabont)，链接: https://movie.douban.com/subject/1292052/ ... ``` **4. 注意事项** - 在实际使用时，应遵守目标网站的robots.txt规则，尊重网站的爬虫策略。 - 需要注意反爬机制，例如IP限制、验证码等。 - 对于动态加载的内容，可能需要使用如Selenium这样的自动化工具来模拟浏览器行为。 - 爬取过程中可能会遇到各种异常情况，如请求失败、解析错误等，需要进行适当的错误处理。 通过以上步骤，我们可以构建一个简单的Python爬虫来抓取豆瓣电影Top250的信息。这种爬虫不仅可以帮助我们快速获取大量数据，还可以作为学习网络爬虫技术的良好起点。
一个 python 爬虫实例：爬取豆瓣电影 Top250 为例
下面是一个简单的 Python 爬虫实例，使用 requests 和 BeautifulSoup 库爬取网页
标题和链接。我们将以爬取豆瓣电影 Top250 为例：
1. 首先，确保已安装
requests
和
beautifulsoup4
库。如果尚未安装，请使用以
下命令安装：
pip install requests beautifulsoup4
接下来，创建一个名为 douban_spider.py 的 Python 文件，并添加以下代码：
import requests
from bs4 import BeautifulSoup
def get_movie_list(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36
(KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
movie_list = soup.find_all('div', class_='item')
return movie_list
def extract_movie_info(movie_list):
movie_info_list = []
for movie in movie_list:
info = {}
info['name'] = movie.find('div', class_='hd').getText().strip().split('')[1]
info['rating'] = movie.find('span', class_='rating_num').getText()
info['director'] = movie.find('div', class_='bd').getText().strip().split('')[-1]
info['link'] = movie.find('a', class_='nbg').get('href')
movie_info_list.append(info)
return movie_info_list
def main():
url = 'https://movie.douban.com/top250?start=0&filter='
movie_list = get_movie_list(url)
movie_info_list = extract_movie_info(movie_list)
for movie_info in movie_info_list:
print(f"
电 影 名 称
: {movie_info['name']}
， 评 分
: {movie_info['rating']}
， 导 演
:
{movie_info['director']}
，链接
: {movie_info['link']}")

下载后可阅读完整内容，剩余1页未读，立即下载

身份认证 购VIP最低享 7 折!
30元优惠券
资源推荐
资源评论
壹心分享
  • 粉丝: 515
上传资源 快速赚钱
voice
center-task 前往需求广场，查看用户热搜

最新资源