http://www.fishc.com/a/book/

您提供的网站是一个关于《西游记》电子书的页面，链接为 `https://www.shicimingju.com/book/xiyouji/1.html`。要在这个网站上爬取内容，我们可以使用类似上述的步骤，不过由于实际的网页结构可能会有所不同，我们先假设`<div class="list">` 区域包含章节标题，而 `<div class="text p_pad">` 区域包含章节内容。 1. 首先安装所需的库： ```shell pip install requests beautifulsoup4 ``` 2. 使用Python编写爬虫脚本： ```python import requests from bs4 import BeautifulSoup # 目标URL url = "https://www.shicimingju.com/book/xiyouji/1.html" # 发送GET请求 response = requests.get(url) # 解析HTML soup = BeautifulSoup(response.text, 'lxml') # 使用lxml解析器 # 查找章节列表和内容区域 chapter_list = soup.find('div', class_='list') chapters_content = chapter_list.find_all('div', class_='text p_pad') # 创建空列表存储章节数据 chapters_data = [] # 爬取前10章 for i, content in enumerate(chapters_content[:10], start=1): title = content.find('h3').text if content.h3 else f"第{i}章" chapters_data.append({"title": title, "content": content.get_text()}) # 将数据写入文件 with open("XYJ.txt", "w", encoding='utf-8') as f: for chapter in chapters_data: f.write(f"{chapter['title']}\n{chapter['content']}\n\n")