Python网络爬虫实战21：爬取美国天气预报网页中的天气信息

最新推荐文章于 2025-07-07 11:12:17 发布

简时刻

最新推荐文章于 2025-07-07 11:12:17 发布

阅读量1.3k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Python网络爬虫专栏（语法+应用）文章标签： python 数据分析爬虫数据抽取

本文链接：https://blog.csdn.net/weixin_44940488/article/details/117130857

本文演示了如何使用Python的urllib.request和BeautifulSoup库从美国天气预报网站爬取并解析城市天气数据。首先，通过urllib获取网页源代码，接着使用BeautifulSoup解析HTML，找到指定ID的内容块。然后，提取出天气预报的时间、城市和温度信息，并通过for循环遍历保存。最后，将数据写入到'city_weather.txt'文件中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.首先先找到所要爬取数据的网站，导入需要的包和模块

2.用 BeautifulSoup 来解析和获取我们想要的内容块

3.抓取我们需要的内容

4.抽取并保存信息

最终：完整代码展示

美国天气预报网站：http://forecast.weather.gov/MapClick.php?lat=37.77492773500046&lon=-122.41941932299972

在爬取网站之前，我们首先要找到我们想要爬取的网站地址以及想爬取这个网页上的哪些信息。以上面这张图为例，我们想爬取这个网站上显示的城市天气情况以及时间（图中红框处）。对此我们需要先获得这个网站的网址（第一行已给出网站网址）。知道这个网站的地址后，我们可以通过python先将整个网页的信息爬取下来，然后在一步步的抽取我们需要的信息。具体步骤如下：

1.首先先找到所要爬取数据的网站，导入需要的包和模块

import urllib.request as urlrequest     # 通过url.request 返回网页内容
weather_url='http://forecast.weather.gov/MapClick.php?lat=37.77492773500046&lon=-122.41941932299972'    # 输入网址
web_page=urlrequest.urlopen(weather_url).read()   # 读取网址
print(web_page)      # 打印网址

运行这段程序后，我们就可以获得这个网页的全部源代码。