Python网络爬虫实战7：通过挖掘百度新闻网站并自动生成互联网热门信息数据收集报告

最新推荐文章于 2025-05-07 08:49:13 发布

原创

最新推荐文章于 2025-05-07 08:49:13 发布 · 723 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#数据挖掘 #python #正则表达式

该代码实例展示了如何使用Python的requests和re库进行网页抓取，从百度搜索中提取公司（如百度、华为等）的相关新闻标题、日期和来源，并将结果保存到文本文件中。程序首先设置用户代理，然后定义一个方法'baidu'，通过正则表达式匹配网页内容，提取所需信息。最后，遍历多个公司名称并调用'baidu'方法，生成数据挖掘报告。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

代码实例

import requests
import re

# 用户代理设置
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'}

# 定义一个方法
def baidu(company):
    url = 'https://www.baidu.com/s?tn=news&rtt=1&bsst=1&cl=2&wd=' + company
    res = requests.get(url, headers=headers).text

    # 正则表达式的使用
    p_href = '<h3 class="news-title_1YtI1"><a href="(.*?)"'
    href = re.findall(p_href, res, re.S)
    p_title = '<h3 class="news-title_1YtI1">.*?>(.*?)</a>'
    title = re.findall(p_title, res, re.S)
    p_date = '<span class="c-color-gray2 c-font-normal">(.*?)</span>'
    date = re.findall(p_date, res)
    p_source = '<span class="c-color-gray c-font-normal c-gap-right">(.*?)</span>'
    source = re.findall(p_source, res)

    for i in range(len(title)):  
        title[i] = title[i].strip(