python代码爬取双色球开奖结果并保存到CSV文件中

这段代码是用来爬取双色球开奖结果并保存到CSV文件中;代码如下

import requests
import os
from bs4 import BeautifulSoup

def download(url, page):
    html = requests.get(url).text
    soup = BeautifulSoup(html, 'html.parser')
    list = soup.select('div.ball_box01 ul li')
    ball = []
    for li in list:
        ball.append(li.string)
    write_to_excel(
好的,下面是代码实现: ```python import requests import csv from bs4 import BeautifulSoup # 设置请求头,防止被网站拦截 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} # 请求网页 url = 'http://datachart.500.com/ssq/history/newinc/history.php?limit=100000&sort=0' response = requests.get(url, headers=headers) # 解析网页 soup = BeautifulSoup(response.text, 'html.parser') trs = soup.select('table tr') # 将数据写入csv文件 with open('shuangseqiu.csv', 'w', newline='', encoding='utf-8') as f: writer = csv.writer(f) for tr in trs[2:]: tds = tr.select('td') row = [tds[0].text.strip()] for td in tds[1:7]: row.append(td.text.strip()) row.append(tds[7].text.strip().replace(',', ' ')) row.append(tds[8].text.strip()) writer.writerow(row) print('数据已写入csv文件!') ``` 上面的代码中,我们首先使用 requests 库发送 GET 请求,获取到了双色球历史开奖记录的网页。然后使用 BeautifulSoup 库解析网页,找到开奖记录所在的表格,循环遍历表格中的每一行,将开奖记录提取出来,写入到 csv 文件中。 注意,我们在设置请求头时使用了一个模拟浏览器的 User-Agent,这是为了防止被网站拦截。同时,我们在写入 csv 文件时,将千位分隔符逗号去掉,避免出现格式错误。 最后,运行代码即可得到一个名为 shuangseqiu.csvcsv 文件,里面存储了所有的双色球历史开奖记录。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值