# 深圳杯D题爬取电视收视率排行榜

最新推荐文章于 2022-04-26 17:16:29 发布

weixin_30413739

最新推荐文章于 2022-04-26 17:16:29 发布

阅读量270

点赞数

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/sstealer/p/11495824.html

本文详细介绍了使用Python爬虫技术抓取深圳杯电视收视率排行榜的过程，包括站点分析、代码实现及运行结果。通过解析静态页面获取每日排行榜链接，并从中抽取前十名数据，最后将结果存储为CSV文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

深圳杯D题爬取电视收视率排行榜
- 站点分析
- 代码实现

深圳杯D题爬取电视收视率排行榜

站点分析

http://www.tvtv.hk/archives/category/tv

每天的排行版通过静态页面发布，先获取每天的排行榜链接，再进一步从链接里面获取数据

每天前10的信息发布在p标签内，存储的时候空格拆分一下

代码实现

获取每一页的静态链接

url = 'http://www.tvtv.hk/archives/category/tv/page/'

# 获取每一个网页的静态页面
for i in range(1, 100):
    href = {}
    print('正在爬取第' + str(i) + '页')
    print(url + str(i))
    doc = pq(url + str(i))
    sp = doc('.status-publish')
    for s in sp.items():
        ha = s.find('h2 a')
        href[ha.attr('title')] = ha.attr('href')

    with open('TV链接列表.csv', 'a') as f:
        for key in href.keys():
            if key.find('榜') > 0:
                f.write(key + ',' + href[key] + '\n')

从每天的静态页面中获取前十的数据

# 从每一个静态页面中获取数据
out = open('TV收视率.csv', 'w', encoding='utf-8')
with open('TV链接列表.csv', 'r') as f:
    for line in f:
        print(line)
        strs = line.split(',')
        out.write(strs[0])
        doc = pq(strs[1])
        p = doc.find('p:nth-child(1)').text().strip()
        ps = p.split(' ')
        count = 0
        for item in ps:
            count = count + 1
            if count <= 3:
                continue
            j = 0
            while '0' <= item[j] <= '9':
                j = j + 1
            out.write(',' + item[j:])
        out.write('\n')

运行结果