python-ip代理池

最新推荐文章于 2025-02-10 11:25:54 发布

原创最新推荐文章于 2025-02-10 11:25:54 发布 · 314 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#python

python 同时被 2 个专栏收录

8 篇文章

订阅专栏

爬虫

7 篇文章

订阅专栏

import requests
from lxml import etree
import time
def get_all(f):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.135 Safari/537.36'
    }
    for s in range(1, 11):
        time.sleep(1)
        url = "http://www.ip3366.net/?stype=1&page={}".format(s)
        html = requests.get(url, headers=headers).text
        selector = etree.HTML(html)
        lists = selector.xpath('//div[@id="list"]//tbody/tr')
        for ss in lists:
            data = ss.xpath('./td/text()')
            result = [data[0], data[1], data[3], data[4]]
            l = '"{}"'.format(data[3]) + ':' + '"{}'.format(data[0]) + ':' + '{}"'.format(data[1]) + ','+'\n'
            f.write(l)
            print(l)
if __name__ == '__main__':
    f= open('ips.txt','a+')
    f.seek(0)
    f.truncate()
    get_all(f)

运行上述代码可以直接生成一个txt文件，打开文件ctrl+A,ctrl+C复制即可。